Kafka 토픽을 생성하는 두가지 방법

1. 첫번째는 카프카 컨슈머 또는 프로듀서가 카프카 브로커에 생성되지 않은 토픽에 대해 데이터를 요청할 때, 그리고 두번째는 커맨드 라인 툴로 명시적으로 토픽을 생성하는 것이다.

2. 토픽을 효과적으로 유지보수하기 위해서는 토피을 명시적으로 생성하는 것을 추천한다. 토픽마다 처리되어야 하는 데이터의 특성이 다르기 때문이다. 토픽을 생성할 때는 데이터 특성에 따라 옵션을 다르게 설정할 수 있다.

1. 예를 들어, 동시 데이터 처리량이 많아야 하는 토픽의 경우 파티션의 갯수를 100으로 설정할 수 도 있다. 또 단기간 데이터 처리만 필요한 경우에는 토픽에 들어온 데이터의 보관기간 옵션을 짧게 설정할 수 도 있다.
2. 그러므로 토픽에 들어오는 데이터양과 병렬로 처리되어야 하는 용량을 잘 파악하여 생성하는 것이 중요하다.

3. 브로커 설정에서 토픽이 auto create가 될지 안 될지에 대한 옵션을 설정할 수 있다. false로 비활성화 되어있는 경우에는 커맨드 라인 툴로 직접 생성해야한다. 커맨드 라인 툴로 원하는 대로 토픽의 구성을 정해서 생성하는게 대부분의 환경에서 유지보수에 적합하다.