kafka

· 공부
개요Kafka는 대규모 데이터 처리와 실시간 스트리밍을 위한 강력한 메시징 시스템으로 널리 사용됩니다. 이를 운영하고 관리하려면 Kafka 클러스터의 토픽, 브로커, ACL, 설정 등을 효율적으로 제어할 수 있는 관리 도구가 필요합니다. 흔히 카프카를 사용할 때, 토픽을 새로 생성하거나, 파티션 수를 증가시키는 작업은 카프카 클러스터 내부 브로커에서 직접 sh 파일을 실행시켜서 수정을 진행합니다. 또는 Consumer Group의 offset을 확인한다던지, Topic의 로그 압축 방식을 확인하여, 시스템 요구사항에 맞게 설정해야할 경우, 번거롭게 내부의 shell file을 실행해야합니다. 예를 들어, 애플리케이션이 특정한 토픽에 이벤트를 써야한다고 가정합니다. 이 가정은 이벤트를 쓰기전에 토픽이 존재..
heesang0930
'kafka' 태그의 글 목록