[Kafka] 카프카 기본 개념과 구조
이 글의 정보는 책을 바탕으로 작성되었습니다. 카프카 기본 개념과 구조 카프카를 구성하는 주요 요소 주키퍼 카프카의 메타데이터 관리 및 브로커의 헬스 체크를 담당한다. 카프카 또는 카프카 클러스터 여러 대의 브로커를 구성한 클러스터를 의미한다. 브로커 카프카 어플리케이션이 설치된 서버 또는 노드를 말한다. 프로듀서 카프카로 메시지를 보내는 역할의 클라이언트. 컨슈머 카프카에서 메시지를 꺼내가는 역할의 클라이언트. 토픽 카프카는 메시지 피드들을 토픽으로 구분하고, 각 토픽의 이름은 카프카 내에서 고유하다. 파티션 병렬 처리 및 고성능을 얻기 위해 하나의 토픽을 여러 개로 나눈 것 세그먼트 프로듀서가 전송한 실제 메시지가 브로커의 로컬 디스크에 저장되는 파일을 말한다. 메시지 또는 레코드 프로듀서가 브로커로..
이 글의 정보는 책을 바탕으로 작성되었습니다. 카프카 개요 장점 비동기 방식 높은 처리량 HTTP 기반이여도 카프카로 이벤트가 처리되는 응답시간은 ms 단위 순서 보장 적어도 한 번 전송 방식 멱등성으로 데이터 변화 없이 아키텍처를 단순하게 하고 처리량을 높인다. 자연스러운 백프레셔 핸들링 강력한 파티셔닝 카프카의 파티셔닝은 논리적으로 토픽을 여러 개로 나눌 수 있다. 각 파티션들을 다른 파티션들과 관계없이 처리가 가능하므로 효과적인 수평 확장이 가능하다.특징카프카는 다른 MQ 시스템들보다 성능이 월등하다. 전통적인 래빗MQ와 비교했을 때, 응답 속도는 래빗MQ가 가장 빠르지만, 처리량과 응답 속도를 같이 비교하면 카프카가 독보적인 모습을 보인다. 높은 처리량과 낮은 지연시간 높은 확장성 카프카를 최초 ..