Kafka 프로듀서 더 깊이 보기: 직렬화부터 스로틀링까지
개요이전에는 Kafka 프로듀서가 메시지를 어떻게 Kafka 브로커에게 전송하는지 전반적인 흐름을 살펴 보았다. 단순해 보이는 producer.send() 한 줄에도 직렬화, 파티션 분배, 배치, 전송, 응답 처리, 재시도 등 다양한 과정이 숨어 있었다. 이번에는 이 흐름을 조금 더 깊이 파고들어, 메시지가 전송되기 전과 후에 어떤 기술적인 처리들이 일어나는지 정리해보려한다.시리얼라이저부터 시작해, Avro 레코드, 파티셔너, 헤더, 인터셉터 그리고 쿼터 및 스로틀링 까지 카프카 프로듀서를 구성하는 핵심 개념들에 대해 학습하고 기록해보자. 1. Kafka에서의 시리얼라이저 (Serializer)카프카에서는 메시지를 네트워크로 전송하기 전에 반드시 바이트 배열(byte[])로 바꿔야한다. 왜냐하면 네트워크..
2025. 4. 10.
