🔙뒤로가기

Apache Kafka란?

Apache Kafka는 실시간으로 대용량의 데이터를 처리하기 위한 분산 스트림 처리 플랫폼으로, 오픈 소스 소프트웨어다. LinkedIn에서 개발되어 2011년에 오픈소스로 공개되었고, 현재는 Apache Software Foundation의 프로젝트로 관리되고 있다.

Kafka를 사용하면 실시간 데이터 스트림을 발행(publish), 구독(subscribe), 저장(store) 및 처리(process)할 수 있다.

Kafka는 실시간으로 대용량의 데이터를 안정적으로 처리하도록 설계되었으며, 데이터 파이프라인, 실시간 분석, 이벤트 소싱, 로그 수집 등 여러 시나리오에 적용될 수 있다. 주로 실시간 서비스를 제공하는 웹사이트나 애플리케이션에서 로그 데이터를 처리하거나, 마이크로서비스 간 메시지 전달 등의 용도로 사용된다.

따라서, Kafka는 단일 프로그램보다는 더 넓은 의미의 소프트웨어 플랫폼이라고 볼 수 있다. 개발자는 Kafka의 API를 사용하여 데이터 스트림을 사용하는 애플리케이션 또는 서비스를 개발할 수 있다.

Kafka의 핵심 개념

• Producer: 데이터를 생성해서 Kafka에 전송하는 역할을 한다. 예를 들어, 로그 파일이나 사용자 이벤트 등을 생성하는 서비스가 이에 해당된다.
• Consumer: Kafka로부터 데이터를 읽어서 처리하는 역할을 한다. 데이터를 분석하거나 다른 시스템에 저장하는 등의 작업을 수행한다.
• Topic: Kafka에서 데이터는 '토픽'이라는 카테고리에 저장된다. 프로듀서는 데이터를 특정 토픽에 전송하고, 컨슈머는 특정 토픽에서 데이터를 읽어온다.
• Broker: Kafka 클러스터는 여러개의 서버(broker)로 구성된다. 각 서버는 토픽의 일부(파티션)를 저장하고 처리합니다. 이로써 Kafka는 매우 높은 수준의 병렬 처리를 가능하게 다.

Kafka의 주요 장점은 높은 처리량, 내고장성, 실시간 처리 등이 있다. 또한, Kafka는 '로그'라는 구조를 사용하여 데이터를 저장하므로, 데이터의 순서를 유지하면서 대용량 데이터를 빠르게 처리할 수 있다. 이러한 특징들 덕분에 Kafka는 실시간 분석, 로그 처리, 이벤트 소싱 등 다양한 영역에서 활용되고 있다.

기능에 따른 사용 방법

1. 실시간 스트림 처리
   • Kafka는 실시간으로 대용량의 데이터 스트림을 처리하는 데 매우 효율적이다. 예를 들어, 실시간 분석, 실시간 모니터링 등의 작업에서 Kafka가 활용된다.
   • 대안: Apache Flink, Apache Storm, Apache Samza 등이 대안이 될 수 있다. 이러한 도구들도 실시간 데이터 스트림 처리에 특화되어 있다.
2. 이벤트 소싱
   • 이벤트 소싱은 상태 변화를 이벤트로 모델링하고, 이러한 이벤트를 순서대로 저장함으로써 시스템의 상태를 재현하는 아키텍처 패턴이다. Kafka는 이벤트 소싱 구현에 적합한 도구이다.
   • 대안: EventStore, Redis, Azure Cosmos DB 등
3. 로그 수집
   • 여러 서버에서 생성되는 로그를 중앙에서 수집하고 처리하는 데 Kafka를 사용할 수 있다.
   • 대안: Fluentd, Logstash 등의 로그 수집 도구
4. 메시지 큐
   • Kafka는 높은 처리량의 메시지를 전달하는 메시지 큐로 활용될 수 있다.
   • 대안: RabbitMQ, ActiveMQ, Amazon SQS 등의 메시징 시스템

실제 기업의 Kafka 사용 사례

Netflix

Netflix는 Apache Kafka를 사용하여 각각의 클라이언트(예: 스마트티비, 컴퓨터, 휴대폰 등)에 대한 사용자 활동을 실시간으로 추적한다. 이 정보는 추천 알고리즘에 실시간으로 피드백을 제공하고, 사용자 경험을 개선하는 데 사용다.