✅ 파쓰와 함께 훑는 플랫폼 트렌드 : 카프카(Kafka)의 유래부터 개념까지 넓고 얕게 알아봐요!

✅ 파쓰가 전하는 테크 샤라웃 : 카카오페이, 구글, 배달의민족의 테크 블로그 소식을 소개합니다!

카프카(Kafka)의 탄생

아파치 소프트웨어 재단(Apache Software Foundation)이 2011년에 오픈소스로 공개한 카프카(Kafka)는 비즈니스 기반의 소셜 네트워크 서비스인 링크드인(LinkedIn)에서 처음 개발되었습니다. 당시 링크드인에서는 사이트의 급속한 성장과 이로 인한 사용자 수의 증가, 그리고 더욱 복잡해지는 기능 요구사항에 직면하게 되었는데요. 이러한 변화는 기존의 데이터 처리 시스템으로는 해결할 수 없는 여러 문제를 야기했죠.

이때, 링크드인의 수석 엔지니어였던 제이 크렙스(Jay Kreps)와 그의 팀은 기존의 복잡하고 비효율적인 데이터 전송 방식을 개선할 수 있는 새로운 솔루션을 고민하기 시작했고, 그 해답으로 탄생한 것이 바로 카프카입니다.

이렇게 개발된 카프카는 링크드인 내부의 데이터 처리 방식을 혁신적으로 변화시켰습니다. 아래 그림처럼 여러 복잡한 절차와 시스템을 거쳐야 했던 기존의 방식을 카프카의 도입으로 훨씬 더 간단하고 효율적으로 개선시킬 수 있었는데요. 카프카를 도입하기 이전과 이후의 링크드인 시스템 아키텍처의 차이가 보이시나요? 카프카는 대체 어떤 시스템이길래 복잡한 시스템 간의 통신과 데이터 처리 과정을 효율적으로 만들 수 있었을까요?

카프카는 쉽게 말해 ‘데이터를 주고받는 과정을 도와주는 시스템’입니다. 즉, 현재 플랫폼에서 필요한 데이터를 A 지점에서 B 지점으로 보내주는 역할을 해요. 이 과정에서 카프카는 우리가 보내고 싶은 데이터를 안전하고 빠르게, 그리고 정확하게 전달해 주는 데 도움을 주죠.

카프카가 데이터를 처리하고 전달하는 과정에는 크게 3가지 플레이어가 개입되어 있는데요. 바로 프로듀서(Producer), 카프카 클러스터(Kafka Cluster), 컨슈머(Consumer)입니다. 하나씩 알아볼까요?

• 프로듀서(Producer): 프로듀서는 단어 그대로 현재 플랫폼에서 처리해야 되는 데이터를 생산하고 카프카 클러스터로 전송하는 역할을 해요. 우체국에 가서 편지나 소포를 보내듯, 프로듀서는 '데이터'라는 우편물을 '카프카 클러스터'라는 우체국으로 보냅니다.
  
  
• 카프카 클러스터(Kafka Cluster): 카프카 클러스터는 프로듀서가 생산한 우편물을 안정적으로 관리하고 전달하는 책임을 가진 ‘우체국’ 역할을 해요. 프로듀서가 전달해야 되는 데이터를 클러스터에 넣어주면, 클러스터가 보관하고 있다가 컨슈머에게 전달하죠.
  
  
• 컨슈머(Consumer): 컨슈머는 카프카 클러스터로부터 데이터를 전달받는 역할을 해요. 우체국에서 내 주소에 해당하는 우편물을 받는 것처럼 컨슈머는 카프카 클러스터에서 데이터를 받아 자신이 필요로 하는 처리나 분석을 위해 사용하죠. 즉, 컨슈머는 데이터를 사용하는 애플리케이션이나 시스템을 의미해요. 
  

이처럼 카프카는 기존의 시스템 간 직접적인 연결을 통해 데이터를 처리하고 전송하는 방식(end-to-end)이 아닌 카프카라는 중계자를 통해 데이터를 관리해요. 데이터를 받고 싶은 컨슈머가 클러스터에게 필요한 데이터를 구독 신청하면, 여러 프로듀서가 생산한 데이터 중 각 컨슈머가 신청한 데이터를 클러스터가 전달해 주는 방식이죠. 그렇기 때문에 시스템 간 직접적인 연결 없이 데이터를 안정적이고 효율적으로 교환할 수 있어요. 이를 통해 링크드인에서는 기존 복잡한 아키텍처의 주요 원인이었던 서로 다른 시스템 간의 결합도를 낮추고, 효율적인 데이터 처리와 분산 시스템의 확장성과 유연성을 크게 향상시킬 수 있었죠. 그렇다면 왜 많은 빅테크 기업들이 카프카를 선택할까요?

카프카가 주목받는 이유📣

특히 위와 같은 카프카의 기술적 장점은 실시간으로 발생하는 데이터 스트림을 빠르고 효율적으로 처리할 때 진가를 발휘하는데요. 이는 서비스 이용자가 많고, 실시간 데이터 처리가 필요한 비즈니스에서 매우 유용하게 활용될 수 있어요. 이러한 장점 때문에 빅테크 기업들은 대용량의 데이터를 처리하고 실시간으로 분석하여 비즈니스 의사 결정을 내리는 데 카프카를 사용하고 있죠. 

대표적인 예로 넷플릭스(Netflix)에서는 전 세계 규모의 네트워크 환경에서 데이터를 수집, 통계, 처리, 적재하기 위한 파이프라인을 연결해 주는 역할로 카프카를 사용하고 있어요. 우버(Uber)는 탑승자와 운전자의 모바일 앱, GPS, 지도 서비스 등의 데이터 프로듀서로부터 이벤트 데이터를 수집하기 위해 카프카를 사용하고 있죠. 이외에도 머신러닝 분야에서 분석 모델과 상용 앱 간 데이터를 전송하는 플랫폼으로 카프카를 사용하거나, IoT 기기들이 이벤트 기반 시스템에서 안정적으로 구동할 수 있도록 카프카를 사용하기도 해요. 이처럼 카프카는 분산 스트리밍 플랫폼으로서, 대용량 데이터를 실시간으로 처리하고, 높은 처리량과 확장성을 제공하는 데 큰 장점을 갖고 있어요. 하지만 이러한 장점에도 불구하고 카프카가 모든 상황에서 최적의 솔루션이라고 할 수는 없어요.

어떤 시스템에서 카프카를 사용하면 좋을까요?🤷‍♂️