💌프란츠 카프카말고, 그냥 카프카

2024. 8. 16.

💌프란츠 카프카말고, 그냥 카프카

2024/08/16 금요일

구독하기 | 이전 뉴스레터

📌오늘의 파쓰레터 Summary

✅ 파쓰와 함께 훑는 플랫폼 트렌드 : 카프카(Kafka)의 유래부터 개념까지 넓고 얕게 알아봐요!

✅ 파쓰가 전하는 테크 샤라웃 : 카카오페이, 구글, 배달의민족의 테크 블로그 소식을 소개합니다!

🔎 파쓰와 함께 훑는 플랫폼 트렌드

프란츠 카프카 말고, 그냥 카프카🧐

#카프카 #이벤트기반 #대규모 데이터 #스트리밍 #실시간처리

카프카(Kafka)라는 데이터 플랫폼에 대해 들어보신 적 있으신가요? 우버, 넷플릭스와 같은 글로벌 기업뿐만 아니라 네이버, 카카오, 토스 등 국내 빅테크 기업들까지 다 쓰고 있다는 카프카(Kafka)! 오늘은 파쓰와 함께 카프카(Kafka)의 유래와 개념에 대해 알아봐요!

Apache Kafka(출처: https://docs.confluent.io/kafka/introduction.html)

카프카(Kafka)의 탄생

아파치 소프트웨어 재단(Apache Software Foundation)이 2011년에 오픈소스로 공개한 카프카(Kafka)는 비즈니스 기반의 소셜 네트워크 서비스인 링크드인(LinkedIn)에서 처음 개발되었습니다. 당시 링크드인에서는 사이트의 급속한 성장과 이로 인한 사용자 수의 증가, 그리고 더욱 복잡해지는 기능 요구사항에 직면하게 되었는데요. 이러한 변화는 기존의 데이터 처리 시스템으로는 해결할 수 없는 여러 문제를 야기했죠.

이때, 링크드인의 수석 엔지니어였던 제이 크렙스(Jay Kreps)와 그의 팀은 기존의 복잡하고 비효율적인 데이터 전송 방식을 개선할 수 있는 새로운 솔루션을 고민하기 시작했고, 그 해답으로 탄생한 것이 바로 카프카입니다.

이렇게 개발된 카프카는 링크드인 내부의 데이터 처리 방식을 혁신적으로 변화시켰습니다. 아래 그림처럼 여러 복잡한 절차와 시스템을 거쳐야 했던 기존의 방식을 카프카의 도입으로 훨씬 더 간단하고 효율적으로 개선시킬 수 있었는데요. 카프카를 도입하기 이전과 이후의 링크드인 시스템 아키텍처의 차이가 보이시나요? 카프카는 대체 어떤 시스템이길래 복잡한 시스템 간의 통신과 데이터 처리 과정을 효율적으로 만들 수 있었을까요?

(좌) 카프카 도입 전 링크드인 시스템 아키텍처 (우) 카프카 도입 후 링크드인 시스템 아키텍처

(출처 : https://www.confluent.io/blog/event-streaming-platform-1/)

카프카의 구성요소

카프카는 쉽게 말해 ‘데이터를 주고받는 과정을 도와주는 시스템’입니다. 즉, 현재 플랫폼에서 필요한 데이터를 A 지점에서 B 지점으로 보내주는 역할을 해요. 이 과정에서 카프카는 우리가 보내고 싶은 데이터를 안전하고 빠르게, 그리고 정확하게 전달해 주는 데 도움을 주죠.

카프카가 데이터를 처리하고 전달하는 과정에는 크게 3가지 플레이어가 개입되어 있는데요. 바로 프로듀서(Producer), 카프카 클러스터(Kafka Cluster), 컨슈머(Consumer)입니다. 하나씩 알아볼까요?

프로듀서(Producer): 프로듀서는 단어 그대로 현재 플랫폼에서 처리해야 되는 데이터를 생산하고 카프카 클러스터로 전송하는 역할을 해요. 우체국에 가서 편지나 소포를 보내듯, 프로듀서는 '데이터'라는 우편물을 '카프카 클러스터'라는 우체국으로 보냅니다.
카프카 클러스터(Kafka Cluster): 카프카 클러스터는 프로듀서가 생산한 우편물을 안정적으로 관리하고 전달하는 책임을 가진 ‘우체국’ 역할을 해요. 프로듀서가 전달해야 되는 데이터를 클러스터에 넣어주면, 클러스터가 보관하고 있다가 컨슈머에게 전달하죠.
컨슈머(Consumer): 컨슈머는 카프카 클러스터로부터 데이터를 전달받는 역할을 해요. 우체국에서 내 주소에 해당하는 우편물을 받는 것처럼 컨슈머는 카프카 클러스터에서 데이터를 받아 자신이 필요로 하는 처리나 분석을 위해 사용하죠. 즉, 컨슈머는 데이터를 사용하는 애플리케이션이나 시스템을 의미해요.

카프카의 구성요소(출처 : INF Academy)

이처럼 카프카는 기존의 시스템 간 직접적인 연결을 통해 데이터를 처리하고 전송하는 방식(end-to-end)이 아닌 카프카라는 중계자를 통해 데이터를 관리해요. 데이터를 받고 싶은 컨슈머가 클러스터에게 필요한 데이터를 구독 신청하면, 여러 프로듀서가 생산한 데이터 중 각 컨슈머가 신청한 데이터를 클러스터가 전달해 주는 방식이죠. 그렇기 때문에 시스템 간 직접적인 연결 없이 데이터를 안정적이고 효율적으로 교환할 수 있어요. 이를 통해 링크드인에서는 기존 복잡한 아키텍처의 주요 원인이었던 서로 다른 시스템 간의 결합도를 낮추고, 효율적인 데이터 처리와 분산 시스템의 확장성과 유연성을 크게 향상시킬 수 있었죠. 그렇다면 왜 많은 빅테크 기업들이 카프카를 선택할까요?

카프카가 주목받는 이유📣

카프카의 가장 큰 장점은 대규모 데이터를 처리하고 분산 환경에서 안정적으로 운영할 수 있다는 것이에요. 위에서 설명드린 것처럼 카프카가 아닌 end-to-end 통신 방식은 아래와 같이 구성되어 각 개체가 직접 연결하며 통신하게 되는 구조인데요. 이러한 구조는 전송속도가 빠르고 전송 결과를 신속하게 알 수 있는 장점이 있는 반면에, 특정 개체에 장애가 발생한 경우 메세지를 보내는 쪽에서 대기 처리 등을 개별적으로 해주지 않으면 시스템 전체에 장애가 전파될 수 있어요. 또한, 참여하는 개체가 많아질수록 각 객체를 연결해 줘야 한다는 불편함이 있죠. 이러한 문제점으로 인해 시스템이 커질수록 일반적인 메세지 통신 방식은 확장성이 좋지 않은 편인데요.

일반적인 네트워크 통신 (출처 : INF Academy)

반면에 카프카는 다음과 같은 기존 방식의 확장성 문제를 기술적 메커니즘을 통해 보완하였는데요. 어떻게 동작하길래 높은 확장성을 보장할 수 있었는지 좀 더 자세하게 알아볼까요?

1. 다량의 메시지 전달 과정을 병목 없이 처리하기

기존 시스템에서는 데이터 송수신이 동기적으로 이루어져야 했는데요. 즉, 데이터 생산자(producer)가 데이터를 보내면 소비자(consumer)가 이를 즉시 처리해야 했습니다. 이런 방식은 소비자의 처리 속도에 따라 전체 시스템의 성능이 좌우되기 때문에 병목 현상이 발생하기 쉬운 구조이죠. 하지만 카프카는 이 문제를 해결하기 위해 데이터를 안정적으로 메시지 큐(Message Queue)*에 저장한 뒤, 원하는 소비자들에게 효율적으로 전달하는 Pub/Sub 모델*을 사용하고 있어요. 이는 다음과 같은 장점을 제공하는데요.

✅비동기 처리 : 데이터가 메시지 큐에 저장되므로 생산자는 데이터를 빠르게 보낼 수 있고, 소비자는 자신의 처리 속도에 맞춰 데이터를 가져올 수 있어요.

✅확장성 : 여러 소비자가 독립적으로 데이터를 처리할 수 있어 시스템의 확장성이 크게 향상될 수 있어요.

✅유연성: 각 소비자는 필요한 시점에 데이터를 가져올 수 있어 시스템 전체의 효율성이 높아질 수 있어요.

2. 장애 발생 시 데이터 손실 위험 낮추기

카프카는 브로커(Broker)라고 불리는 여러 서버에 데이터를 복제하여 분산 저장합니다. 이러한 데이터 복제는 서버 장애 시 데이터 유실을 방지하고, 시스템의 가용성을 높일 수 있는데요. 기존 시스템에서는 개별 서버나 네트워크 문제로 인해 데이터 손실 위험이 높았지만, 카프카는 데이터를 분산시켜 저장하여 이러한 문제를 효과적으로 해결할 수 있다고 해요.

3. 하나로 묶고, 압축하여 대용량의 데이터도 빠르게 전달하기

카프카는 데이터를 하나씩 별도의 요청으로 전달하는 것이 아니라 여러 데이터를 모아 하나의 요청으로 보내는, 즉 배치(Batch) 형태로 동작을 수행해요. 이렇게 데이터를 모아서 전송하면 지연시간을 줄일 수 있어 네트워크로 인한 병목을 일부 해소할 수 있게 되죠. 여기에 더해 배치의 전송 효과를 좀 더 극대화할 수 있는 압축(Compression) 기능도 제공하는데요. 이를 통해 대용량의 데이터도 효율적으로 압축하여 빠르고 안정적으로 전송할 수 있습니다. 또한, 압축된 데이터는 전송 시 필요한 대역폭을 줄여주어 네트워크 비용을 절감하고, 전송 속도를 향상시킬 수 있다고 해요.

이러한 기술적 특성 덕분에 카프카는 단순한 중계 시스템 이상의 기능을 제공합니다. 이를 통해, 대규모 데이터를 효율적으로 처리하고, 높은 처리량과 낮은 지연 시간으로 시스템의 안정성과 확장성을 보장합니다. 결과적으로 기존 시스템보다 더 효과적인 데이터 처리와 전송이 가능해졌어요.

* 메세지 큐(Message Queue)란? 분산화된 환경에서 발신자와 수신자 사이에서 메세지를 전송하고, 수신하는 기술을 의미해요. 메세지 큐를 사용하면 발신자와 수신자가 서로를 직접 알 필요가 없으므로 느슨한 결합(decoupling)을 만들어 낼 수 있으며, 발신자/수신자 서로가 서로에게 의존하지 않아 각각 독립적으로 확장(scalable) 될 수 있어요.

* Pub/Sub 모델이란? 메세지 큐 시스템, 메세징 패턴 중 하나로 Pub(Publisher)가 메세지 저장소(Topic)에 메세지를 보내면 해당 Topic을 구독해놓은 Sub(Subscriber) 모두에게 메세지가 전송되면서 데이터 교환이 이루어지는 방식이에요. 비동기식 메시징 패턴이기 때문에 Publisher가 연산해야 할 Topic을 Publish 하면 Topic을 가져갈 Subscriber가 받아서 해야 할 일을 처리하고, 처리하는 시간 동안 Publisher는 다른 작업을 수행할 수 있다는 장점이 있어요.

특히 위와 같은 카프카의 기술적 장점은 실시간으로 발생하는 데이터 스트림을 빠르고 효율적으로 처리할 때 진가를 발휘하는데요. 이는 서비스 이용자가 많고, 실시간 데이터 처리가 필요한 비즈니스에서 매우 유용하게 활용될 수 있어요. 이러한 장점 때문에 빅테크 기업들은 대용량의 데이터를 처리하고 실시간으로 분석하여 비즈니스 의사 결정을 내리는 데 카프카를 사용하고 있죠.

대표적인 예로 넷플릭스(Netflix)에서는 전 세계 규모의 네트워크 환경에서 데이터를 수집, 통계, 처리, 적재하기 위한 파이프라인을 연결해 주는 역할로 카프카를 사용하고 있어요. 우버(Uber)는 탑승자와 운전자의 모바일 앱, GPS, 지도 서비스 등의 데이터 프로듀서로부터 이벤트 데이터를 수집하기 위해 카프카를 사용하고 있죠. 이외에도 머신러닝 분야에서 분석 모델과 상용 앱 간 데이터를 전송하는 플랫폼으로 카프카를 사용하거나, IoT 기기들이 이벤트 기반 시스템에서 안정적으로 구동할 수 있도록 카프카를 사용하기도 해요. 이처럼 카프카는 분산 스트리밍 플랫폼으로서, 대용량 데이터를 실시간으로 처리하고, 높은 처리량과 확장성을 제공하는 데 큰 장점을 갖고 있어요. 하지만 이러한 장점에도 불구하고 카프카가 모든 상황에서 최적의 솔루션이라고 할 수는 없어요.

어떤 시스템에서 카프카를 사용하면 좋을까요?🤷‍♂️

카프카는 대규모 데이터 처리와 분산 환경 운영에 특화되어 있어요. 작은 규모의 데이터 처리에 카프카를 사용하는 것은 시스템에 불필요한 오버헤드를 초래할 수 있어요. 카프카의 구축 및 운영이 분산 시스템의 특성상 복잡한 설정, 유지 관리가 필요하고, 이로 인해 추가적인 노력과 비용이 발생할 수 있기 때문이죠.

이제 막 서비스를 시작하여 병렬적으로 처리해야 하는 기능이 많지 않거나, 실시간으로 전달해야 하는 데이터의 양이 많지 않다면 처음에는 카프카보다는 좀 더 간단하고 가벼운 시스템을 고려할 수 있어요. 데이터 양이 상대적으로 적고 데이터 모델이 단순한 시나리오에서는 전통적인 관계형 데이터베이스 관리 시스템(RDBMS)이 더 적합할 수 있습니다. 또는 Redis나 RabbitMQ와 같은 메시지 브로커를 사용할 수 있지요. 이런 간단한 시스템을 사용하면 처음에는 더 적은 비용과 노력으로 데이터를 처리하고 관리할 수 있어요. 따라서 카프카의 도입 여부는 데이터의 양, 처리 속도, 시스템의 복잡성, 시스템의 요구사항과 목적 등을 고려하여 결정하는 것이 중요해요!

🤔파쓰 Talk

오늘은 카프카에 대해서 알아봤는데요. 아래와 같은 고민을 하고 있는 파써라면 카프카가 최적의 솔루션이 될 수 있어요! 한 번 확인해 보세요!

✅ 동기/비동기 데이터 전송에 대한 고민하고 있나요?

✅ 실시간 데이터 처리에 대한 고민이 있나요?

✅ 현재 데이터 처리량에 대한 한계를 느끼고 있나요?

✅ 현재 데이터 파이프라인이 너무 복잡하게 구성되어 있나요?

✅ 데이터 처리의 비용 절감을 고려하고 있나요?

📚참고한 자료

📨 파쓰가 전하는 테크 소식

파쓰가 소개하는 주간 테크 소식

이번 주 파쓰가 엄선한 주요 테크 블로그 소식 한번 알아볼까요?

1️⃣ [카카오페이] Redis on Kubernetes 플랫폼을 구성해 나가기

오픈 소스 기반의 데이터베이스 관리 시스템인 Redis 플랫폼을 Kubernetes 환경에서 구성하는 것에 있어서 많은 기업들이 고민중에 있습니다. 그 이유는 Redis는 안정성이 매우 중요한 플랫폼이고 컨테이너 환경에서는 레퍼런스가 많지 않아 실제 프로덕션 환경에 운영하는 데에 부담이 될 수 있기 때문인데요. 해당 본문에서는 Redis를 Kubernetes 환경에서 구성하고 1년여 넘게 안정적으로 운영할 수 있었던 이야기를 들려 준다고 합니다!

본문 확인하기

2️⃣ [Google] Google AI를 활용하여 고객과 소통하는 방법

쇼핑 방법이 다양해짐에 따라 점점 더 복잡해지는 고객의 구매 여정을 파악하기 어려우신가요? AI 기반 솔루션을 통해 이러한 새로운 쇼핑 습관에 지속적으로 적응할 수 있는 전략을 수립할 수 있다고 합니다. 어떻게 도움이 되는지 궁금하시다면 본문을 통해 확인해보세요!

본문 확인하기

3️⃣ [배달의민족] 리뷰를 재료로 GPT가 뚝딱뚝딱 만들어낸 메뉴 추천, 메뉴 뚝딱 A.I

ChatGPT의 등장이 실제 비즈니스에 어떠한 가치를 가져다줄 수 있을지 많은 논의가 있는 가운데, 배달의민족 팀은 사용자들의 평가 리뷰 데이터를 기반으로 메뉴 추천을 할 수 있는 서비스를 고안했다고 합니다. 약 3개월간의 개발과 테스트를 거쳐 드디어 배민 앱에 적용된 '메뉴 뚝딱 AI'. 과연 어떠한 과정을 거쳐 탄생했는지 함께 알아보시지요!

본문 확인하기