💌A/B 테스트, 알긴 아는데 그게 뭐죠?😅

2024. 5. 3.

2024/05/03 금요일

구독하기 | 이전 뉴스레터

📌오늘의 파쓰레터 Summary

✅ 오늘의 파쓰 지식 : A/B 테스트란 무엇인지, 왜 필요한지에 대해 알려드릴게요!

✅ 파쓰와 함께 훑는 플랫폼 트렌드 : 변화무쌍한 소비 형태를 나타내는 '리퀴드 소비(Liquied Consumption)'에 대해 소개해요!

✅ 파쓰가 전하는 테크 샤라웃 : 이번 주 파쓰가 엄선한 여기어때, 구글, 쏘카, 롯데ON의 테크 블로그 소식을 알려드릴게요!

✨ 오늘의 파쓰 지식

A/B 테스트 왜 필수일까❓

#온라인통제실험 #A/B테스트

파써분들은 플랫폼을 이용할 때 나에게 뜨는 기능이 친구의 화면에는 뜨지 않는다거나, 새롭게 업데이트되었다는 기능이 나에게는 보이지 않는 경험을 해본 적 있으신가요? 아마도 해당 플랫폼에서 A/B 테스트를 진행할 경우 이런 일들이 왕왕 발생할 수가 있는데요. 오늘은 서비스를 기획하신 분들이라면 익히 들어보셨을 A/B 테스트란 무엇인지와 왜 필요한지에 대해 파쓰가 소개해 줄게요!

A/B 테스트란 무엇일까🤔

A/B 테스트란 디지털 환경에서 실사용자를 대상으로 대조군(Control Group)과 실험군(Experimental Group)으로 나누어서 어떤 특정한 UI나 알고리즘의 효과를 비교하는 방법론이에요.

자세히 설명드리자면, 먼저 우리 제품을 사용하는 고객분들을 무작위(random)로 추출하여 대조군(control group), 실험군(treatment group) 두 그룹에 배치합니다. 특별한 이유가 없는 한, 실험군과 대조군을 균등한 비율로 나눠줘요. 이후로는 우리 제품에 관한 도메인 지식, 그 이전의 고객 분석 결과, 실험 결과 등을 바탕으로 가설을 세우고, 이 가설에 기반한 실험적 기능(feature)을 제품에 반영해요. 실험군에는 이것이 반영된 새로운 시스템을, 대조군에는 기존 시스템을 보여주는 것이죠. 여기서 실험적 기능은 UI의 변화일 수도, UX의 변화일 수도 있어요.

그리고 사전에 정해둔 실험 기간 동안 각 군의 고객들 데이터를 모읍니다. 마지막으로 실험 기간이 종료되면 적재해 둔 데이터를 바탕으로, 실험군과 대조군이 각각 경험한 두 시스템 중 어떤 시스템이 고객들에게 더 나은 경험을 제공했는지 분석을 수행하는 것이죠!

미국 전 대통령 오바마 선거에도 A/B 테스트가?🧐

A/B 테스트가 널리 알려지게 된 계기는 2008년 미국 대선이었는데요. 2008년, 2012년 대선 캠페인 활동에 A/B 테스트를 적극적으로 활용하여 사이트 내 정책이나 큰 변형 없이 단순히 UI/UX를 개선하는 것만으로 엄청난 성과를 낸 사례는 유명하죠.

미국의 대선의 경우에는 많은 후원자를 모아 대선자금을 마련하는데요. 특히나, 온라인 후원의 대부분은 이메일 뉴스레터 구독자에게서 이뤄진다고 해요. A/B 테스팅 플랫폼 옵티마이즐리(Optimizely)의 최고 최적화 책임자이자 오바마 사이트의 웹 개발 이사였던 카일 러쉬는 오바마 웹 사이트에서 500건의 A/B 테스트를 통해 이메일 수집률을 161%나 증가시키고, 후원 전환율을 49%나 올렸다고 해요! A/B 테스트를 통한 단순한 UI 변화만으로 엄청난 성과를 일으켰던 것이죠👏

<출처: https://url.kr/j5buc3>

A/B 테스트가 적용된 넷플릭스의 메인 화면🖥️

A/B 테스트의 또 다른 대표적인 사례로 넷플릭스 메인 화면 개선 작업이 있어요. 넷플릭스에서는 사용자들에게 회원 가입을 하기 전 어떤 화면을 원하는지 조사하였고, 조사 결과 약 46% 사용자들에게 '시청할 수 있는 영화와 TV 쇼 목록'이라는 답변을 받았어요. 이 설문조사를 반영하여 목록 콘텐츠를 제공한다면 가입률을 개선할 수 있을 것이라는 가설을 세웠고 아래 사진과 같이 기존 A안과 개선한 B안으로 A/B 테스트를 진행했죠.

<출처: https://www.2e.co.kr/news/articleView.html?idxno=209836>

하지만 기대한 결과와는 다르게 A에 비해 B의 가입 전환률이 낮아진 결과를 확인할 수 있었습니다. 원인은 시청 목록 화면에서 가입 페이지로 바로 전환되는 것이 아니라 오히려 탐색으로 인해 가입 전환 콘텐츠 영역에서 벗어나게 되고, 또한 원하는 콘텐츠가 없을 시 좌절감을 느껴 이탈하게 되는 경우가 발생하였기 때문이었죠.

이에 따라, 넷플릭스는 흥행하고 있는 콘텐츠를 배경화면으로 일부 보여주되, 사용자들이 가입 전 콘텐츠 목록을 탐색하지는 못하도록 만들어 가입률을 높이는 방식으로 개선하였어요. 그것이 바로 현재의 넷플릭스 진입 시 화면이죠! 즉, 넷플릭스는 A/B 테스트를 통해 사용자의 행동을 "실제로" 유도하는 방향으로 설계할 수 있었습니다.

<출처: 넷플릭스 홈페이지>

왜 A/B 테스트를 해야 할까요❓

위의 예시 외에도 마이크로소프트, 구글, 아마존, 에어비앤비 등 해외 빅테크 기업에서도 계속해서 A/B 테스트 실험을 하고 끊임없이 연구하고 있어요. 또한 그 내용을 논문이나 아티클로 공유하기도 하죠! 그렇다면 왜 이러한 기업들은 계속해서 A/B 테스트를 하는 것일까요?

#직관이 아닌 데이터에 기반한 가설 증명!
이전에는 서비스를 디자인하는 과정에서 의사 결정권자의 직관 혹은 사용자의 말들에 의지하여 선택을 내렸는데요. 이렇다 할 검증 없이 실질적으로 효과가 없는 방향으로 서비스를 수정했다가 상당한 시간적/금전적 비용이 발생하게 되는 경우가 많았어요. 이때, A/B 테스트는 정량적인 데이터를 바탕으로 고객들의 행동 패턴을 파악하기 때문에 성공 가능성을 높이고, 최대한의 효과와 효율을 통해 리스크를 일부분 줄일 수 있어요!

#서비스의 이탈률은 줄이고 전환율은 증가!

우리 서비스가 갖고 있는 가장 매력적인 포인트가 무엇인지 확인하고 어떤 단계에 가장 초점을 맞춰서 서비스를 개발/개선해야 할지 파악하는 것은 굉장히 중요한데요. A/B 테스트는 지속적인 실험을 통해 사용자가 어떤 변수에 반응하고 호감을 느끼는지 관찰하며 우리 사용자가 어떤 것을 좋아하는지, 어떤 것을 싫어하는지를 파악할 수 있어요. 이는 사용자의 이탈률을 감소하고 전환율을 증가시킬 수 있는 효과적인 방안으로 작용할 수 있죠!

#단/장기적인 관점에서 수익률 증가!

단순히 일회성으로 끝나지 않고 반복적인 실험을 통해 고객에 대한 유의미한 데이터를 지속적으로 쌓는다면 이는 고객을 학습하는 과정이 되고, 실효적인 가설을 세우고 제품을 개선하는 데 긍정적인 영향을 미칠 수 있어요! 결국 어떤 형태가 높은 구매 전환율로 이어지는지를 알 수 있게 되고, 실험을 통해 빠르게 확인하고 개선안을 신속하게 적용함으로써 수익률 면에서도 우위를 차지할 수 있게 되는 것이죠!

파쓰 Talk🤓

오늘은 A/B 테스트란 무엇인지, 왜 중요한지에 대해 소개 드렸는데요. 아마존의 CEO 제프 베조스는 다음과 같이 말했습니다.

"아마존에서의 성공은 1년, 1달, 1주, 그리고 하루에 얼마나 많은 실험을 하는지에 따라 결정됩니다."

A/B 테스트를 통해 사용자가 실제로 원하는 것이 무엇인지 끊임없이 연구하고 실험한다면, 아마존처럼 사용자에게 사랑받는 서비스가 되지 않을 수 없을 것 같습니다!😊

📚참고한 자료

🔎 파쓰와 함께 훑는 플랫폼 트렌드

눈 깜짝할 새 바뀌는 소비 트렌드, 리퀴드 소비🛍️

#리퀴드소비 #소비트렌드 #MZ소비문화

요즘 유행은 눈 깜짝할 새에 변화하여서 파쓰도 따라잡는 것이 점차 힘들어지고 있는데요..😂 특히 MZ 세대들이 많이 사용하는 밈(Meme)은 체감상 일주일 단위로 새롭게 탄생하고 사라지는 것 같아요. 유행이 빠르게 변하는 것은 소비 형태에서도 마찬가지인데요. 오늘은 변화무쌍한 소비 형태를 나타내는 '리퀴드 소비(Liquied Consumption)'에 대해 소개하고자 해요!

최근 소비 트렌드는 '리퀴드 소비'💧

리퀴드 소비(Liquied Consumption)는 2017년 영국 베이즈 경영 대학원의 플로라 바디 교수와 킹스칼리지 런던의 지아나 에커트 교수가 자신들의 논문에서 처음 사용한 용어로, 액체의 중요한 특징인 모양이 변한다는 점에 착안해 비유적인 용어를 제시했어요. 액체는 담는 그릇에 따라서 변하는 것처럼 소비자들도 변한다는 것이 핵심인데요. 즉, 소비패턴이 자주, 빠르게 바뀌는 현상으로 유행에 따라 순간 마음에 드는 것을 소비하기 때문에 패턴이 일정하지 않아 소비자의 행동을 예측할 수 없는 소비 패턴을 의미하죠. 상반된 개념으로는 안정적이고 예상 가능한 소비패턴인 솔리드 소비(Solid Consumpton)가 있어요.

물론, 리퀴드 소비 현상이 나타난 것이 최근은 아니에요. 2010년대 본격적인 스마트폰 시대가 열리면서 소비자 습관이 크게 바뀌게 되었는데요. 공유 경제, 구독 경제의 활성화와 이를 연결해 주는 다양한 플랫폼이 등장하면서 소비자들의 습관도 소유에서 공유로, 공유에서 무소유로 바뀌는 모습이 나타나기 시작했어요. 쏘카, 그린카 등 차량 공유 플랫폼에서 차를 시간 단위로 저렴하게 빌리기도 하고 에어비엔비나 공유 오피스를 통해 공간을 대여하는 모습이 낯설지 않죠. 영화나 드라마는 하나의 작품만 지불해서 시청하는 게 아니라, OTT 플랫폼 이용권을 사서 구독하기도 하지요. 이렇게 공유경제, 구독경제를 비롯한 서비스가 활성화되다 보니 소비의 패턴이 바뀌며 리퀴드 소비가 떠오르게 되었어요.

리퀴드 소비 형태의 특징은❓

리퀴드 소비라는 용어를 제시한 두 교수는 리퀴드 소비의 핵심 키워드를 접근성(access), 일시성(ephemerality), 비물질화(dematerialization)로 꼽았어요. 이렇게만 들으면 잘 모르시겠죠? 각각 어떤 의미인지 친절한 파쓰가 하나씩 설명해 드릴게요!

접근성(access)
접근성은 소유가 아닌 공유나 대여를 통해 상품 · 서비스를 편리하고 자유롭게 소비하는 행태를 의미해요. 우버, 에어비앤비, 위워크와 같은 공유경제의 급성장은 리퀴드 소비의 접근성 특징을 잘 보여주는데요. 일부 MZ 세대를 중심으로 소유에 대한 집착보다는 생활 속에서 사용하는 상품이나 서비스의 공유 범위를 늘려나가고 있는 모습을 볼 수 있어요. 예전에는 돈을 모아서 명품 백이나 명품 의류를 직접 소장했다면, 요즘은 '클로젯 셰어'와 같은 플랫폼에서 직접 소유하지 않고 공유 받아 사용하기도 하지요.

일시성(ephemerality)
일시성은 상품 · 서비스의 인기나 가치가 너무 빨리 식어버리는 세태를 의미합니다. 소비자 기호와 성향이 액체처럼 시시각각 변하여서 제품이나 브랜드 충성도가 악화되고 유행 주기가 초단기화되고 있는데요. 다양한 분야의 트렌드가 있겠지만 최근 가장 빨리 변화하는 트렌드를 꼽으라면 '패션 트렌드'를 꼽을 수 있을 것 같아요. 특히, 패션 산업에는 2000년대 초중반까지만 해도 특정 패션 스타일의 유행 주기가 계절마다 3개월 정도가 평균이고, 길게는 5~6개월까지 이어졌다고 하는데요. 최근에는 패스트패션*의 영향력으로 스피드가 더욱 더 중요해지면서 유행 주기가 3주-4주 정도로 크게 줄었다고 합니다!😱

파쓰 지식📚

패스트패션이란? 간단하고 빠르게 먹는 패스트푸드처럼, 최신 유행을 즉각 반영하여 저렴한 가격으로 제작 · 유통함으로써 상품 회전율을 빠르게 승부하는 패션 사업이에요.

<출처: https://www.chosun.com/economy/weeklybiz/2023/03/23/UVTBJTS55NDOXJKKXRNR557WNY/>

뿐만 아니라, 글로벌 컨설팅 기업 액센츄어의 조사에 따르면 밀레니얼 세대의 브랜드 충성도는31~55%지만 Z세대는 16%~38%로 절반 수준이라고 해요. 엄청난 정보력과 호기심으로 하나의 브랜드에 충성하기보다는 그때그때 마음에 드는 선택지를 고르고 있죠. 마치 유튜브를 봐도 지루하게 느껴지는 장면은 빠르게 넘겨버리고 긴 영상보다는 짧은 시간 안에 공감과 즐거움을 줄 수 있는 숏폼 콘텐츠를 찾아 소비하듯이 브랜드와 상품을 소비하는 형태 또한 마찬가지가 되었어요.

비물질화(dematerialization)
비물질화 속성은 유형(有形)의 상품 · 서비스보다 소비 과정에서 무형(無形)의 경험을 중시하는 특성을 말하는데요. 소비자들은 소유 자체가 주는 기쁨보다 '경험'에서 오는 즐거움을 더욱 원하고 있어요. 그래서 새로운 경험이 되거나, 취향에 맞거나, 내 라이프스타일을 대변해 주는 등의 상품/서비스는 빠르게 확산되고 소비되죠.

이러한 '비물질화' 속성으로 인해 기업들은 제품/서비스 자체의 경쟁력 외에 구매 과정에서의 경험까지 신경 쓰게 되었어요. 예를 들어, 일본 도요타의 프리미엄 브랜드 렉서스가 서울 롯데월드타워에 자동차와 함께 커피˙디저트를 판매하는 카페 '커넥트 투'를 운영하는 것도 소비자 경험(CX)을 개선하고, 무형의 브랜드 스토리를 쌓아 올리기 위한 전략으로 볼 수 있지요.

커머스 기업 입장에서는?🚨

Gartner의 조사에 따르면, 2030년까지 리퀴드 소비가 전 세계 소비의 70%를 차지할 것으로 전망하는데요. 커머스 기업들 입장에서는 리퀴드 소비 현상의 빠른 증가세는 어렵고 까다로운 경영 환경이 닥친 것이라고 볼 수 있어요. MZ 세대 소비자들의 마음은 빠르게 변화하고 있고, 리퀴드 현상으로 제품 유행 주기가 점점 짧아지다 보니, 제조 기업이라면 자사의 제품이 불티나게 팔린다고 해서 공장의 생산설비를 확대 투자 결정하기도 쉽지 않아요. 또한 하루아침에 유행이 끝날지도 모르는데 공격적인 마케팅 비용을 계속 집행해야 할지 등의 의사결정을 내리기가 점점 어려워지고 있죠!

이런 와중에 일시성이라는 리퀴드 소비의 특징을 역이용하는 기업도 있는데요! 미국의 유명 멕시칸 음식점 치폴레(Chipotle)는 BTS 정국이 유튜브에서 치콜레로 잘못 발음하고 이슈가 되자 바로 트위터 계정명을 치콜레(Chicotle)로 바꿔 마케팅 효과를 누리기도 했어요🤣 또한 농심은 인기 라면 제품인 '너구리'를 온라인에서 한 외국인이 글자를 뒤집어 'RtA'라고 읽은 것이 회자되자 즉시 '앵그리 RtA'라면을 한정 출시해 2주 만에 400만 개 이상 판매하기도 했죠.

좌) 트위터 계정 이름을 치콜레로 바꾼 미국 멕시칸 음식 체인 치폴레, 우) 외국인들의 별칭에 따라 RtA 제품을 출시한 농심 <출처: @Chipotle Tweets , 농심 홈페이지 >

이처럼 빠르고 기상천외한 브랜드의 대응으로 소비자에게 짧은 순간 재미를 주는 것도 바람직하죠! 그러나 이러한 대응만으로는 리퀴드 소비 시대를 근본적으로 헤쳐나가기는 어렵습니다. 기업은 리퀴드 소비가 보여주는 속도감에 놀라 브랜드 강점을 간과하거나 대응에만 급급해 촘촘히 갖춰야 할 에코 시스템을 뒷전에 놓치지는 않았는지, 소비자에게 본질적 니즈를 충족시키고 있는지 계속해서 점검해야 하겠지요!

📚참고한 자료

📨 파쓰가 전하는 테크 소식

파쓰가 소개하는 주간 테크 소식

이번 주 파쓰가 엄선한 주요 플랫폼의 테크 블로그 소식을 알려드릴게요!

1️⃣[구글] Smarter ads, better results: The next era of digital advertisiing

구글의 부사장 겸 광고 총괄 매니저 Vidhya Srinivasan는 디지털 광고의 미래는 AI와 개인정보보호가 키워드가 될 것으로 예상했어요. 2023년은 새로운 인공지능 기술 도입에 초점을 두었다면 2024년에는 캠페인 설정부터 광고 경험에 이르기까지 광고 과정 전체를 생성형 AI(Generative AI)를 활용하게 될 것이라고 해요. 앞으로 검색과 유튜브 광고도 AI를 활용해 더 효과적이고 새로운 방식으로 진화할 것이라고 합니다. 어떻게 활용될 수 있을지 궁금하시다면 아래 내용을 통해 확인해 보세요!

본문 확인하기

2️⃣[여기어때] 리뷰를 쓰면 한정판 굿즈를 준다고?

여기어때에서 예약한 여행에 대한 리얼 리뷰 1,000만 건 중 지속적으로 우수 후기를 남겨주시는 상위 0.1%, 일명 "트립 홀릭"에 선정된 분들에게 한정판 굿즈를 제공한다고 하는데요. 여기어때팀에서 "2024 트립 홀릭 굿즈"를 만드는 스토리를 나누어주셨어요!

본문 확인하기

3️⃣ [쏘카] 웹 프론트엔드 개발자들은 어떤 일을 할까요?

쏘카의 회사 문화, 서비스는 많이 들어봤지만 세부적인 직무에 대해서는 정보를 찾기 어렵지 않나요? 올해 12주년을 맞이한 쏘카지만, 웹 서비스팀은 2020년에 신설된 짧은 역사를 가진 팀이라고 합니다. 웹 프론트엔드 개발자를 꿈꾸고 있다면 또는 쏘카의 웹 프론트엔드가 어떻게 개발되고 있는지 자세하게 알고 싶다면 지금 바로 확인해 보세요!

본문 확인하기

4️⃣ [롯데ON] 주문완료 알림톡, 고객에게 중요할까?

커머스 플랫폼에서는 단순히 플랫폼 내에서 상품 주문이 끝났다고 사용자 경험이 종료되는 것은 아니라고 합니다. 주문 완료 이후에도 주문 정보를 확인하고 배송상태를 체크하고, 배송받은 상품을 확인하는 등 고객들에게는 다양한 과정들이 남아있는데요. 롯데ON에서 주문완료 이후에 플랫폼 밖에서 일어나는 알림톡 서비스를 개편하면서 앱 너머의 사용자 경험을 개선했다고 합니다. 전달될 메시지를 세분화하고 고객에게 얼마나 중요한가를 기준으로 정보의 위계를 나누고 이에 따라 구조를 개편하였다고 하는데요. 플랫폼 밖에서의 사용자 경험까지도 놓치기 싫으시다면 꼼꼼히 확인해 보실까요?

본문 확인하기