💌 딥페이크 기술, 어디까지 왔을까? 🕵️‍♂️

2024. 9. 27.

2024/09/27 금요일

구독하기 | 이전 뉴스레터

📌오늘의 파쓰레터 Summary

✅ 파쓰와 함께 훑는 플랫폼 트렌드 : 오늘은 파쓰와 함께 딥페이크 기술이 얼마나 발전했는지 알아보아요!

✅ 파쓰가 전하는 테크 샤라웃 : 여기어때, 배달의민족, 컬리의 테크 블로그 소식을 소개합니다!

🔎 파쓰와 함께 훑는 플랫폼 트렌드

💌딥페이크 기술, 어디까지 왔을까? 🕵️‍♂️

#딥페이크, #AI, #딥러닝

‘딥페이크(Deep Fake)’라는 단어, 한 번쯤 들어보셨을 텐데요. 최근 들어 '딥페이크(Deep Fake)' 기술을 이용한 범죄 사례가 늘어나면서 이에 대한 관심과 언급이 많아지고 있어요. 이번 파쓰레터에서는 딥페이크 기술에 대해 상세하게 알아보아요!

<출처: 딥페이크, 현실과 가짜의 경계를 허무는 위험한 기술 < 오피니언 < 기사본문 - 미디어인뉴스>

딥페이크의 시작과 역사⏲️

✅2017년, 딥페이크의 시작😳

'딥페이크’라는 용어의 사전적 의미는 ‘딥러닝(Deep Learning)’과 ‘페이크(Fake)’의 합성어로 인공지능 기술을 이용하여 진위 여부를 구별하기 어려운 가짜 이미지, 음성, 영상 또는 그것들의 제작 프로세스 자체를 뜻해요. ‘딥페이크(Deep Fake)’라는 용어의 시작은 2017년 말 미국의 온라인 커뮤니티 레딧(Reddit)에서 처음 등장했는데요. 레딧의 한 사용자가 ‘Deepfakes’라는 이름으로 포르노 영상에 유명인의 얼굴을 합성하는 기술을 소개하면서 처음 언급되기 시작했어요.

이후 유명 개발자 커뮤니티에 딥페이크 기술을 바로 구현할 수 있는 무료 API/SDK가 공유되고, 다양한 딥페이크 제작 애플리케이션과 웹사이트 등이 생겨나면서 누구나 쉽게 딥페이크 동영상을 이용할 수 있게 되었죠. 이렇게 온라인 커뮤니티와 SNS를 중심으로 급속히 확산된 딥페이크 콘텐츠는 연예인의 얼굴을 성인 비디오에 합성하는 방식으로 사용되면서 큰 논란이 되기도 했는데요. 이때까지만 해도 딥페이크 기술을 활용한 결과물은 합성된 얼굴이 부자연스럽거나 잘못된 표정을 보이는 등 기술적 한계가 뚜렷했어요.

✅2018-2019, 딥페이크의 상업적 개발의 시작과 대중화💥

이런 기술적 한계에도 불구하고 딥페이크 기술에 대한 사람들의 관심은 계속되었는데요. 기술이 나온 초창기에는 포르노 영상 등 불법적인 용도로 사용되기도 했지만, 사람들의 관심은 점차 이 기술이 미칠 수 있는 더 넓은 범위의 영향으로 옮겨가게 되었죠.

사람들의 딥페이크 기술에 대한 관심이 점차 커질 때쯤 대중들의 호기심을 자극한 앱이 있는데요. 바로 2018년 1월 출시된 페이크 앱(Fake App)입니다. 페이크 앱은 일반인들도 쉽게 비디오 영상 속 얼굴을 다른 얼굴로 합성할 수 있게 해주는 앱인데요. 2018년 1월 레딧(Reddit)에 소개된 이후 페이크 앱은 약 12만 회의 다운로드를 기록할 정도로 화제가 되었다고 해요.

이를 기점으로 딥페이크 기술에 대한 관심은 일반 대중들에게도 인식되기 시작했고, 2019년을 기점으로 기술의 발전도 더욱 빨라졌는데요. 딥페이크에 활용되는 딥러닝 알고리즘이 점점 더 정교해지고, 이를 위한 데이터 셋도 방대해지면서 이제는 사람이 구분하기 어려운 수준의 영상이 만들어지고, 다양한 산업군에도 이를 활용하기 시작했어요.

그중 딥페이크 기술이 가장 많이 활용된 곳은 방송·미디어 산업이었는데요. 영화나 제작 과정 중 딥페이크 기술을 도입함으로써 사람의 관여를 최소한으로 줄이고, 구현해 내기 어려운 영상도 새롭게 만들어낼 수 있게 되었어요. 이를 통해 제작 시간, 비용 등에 영향을 덜 받게 되었고 기존 대비 완성도 높은 결과물 창출이 가능하게 되었다고 해요.

또한, 이 시기의 딥페이크 기술은 영상이나 이미지뿐만 아니라 목소리도 모방할 수 있는 수준까지 발전했는데요. 한때 연예인, 정치인 등 유명 인사의 얼굴과 목소리도 정교하게 모방한 딥페이크 영상들이 화제가 되기도 했어요. 예를 들어, 영상에 나타나는 사람이 실제로는 한국어만 사용 가능하지만, 영어나 프랑스어 등을 말하는 것처럼 입 모양을 바꾸어 매우 자연스럽게 외국어를 구사하는 것처럼 보이는 것도 가능했죠.

실제로 영국 축구선수 출신인 데이비드 베컴(David Beckham)이 출연한 2019년 글로벌 말라리아 인식 캠페인에서는 데이비드 베컴이 다국어를 구사하는 것처럼 자연스러운 영상을 만들어 세계 각지에 홍보하며 캠페인의 효과를 높이기도 했어요. 이는 데이비드 베컴이 중국어, 힌디어, 아랍어 등 9개 언어를 구사하며 내용을 전달하는 영상이었는데요. 해당 영상 기술을 만든 기업 Synthesia는 딥페이크 기반 더빙 기술을 활용하여 베컴이 마치 다국어를 구사하는 것처럼 자연스러운 영상을 만들어 냈다고 해요.

<다국어 더빙에 적용된 딥페이크 기술, 출처: How we made David Beckham speak 9 languages 영상 캡처 >

딥페이크의 활용성은 방송·미디어 산업에서만 국한되지는 않는데요. 2019년 7월에는 독일 뤼벡대(University of Lübeck) 의료 정보학 연구소 연구진은 딥러닝 알고리즘의 이미지 패턴 매칭 기능을 활용하여 질병 진단용 인공지능을 개발했어요. 뤼벡대 연구진은 적대적 관계 생성 신경망(GAN)을 이용하여 원본 영상과 진위 여부를 구별할 수 없는 정확도의 딥페이크 의료 영상을 만들어냈죠.

이렇게 만들어진 딥페이크 영상은 인공지능이 질병을 학습하고 정확히 진단할 수 있도록 딥러닝 하는데 사용됐어요. 환자의 사생활 침해에 대한 우려와 의료용 3D 이미지 합성에 필요한 비용 때문에 의료 영상을 분석할 데이터가 충분치 않았는데 딥페이크 기술로 이를 해결한 것이죠. 이처럼 2018-2019년의 딥페이크 기술은 다양한 산업군에 활용되며, 기술의 잠재력을 보여주는 중요한 시기였어요.

<독일 뤼벡대 의료정보학연구소, 딥페이크 기술을 활용한 엑스선 영상, 출처: arXiv>

✅2020- 2021년, 방송·미디어 콘텐츠 산업과의 시너지💪

2020년에는 딥페이크 기술이 더욱 정교해지면서 사회적 영향을 미치기 시작했어요. 특히, 코로나19 팬데믹 상황에서 가짜 정보와 음모론이 퍼지는 데 딥페이크가 사용되기도 했어요. 또한, 고해상도의 딥페이크 영상과 음성 합성 기술의 결합으로 가짜 뉴스와 허위 정보의 설득력이 더욱더 강화되었죠.

해외에서는 ‘Ctrl Shift Face’라는 유튜브 채널은 딥페이크 기술을 활용해 영화배우들의 얼굴을 교체하는 다양한 영상을 공개하며 큰 화제를 모으기도 했는데요. 점차 딥페이크 기술이 고도화됨에 따라 국내에서도 방송·미디어 콘텐츠 산업에 접목되는 사례가 나타나기 시작했어요. 제작자의 시간, 비용, 기술적 제약을 보완함과 동시에 완성도를 높이고, 배우가 소화 가능한 연기의 범위를 확장하는 데 딥페이크 기술이 활용되었어요.

국내에서는 2020년 Mnet의 <AI 음악 프로젝트 다시한번>에서 그리운 가수들을 AI 기술로 복원하는 프로젝트가 화제가 되기도 했습니다. '故 터틀맨'의 목소리를 AI 음성 복원 기술과 페이스 에디팅 기술*을 활용하여 최신 노래를 부르고 홀로그램을 통해 무대 위에서 공연하는 모습이 재연했는데요. 이를 위해 과거 터틀맨의 동영상과 사진 자료를 토대로 AI 얼굴 학습을 진행하고, 이후 대역 연기자가 촬영해 얼굴 부분만 합성하는 방법으로 실제 무대에 오른 것처럼 제작했다고 해요. 이 방송은 5일 만에 유튜브 공연 영상 조회수 300만 회를 넘겼고, 댓글창은 "감동적인 추모였다"라는 찬사로 가득했죠.

비슷한 사례로 2021년 tvN에서 방영된 드라마 <나빌레라>에서는 배우가 소화할 수 없는 장면에 대역을 활용해 AI로 하여금 대역의 동작을 학습시키고, 이후 편집 과정에서 배우의 얼굴을 합성시키는 페이스 에디팅 기술을 활용하기도 했습니다.

* 페이스 에디팅 기술이란? 기존의 GAN 기술을 얼굴에 특화한 것으로, 사람의 얼굴을 교체하는 기술을 뜻함.

<출처 : Mnet TV AI음악프로젝트 ‘다시 한번’>

✅2022-2023년, 실시간 생성부터 과거 모습까지 연출이 가능한 딥페이크의 진화🆙

2022년에는 실시간으로 딥페이크 영상을 생성하는 기술까지 등장했어요. 실시간 화상 회의나 스트리밍 방송에서도 실시간으로 얼굴을 바꾸거나 목소리를 변조가 가능했는데요. 실시간으로 생성된 딥페이크 영상은 낮은 지연시간과 고해상도의 영상을 제공하여 실제와 거의 구분이 어려운 수준까지 도달했죠. ZOOM이나 Skype와 같은 화상 회의 플랫폼에서도 이를 활용하여 실시간으로 얼굴을 바꾸거나 목소리를 변조하는 기술이 소개되기도 했어요.

뿐만 아니라, 영상 미디어 산업에서는 AI 기술이 콘텐츠 제작에 본격적으로 활용되면서 다양한 볼거리를 제공했는데요. 드라마나 예능에서 노년기에 접어든 배우가 전성기 시절 모습으로 되돌아가 젊어지거나, 이미 세상을 떠난 아티스트가 다시 무대에서 열창하는 모습 등을 제작한 영상들이 나오기 시작했죠. 현실에서는 불가능한 일이지만 딥페이크 기술을 이용하면서 영상에서는 얼마든지 가능한 수준까지 올라왔어요.

이러한 기술의 적용은 기존의 구현 방식을 간소화하며 TV나 OTT로 일상에서 빈번히 즐겨 시청하는 드라마와 예능과 같은 콘텐츠 제작에 활용되기 시작했는데요. 2022년에 제작된 Disney+ 오리지널 TV 시리즈 <카지노>에서는 60대에 들어선 배우 최민식이 ‘차무식'이라는 캐릭터를 30대부터 60대까지 직접 연기하며 크게 화제가 되기도 했어요. 과거 드라마에서는 일반적으로 캐릭터의 젊은 시절은 메이크업, 헤어스타일, 코디와 같이 주변 요소의 설정을 다르게 표현하거나, 이미지가 닮은 연령대의 다른 배우가 대신 등장하기도 했는데요. 이와 달리, <카지노>에서는 AI 기반 디에이징 기술을 통해 최민식의 얼굴과 목소리를 전성기 시절의 젊은 모습으로 되돌려서 맥락적인 연속성과 완성도를 높였다고 해요.

<‘카지노’의 최민식 배우(좌)와 수퍼톤의 ‘보이스 디에이징’으로 재현한 젊은 시절(우) 회상장면.출처: 디즈니+>

<카지노>에서 사용한 AI 기반 디에이징 기술은 크게 ‘페이스 디에이징’과 ‘보이스 디에이징’으로 구분되는데요. 페이스 디에이징은 최민식 얼굴에서 주름을 지우고 피부 톤을 보정하는 방식으로 연령대별 차무식 캐릭터를 구현하는 데 사용되었고, 보이스 디에이징 기술을 통해 연령대에 맞는 캐릭터의 목소리를 표현하여 극의 몰입도를 높일 수 있었죠.

이를 위해 <서울의 달(1994)>, <파이란(2001)>, <올드보이(2003)> 등 기존에 최민식이 연기한 작품에서 목소리 정보를 수집해서 분석하고 연령대별 목소리 샘플을 만들었다고 해요. 이후 현장 녹음본에서 목소리 샘플을 적용해서 보정 작업을 통해 영상 장면과 대사가 자연스럽게 어우러지도록 처리하며 차무식의 젊은 시절 목소리를 완성했다고 합니다. 이를 통해, <카지노>는 세계 최초로 영상 작품에 AI 기반의 보이스 디에이징을 활용한 사례가 되었죠.

<카지노>와 유사하게 <KB라이프생명> 브랜드 광고에서는 20대 시절의 배우 윤여정을 다시 만나볼 수 있는데요. <KB라이프생명> 광고는 국내 최초로 AI 기반의 디에이징과 딥러닝 기술을 광고 영상에 활용한 사례예요. 광고에서 윤여정의 젊은 얼굴은 디에징 기술과 딥러닝을 통해 영화 <화녀(1971)> 시절 얼굴과 현재 얼굴을 섞어서 구현할 수 있었다고 합니다.

✅2024년, 명령어 입력하면 '1분 비디오'가 뚝딱! 오픈 AI '소라'의 등장🧚‍♂️

2024년 2월, 오픈AI가 간단한 명령어를 입력하면 60초 분량의 비디오를 만들어주는 생성형 비디오 AI 서비스 ‘소라(Sora)’를 공개했는데요. 오픈AI가 문자로 대화하는 챗봇 ‘챗GPT’와 명령어로 이미지를 구현하는 ‘달리’를 갖춘 데 이어, 이제 영상 분야로까지 사업을 확장한 것이죠.

동영상은 데이터 용량이 크고, 각 사물의 움직임과 각도에 따라 물리 법칙이 달라 구현하기 어려운 콘텐츠로 여겨졌어요. 그래서 동영상 생성형 AI가 실용화되기까지는 시간이 걸릴 것이라고 예상되었죠. 실제로 2024년 2월 이전까지 공개된 동영상 생성형 AI들은 짧은 시간의 동영상을 실험적으로 생성했으나, 대부분 프레임이 끊기거나 어색한 움직임을 보였어요.

이런 상황에서 '소라(Sora)'의 고품질 비디오 결과물은 관련 업계에 큰 충격을 안겼는데요. 미디어와 영상 업계 관계자들은 이 기술이 앞으로 많은 산업의 방식과 구조를 크게 변화시킬 것이라는 것을 실감했죠. 유명 유튜버 미스터 비스트(Mr.Beast)도 '소라(Sora)' 발표 직후 소셜미디어 X(구 트위터)에 "Sam plz don't make me homeless" (샘(오픈AI CEO), 나를 노숙자로 만들지 마세요)라고 올리기도 했어요.

과거에는 딥페이크 기술을 제대로 활용하려면 어느 정도 전문 지식이 필요했는데요. '소라(Sora)'가 상용화되면, 텍스트만 입력하면 고품질 동영상 제작이 가능해질 수 있어요. 기존에는 '소라(Sora)'를 이용할 수 있는 사용자가 소수의 예술가와 영화 제작자에 한정되어 있었지만, 하반기부터는 일반 사용자에게도 공개할 계획이라고 해요. 이제 누구나 영화, 광고, 애니메이션을 손쉽게 제작할 수 있는 시대가 다가오고 있는 건데요. 이로 인해 일상생활 속 다양한 분야에 큰 변화를 가져올 것으로 보여요. 이 기술의 발전이 우리의 일상에 어떤 영향을 미칠지, 앞으로의 변화가 기대됩니다!😉

<인공지능(AI) 시스템인 ‘소라’(Sora)를 활용해 제작한 동영상 캡처본. 출처: Open AI>

파쓰 Talk🧐

지금까지 딥페이크 기술의 시작부터 현재까지 함께 알아봤어요. 점점 발전하는 딥페이크 기술, 정말 놀랍지 않나요? 앞으로 이 기술이 우리 사회에 어떤 영향을 미칠지는 아직 정확히 알 수 없지만, 한 가지 확실한 건 어떻게 사용하느냐에 따라 결과가 달라질 거예요. 기술의 진보와 함께 윤리적, 사회적 문제를 어떻게 해결할지 또한 앞으로의 과제인 것이죠.😊

📚참고한 자료

📨 파쓰가 전하는 테크 소식

파쓰가 소개하는 주간 테크 소식

이번 주 파쓰가 엄선한 주요 테크 블로그 소식을 알아볼까요?

1️⃣ [여기어때] 여행을 좋아하는 사람들에게 추천하는 여기어때 여행 도감 캐릭터

지난해 2월에 업로드한 <여기어때의 브랜드 미니 팝업 공간이 생겼어요!>에서 소개되었던 공간이 작년에 이어 올해도 재밌는 브랜드 경험을 할 수 있도록 새로운 콘텐츠로 리뉴얼 되었어요! 이번 리뉴얼은 기존의 숙소 유형 테스트(여기어때 추천 숙소 매칭 받기)에서 '나의 여행 유형 캐릭터'를 테스트할 수 있는 공간으로 업데이트되었는데요. 몇 가지 질문을 통해 나의 여행 스타일을 담은 캐릭터를 매칭 받고, 캐릭터 설명이 담긴 카드와 귀여운 씰 스티커도 수집할 수 있다고 해요. '나의 여행 유형 캐릭터 찾기'로 어떤 브랜딩 경험을 제공하고자 했는지 본문을 통해 자세히 알아보아요!

본문 확인하기

2️⃣[배달의민족] 맞춤형 콘텐츠, 배민은 사장님께 어떻게 제공할까? : 배민외식업광장 세그먼트 적용기

배달의민족은 CMS(Content Management System)를 통해 배민외식업광장에 접속하는 사장님들에게 다양한 디자인으로 시의적절한 콘텐츠들을 제공하고 있었는데요. 한 가지 아쉬운 점은 모든 사용자가 동일한 콘텐츠를 봐야 한다는 것이었다고 합니다. 그래서 우아한형제들 팀에서는 특성이 유사한 사장님들을 묶어 세그먼트를 만들고 세그먼트별로 다른 슬롯을 제공할 수 있을지에 대해 고민하였다고 합니다. 상세한 내용은 본문을 통해 확인해 보세요!

본문 확인하기

3️⃣[컬리] 함께 구매하면 좋은 상품이에요! - 장바구니 추천 개발기 2부

장바구니 추천 개발기 1부에서는 장바구니 추천 모델을 개발하는 과정에서 고민한 내용을 공유드렸다면 이번 2부에서는 고민 끝에 만들어진 아키텍처에 대한 설명을 해주신다고 합니다! 장바구니 추천 모델의 부가가치를 실제 컬리의 엔드유저에게 전달하기 위한 아키텍처 구축 이야기! 궁금하시다면 본문을 통해 자세한 내용을 확인해 보세요!

본문 확인하기