얼굴 합성의 놀라운 기술발전, 내 얼굴도 톰크루즈

은행 상담사, 연기자, CF모델…버추얼휴먼(가상인간)의 활용도가 점점 많이 늘고 있습니다. 버추얼휴먼 제작 기술도 고도화하고 있습니다. 각 회사들이 공들이는 중요 기술 중 하나가 정지된 2차원(2D) 이미지 정보만으로 3차원(3D) 이미지나 영상을 만드는 렌더링 기법입니다. 이를 통한다면 사진 한 장으로 실제로 사람 같은 가상인간을 만들 수 있습니다.

근래엔 삼성 AI연구센터에서 이같은 렌더링 기술 연구결과가 나왔습니다. 정지된 이미지를 활용해 움직이는 실제 같은 고화질 ‘뉴럴 아바타’ 영상을 만들 수 있는 AI 모델을 제시한 게 주요 내용입니다.

 

뉴럴 아바타는 AI 기능을 사용해 2D 정보를 기반으로 만든 3D 아바타를 뜻합니다. 삼성은 이 기술을 수년간 꾸준히 연구하고 있습니다. 2020년엔 삼성AI포럼에서 뉴럴 아바타를 공개하기도 했습니다. 세계 일곱 곳에 퍼져 있는 삼성 AI연구센터 중 러시아연방 모스크바센터가 이 연구결과를 주도하고 있습니다. 삼성은 서울시, 미국 실리콘밸리·뉴욕, 영국 케임브릿지, 캐나다 토론토·몬트리올 등에도 AI연구센터를 세워 기술 연구를 하고 있습니다.

 

삼성 AI 연구진은 연구결과에서 고화질 이미지 데이터와 중화질 영상 데이터를 모아 새로운 아바타 영상을 만드는 법을 안내했습니다. 중간 화질 영상을 학습한 모델이 고해상도 이미지 데이터를 사용해 고화질(1024x1024) 아바타를 만드는 게 특징입니다. 연구진은 이 방법에 ‘메가픽셀 포트레이트(메가포트레이트)’라는 이름을 붙였습니다.

 

이는 움직이는 영상을 새로 합성하기 위해 많은 이미지 데이터가 필요한 대부분의 기존 방법보다는 월등히 쉽습니다. 합성 이미지 자료로 정면을 보는 상반신 사진 딱 한 장만 있으면 됩니다.

 

이에 따르면 AI 모델이 영상 데이터에서 얼굴 움직임과 표정 등을 추출·학습해 ‘드라이버 프레임’을 만듭니다. 눈웃음, 찡그림, 끄덕임 등을 표현할 경우 각기 어떤 cg을 써야 하는지 기본 뼈대를 여럿 획득해 놓는 단계입니다.

 

이 ‘뼈대’에 AI가 이미지 데이터를 기초으로 조사한 아바타 외형을 더하면 움직이는 영상 아바타가 나옵니다. 일부 빈 정보는 AI 알고리즘이 메우기도 합니다. 아바타가 머리를 돌리는 장면을 구현하기 위해 정면을 보고 있는 원본 사진에 나오지 않았던 옆얼굴 cg을 만들어내는 식입니다.

 

 

연구진은 뉴럴 아바타의 시선 cg을 개선해 보다 생생한 가상인간을 구현하는 방법도 개발했습니다. 기존 가상인간 cg이 여전히 실제와 가장 다르다고 지적받는 눈빛을 보다 생동감있게 표현하기 위해서입니다.

 

메가포트레이트는 AI가 주요 내용만 압축해 모델을 경량화하는 지식 증류 방법도 사용합니다. 특정 영상을 학습해 표정과 움직임 등을 새로운 이미지에 빠르게 적용할 수 있도록 하기 위해서입니다. 이를 통한다면 전·후처리 작업이 없이도 실시간으로 가상 아바타 영상을 만들 수 있습니다.

 

연구진은 이를 적용한 경우로 한 남자의 영상이 영화 연기자나 서양화 인물과 같은 외양에 적용된 모습을 시연했습니다.

 

삼성리서치는 앞서 뉴럴 아바타가 줌이나 팀즈 등 화상논의에서 쓰일 수 있을 것으로 전망했습니다. IT업계에선 이 기능이 AR·VR 기반 메타버스에서도 쓰일 수 있을 것으로 보고 있습니다.

 

가상 세계의 아바타가 실제로 사용자가 말할 경우 입모양까지 실시간으로 구현한다면 훨씬 생생한 상호작용을 할 수 있습니다. 가상 오피스가 실제로 회사를 완전히 대체할 수 있을 수준로 메타버스가 고도화할 수 있다는 얘기입니다.

 

일각에선 이같은 기능이 보편화 될 경우 초상권 침해나 '딥페이크' 기반 가짜보도, 로맨스 스캠(온라인 연인 관계를 빙자한 사기)와 같은 역효과가 늘어날 것이라는 염려도 있습니다.

 

누군가가 온라인에서 완전히 다른 사람인 척 하면서 남들을 속일 수 있다는 겁니다. 기존엔 전화·채팅 사기에 그쳤던 것들이 영상 기반으로까지 퍼질 수 있다는 경고입니다. 특별히 요즘은 SNS나 메신저를 통해 또 다른 이의 사진을 쉽게 구할 수 있어 이같은 문제가 급하게 확산할 수 있습니다.

 

작년 3월 틱톡에 올라온 톰 크루즈 딥페이크 영상.

 

작년엔 할리우드의 인기 연기자 톰 크루즈의 얼굴을 합성한 딥페이크 영상이 SNS 플랫폼 틱톡에 올라와 이슈를 끌기도 했습니다. 실제로는 톰 크루즈와 전혀 관계가 없는 인물이 만든 영상입니다. 한 IT 회사 담당자는 "기능을 개발하는 회사들도 가상 인간이 확산하면서 나올 수 있는 윤리적·법률적 과제에 대응하기 위해 많은 대비책을 강구하고 있다"고 말했습니다.

 

“가상인간이라니” 실시간 뉴스까지 등장

“가상인간이라니” 실시간 뉴스까지 등장

과자 튀겼던 식용유, 이제 내차에 주유한다

과자 튀겼던 식용유, 이제 내차에 주유한다

대장 내시경 '물 고문 4ℓ' 없앨 마법의 알약

대장 내시경 '물 고문 4ℓ' 없앨 마법의 알약