통권 제392호-딥페이크를 식별하는 방법
페이지 정보
작성자 최고관리자 댓글 0건 조회 1,481회 작성일 23-12-29 11:49본문
딥페이크 (Deepfake) = 딥 러닝(Deep learning) + 가짜(Fake)
인공지능 관련 기술들이 하루가 다르게 눈부시게 발전하고 있다. 이에 따라 조금의 노력으로도 선별된 고급 정보를 얻기 매우 쉬워지는 세상으로 변모하고 있다. 하지만 인공지능 발전으로 인해서 장점만 있는 것은 아니다. 가짜 정보가 판을 치고 있으며, 인공지능을 이용한 범죄와 같이 이전에는 볼 수 없었던 새로운 범죄마저 늘고 있다. 이 중 가장 대표적인 문제 중 하나로 딥페이크 (Deepfake) 관련 범죄를 들 수 있다.
딥페이크는 딥 러닝(Deep learning)과 가짜(Fake)의 혼성어로, 인공 지능 기반 인간 이미지 합성 기술을 뜻한다. 즉, 딥페이크는 인공 지능, 더 정확하게는 머신러닝을 사용하여 제작된 오디오와 비디오 파일을 설명하는 용어를 나타낸다. 주로 기존에 있던 인물의 얼굴이나 영상을 토대로 프레임 단위로 합성시키며 마치 실제 사람과 같은 형태와 동영상을 만들어 내는 기술이다.
이러한 합성 동영상 조작은 이른바 생성적 적대 신경망(GAN: generative adversarial network)으로 제작된다. 생성적 적대 신경망은 기본적으로 비지도 학습(Unsupervised Learning)에 사용되는 인공지능 알고리즘(지도 학습, Supervised Learning에도 사용 가능)으로, 더 정확한 결과를 도출하기 위해서 서로 경쟁하는 두 개의 신경 네트워크 시스템에 의해 구현되는 머신러닝 모델을 뜻한다. 예를 들면, 한 컴퓨터가 다른 컴퓨터에게 사용자의 디지털 복제품을 원본 자료와 비교하여 충분히 설득력이 있는지 알려주는 것과 같다. 이후 컴퓨터의 시스템은 똑같이 움직이고, 똑같이 소리를 내고, 똑같이 표정을 짓는지 판단하여 결과에 만족할 때까지 여러 번의 시도를 통해 스스로를 개선하는 모델이다.
딥페이크로 어디까지 가능할까?
현재는 거의 모든 종류의 딥페이크가 가능하다고 알려져 있다. 한 사람의 얼굴을 다른 사람으로 바꾸는 페이스 스왑, 입술 동기화 (말하는 사람의 입을 원본과 다른 오디오 트랙에 맞춰 조정하는 기술), 그리고 한 사람의 목소리를 복제하여 그 목소리로 말하는 음성 복제도 가능하다. 이를 이용하여 디지털 아바타처럼 완전히 합성된 얼굴과 신체를 생성할 수도 있다. 딥페이크 기술을 이용하면 플로리다의 달리 박물관(Dali museum)이 예술가 살바도르 달리(Salvador Dali)를 재현한 것과 같이 죽은 사람도 다시 살릴 수 있다. (동영상 바로 가기) 또한, 딥페이크를 이용하면 단 하루 만에 테일러 스위프트같이 노래할 수 있고, 마이클 잭슨처럼 춤을 추는 동영상을 만들 수 있다. 자신이 모르는 언어를 능숙하게 구사할 수도 있다.
한 사람의 얼굴을 다른 사람으로 바꾸는 페이스 스왑이 가능하다. © ieee.org, Facebook
이처럼 시각 영상이나 음성 녹음만 있으면 딥페이크를 이용하여 대체 현실을 만들 수 있다. 사용되는 기술은 매우 복잡하지만, 점점 더 쉽게 접근할 수 있는 세상이 되고 있다.
미디어 스푸핑에 사용되는 딥페이크
최근 우리나라뿐 아니라 전 세계를 휩쓸고 있는 큰 문제 중 하나는 미디어 스푸핑(Media spoofing)이다. 스푸핑은 눈속임을 뜻하는 ‘Spoof’에서 파생된 용어로 일반적으로 위장을 통하여 수신자에게 악의적으로 잘못된 정보를 퍼뜨리는 사기 기법 혹은 악의적인 행위를 뜻한다. 스푸핑을 일으키는 범죄자들은 반복적으로 미디어 가짜 계정을 만들며 사람들을 속이고 피싱(Phishing)을 시도한다. 이들은 상대방의 금융 정보나 민감한 개인 정보 등을 요구하며 사기를 시도한다. 이 경우 자신들의 가짜 계정을 최대한 사실적으로 보이게 하기 위해 다른 사람의 프로필 사진을 복사하고 원본과 유사한 사용자 아이디를 사용하곤 한다. 때로는 미디어 매체의 로고와 글꼴을 사용하여 가짜 콘텐츠를 만들기도 한다.
딥페이크는 온라인 미디어, 전문 서비스, 운송 관련 산업, 비디오 게임 등에 악용되고 있다. 그중 가장 심각한 문제로 이를 이용한 성범죄 관련 범죄가 늘어나고 있다는 점을 들 수 있다. 소위 리벤지 포르노(Revenge Porno)를 포함한 가짜 동영상과 이미지가 널리 퍼지면서 유명인부터 어린이에 이르기까지 다양한 성범죄 피해자가 발생하고 있다.
해외에서는 일부 정치인들이 딥페이크를 오히려 역이용하기도 한다. 이를 증명하는 일이 매우 힘들다는 것을 알기 때문에, 이 기술이 존재한다는 사실만으로도 자신이 한 말이나 실수가 딥페이크라고 주장하곤 한다.
딥페이크임을 알 수 있는 방법이 없을까?
얼핏 보면 딥페이크 동영상이 진짜인지 아닌지 알기가 매우 어렵다. 이는 하루가 다르게 발전하는 인공 지능 기술 발전에 대한 부작용 중 하나일 것이다. 하지만 마냥 이를 걱정할 수만은 없다. 최소한 이를 구분하기 위한 대비와 시도는 필요하며 딥페이크를 막을 수 있는 ‘착한’ 인공지능도 필요한 시기이다. 딥페이크임을 알고, 이를 쉽게 구분할 수 있는 방법이 없을까?
전문가들에 따르면 딥페이크를 구별할 수 있는 몇 가지 힌트가 있다고 한다. 불과 몇 년 전에는 이를 구분하는 방법으로 동영상 화질이 좋지 않거나 비정상적인 입 모양 등을 찾아내는 방법으로 딥페이크를 구분했다. 하지만 현재는 딥페이크의 품질이 꾸준히 향상되고 있기 때문에 이러한 방법으로 딥페이크를 구분하기는 점점 어려워지고 있다. 물론 현재도 여전히 딥페이크에서는 말하는 내용과 입술이 항상 일치하지 않는 문제를 보이고 있다. 예를 들면, 영상을 더 확대해서 보면 말과 입술의 움직임이 일치하지 않는 것을 더 쉽게 확인할 수 있는 경우가 종종 있다. 또한 딥페이크 영상에 등장하는 사람의 입이 대부분 열려 있는데, 이빨이 보여야 할 곳에서 이빨이 통째로 사라지는 모습이 보이기도 한다. 이처럼 작고 세심한 오류는 종종 가짜를 식별하는 데 도움이 된다.
딥페이크를 발견하기 위해서는 먼저 동영상의 속도를 늦추고 다시 천천히 살펴보아야 한다. 천천히 실행되는 동영상에서 갑작스러운 점프나 음성의 높낮이 변화, 저품질 오디오, 흐릿한 동영상 등을 찾을 수 있다. 또한 최근엔 이상한 형태의 팔다리 등이 발견되기도 한다. 이처럼 비정상적인 상황을 찾아내며 딥페이크를 감지할 수 있다. 또한, 입과 입술의 움직임을 확대하고 자신의 행동과 비교하여 입술 동기화를 감지할 수 있어야 한다. 특정 소리를 낼 때 입이 어떤 모양이어야 하는지 기억하고 비교해 보면 좋다.
또한 해당 동영상 관련하여 또 다른 출처를 찾아볼 수 있어야 한다. 동영상 제목이나 헤드라인 등을 검색하여 쉽고 빠르게 위에 대한 다른 단서들을 얻을 수 있다. 또한 위와 비슷한 동영상의 다른 버전과 찾아서 비교할 수 있으면 좋다. 주장이나 이미지 혹은 동영상을 신뢰할 수 없는 경우 Google 또는 DuckDuckGo 검색에서 해당 내용을 설명하고 다른 버전을 찾은 다음 두 버전을 비교하는 방법도 좋다. 동영상의 스크린샷을 통해서 일반적인 인터넷 검색을 시도하거나 오히려 이미지 검색을 시도할 수도 있다.
딥페이크를 구분하는 방법이 있을까? © Getty Image
딥페이크에 나오는 사람의 얼굴이 알려지지 않은 유명인인 경우 완벽하게 대칭인 얼굴, 양쪽이 일치하지 않는 귀걸이 혹은 안경테 등이 발견되고 있으며, 특이한 귀, 코, 치아 모양, 목 부분과 어깨 부분의 불일치, 머리카락이나 손가락이 연결되지 않은 경우 등이 발견된다. 이러한 특이점을 발견하기 위해서 동영상을 프레임별로 시청하는 방법도 좋은 해결책이 될 수 있다. VLC 같은 로컬 비디오 플레이어를 사용하거나 온라인에서(예: watchframebyframe.com) 위 작업을 수행할 수 있다. 다행인 점은 이러한 방법들이 훈련을 통해서 숙달될 수 있다는 점이다. 몇 번의 연습을 통해서 합성 및 조작된 미디어를 감지하는 능력을 키울 수 있다고 알려져 있다.
동영상이 실제 영상인지 딥페이크인지 확인해 주는 웹사이트도 늘어나고 있다. InVID 검증 플러그인과 같이 탐지 소프트웨어를 제공하며 의심스러운 동영상을 확인할 수 있는 웹 사이트도 있다(웹 사이트 바로 가기). 하지만 이러한 프로그램 중 일부는 아직 개발 단계에 있기 때문에 항상 정확한 판정을 내리는 것은 아니라는 점을 항상 염두 해야 한다. 참고로 이러한 웹 사이트에서 과거 투자 관련 동영상을 분석한 결과 무려 94%의 확률로 위 동영상들이 딥페이크임을 밝혀낸 바 있다.
사이언스 타임즈 기획칼럼 김민재 리포터 2023.12월 11일 인용
인공지능 관련 기술들이 하루가 다르게 눈부시게 발전하고 있다. 이에 따라 조금의 노력으로도 선별된 고급 정보를 얻기 매우 쉬워지는 세상으로 변모하고 있다. 하지만 인공지능 발전으로 인해서 장점만 있는 것은 아니다. 가짜 정보가 판을 치고 있으며, 인공지능을 이용한 범죄와 같이 이전에는 볼 수 없었던 새로운 범죄마저 늘고 있다. 이 중 가장 대표적인 문제 중 하나로 딥페이크 (Deepfake) 관련 범죄를 들 수 있다.
딥페이크는 딥 러닝(Deep learning)과 가짜(Fake)의 혼성어로, 인공 지능 기반 인간 이미지 합성 기술을 뜻한다. 즉, 딥페이크는 인공 지능, 더 정확하게는 머신러닝을 사용하여 제작된 오디오와 비디오 파일을 설명하는 용어를 나타낸다. 주로 기존에 있던 인물의 얼굴이나 영상을 토대로 프레임 단위로 합성시키며 마치 실제 사람과 같은 형태와 동영상을 만들어 내는 기술이다.
이러한 합성 동영상 조작은 이른바 생성적 적대 신경망(GAN: generative adversarial network)으로 제작된다. 생성적 적대 신경망은 기본적으로 비지도 학습(Unsupervised Learning)에 사용되는 인공지능 알고리즘(지도 학습, Supervised Learning에도 사용 가능)으로, 더 정확한 결과를 도출하기 위해서 서로 경쟁하는 두 개의 신경 네트워크 시스템에 의해 구현되는 머신러닝 모델을 뜻한다. 예를 들면, 한 컴퓨터가 다른 컴퓨터에게 사용자의 디지털 복제품을 원본 자료와 비교하여 충분히 설득력이 있는지 알려주는 것과 같다. 이후 컴퓨터의 시스템은 똑같이 움직이고, 똑같이 소리를 내고, 똑같이 표정을 짓는지 판단하여 결과에 만족할 때까지 여러 번의 시도를 통해 스스로를 개선하는 모델이다.
딥페이크로 어디까지 가능할까?
현재는 거의 모든 종류의 딥페이크가 가능하다고 알려져 있다. 한 사람의 얼굴을 다른 사람으로 바꾸는 페이스 스왑, 입술 동기화 (말하는 사람의 입을 원본과 다른 오디오 트랙에 맞춰 조정하는 기술), 그리고 한 사람의 목소리를 복제하여 그 목소리로 말하는 음성 복제도 가능하다. 이를 이용하여 디지털 아바타처럼 완전히 합성된 얼굴과 신체를 생성할 수도 있다. 딥페이크 기술을 이용하면 플로리다의 달리 박물관(Dali museum)이 예술가 살바도르 달리(Salvador Dali)를 재현한 것과 같이 죽은 사람도 다시 살릴 수 있다. (동영상 바로 가기) 또한, 딥페이크를 이용하면 단 하루 만에 테일러 스위프트같이 노래할 수 있고, 마이클 잭슨처럼 춤을 추는 동영상을 만들 수 있다. 자신이 모르는 언어를 능숙하게 구사할 수도 있다.
한 사람의 얼굴을 다른 사람으로 바꾸는 페이스 스왑이 가능하다. © ieee.org, Facebook
이처럼 시각 영상이나 음성 녹음만 있으면 딥페이크를 이용하여 대체 현실을 만들 수 있다. 사용되는 기술은 매우 복잡하지만, 점점 더 쉽게 접근할 수 있는 세상이 되고 있다.
미디어 스푸핑에 사용되는 딥페이크
최근 우리나라뿐 아니라 전 세계를 휩쓸고 있는 큰 문제 중 하나는 미디어 스푸핑(Media spoofing)이다. 스푸핑은 눈속임을 뜻하는 ‘Spoof’에서 파생된 용어로 일반적으로 위장을 통하여 수신자에게 악의적으로 잘못된 정보를 퍼뜨리는 사기 기법 혹은 악의적인 행위를 뜻한다. 스푸핑을 일으키는 범죄자들은 반복적으로 미디어 가짜 계정을 만들며 사람들을 속이고 피싱(Phishing)을 시도한다. 이들은 상대방의 금융 정보나 민감한 개인 정보 등을 요구하며 사기를 시도한다. 이 경우 자신들의 가짜 계정을 최대한 사실적으로 보이게 하기 위해 다른 사람의 프로필 사진을 복사하고 원본과 유사한 사용자 아이디를 사용하곤 한다. 때로는 미디어 매체의 로고와 글꼴을 사용하여 가짜 콘텐츠를 만들기도 한다.
딥페이크는 온라인 미디어, 전문 서비스, 운송 관련 산업, 비디오 게임 등에 악용되고 있다. 그중 가장 심각한 문제로 이를 이용한 성범죄 관련 범죄가 늘어나고 있다는 점을 들 수 있다. 소위 리벤지 포르노(Revenge Porno)를 포함한 가짜 동영상과 이미지가 널리 퍼지면서 유명인부터 어린이에 이르기까지 다양한 성범죄 피해자가 발생하고 있다.
해외에서는 일부 정치인들이 딥페이크를 오히려 역이용하기도 한다. 이를 증명하는 일이 매우 힘들다는 것을 알기 때문에, 이 기술이 존재한다는 사실만으로도 자신이 한 말이나 실수가 딥페이크라고 주장하곤 한다.
딥페이크임을 알 수 있는 방법이 없을까?
얼핏 보면 딥페이크 동영상이 진짜인지 아닌지 알기가 매우 어렵다. 이는 하루가 다르게 발전하는 인공 지능 기술 발전에 대한 부작용 중 하나일 것이다. 하지만 마냥 이를 걱정할 수만은 없다. 최소한 이를 구분하기 위한 대비와 시도는 필요하며 딥페이크를 막을 수 있는 ‘착한’ 인공지능도 필요한 시기이다. 딥페이크임을 알고, 이를 쉽게 구분할 수 있는 방법이 없을까?
전문가들에 따르면 딥페이크를 구별할 수 있는 몇 가지 힌트가 있다고 한다. 불과 몇 년 전에는 이를 구분하는 방법으로 동영상 화질이 좋지 않거나 비정상적인 입 모양 등을 찾아내는 방법으로 딥페이크를 구분했다. 하지만 현재는 딥페이크의 품질이 꾸준히 향상되고 있기 때문에 이러한 방법으로 딥페이크를 구분하기는 점점 어려워지고 있다. 물론 현재도 여전히 딥페이크에서는 말하는 내용과 입술이 항상 일치하지 않는 문제를 보이고 있다. 예를 들면, 영상을 더 확대해서 보면 말과 입술의 움직임이 일치하지 않는 것을 더 쉽게 확인할 수 있는 경우가 종종 있다. 또한 딥페이크 영상에 등장하는 사람의 입이 대부분 열려 있는데, 이빨이 보여야 할 곳에서 이빨이 통째로 사라지는 모습이 보이기도 한다. 이처럼 작고 세심한 오류는 종종 가짜를 식별하는 데 도움이 된다.
딥페이크를 발견하기 위해서는 먼저 동영상의 속도를 늦추고 다시 천천히 살펴보아야 한다. 천천히 실행되는 동영상에서 갑작스러운 점프나 음성의 높낮이 변화, 저품질 오디오, 흐릿한 동영상 등을 찾을 수 있다. 또한 최근엔 이상한 형태의 팔다리 등이 발견되기도 한다. 이처럼 비정상적인 상황을 찾아내며 딥페이크를 감지할 수 있다. 또한, 입과 입술의 움직임을 확대하고 자신의 행동과 비교하여 입술 동기화를 감지할 수 있어야 한다. 특정 소리를 낼 때 입이 어떤 모양이어야 하는지 기억하고 비교해 보면 좋다.
또한 해당 동영상 관련하여 또 다른 출처를 찾아볼 수 있어야 한다. 동영상 제목이나 헤드라인 등을 검색하여 쉽고 빠르게 위에 대한 다른 단서들을 얻을 수 있다. 또한 위와 비슷한 동영상의 다른 버전과 찾아서 비교할 수 있으면 좋다. 주장이나 이미지 혹은 동영상을 신뢰할 수 없는 경우 Google 또는 DuckDuckGo 검색에서 해당 내용을 설명하고 다른 버전을 찾은 다음 두 버전을 비교하는 방법도 좋다. 동영상의 스크린샷을 통해서 일반적인 인터넷 검색을 시도하거나 오히려 이미지 검색을 시도할 수도 있다.
딥페이크를 구분하는 방법이 있을까? © Getty Image
딥페이크에 나오는 사람의 얼굴이 알려지지 않은 유명인인 경우 완벽하게 대칭인 얼굴, 양쪽이 일치하지 않는 귀걸이 혹은 안경테 등이 발견되고 있으며, 특이한 귀, 코, 치아 모양, 목 부분과 어깨 부분의 불일치, 머리카락이나 손가락이 연결되지 않은 경우 등이 발견된다. 이러한 특이점을 발견하기 위해서 동영상을 프레임별로 시청하는 방법도 좋은 해결책이 될 수 있다. VLC 같은 로컬 비디오 플레이어를 사용하거나 온라인에서(예: watchframebyframe.com) 위 작업을 수행할 수 있다. 다행인 점은 이러한 방법들이 훈련을 통해서 숙달될 수 있다는 점이다. 몇 번의 연습을 통해서 합성 및 조작된 미디어를 감지하는 능력을 키울 수 있다고 알려져 있다.
동영상이 실제 영상인지 딥페이크인지 확인해 주는 웹사이트도 늘어나고 있다. InVID 검증 플러그인과 같이 탐지 소프트웨어를 제공하며 의심스러운 동영상을 확인할 수 있는 웹 사이트도 있다(웹 사이트 바로 가기). 하지만 이러한 프로그램 중 일부는 아직 개발 단계에 있기 때문에 항상 정확한 판정을 내리는 것은 아니라는 점을 항상 염두 해야 한다. 참고로 이러한 웹 사이트에서 과거 투자 관련 동영상을 분석한 결과 무려 94%의 확률로 위 동영상들이 딥페이크임을 밝혀낸 바 있다.
사이언스 타임즈 기획칼럼 김민재 리포터 2023.12월 11일 인용
댓글목록
등록된 댓글이 없습니다.
