프로젝트 Gucciberg: Gucci Mane의 딥페이크 오디오북

"Gucci Mane 미쳤어, 얼룩말을 세울 수도 있고/독수리 위에 착지하고, 리프아 담배를 피울 수도 있어."

이는 Gucci Mane의 2010년 앨범 수록곡 "It's Gucci Time"에 수록된 가사입니다. 매력: 조지아에서 가장 지명수배된 지역.

“그것은 보편적으로 인정되는 진실이다/ 행운을 소유하고 있는 독신인 사람은 반드시 돈이 부족하다는 것 부인." 그것은 또한 지금은 구찌 바이기도 합니다. 비록 원래 제인 오스틴이 1813년 매너 소설에서 쓴 바이긴 하지만, 오만과 편견, 비록 Gucci가 고전 영어 텍스트의 다른 읽기에서는 볼 수 없는 수준의 트랩 랩 스웨거를 이 곡에 불어넣었지만. (비교해보면 위쪽은 들리는 확실히 비트랩 랩 슈퍼스타 Rosamund Pike가 같은 소설의 항목을 읽습니다.)

알고 보니 구찌는 바빴다. 한 달에 한 곡 정도의 어지러운 속도로 믹스테이프를 발매했던 2010~2015년 기간보다 훨씬 더 바빴다. 오늘 41세의 래퍼는 다소 화려한 제목으로 다양한 고전 소설을 읽는 자신의 음성 읽기를 데뷔했습니다.프로젝트 구찌버그.” 소설의 일부는 다음과 같습니다. 이상한 나라의 앨리스의 모험, 작은 여자, 겸손한 제안, 드라큘라, 그리고 진정성의 중요 함.

하지만 그는 그렇지 않았습니다. 글쎄요, 정확히는 아닙니다.

더 많은 것입니다 딥페이크 오디오 마법, 이번에는 뉴욕에 본사를 둔 디지털 아트 집단의 사람들이 제공한 것입니다. MSCHF. 마지막 프로젝트를 새로 시작했습니다. Boston Dynamics의 Spot 로봇 중 하나에 페인트볼 총을 부착했습니다., 사용자가 인터넷을 통해 원격으로 제어할 수 있도록 허용했습니다. 팀은 버튼을 누르고 기술에 정통한 장난꾸러기 브랜드를 불경스럽게 여겼습니다. Radric Delantic Davis에서 태어난 래퍼가 원격으로 제어되어(적어도 그의 말은 그렇습니다) 수많은 빈티지 음악을 해설하는 프로젝트입니다. 짧은 이야기.

사악한 천재들

MSCHF의 Daniel Greenberg는 Digital Trends에 다음과 같이 말했습니다. “Gucci Mane은 랩 역사상 가장 영향력 있는 음악가 중 한 명입니다. 구텐베르크 프로젝트는 인터넷상의 공개 도메인 텍스트의 마지막 보루 중 하나입니다. 이 둘을 결합해 A.I의 힘을 활용한다. 기술을 통해 우리는 인터넷 역사상 가장 영향력 있는 래퍼 읽기 공개 도메인 오디오북을 만들었습니다.”

(완전히 승인되지 않은) 문학을 사랑하는 A.I. 래퍼인 팀은 약 6시간 분량의 교육 데이터세트를 만들었습니다. 구찌의 연설은 인터뷰, 팟캐스트, 기타 공개적으로 접근 가능한 오디오 영상에서 발췌한 것입니다. 유튜브. 그런 다음 이 소스 자료를 편집하고 10초 세그먼트로 잘라낸 다음 EQ 처리하고 복사하고 라벨을 붙였습니다.

“게다가 우리 팀은 Gucci Mane의 특별한 아르고트의 특징을 더 잘 포착하기 위해 Gucci 발음 키/사전을 만들었습니다.”라고 Greenberg는 말했습니다. 그는 “진짜 이건 언어학 논문과 맞먹는다”고 덧붙였다.

그런 다음 데이터 세트는 AI를 훈련하는 데 사용되었습니다. 모델은 반복적으로 마사지하여 개선되었습니다. 출력한 다음 인간의 손길로 강화되어 텍스트에 임신 중 일시 중지와 같은 감각을 추가합니다. 필수의.

Greenberg는 “Gucci가 고장난 마이크에 대고 말하는 것처럼 들릴 수도 있고, 불량한 오디오 스트림에서 말하는 것처럼 들릴 수도 있습니다. 왜냐하면 Gucci가 우리 소스 자료에 많이 포함되어 있기 때문입니다.”라고 인정했습니다. “그러나 이러한 환경적 요인을 제외하면 실제 음성 에뮬레이션은 매우 성공적이라고 생각합니다. 이 기술이 얼마나 좋은지 누구나 원하는 대로 말하게 할 수 있다는 것은 놀랍기도 하고 무섭기도 합니다.”

실제 구찌 갈기는 논평 요청에 응답하지 않았습니다. 그러나 Greenberg가 인정했듯이 이는 저작권과 관련하여 "회색 영역"에 해당합니다. “딥페이크의 저작권 관련 내용은 아직 입법화되지 않았습니다.”라고 그는 말했습니다. “모델을 교육한 모든 오디오 샘플은 인터뷰를 통해 공개적으로 제공되었습니다. 결국 우리는 우리의 것이 아닌 목소리를 갖게 되고, 우리가 쓰지 않은 공개 도메인 텍스트를 읽게 되지만, 우리는 우리만의 '자신만의' 오디오북을 만들고 있는 것입니다.”

Deepfake-A-Thon

지난해 Jay-Z의 Roc Nation LLC 연예기획사 오디오 딥페이커 문제가 제기되었습니다 랩퍼의 목소리를 이용해 YouTube에서 Navy Seal Copypasta처럼 횡설수설을 내뱉은 사람. 당시 내가 언급한 것처럼, 그것은 2000년대 초반 Nas와의 싸움에서 "내가 당신의 목소리를 샘플링했는데 당신은 그것을 잘못 사용하고 있었습니다"라는 대사를 랩한 래퍼에게는 두뇌를 자극하는 난제였습니다. 그러나 Roc Nation은 사건의 아이러니한 복잡성을 다루지 않았습니다. 그들은 단지 누군가가 “AI를 불법적으로 [사용]하는 것에 대해 짜증을 냈을 뿐입니다. 고객의 목소리를 가장하는 것입니다.”

예술가가 왜 그런 일에 동요하는지 이해하는 것은 어렵지 않습니다. 처럼 시각적 딥페이크 한 번도 출연한 적이 없는 영화에 배우를 배치하는 것입니다. 최근에 라운드를 하고 있어, Tom Cruise의 활동적인 TikTok 동영상 시리즈), 아티스트의 오디오 딥페이크가 가장 많은 정보를 얻습니다. 귀중한 자산(이 경우에는 목소리)을 사용하여 결코 동의하지 않은 작업을 수행합니다. 안에. 윤리적, 재정적 문제가 모두 걸려 있습니다.

“랩의 역사는 자기 참조의 역사입니다.” 그린버그가 주장했습니다. “전통의 전체 표준, 특정 연주자의 작품 전체에 걸쳐. AI의 내부를 엿볼 때. 학습 모델에서는 일종의 초 자기 참조와 같은 놀랍도록 유사한 프로세스가 발생합니다. 비스듬하게 보일 수도 있지만 이 모든 것이 아주 잘 들어맞습니다.”

진짜와 가짜가 놀라울 정도로 흐릿해지는 세상에서 오디오 딥페이크의 위험을 걱정해야 할까요?

“물론이죠. 하지만 경보가 딥페이크가 점점 더 주류가 되는 것을 막지는 못할 것입니다.”라고 그는 말했습니다. “이 기술은 계속해서 존재할 것입니다. 이 기술이 재미로만 사용된다면 정말 운이 좋을 것입니다. 어쩌면 그것으로 재미있는 일을 하는 것이 우리를 그 영역에 유지하는 데 도움이 될 것입니다. 우리는 인터넷에서 진실과 허구를 식별할 수 없게 되는 변곡점에 도달했습니다. 따라서 우리는 Gucci Mane이 생성한 AI가 생성한 부드러운 낭독 목소리로 귀를 편안하게 해주는 것이 중요하다는 것을 깨달았습니다.”

우리를 스카이넷의 바위 위로 안내하는 사이렌 노래가 흘러나오는 가운데, 공교롭게도 구찌가 그렇게 나쁘지는 않을 수도 있습니다. 특히 2009년의 구찌라면 말이죠. 국가 대. 래드릭 데이비스.

편집자의 추천

• 이 스타트업은 당신의 목소리를 딥페이크 복제하여 최고 입찰자에게 판매하려고 합니다.
• 딥페이크는 위험한 기술인가요? 제작자와 규제 기관의 의견이 일치하지 않음