2019년 텍스트 생성 알고리즘 GPT-2가 생성되었을 때 가장 “위험한“A.I. 역사속의 알고리즘 실제로 어떤 사람들은 너무 위험해서 대중에게 절대 공개해서는 안 된다고 주장했습니다(스포일러: 그랬습니다).로봇 대재앙.” 물론 그런 일은 결코 일어나지 않았습니다. GPT-2는 결국 대중에게 공개되었고, 세상을 파괴하지 않은 후 제작자는 다음 단계로 넘어갔습니다. 하지만 지금까지 만들어진 가장 위험한 알고리즘을 어떻게 추적할 수 있을까요?
내용물
- 테이프 이야기
- 크기가 중요하다
- 튜링 테스트를 통과했나요?
적어도 서류상으로는 대답은 간단합니다. 성공적인 영화의 속편과 마찬가지로 더 크고, 더 나쁘고, 더 비싼 것을 만듭니다. 첫 번째에는 이종형이 하나만 있습니다. 외계인? 속편에는 이들의 전체 둥지가 포함됩니다. 외계인. 미래에서 보내진 거의 파괴 불가능한 기계 한 대 터미네이터? 청중에게 그 중 두 가지를 제시해 보세요. 터미네이터 2: 심판의 날.
A.I도 마찬가지다. — 이 경우에는 GPT-3, 한때 인공지능 연구소였던 OpenAI가 만든 자연어 처리 신경망(하지만 더 이상은 아니다) SpaceX와 Tesla CEO Elon Musk가 후원합니다.
추천 동영상
GPT-3은 일련의 텍스트 생성 신경망 중 최신 버전입니다. GPT라는 이름은 Generative Pretrained Transformer의 약자로 2017년 버전을 참조합니다. Transformer라고 불리는 Google의 혁신 특정 단어가 주변 단어와 함께 나타날 가능성을 알아낼 수 있습니다. 뉴스 기사의 시작 부분, GPT 사전 학습된 언어 모델 등 몇 가지 문장을 제공합니다. 조작된 공식을 포함하여 설득력 있게 정확한 연속성을 생성할 수 있습니다. 인용 부호.
이것이 바로 일부 사람들이 다음과 같은 거짓 텍스트를 생성하는 데 도움을 줌으로써 위험할 수 있다고 걱정하는 이유입니다. 딥페이크, 할 수 있었다 가짜 뉴스를 온라인에 퍼뜨리는 데 도움을 주세요. 이제 GPT-3를 사용하면 그 어느 때보다 더 크고 스마트해졌습니다.
테이프 이야기
GPT-3은 복싱 스타일의 "테이프 이야기"와 비교하면 확실히 알 수 있듯이 진정한 헤비급 경쟁자입니다. OpenAI의 원래 2018 GPT에는 신경망이 학습할 수 있도록 하는 연결의 가중치를 나타내는 1억 1천만 개의 매개변수가 있었습니다. 잠재적인 악성 애플리케이션에 대한 이전의 많은 소란을 일으킨 2019년의 GPT-2는 15억 개의 매개변수를 보유했습니다. 지난 달, Microsoft는 170억 개의 매개변수를 자랑하는 당시 세계에서 가장 큰 유사한 사전 학습된 언어 모델을 도입했습니다. 이에 비해 2020년의 괴물 같은 GPT-3은 놀라운 성능을 가지고 있습니다. 1,750억 매개변수. 훈련하는 데 약 1,200만 달러가 소요되는 것으로 알려졌습니다.
“이러한 모델의 힘은 다음 단어를 성공적으로 예측하기 위해 결국 매우 강력한 세계를 학습하게 된다는 것입니다. 모든 종류의 흥미로운 작업에 사용할 수 있는 모델입니다.” 스튜디오 Latitude의 최고 기술 책임자인 Nick Walton입니다. 뒤에 일체 포함. 지하 감옥GPT-2로 구동되는 AI 생성 텍스트 어드벤처 게임인 가 Digital Trends에 말했습니다. "또한 모델이 사전 훈련에서 학습한 지식을 유지하면서 특정 방향으로 세대를 형성하도록 기본 모델을 미세 조정할 수도 있습니다."
실제 세계에서 GPT-3를 실제로 사용하는 데 필요한 계산 리소스는 매우 비실용적입니다.
그웨른 브란웬심리학, 통계, 기술에 관해 글을 쓰는 평론가이자 연구원인 는 Digital Trends에 다음과 같이 말했습니다. GPT가 나타내는 사전 훈련된 언어 모델은 "모든 기계 학습 작업에서 점점 더 중요한 부분이 되었습니다. 텍스트에. 많은 이미지 관련 작업이 '표준 제안'이 된 것과 같은 방식으로 [컨볼루션 신경망], 언어와 관련된 많은 작업이 '미세하게 조정된 [언어를 사용하는 것]이 되었습니다. 모델.'"
이 기사에 대한 논평을 거부한 OpenAI는 자연어 처리에 대해 인상적인 작업을 수행하는 유일한 회사가 아닙니다. 앞서 언급했듯이 Microsoft는 눈부신 자체 작업으로 한 단계 더 발전했습니다. 페이스북는 동시에 기술에 막대한 투자를 하고 있으며 다음과 같은 획기적인 발전을 이루었습니다. 블렌더봇, 사상 최대 규모의 오픈 소스 오픈 도메인 챗봇입니다. 인간 평가자들에 따르면 참여도 측면에서 다른 제품보다 뛰어나며 더 인간적인 느낌을 줍니다. 지난 몇 년 동안 컴퓨터를 사용해 본 사람이라면 누구나 알겠지만, 기계는 그 어느 때보다 우리를 더 잘 이해하고 있으며 자연어 처리가 그 이유입니다.
크기가 중요하다
그러나 OpenAI의 GPT-3은 여전히 기록적인 규모로 독보적입니다. "GPT-3는 주로 크기 때문에 화제를 모으고 있습니다."라고 OpenAI의 연구 엔지니어인 Joe Davison은 말합니다. 포옹하는 얼굴오픈 소스 도구를 개발하고 기초 연구를 수행하여 자연어 처리 발전을 위해 노력하는 스타트업인 가 디지털 트렌드에 말했습니다.
가장 큰 문제는 이 모든 것이 무엇에 사용될 것인가입니다. GPT-2는 다양한 텍스트 생성 시스템에 사용되면서 무수히 많은 용도로 사용되었습니다.
Davison은 GPT-3가 크기로 인해 제한될 수 있다는 점에 대해 어느 정도 주의를 표명했습니다. "OpenAI 팀은 의심할 여지 없이 이러한 모델의 규모를 한계까지 확장했으며 모델을 성장시키면 작업별 데이터에 대한 의존도가 줄어든다는 사실을 보여주었습니다."라고 그는 말했습니다. “그러나 실제로 GPT-3를 현실 세계에서 사용하는 데 필요한 계산 리소스는 매우 비실용적입니다. 따라서 이 작업은 확실히 흥미롭고 통찰력이 있지만, 이 분야를 위한 중요한 진전이라고는 할 수 없습니다.”
그러나 다른 사람들은 이에 동의하지 않습니다. “[internal-link post_id="NN"]인공지능[/internal-link] 커뮤니티에서는 점점 더 큰 모델과 점점 더 많은 데이터를 결합하는 것을 오랫동안 관찰해 왔습니다. 무어의 컴퓨팅 성능 확장 법칙과 매우 유사하게 이러한 모델의 성능이 거의 예측 가능하게 향상됩니다.”라고 AI 전문가인 Yannic Kilcher가 말했습니다. 연구원 WHO YouTube 채널을 운영하고 있습니다, Digital Trends에 말했습니다. “그러나 무어의 법칙과 마찬가지로 많은 사람들은 단순히 언어 모델을 확장하는 것만으로도 언어 모델을 개선할 수 있는 단계가 끝났다고 추측했습니다. 더 높은 성과를 얻으려면 새로운 아키텍처나 교육 측면에서 실질적인 발명을 해야 합니다. 행동 양식. GPT-3는 이것이 사실이 아니며 단순히 규모를 통해 성능을 향상시키는 능력이 손상되지 않은 것처럼 보이며 실제로 끝이 보이지 않음을 보여줍니다."
튜링 테스트를 통과했나요?
Branwen은 GPT-3와 같은 도구가 주요 파괴력이 될 수 있다고 제안합니다. “생각해 보면, 어떤 직업이 텍스트 조각을 가져와 변형하고 또 다른 텍스트 조각을 내보내는 것과 관련이 있나요?” 브랜웬이 말했다. “의료 코딩, 청구, 접수, 고객 지원 등으로 설명되는 모든 직업은 GPT-3를 미세 조정하고 해당 인력을 대체할 수 있는 좋은 목표가 될 것입니다. 많은 작업이 '하나의 스프레드시트 또는 PDF에서 다른 스프레드시트 또는 PDF로 필드를 복사하는' 것과 같은 종류의 사무 자동화이며, 이는 너무 혼란스럽습니다. 대체할 일반 프로그램을 쉽게 작성하고 모든 예외와 다양한 규칙을 학습하고 인간과 마찬가지로 수행할 수 있기 때문에 GPT-3에 취약합니다. 일 것이다."
궁극적으로 자연어 처리는 AI의 한 부분일 수 있지만 해당 분야의 다른 분야에서는 거의 수행하지 않는 방식으로 인공 지능 꿈의 핵심을 잘라냅니다. 그만큼 유명한 튜링 테스트이 분야를 촉발시킨 중요한 논쟁 중 하나는 자연어 처리 문제입니다. AI를 구축할 수 있습니까? 설득력 있게 자신을 사람으로 속일 수 있나요? OpenAI의 최신 연구는 확실히 이 목표를 진전시킵니다. 이제 남은 것은 연구자들이 이를 위해 어떤 응용 프로그램을 찾을 것인지 보는 것입니다.
Branwen은 "GPT-2 텍스트가 인간에게 너무 쉽게 전달될 수 있기 때문에 '그냥 패턴 인식'이나 '그냥 암기'라고 손으로 넘기는 것이 점점 어려워지고 있다는 사실이라고 생각합니다."라고 말했습니다. "딥 러닝이 하는 일이 지능과 전혀 다르다고 확신하는 사람이라면 딥 러닝이 얼마나 멀리 왔는지 확인하기 위해 믿음이 흔들렸을 것입니다."
편집자의 추천
- 최고 저자는 AI 회사에 자신의 작품 사용에 대한 대가를 요구합니다.
- ChatGPT 제조사 OpenAI, 소비자 보호법 위반으로 FTC 조사에 직면
- OpenAI는 초지능 AI의 사기 행위를 막기 위해 새로운 팀을 구성합니다.
- 챗봇 '환각'을 제거하려는 ChatGPT 제작자
- OpenAI의 새로운 ChatGPT 앱은 iPhone 및 iPad에서 무료입니다
