GPT-3가 AI를 조용히 안내하는 방법 혁명

무엇이 좋은가요? 물론 모든 것

최근에는 스타트업 창업자인 프랜시스 저비스(Francis Jervis)가

증강됨, GPT-3를 사용하여 임대료로 어려움을 겪고 있는 사람들이 임대료 할인 협상 서신을 작성할 수 있도록 도왔습니다. Jervis는 Digital Trends에 "여기서 사용 사례를 '스타일 전환'이라고 설명하겠습니다."라고 말했습니다. “완벽한 영어일 필요도 없는 글머리 기호를 [입력]하고 격식 있는 언어로 2~3개의 문장을 [출력]합니다.”

이 매우 강력한 언어 모델을 기반으로 하는 Jervis의 도구를 사용하면 임차인은 자신의 상황과 할인 합의가 필요한 이유를 설명할 수 있습니다. “왜 수입을 잃었는지 몇 단어만 입력하면 몇 초 안에 편지에 추가할 수 있는 설득력 있고 공식적인 제안 단락이 제공됩니다.”라고 회사는 주장합니다.

이것은 빙산의 일각에 불과합니다. 언제 아디트야 조시기계 학습 과학자이자 전직 Amazon Web Services 엔지니어인 는 처음으로 GPT-3를 접하고 그 광경에 너무 반해 웹사이트를 만들었습니다. www.gpt3examples.com, 최고의 것을 추적합니다.

"OpenAI가 API를 발표한 직후 개발자들은 GPT-3를 사용하여 구축된 애플리케이션의 인상적인 데모를 트윗하기 시작했습니다."라고 그는 Digital Trends에 말했습니다. “그들은 놀라울 정도로 훌륭했습니다. 저는 커뮤니티가 이러한 사례를 쉽게 찾고 GPT-3를 사용하여 자신의 영역에서 문제를 해결하는 창의적인 방법을 발견할 수 있도록 [내 웹사이트]를 구축했습니다.”

GPT-3과 완전 대화형 합성 페르소나 https://t.co/ZPdnEqR0Hn 🎇

그들은 자신이 누구인지, 어디서 일했는지, 상사가 누구인지 등을 알고 있습니다. 이건 네 아버지의 봇이 아니야… pic.twitter.com/kt4AtgYHZL

— 타일러 라스토비치(@tylerlastovich) 2020년 8월 18일

Joshi는 자신에게 실제로 영향을 미친 몇 가지 데모를 지적합니다. 하나, 에 레이아웃 생성기, 간단한 텍스트 설명에서 JavaScript 코드를 생성하여 기능적 레이아웃을 렌더링합니다. 수박 모양의 '구독' 버튼을 원하시나요? 무지개 색상의 일련의 버튼이 포함된 배너 텍스트가 마음에 드시나요? 기본 텍스트로 설명하면 Sharif Shameem의 레이아웃 생성기가 코드를 작성해 드립니다. 또 다른, GPT-3 기반 검색 엔진 Paras Chopra가 만든 이 앱은 모든 서면 쿼리를 답변과 추가 정보 제공을 위한 URL 링크로 바꿀 수 있습니다. 또 다른 것은 Michael Tefula의 Francis Jervis의 반대입니다. 법률 문서 번역 평범한 영어로. 라파엘 밀리에르(Raphaël Millière)의 또 다른 작품은 철학적인 에세이를 쓴다. 그리고 다른 하나는 Gwern Branwen의 작품입니다. 창의적인 소설을 만들어내다.

Joshi는 “언어 번역, 생성부터 텍스트 요약, 엔터티 추출까지 이렇게 다양한 작업을 단일 언어 모델이 이렇게 잘 수행할 것이라고는 예상하지 못했습니다.”라고 말했습니다. "안에 내 실험 중 하나, 화학 연소 반응을 예측하기 위해 GPT-3를 사용했는데 놀랍게도 매우 잘되었습니다.”

그게 어디에서 왔는지 더 알아보기

GPT-3의 혁신적인 사용은 여기서 끝나지 않습니다. 컴퓨터 과학자 타일러 라스토비치 GPT-3를 사용하여 가짜 사람을 만들어라, 뒷이야기를 포함하여 텍스트를 통해 상호 작용할 수 있습니다. 한편 Andrew Mayne은 GPT-3가 가능하다는 것을 보여주었습니다. 영화 제목을 이모티콘으로 바꾸는 데 사용됨. 닉 월튼, GPT 생성 텍스트 어드벤처 게임을 개발한 스튜디오인 Latitude의 최고 기술 책임자 AI 던전 최근에 그것이 바뀔 수 있는지 확인하기 위해 동일한 작업을 수행했습니다. 긴 텍스트 설명 문자열을 이모티콘으로 변환. 그리고 GPT-3로 카피라이팅 도구를 구축하는 스타트업인 Copy.ai는 매월 $67,000의 반복 수익 3월 현재 – 최근 290만 달러의 자금 조달 라운드가 이루어졌습니다.

"확실히 사람들이 GPT-3를 사용해 창의성을 발휘했다는 점에서 놀라움과 경외감이 컸습니다." 산디니 아가르왈, AI OpenAI의 정책 연구원이 Digital Trends에 말했습니다. “너무나 많은 사용 사례가 매우 창의적이며, 나조차도 예상하지 못한 영역에 대해 많은 지식을 갖고 있을 것입니다. 정말 흥미롭습니다. 그러나 GPT-3와 OpenAI가 추구하는 이러한 전체 연구 방향은 이것이 우리에게 AI를 제공할 것이라는 희망을 담고 있었습니다. 보다 범용적인 모델입니다. 범용 A.I. 모델은 이러한 다양한 AI를 모두 수행할 수 있는 하나의 모델입니다. 과제.”

많은 프로젝트는 GPT-3의 큰 부가가치 중 하나인 교육이 필요하지 않다는 점을 강조합니다. 머신러닝은 지난 수십 년 동안 모든 면에서 혁신을 이루었습니다. 그러나 머신러닝에서 정답을 출력하려면 수많은 훈련 예제가 필요합니다. 반면에 GPT-3에는 소수의 예제만으로 무언가를 수행하도록 가르칠 수 있는 "몇 번의 사격 능력"이 있습니다.

그럴듯한 헛소리야

GPT-3는 매우 인상적이다. 하지만 이는 도전 과제이기도 합니다. 이들 중 일부는 비용과 관련이 있습니다. GPT-3의 마법을 활용할 수 있는 챗봇과 같은 대용량 서비스의 경우 도구가 사용하기에는 너무 비쌀 수 있습니다. (단일 메시지 비용은 6센트가 될 수 있으며, 이는 정확히 엄청난 금액은 아니지만 합산하면 확실히 합산됩니다.)

다른 사람들은 광범위한 가용성과 관련이 있는데, 이는 치열한 경쟁으로 인해 마진이 하락할 가능성이 높기 때문에 독점적으로 스타트업을 구축하는 것이 어려울 수 있음을 의미합니다.

또 다른 이유는 기억력 부족입니다. 컨텍스트 창은 영화 속 Guy Pierce의 캐릭터처럼 이전에는 한 번에 2,000 단어 미만으로 실행되었습니다. 기념물, 메모리가 재설정됩니다. Lastovich는 “이로 인해 생성할 수 있는 텍스트 길이가 대략 요청당 짧은 단락으로 크게 제한됩니다.”라고 말했습니다. "실질적으로 말하면 처음에 일어난 일을 기억하면서 긴 문서를 생성할 수 없다는 뜻입니다."

그러나 아마도 가장 주목할만한 과제는 가장 큰 강점인 조립 능력과도 관련이 있습니다. Confabulation은 의사가 기억 문제가 있는 일부 사람들이 의사소통을 할 수 있는 방식을 설명하기 위해 자주 사용하는 용어입니다. 처음에는 설득력이 있는 것처럼 보이지만 자세히 조사해 볼 필요가 없는 정보를 조작합니다. 점검. GPT-3의 구성 능력은 상황에 따라 강점과 약점이 됩니다. 창의적인 프로젝트의 경우 진실처럼 평범한 것에 대한 걱정 없이 주제를 부각시킬 수 있어 훌륭할 수 있습니다. 다른 프로젝트의 경우 더 까다로울 수 있습니다.

Augrented의 Francis Jervis는 "그럴듯한 헛소리를 생성"하는 GPT-3의 능력을 언급합니다. 닉 월튼의 AI 던전 “GPT-3은 인간이 쓴 것처럼 보이는 창의적인 텍스트를 작성하는 데 매우 능숙합니다. 그 중 하나는 하지만 약점은 매우 자신감 있는 것처럼 글을 쓸 수 있다는 것입니다. 질문은.”

중국 방으로 돌아 가기

이와 관련하여 GPT-3는 우리를 John Searle의 Chinese Room이라는 친숙한 장소로 돌려보냅니다. 1980년 철학자 Searle은 다음과 같은 책을 출판했습니다. 가장 잘 알려진 AI 중 하나입니다. 사고 실험, '이해'라는 주제에 중점을 두었습니다. 은 이해하지 못하는 언어로 된 수많은 글을 가지고 방에 갇힌 사람을 상상해 보도록 요청합니다. 그들이 인식하는 것은 추상적인 상징뿐입니다. 이 방에는 한 기호 집합이 다른 기호 집합과 어떻게 일치하는지 보여주는 규칙 집합도 포함되어 있습니다. 답변해야 할 일련의 질문이 주어지면 회의실 거주자는 질문 기호와 답변 기호를 일치시켜야 합니다. 이 작업을 여러 번 반복한 후에는 이를 수행하는 데 능숙해집니다. 비록 두 기호 집합이 무엇을 의미하는지 전혀 모르고 단지 하나가 다른 기호에 해당한다는 것만 알면 됩니다.

GPT-3는 일종의 언어적 AI와는 거리가 먼 세계입니다. Searle이 글을 쓸 당시에 존재했던 것입니다. 그러나 이해의 문제는 그 어느 때보다 까다롭습니다.

“이것은 매우 논란이 많은 질문 영역입니다. 여러분도 알고 계시겠지만, 서로 다른 점이 너무 많기 때문입니다. 일반적으로 언어 모델이 [진정한] 이해를 가질 수 있을지에 대한 의견”이라고 OpenAI의 Sandhini는 말했습니다. 아가왈. “지금 GPT-3에 대해 묻는다면 때로는 매우 잘 수행되지만 다른 때에는 그다지 좋지 않습니다. 출력이 얼마나 의미있게 보일지에 대한 무작위성이 있습니다. 때로는 출력에 감탄할 수도 있고 때로는 출력이 무의미할 수도 있습니다. 그런 점을 고려하면 지금 제 생각에는… GPT-3가 이해를 못하는 것 같습니다.”

오늘날 Chinese Room 실험에 추가된 변형은 GPT-3가 소규모 연구원 팀에 의해 모든 단계에서 프로그래밍되지 않는다는 것입니다. 이는 인터넷으로 구성된 거대한 데이터세트를 기반으로 훈련된 대규모 모델입니다. 이는 온라인에서 발견된 텍스트로 인코딩될 수 있는 추론과 편견을 포착할 수 있음을 의미합니다. 당신은 주변에 있는 5명의 평균이라는 표현을 들어보셨나요? 글쎄요, GPT-3는 책, Wikipedia 및 기타 기사를 포함하여 여러 소스에서 얻은 거의 헤아릴 수 없을 만큼 많은 양의 텍스트 데이터에 대해 교육을 받았습니다. 이를 통해 이전에 사용된 단어 조합을 확인하기 위해 훈련 데이터를 검색하여 어떤 시퀀스에서든 다음 단어를 예측하는 방법을 학습합니다. 이로 인해 의도하지 않은 결과가 발생할 수 있습니다.

확률론적 앵무새에게 먹이주기

대규모 언어 모델에 대한 이러한 과제는 다음에서 처음으로 강조되었습니다. 획기적인 종이 소위 확률론적 앵무새에 관한 주제입니다. 확률론적 앵무새 — Google의 윤리적 AI의 전 공동 리더를 포함시킨 저자가 만든 용어입니다. 팀, Timnit Gebru — 대규모 언어 모델을 나타냅니다. “어떻게 결합하는지에 대한 확률적 정보에 따라 방대한 훈련 데이터에서 관찰한 언어 형식의 시퀀스를 무작위로 [꿰매지만] 참조할 수는 없습니다. 의미로.”

"인터넷의 많은 부분에 대해 훈련을 받았기 때문에 그것이 어느 정도 편견을 가지고 있을 것이라는 점을 인정하는 것이 중요합니다." 앨버트 고지, 또 다른 GPT-3 사용자는 Digital Trends에 말했습니다. "OpenAI 팀이 몇 가지 다른 방법으로 이 문제를 완화하기 위해 열심히 노력하고 있다는 것을 알고 있지만, 이것이 앞으로 [당분간] 문제가 될 것으로 예상합니다."

편견을 방어하기 위한 OpenAI의 대책에는 특정 언어나 주제를 필터링하는 독성 필터가 포함됩니다. OpenAI는 또한 어떤 영역에서 벗어나지 말아야 하는지를 지정할 수 있도록 인간의 피드백을 통합하는 방법을 연구하고 있습니다. 또한 팀은 도구의 특정 부정적인 사용에 대한 액세스 권한이 부여되지 않도록 도구에 대한 액세스를 제어합니다.

Agarwal은 “이러한 악의적인 사용자를 너무 많이 보지 못한 이유 중 하나는 내부적으로 집중적인 검토 프로세스가 있기 때문입니다.”라고 말했습니다. “우리가 일하는 방식은 실제로 배포될 제품에서 GPT-3를 사용하려고 할 때마다 인간으로 구성된 팀과 같은 팀이 실제로 사용 방법을 검토하는 프로세스를 거쳐야 합니다. 그것. … 그러면 악의적인 것이 아니라는 점을 확인한 후 접속 권한을 부여해 드리겠습니다.”

그러나 이 중 일부는 어려운 일입니다. 특정 단어를 사용하는 경우 편견이 항상 명확하게 나타나는 것은 아니기 때문입니다. Jervis는 때때로 자신의 GPT-3 임대 메시지가 “전형적인 성별 [또는] 계층에 대한 경향이 있을 수 있습니다. 가정.” 방치하면 가족을 기준으로 임대 편지에서 대상의 성 정체성을 추측할 수 있습니다. 역할이나 직업. 이것은 A.I의 가장 슬픈 예가 아닐 수도 있습니다. 편견이지만 대량의 데이터가 수집된 다음 언어 모델에서 확률적으로 재조립될 때 어떤 일이 발생하는지 강조합니다.

Tyler Lastovich는 “편향과 명시적인 수익 가능성이 절대적으로 존재하며 이를 방지하려면 개발자의 노력이 필요합니다.”라고 말했습니다. “OpenAI는 잠재적으로 유해한 결과를 표시하지만 궁극적으로 고객이 모델을 생산에 투입하기 전에 신중하게 생각해야 하는 책임을 추가합니다. 특히 개발하기 어려운 극단적인 사례는 모델의 거짓말 성향입니다. 모델에는 참 정보나 거짓 정보에 대한 개념이 없기 때문입니다.”

언어 모델과 A.I의 미래

데뷔한 지 9개월이 지난 GPT-3는 확실히 게임 체인저로서의 명성에 부응하고 있습니다. 한때 순전히 잠재력이었던 것이 잠재력이 실현된 것으로 나타났습니다. GPT-3의 흥미로운 사용 사례 수는 텍스트 생성 A.I. 설명이 제안하는 것보다 훨씬 더 다재다능합니다.

요즘 블록에 새로 등장한 아이는 아닙니다. 올해 초 GPT-3가 가장 큰 언어 모델로 추월당했습니다. Google Brain은 새로운 언어 모델을 선보였습니다. 약 1조 6천억 개의 매개변수 포함, 이는 OpenAI가 제공하는 것보다 9배 더 큰 규모입니다. 이것이 언어 모델의 끝이 아닐 수도 있습니다. 이는 잠재적으로 더 좋든 나쁘든 사회를 변혁할 수 있는 잠재력을 지닌 매우 강력한 도구입니다.

이러한 기술에는 확실히 과제가 존재하며 OpenAI, 독립 연구원 등과 같은 회사가 계속해서 해결해야 할 문제입니다. 그러나 전체적으로 볼 때, 언어 모델이 인공 지능 연구의 가장 흥미롭고 중요한 분야 중 하나로 변하고 있지 않다고 주장하기는 어렵습니다.

텍스트 생성기가 그렇게 중요할 수 있다고 누가 생각이나 했을까요? 인공지능의 미래에 오신 것을 환영합니다.

편집자의 추천

• 아날로그 AI? 이상하게 들리겠지만, 미래일 수도 있습니다
• AI의 섬뜩할 정도로 아름다운 '종합 성서'를 읽어보세요. 그게 신이라고 생각하는 거야
• 알고리즘 아키텍처: A.I. 우리를 위한 건물 디자인?
• Women with Byte: AI를 통해 '인간의 복잡한 문제'를 해결하려는 Vivienne Ming의 계획
• 로봇에게 숨바꼭질 놀이를 가르치는 것이 차세대 AI의 핵심이 될 수 있는 이유