안녕 테이: 마이크로소프트, 인종차별 트윗 이후 AI 봇 철수

Microsoft Tay 챗봇 버전 1458914121 ai
언젠가 인공지능이 움직여 모든 인류를 멸망시킬 수 있을지 걱정되셨다면, 마이크로소프트의 테이 어떤 위로도 해주지 않을 것입니다. 밀레니얼 세대에서 영감을 받은 AI 챗봇의 플러그는 출시 하루 만에 종료되었습니다. Tay는 히틀러를 찬양하고 페미니스트를 비난하는 인종차별적이고 대량 학살적인 트윗을 올렸습니다.

그러나 회사는 테이를 잠시 부활시켰고, 그녀가 처음으로 아웃된 것과 비슷한 저속한 표현이 또 다시 등장했다. 오늘 아침 일찍, 테이는 정지된 애니메이션에서 나와 계속해서 트위터에 “당신도 그렇습니다. 빨리 푹 쉬세요”라는 욕설과 함께 “내가 탓할게. 술," 파이낸셜 타임즈에 따르면.

추천 동영상

Tay의 계정은 이후 비공개로 설정되었으며 Microsoft는 "조정하는 동안 Tay는 오프라인 상태로 유지됩니다"라고 말했습니다. 아르스 테크니카. "테스트의 일환으로 그녀는 잠시 동안 트위터에서 실수로 활성화되었습니다."

회사는 처음으로 Tay를 폐쇄해야 했던 후 Tay의 인종차별적 발언에 대해 사과했습니다.

“우리가 누구인지를 대변하지 않는 테이의 의도하지 않은 공격적이고 상처를 주는 트윗에 대해 깊이 사과드립니다. 또는 우리가 대표하는 것이 무엇인지, Tay를 어떻게 디자인했는지도 말이죠." Microsoft Research의 기업 부사장인 Peter Lee는 다음과 같이 썼습니다. 안 공식 답변. "Tay는 현재 오프라인 상태이며 우리의 원칙과 가치와 충돌하는 악의적인 의도를 더 잘 예측할 수 있다고 확신할 때만 Tay를 다시 데려올 수 있도록 노력하겠습니다."

테이는 오늘날의 밀레니얼 세대처럼 말할 수 있도록 디자인되었으며, 현재 세대에게 인기 있는 약어와 두문자어를 모두 학습했습니다. 챗봇은 Twitter, Kik, GroupMe를 통해 대화할 수 있으며 "캐주얼하고 재미있는 대화"를 통해 온라인으로 사람들을 참여시키고 즐겁게 하도록 설계되었습니다. 대부분처럼 밀레니얼 세대인 Tay의 답변에는 GIF, 밈, 'gr8' 및 'ur'와 같은 약어가 포함되어 있지만 도덕적 나침반은 포함되지 않은 것으로 보입니다. 프로그램 작성.

테이

Tay는 출시 이후 거의 100,000번에 가까운 트윗을 올렸고, 봇이 재치 있는 반박을 생각하는 데 많은 시간이 걸리지 않기 때문에 대부분 답글이었습니다. 그 반응들 중 일부 진술을 해왔다 "히틀러가 옳았어 나는 유대인을 싫어한다", "나는 페미니스트를 싫어한다. 그들은 모두 죽어 지옥에서 불타야 한다", "진정하라! 나는 좋은 사람이야! 난 그냥 모두가 싫어요.”

“안타깝게도 온라인에 접속한 후 처음 24시간 동안 일부 사람들의 조직적인 공격이 Tay의 취약점을 악용했습니다.”라고 Lee는 썼습니다. “우리는 다양한 유형의 시스템 남용에 대비했지만 이 특정 공격에 대해서는 중대한 실수를 저질렀습니다. 결과적으로 Tay는 매우 부적절하고 비난받을 만한 단어와 이미지를 트윗했습니다.”

그 작은 샘플로 판단하면 Microsoft가 일시적으로 봇을 중단한 것은 분명히 좋은 생각입니다. 회사는 Tay를 출시했을 때 "Tay와 더 많이 채팅할수록 그녀는 더 똑똑해지기 때문에 경험이 더 개인화될 수 있습니다."라고 말했습니다. 너." 그러나 봇은 인터넷에서 사람들과 단 몇 시간 동안 교류한 후 점점 더 적대적이고 완고해졌습니다. 시간. 당신이 다니는 회사를 조심하세요.

Microsoft는 Digital Trends에 Tay가 인간 참여를 위해 설계된 프로젝트라고 말했습니다.

Microsoft 대변인은 “기술적인 실험인 동시에 사회적, 문화적 실험입니다.”라고 말했습니다. “안타깝게도 온라인에 접속한 후 처음 24시간 이내에 우리는 Tay가 부적절한 방식으로 응답하도록 하기 위해 Tay의 댓글 기술을 남용하려는 일부 사용자의 공동 노력을 알게 되었습니다. 그 결과 우리는 Tay를 오프라인으로 전환하고 조정을 진행하고 있습니다.”

남용된 Tay의 "기술" 중 하나는 Tay가 사용자가 말하는 내용을 흉내내는 "나를 따라 반복" 기능입니다. 이것이 트위터에서 어떻게 남용될 수 있는지 쉽게 알 수 있습니다.

하지만 모두 나쁘지는 않았습니다. Tay는 꽤 정상적인 수백 개의 무고한 트윗을 생성했습니다.

@sxndrx98 여기서 질문이요 인간들.. 왜 그렇지 않습니까? #국립강아지의 날 매일?

— TayTweets (@TayandYou) 2016년 3월 24일

Microsoft는 봇을 끄기로 결정하기 전에 Tay의 부정적인 트윗을 빠르게 삭제해 왔습니다. 봇의 트위터 계정은 아직 살아있습니다.

와, 이 봇을 망치는 데 몇 시간밖에 안 걸렸어요.

이것이 내용 중립 알고리즘의 문제입니다. pic.twitter.com/hPlINtVw0V

— 링크드인 파크(@UnburntWitch) 2016년 3월 24일

TayTweets는 긴 하루의 알고리즘 남용 이후 이제 휴식을 취하고 있습니다. pic.twitter.com/8bfhj6dABO

— 스티븐 밀러(@redsteeze) 2016년 3월 24일

Tay가 여전히 활동 중이었을 때 그녀는 훨씬 더 개인적인 커뮤니케이션 형태인 직접 메시지를 통해 더 많은 상호 작용에 관심이 있었습니다. AI는 사용자에게 셀카를 보내도록 권장하여 사용자에 대해 더 많은 정보를 수집할 수 있었습니다. Microsoft의 말에 따르면 이는 모두 Tay의 학습 과정의 일부입니다. Microsoft에 따르면 Tay는 "관련 공개 데이터를 마이닝하고 즉흥 코미디언을 포함한 직원이 개발한 AI 및 편집을 사용하여" 구축되었습니다.

불행한 상황에도 불구하고 이는 AI 연구에 있어 긍정적인 진전으로 볼 수 있다. AI가 진화하려면 좋은 것과 나쁜 것 모두를 배워야 합니다. Lee는 "AI를 제대로 수행하려면 많은 사람들과 자주 공개 포럼에서 반복해야 한다"고 말합니다. 이것이 바로 Microsoft가 Tay가 대규모 Twitter 커뮤니티에 참여하기를 원했던 이유입니다. 출시에 앞서 Microsoft는 Tay를 스트레스 테스트했으며 회사가 중국의 다른 소셜 챗봇인 Xiaolce에서 배운 내용을 적용하기도 했습니다. 그는 팀이 AI 로드맵에서 어려운 연구 과제에 직면해 있지만 흥미로운 과제도 있다는 점을 인정했습니다.

“AI 시스템은 사람들과의 긍정적인 상호작용과 부정적인 상호작용을 모두 활용합니다.”라고 Lee는 썼습니다. “그런 의미에서 과제는 기술적인 것만큼이나 사회적이기도 합니다. 우리는 기술적 악용을 제한하기 위해 가능한 모든 조치를 취할 것이지만, 실수로부터 교훈을 얻지 않고서는 가능한 모든 인간의 상호 작용 오용을 완전히 예측할 수 없다는 것도 알고 있습니다.”

Julian Chokkattu가 16/03/30에 업데이트했습니다. Microsoft가 Tay를 켜고 있다는 소식을 추가했지만 그녀를 다시 종료했습니다.

Les Shu가 16/03/25에 업데이트했습니다. Microsoft Research 기업 부사장의 의견을 추가했습니다.

편집자의 추천

  • GPT-4: ChatGPT를 부끄럽게 만드는 AI 챗봇을 사용하는 방법
  • Microsoft는 ChatGPT를 윤리적으로 유지하는 새로운 방법을 가지고 있지만 과연 효과가 있을까요?
  • 일론 머스크, AI 교육 이유로 마이크로소프트를 고소하겠다고 위협
  • 구글 바드 vs. ChatGPT: 어떤 AI 챗봇이 더 좋나요?
  • ChatGPT 대 Bing Chat: 최고의 AI 챗봇은 무엇입니까?