Facebook이 Portal AI를 가르친 방법은 다음과 같습니다. 헐리우드 영화감독처럼 생각하다

페이스북 포털+ 리뷰
댄 베이커/디지털 트렌드

마크 주커버그(Mark Zuckerberg)는 하버드 대학 기숙사에서 페이스북의 첫 번째 버전을 만들었을 때 페이스북을 사람들이 다른 사용자의 삶을 들여다볼 수 있는 창으로 상상했습니다. 구글이 정보 검색 엔진이라면 페이스북은 사람을 위한 검색 엔진이다. 15년 후, 페이스북은 이러한 야망을 한 단계 더 발전시켰습니다. 2018년 11월에 출시된 화면 강화 스마트 스피커 라인인 Portal과 Portal+를 제작함으로써 거대 소셜 미디어 기업인 페이스북(Facebook) 사용자들이 화상 통화를 할 수 있는 훨씬 더 문자 그대로의 창을 만들었습니다. 또 다른.

내용물

  • 카메라를 더욱 스마트하게 만들기
  • 기술적 과제
  • 성장하는 시장
  • 개인 정보 보호 문제가 앞으로 다가오고 있나요?

Portal 스마트 스피커는 다른 언어를 문자 그대로 표현합니다. 페이스북 꿈도. Facebook이 본질적으로 사람들을 위한 검색 엔진이었던 반면, Portal은 실제로 하다 검색해 보세요. 140도 시야각을 자랑하는 이동형 1200만 화소 카메라로 방 안을 따라다니며 무엇을 하고 있는지 확인할 수 있습니다. 디지털 트렌드로서 우리 리뷰에 올려줘, “할머니에게 유명한 미트볼 만드는 법을 물어보며 부엌을 돌아다니느라 바쁘다면, 할머니의 이야기를 들으면서 바쁘게 지낼 수 있습니다.”

추천 동영상

Portal을 구동하는 스마트 기술은 정확히 무엇입니까? 그리고 페이스북은 정기적인 화상 채팅을 실제 대화를 위해 앉아 있는 것처럼 개인적인 느낌으로 만드는 과제를 어떻게 해결했다고 생각합니까? 그 대답에는 인상적인 인공 지능과 인간의 손길이 더해졌습니다.

관련된

  • 감정 감지 A.I. 여기 있습니다. 다음 면접에 나올 수도 있습니다.
  • 2020년은 아직 정신이 없으니까 로봇 입이 A.I를 노래하고 있어요. 파리의 기도
  • 일체 포함. 업스케일링 덕분에 1896년에 제작된 이 영화는 눈부신 4K로 촬영된 것처럼 보입니다.
페이스북 포털+ 리뷰
댄 베이커/디지털 트렌드

카메라를 더욱 스마트하게 만들기

Facebook은 처음부터 포털 경험의 핵심이 소위 "스마트 카메라" 시스템이라는 것을 알고 있었습니다. 스마트 카메라의 아이디어는 Skype와 같은 서비스가 수년 동안 제공해온 정적 샷을 뛰어 넘어 그 과정에서 보다 창의적인 역할을 하는 것이었습니다. 영화 감독이나 촬영감독이 와이드 샷을 사용해야 할 때와 친밀한 클로즈업을 위해 확대해야 할 때를 아는 것처럼

페이스북 엔지니어들에게 Portal에서 이와 동일한 기능을 모방하도록 요청했습니다.

이 카메라에 필요한 인간적 터치를 제공하기 위해 Facebook은 영화 제작자와 협력하여 그들의 지혜를 기계 학습 가능한 통찰력으로 추출하는 가장 좋은 방법을 찾아냈습니다. 한 사례에서는 고정된 각도에서 모든 관련 정보를 포착하는 것이 불가능한 장면을 어떻게 촬영할 수 있는지 보여달라고 요청했습니다.

Portal은 모든 이동 및 편집 결정이 완전히 디지털 방식으로 이루어지는 초광각 렌즈로 구성됩니다.

다른 한편으로는 Facebook 엔지니어들이 카메라 운영자가 인물 사진과 풍경 사진에서 우선순위를 두는 다양한 사진 요소를 살펴보았습니다. 이러한 관찰은 일반적으로 인간의 창의성에 기인하는 몇 가지 의사 결정 특성을 Portal에 주입하려는 소프트웨어 모델의 기초를 형성했습니다.

“우리는 물리적 거리감을 없애고 핸즈프리 영상통화 경험을 만들고 싶었습니다. Portal의 엔지니어 중 한 명인 Eric Hwang은 Digital Trends에 설명했습니다.

Facebook이 처음부터 만드는 데 "2년 미만"이 걸렸다고 말한 결과 시스템을 통해 Portal은 대화의 흐름을 개선하도록 설계된 결정을 내릴 수 있습니다. 안에 새로 게시된 블로그 게시물, 이것이 필요한 이유에 대한 몇 가지 그림을 자세히 설명합니다. 예를 들어, 서로 상호 작용하는 사람들로 가득 찬 혼잡한 방에 있는 경우 프레임 밖으로 개인을 따라갈 시점 또는 새로운 피사체를 수용하기 위해 축소할 시점을 선택해야 합니다.

Facebook 소프트웨어 엔지니어 Eric Hwang(처음에는 의자에 앉아 있음)과 Arthur Cavalcanti가 포털의 영화 카메라와 유사한 추적 및 프레이밍을 시연합니다.

마찬가지로 실시간으로 변화하는 조명 상황을 처리하는 방법을 배워야 합니다. 피사체가 담요로 반을 덮은 채 어두운 방에 누워 있는데 배경에서 뛰어다니는 아이들이 있어서 모션 블러가 발생하는 경우 어떻게 합니까? Portal은 눈 깜짝할 사이에 이 모든 정보의 무게를 측정하고 최상의 결과를 결정하려고 시도합니다. (초점을 맞추는 사람을 수동으로 제어하고 싶다면, 그것도 이제 가능해.)

기술적 과제

기술적인 관점에서 Portal의 기술을 인상적으로 만드는 몇 가지 요소가 있습니다. 첫 번째는 실제 움직이는 카메라를 사용하지 않고도 이 모든 작업을 수행할 수 있다는 것입니다. 개발 프로세스 초기에 Portal의 엔지니어들은 피사체를 향해 회전하는 전동 카메라를 사용하는 프로토타입을 시험했습니다. 그러나 이는 지연을 초래하고 잠재적인 기계적 고장 지점을 근거로 하여 반대 결정을 내렸습니다. 대신 Portal은 모든 이동 및 편집 결정이 완전히 디지털 방식으로 이루어지는 초광각 렌즈로 구성됩니다.

둘째, Portal 작업 팀은 클라우드 컴퓨팅에 의존하지 않고도 의사 결정 프로세스를 달성할 수 있는 방법을 찾았습니다. 황씨에 따르면 컴퓨팅 화력은 모두 기기 내에서 달성된다.

Facebook 포털의 진화
초기 Portal 프로토타입은 모터를 사용하여 카메라를 물리적으로 움직였습니다.페이스북 엔지니어링

"비디오 프레임에 모든 사람을 캡처하는 것은 어려운 엔지니어링 문제가 아닙니다. 오늘날의 컴퓨터 비전 발전을 통해 많은 엔지니어가 이를 수행할 수 있기 때문입니다."라고 그는 말했습니다. “혁신은 Portal 내부의 작은 모바일 칩을 처리 능력으로 사용하여 관련 사람이나 사람을 장치에서 실시간으로 캡처하는 것입니다. 일반적으로 이러한 유형의 A.I. 작업에는 전용 대규모 서버가 필요합니다. [우리는] Portal에 사용하는 칩에 맞으면서도 정확하고 안정적으로 실행될 수 있을 때까지 복잡한 컴퓨터 비전 모델을 압축하여 이러한 장애물을 극복했습니다.”

이를 위해 Portal은 인공 지능에 대한 Facebook의 장기 투자를 활용합니다. 초당 30프레임으로 실행되는 2D 자세 감지 시스템을 사용합니다. 이러한 포즈의 의도성은 Portal이 피사체가 무엇을 하고 있는지, 그리고 결과적으로 언제 디지털 방식으로 이동하거나 확대/축소해야 하는지에 대한 지속적인 결정을 내리는 데 도움이 됩니다. 또한 거대 소셜 미디어 기업의 가상 현실 노력의 일환으로 Facebook Reality Labs에서 개발한 깊이 카메라에 대한 연구도 활용합니다.

성장하는 시장

Facebook은 Portal의 승자가 될 것이라고 확신합니다. 그 자신감이 어디서 나오는지 쉽게 알 수 있습니다. 현재 스마트 스피커 시장은 호황을 누리고 있습니다. 시장 선두주자인 아마존이 대부분을 장악하고 있지만, 매년 100% 이상 성장. 이는 평탄화되는 시기에 차세대 혁신을 모색하는 기술 기업들에게 희소식입니다. 스마트 폰 매상.

페이스북 포털+ 리뷰
댄 베이커/디지털 트렌드

페이스북은 4대 기술 대기업(아마존, 알파벳, 페이스북 및 Apple)이 시류에 편승하기 위해서는 여전히 첫 번째 중 하나 화면을 중심으로 소통하는 스마트 스피커의 물결.

“포털은 동종 시장에서 유일한 제품입니다.”라고 황씨는 말했습니다. “오늘날 스마트 스피커와 디스플레이는 정보와 상업을 중심으로 구축되었습니다. Portal은 가장 중요한 사람들, 즉 가장 가까운 친구 및 가족과 더 쉽게 연결할 수 있도록 만들어졌습니다. 그리고 Portal은 Facebook 사명의 일부인 사람들을 연결하는 데 중점을 두고 있는데, 이는 현재 가정용 기기 시장에서는 잘 제공되지 않습니다.”

개인 정보 보호 문제가 앞으로 다가오고 있나요?

그렇다면 Facebook을 막는 것은 무엇입니까? 음, 잠재적으로 개인 정보 보호입니다. 사용자는 사용자 데이터에 대한 관심을 갖고 Google과 같은 회사의 "항상 듣고 있는" 장치를 놀랍게도 기꺼이 받아들인 것으로 나타났습니다. 그러나 당신을 보고 듣는 장치는 여전히 더 침입적입니다. 게다가 페이스북의 평판은 여전히 ​​타격을 받고 있다. 지난해 캠브리지 애널리티카 스캔들.

포털 영상 채팅 카메라에 스마트 추가(Facebook)

이 기사가 게재되기 불과 ​​며칠 전, 워싱턴 포스트 보고됨 페이스북이 개인 정보 보호 경범죄에 대해 FTC와 기록적인 수십억 달러 규모의 합의를 협상하고 있다는 소식입니다. 많은 이전 사용자들의 반발이 커지면서 아직 공개되지 않았습니다. 페이스북 Amazon Echo 스타일의 히트작이 있거나 Amazon Fire Phone 스타일의 실패작이 있습니다.

Facebook은 도청을 방지하기 위해 추가로 암호화된 포털 화상 통화의 내용을 듣거나 보거나 보관하지 않는다고 보장했습니다. Portal의 A.I. 스마트는 장치에서 로컬로 실행되지 않고 장치에서 로컬로 실행됩니다. 페이스북 서버는 또한 이 정보가 집 밖으로 나가지 않는다는 것을 의미합니다. "Hey Portal"이라고 말한 후에만 음성 명령이 회사로 전송되며 사용자는 언제든지 Facebook 활동 로그에서 음성 기록을 삭제할 수 있습니다.

그러나 여전히 어느 정도의 데이터 수집이 진행되고 있다는 사실을 피할 수는 없습니다. “우리는 귀하의 포털 화상 통화 내용을 듣거나 보거나 보관하지 않으며 이 정보를 사용하여 광고를 타겟팅하지 않지만 Portal이 어떻게 사용되는지 이해하고 제품을 개선하기 위해 일부 장치 사용 정보를 처리합니다.”라고 Facebook은 말합니다. (포털의 개인정보취급방침 여기에서 읽을 수 있습니다.)

Portal은 화상 채팅의 미래에 막대한 영향을 미치는 매우 스마트한 기술을 제공합니다. 회사가 기술적인 관점에서 매우 인상적인 것을 해냈다는 것은 의심의 여지가 없습니다. 그러나 잠재 고객에게 이것이 자신의 삶에 필요한 솔루션이라는 점을 확신시킬 수 있는지 여부는 궁극적으로 진정한 성과로 입증될 것입니다.

편집자의 추천

  • AI의 섬뜩할 정도로 아름다운 '종합 성서'를 읽어보세요. 그게 신이라고 생각하는 거야
  • 언어 슈퍼모델: GPT-3가 AI를 조용히 도입하는 방법 혁명
  • 우리는 AI를 사용했습니다. 새로운 로고를 만들기 위한 디자인 도구입니다. 일어난 일은 다음과 같습니다
  • 신경 상징적 A.I. 인공지능의 미래이다. 작동 방식은 다음과 같습니다.
  • AI의 부상 재검토: 2010년 이후 인공지능은 어디까지 발전했나요?