Google Lens Computer Vision Tech hjälper dig att förstå vad kameran ser

Den här historien är en del av vår fullständiga Google I/O-bevakning

Vill du veta namnet på den blomman eller fågeln du möter under din promenad genom en park? Snart kommer Google Assistant att kunna berätta det för dig med hjälp av kameran och artificiell intelligens.

Google tog fart på sitt 2017 I/O-konferens kring AI och maskininlärning, och en datorseendeteknik den lyfte fram är Google Lens, som tillåter kameran gör mer än att bara ta en bild – den ger ett större sammanhang kring vad det är du ser.

Kommer till Google Assistant och Google Foton, kan Google Lens-tekniken "förstå vad du tittar på och hjälpa dig att vidta åtgärder", sa Googles vd Sundar Pichai under keynoten. Om du till exempel riktar kameran mot en konsertlokal kan Google Assistant berätta mer om artist, samt spela musik, hjälpa dig att köpa biljetter till föreställningen och lägga till den i din kalender, allt inom en enda app.

När kameran pekar på ett obekant föremål kan Google Assistant, genom bildigenkänning, berätta vad det är. Rikta den mot en butiksskylt och med hjälp av platsinformation kan du ge dig meningsfull information om verksamheten. Allt detta kan göras genom den "konversations" röstinteraktion som användaren har med Assistant.

"Du kan rikta din telefon mot den och vi kan automatiskt göra det hårda arbetet åt dig," sa Pichai.

Med Google Lens, din smartphone Kameran ser inte bara vad du ser, utan kommer också att förstå vad du ser för att hjälpa dig vidta åtgärder. #io17pic.twitter.com/viOmWFjqk1

— Google (@Google) 17 maj 2017

Om du använder Googles Översätt-app har du redan sett hur tekniken fungerar: Placera en kamera över lite text så översätter appen den till ett språk du förstår. I Google Assistant tar Google Lens detta vidare. I en demonstration visade Google det Google Assistant kommer inte bara att översätta utländsk text, utan också visa bilder av vad texten beskriver, för att ge mer information.

Bildigenkänningsteknik är inte ny, men Google Lens visar hur avancerad maskininlärning håller på att bli. Pichai sa att som med sitt arbete med tal, ser Google stora förbättringar i synen. Computer vision-tekniken hjälper inte bara att känna igen vad något är, utan kan till och med hjälpa till att reparera eller förbättra en bild. Tog ett suddigt foto av Eiffeltornet? Eftersom datorn känner igen objektet och vet hur det ska se ut, kan den automatiskt förbättra bilden baserat på vad man redan vet.

"Vi kan förstå attributen bakom ett foto," sa Pichai. "Våra datorseendesystem är nu till och med bättre än människor på bildigenkänning."

För att göra Lens effektiv i sitt jobb använder Google en sofistikerad beräkningsarkitektur av Cloud Tensor Processing Unit (TPU) chipsets, för att hantera utbildning och slutledning för sin maskin inlärning. Dess andra generationens TPU-teknik kan hantera 180 biljoner flyttalsoperationer per sekund; 64 TPU-kort i en superdator klarar 11,5 petaflops. Med denna datorkraft kan nya TPU hantera både träning och slutledning samtidigt, vilket inte var det möjligt tidigare (den tidigare TPU: n kunde bara hantera slutledningsarbete, men inte den mer komplexa Träning). Maskininlärning tar tid, men den här hårdvaran hjälper till att påskynda ansträngningen.

Google Lens kommer också att driva nästa uppdatering av Google Foto. Bildigenkänning används redan i Foton för att känna igen ansikten, platser och saker för att hjälpa till med organisation och sökning. Med Google Lens kan Google Photos ge dig mer information om sakerna i dina foton, som namnet och beskrivningen av en byggnad; genom att trycka på ett telefonnummer i ett foto ringer du ett samtal och hämtar mer information om ett konstverk du såg i en museum, eller till och med ange Wi-Fi-lösenordet automatiskt från ett foto du tog på baksidan av ett Wi-Fi router.

Assistant och Photos kommer att vara de första apparna som använder Google Lens, men de kommer att rullas ut i andra appar. Och med tillkännagivandet av stöd för Assistant i iOS kommer iPhone-användare att kunna använda Google Lens-tekniken också.

Redaktörens rekommendationer

• Nej, du behöver verkligen inte Google Assistant på din smartklocka
• 5 saker vi skulle älska att se på Google I/O 2023 (men förmodligen inte kommer)
• Google I/O 2023 äger rum den 10 maj med ett personligt evenemang
• iPhone 14 Pro vs. Kamerastriden Google Pixel 7 Pro är otroligt nära
• Den här nya Google Lens-funktionen ser ut som om den är direkt ur en sci-fi-film

Uppgradera din livsstilDigitala trender hjälper läsare att hålla koll på den snabba teknikvärlden med alla de senaste nyheterna, roliga produktrecensioner, insiktsfulla redaktioner och unika smygtittar.