Møt Bixby, den virtuelle assistenten som driver Samsungs Galaxy S8

Injong Rhee, leder for FoU hos Samsung Mobile
Injong Rhee, leder for forskning og utvikling i Samsung Mobile Communications Business Group, og hjernen bak Bixby, Samsungs personlige digitale assistent.Jeremy Kaplan/Digitale trender

Når Samsung lanserer Galaxy S8 og S8 Plus smarttelefoner 29. mars vil teamet med virtuelle assistenter som tar sikte på å gjennomsøke innboksen din og rydde opp i ditt digitale liv bare bli litt mer overfylt.

Alexa, Siri, Google Assistant, Cortana: Møt Bixby.

Det er et nytt navn i kunstige assistenter, men Samsung hevder at denne ikke vil fortelle deg dumme vitser eller en værmelding, og den vil heller ikke finne fakta for deg på nettet. Denne smarte assistenten er ment å forbedre interaksjonene dine med ditt digitale liv – ikke bare ditt smarttelefon men vaskemaskinen, termostaten, støvsugeren, alt. Det er intet mindre enn en ny vurdering av hvordan vi bruker tingene våre.

Jada, det er dristige ord, men lederen for forskning og utvikling ved Samsung Mobile Communications Business Group tror på dem.

"Filosofisk sett er det vi ser på å revolusjonere grensesnittet," sa Injong Rhee til Digital Trends.

En del av det betyr at ryktene er sanne - det vil det være en dedikert Bixby-knappGalaxy S8 og S8 Plus.

Men hva gjør assistenten? Og hvordan er det forskjellig fra alle de andre assistentene som roter til telefonene og livene våre, lytter til, kimer inn og kvitrer for å hjelpe oss? For å finne ut fløy Digital Trends nesten 7000 miles til Sør-Korea for å snakke naturlig språkgrensesnitt og maskinlæring og for å svare på det viktigste spørsmålet: Bør du gi din virtuelle dagsplanlegger til Bixby?

Planlegging av AI-revolusjonen

"Etter 10 år med smarttelefoner venter en ny revolusjon," forklarte Rhee. Vi var i et konferanserom i Digital City, et av forbrukerelektronikkgigantens kontorkomplekser i Suwon, Sør-Korea, omtrent en halvtime sør for Seoul.

Digital City er omtrent to mil bred, og spenner over flere kontortårn og boligbygg. Den er like stor som en førskole, og strukturert som en. Det er brede bulevarder, et friluftstorg kalt Central Park (med fuglelyder!), og en gigantisk underjordisk shopping og levende kompleks som har to treningssentre, avslapningssoner, en Samsung-butikk, apotek og detaljkjeder – til og med en Dunkin' Donuts.

Samsung Suwon Sør-Korea
Samsung Suwon Sør-Korea
Samsung Suwon Sør-Korea
Samsung Suwon Sør-Korea

Rundt 20 000 mennesker jobber i Digital City, de fleste pendler inn fra nærliggende forsteder. De spiser tre måltider om dagen i bedriftens spisesaler, og svulmer opp korridorene fra 11:30 til 1:30 til lunsj, en hær av mennesker som ser på mobiltelefoner, jobber med mobiltelefoner, planlegger nye mobiltelefoner, handler mobil telefoner.

Rhee har det flotte utseendet til en rockestjerne - og en hårklipp som matcher. Han er sjarmerende å lytte til, engasjerende og tydelig lidenskapelig opptatt av Bixby, som han tror vil være et ekstraordinært verktøy. Du skjønner, maskinlæring driver hæren av assistenter som har dukket opp de siste årene, fra det superintelligente IBM Watson-systemet som kan overliste sjakkstormestere og drømmer lage sine egne oppskrifter til mindre smidige roboter som Siri, den vennlige assistenten som bor i din iPhone og setter avtaler for deg, forteller deg om du trenger en jakke, og finner informasjon. Selv om maskinlæring er enormt viktig, har det vært utfordringen å gjøre den nyttig for forbrukere.

Som Siri er for iPhone, eller Google Assistant er for en Pixel, vil Bixby være til Galaxy S8 - noe innbakt og nøkkelen til grensesnittet.

Glem Watson - det er en helt annen klasse av system. Assistenter rettet mot forbrukere som Alexa, Siri og Google Assistant (hvorfor ikke noe søtt navn, Google?) ser ut til å være best egnet for å finne informasjon, argumenterer Rhee: de hjelper deg egentlig ikke med å bruke gadgeten din. Tenk på begrepet "brukergrensesnitt": Bixby har som mål å sette "bruken" tilbake i det.

"Se på antall oppgaver nåværende agenter kan utføre," sa Rhee. "Det er omtrent hundre. Vi ser på å dekke alt du kan gjøre med en berøringskommando. Dette er et veldig ambisiøst mål.»

Samsungs Galleri-app kan for eksempel gjøre 300 oppgaver, og det er omtrent 15 000 måter folk kan utføre disse oppgavene med fingrene ved hjelp av menyer og så videre. Ta med stemmen og det blir komplisert. Rhee sa at antallet måter folk kan snakke disse kommandoene på "varierer over millioner", og dagens assistenter hjelper oss ikke med å gjøre det store flertallet av tingene vi ønsker å gjøre med telefonene våre, langt mindre forstå de millioner av måter vi kan be om hjelp til å gjøre dem på.

Hva kan Bixby gjøre?

Her er tingen: Denne informasjonen er basert på løfter fra Samsung. Selskapet kunne ikke gi oss mange konkrete svar på hva Bixby kan eller ikke kan gjøre, så vi må vente og se når den lanseres sammen med Galaxy S8.

Det vi vet er at som Siri er for iPhone, eller Google Assistant er for en Pixel, vil Bixby være til Galaxy S8 - noe innbakt og nøkkelen til grensesnittet. Bixby kan utføre informasjonssøk, men i motsetning til de andre er dens primære rolle å hjelpe deg med å bruke telefonen.

Be Bixby finne det bildet du tok forrige uke av en rosa paraply, lys opp det litt og send det til fetter Fester på e-post, og det vil få det til å skje for deg. Samsung kaller det multimodal evne, og en av de smarte tingene Bixby gjør er å takle problemer i den. Når en kommando ikke inneholder tilstrekkelig informasjon til at assistenten kan fullføre den, Bixby vil fortsatt ta brukeren så langt den kan, i stedet for å hoppe over hele greia. Det vil opprette den e-posten og legge ved bildet, selv om det ikke gjenkjenner fetter Fester som Thelonious. [email protected].

Men for å gjøre alt dette bra, må det være i stand til å forstå naturlig språk bedre enn andre. Så kan det?

Injong Rhee presenterer under 2016 Samsung Developer Conference.Samsung

"Ja med et utropstegn!" Rhee fortalte oss. Det gjenstår selvfølgelig å se. Mens vi brukte en god del tid på å snakke med Rhee om assistenten, var Digital Trends ennå ikke i stand til å teste funksjonaliteten selv.

Ved lansering vil det være 10 forhåndslastede apper som Bixby kan jobbe med, inkludert Galleri, Innhold, Innstillinger, Kamera og så videre. Forvent kalenderfunksjonalitet i den andre bølgen av Bixby-klare apper, som bør komme en måned etter den første batchen, og flere oppdateringer vil følge på en lignende tidsramme. For å bruke tjenesten kan du ganske enkelt snakke med den ("Hei, Bixby!”) som du kan med andre assistenter, men Samsung mener det ikke er den mest intuitive måten å bruke en assistent på.

Bixby-knappen

I stedet mener Rhee at alle Bixby-støttende dingser bør ha en knapp, enten det er en smarttelefon for walkie-talkie-kommunikasjon - i så fall er det ikke nødvendig å si "hei Bixby," selvfølgelig - eller en vaskemaskin med en biometrisk fingeravtrykkskanner du trykker på før du spør Bixby å kjøre en tung syklus med lav sentrifugehastighet. Bixby kan være overalt, limet som holder sammen smartlivet ditt. Se for deg en knapp på siden av fjernkontrollen din, sa Rhee: trykk på den for å be telefonen om å finne bildet du sendte fetter Fester og kaste det opp på fjernsynet.

"Det starter med smarttelefoner, men hvor som helst som har en internettforbindelse og en mikrofon, kan Bixby brukes," forklarte han. "Det er en del av teknologien vi legger i enheten, men mye av den lever i skyen."

Grensesnittet

Det er fire forskjellige komponenter til Bixby, forklarer Rhee: Voice Agent, Vision, Home og Reminders. Taleagent er akkurat det du forventer – snakk med Bixby og du vil få svar eller fullføre en handling. Påminnelser er en annen enkel en. De to andre er mer komplekse.

Tenk på begrepet "brukergrensesnitt": Bixby har som mål å sette "bruken" tilbake i det.

Vision er Bixbys evne til å bruke et kamera til å gjenkjenne objekter – en flaske vin, for eksempel: Bixby vil dukke opp flere knapper med etiketter som beskriver elementet det ser (her er den maskinlæringen en gang til). Trykk på vinknappen og den vil fortelle deg hvor du kan kjøpe den beaujolaien og hva den koster. Eller det kan være guddommelige interessepunkter, eller gjenkjenne bøker og så videre.

Hvis du synes dette høres bemerkelsesverdig likt ut som Google Goggles, er du ikke alene. Vi får se hvordan Samsung utvikler denne funksjonen.

Så er det Bixby Home, som bor på skjermen til venstre for startskjermen. I likhet med Google-appen (tidligere Google Nå), har den kort som inneholder informasjon, samt forslag om ting den vet du liker å gjøre, og Samsung planlegger å gjøre den utvidbar og la tredjeparter jobbe med det. Den vil kjenne konteksten, enten du er på jobb eller hjemme. Et kort trykk på knappen bringer det opp, i motsetning til det lange trykket som starter Bixby lytter.

Viv Labs-forbindelsen

Samsung begynte for alvor å jobbe med Bixby for omtrent halvannet år siden, fortalte Rhee oss, men selskapet har selvfølgelig hatt stemmegjenkjenning og kontroll i mange år gjennom S Voice-appen. S Voice gjør standard assistent-tingene – den starter navigasjonen for å ta deg hjem, eller fortelle deg været.

"Basert på vår erfaring med S Voice, vurderte vi seriøst å fornye det, og virkelig endre den filosofien og grunnlaget bak dette for å gjøre det mye lettere for folk å adoptere,» Rhee sa. "Og det var da vi begynte å jobbe med dette, for omtrent 18 måneder siden."

Bixby kan ikke gjøre alt, og det kan heller ikke Samsung – det var tydeligvis ingen grunn for ingeniørteamet til å finne opp hjulet på nytt. Google er veldig flinke til å søke etter ting, for eksempel, og teamet til Rhee jobber med en smidig måte å levere en forespørsel fra Bixby til Google. Det er der Viv kommer inn.

"Vi bringer Viv Labs for å vokse det økosystemet på en skalerbar måte," forklarte han. Bixby har vært under utvikling i årevis, men den siste tiden oppkjøpet av Viv – et selskap dannet av menneskene som skapte Siri – vil bidra til å gjøre det bra. Viv-teamet skapte ikke Bixby, men noe av arbeidet de har gjort i det siste, særlig innsatsen for å gjøre assistenter utvidbare, vil hjelpe til med å skille dette verktøyet.

"Viv Labs kommer til å hjelpe med å utvide til et tredjeparts økosystem," sa Rhee. "for å gjøre det enklere å eksponere funksjoner og perfeksjonere opplevelsen for tredjeparter."

Så hva er det med det navnet?

Hvorfor Bixby, spør du? Det ville vært flott om det var et interessant svar - hvis noens onkel var Philip Bixby, eller en fyr reddet Rhees hund fra å drukne, og da han gikk, så han seg tilbake og hvisket "Bixby.”

Nei.

En gruppe kalt Design Center kom opp med navnet, og trakk det fra en kortliste på tre, redusert fra en liste på tusenvis. Det er lett å gjenkjenne fra et maskinperspektiv, med riktig antall stavelser for gjenkjenning av varme ord. Det kan være mann eller kvinne, sier de, og er mer et etternavn enn et fornavn. Det vil appellere til millennials tror de, en gruppe som er veldig vennlige til ny teknologi. Samsung bemerket at det også er navnet på en bro i San Francisco, som er litt mer stemningsfull: "bygge broer" mellom dingsene dine og smarthjemmet og mellom maskin og menneske og alt det der.

Men før vi kommer til broen, er det fortsatt mye vei å bygge. Kanskje det er noe Bixby kan hjelpe med? Bixby, er du der? Bixby?

Redaktørenes anbefalinger

  • Operation Shush: Fremveksten og fallet til Samsungs uelskede Bixby-assistent