Möt Bixby, den virtuella assistenten som driver Samsungs Galaxy S8

När Samsung lanserar Galaxy S8 och S8 Plus smartphones den 29 mars kommer teamet av virtuella assistenter som syftar till att söka igenom din inkorg och städa i ordning ditt digitala liv bara bli lite mer trångt.

Alexa, Siri, Google Assistant, Cortana: Möt Bixby.

Det finns ett nytt namn inom konstgjorda assistenter, men Samsung hävdar att den här inte kommer att berätta dumma skämt eller en väderprognos, och den kommer inte heller att leta upp fakta åt dig online. Den här smarta assistenten är tänkt att förbättra din interaktion med ditt digitala liv – inte bara ditt smartphone men din tvättmaskin, din termostat, din dammsugare, allt. Det är inget mindre än en omprövning av hur vi använder våra grejer.

Visst, det är djärva ord, men chefen för forskning och utveckling på Samsung Mobile Communications Business Group tror på dem.

"Filosofiskt sett revolutionerar det vi tittar på gränssnittet," sa Injong Rhee till Digital Trends.

En del av det betyder att ryktena är sanna - det kommer att finnas en dedikerad Bixby-knapp på Galaxy S8 och S8 Plus.

Men vad gör assistenten? Och hur skiljer det sig från alla andra assistenter som belamrar våra telefoner och våra liv, lyssnar på, ringer in och kvittrar för att hjälpa oss? För att ta reda på det flög Digital Trends nästan 7 000 miles till Sydkorea för att prata naturliga språkgränssnitt och maskininlärning och för att svara på den viktigaste frågan: Ska du lämna din virtuella dagsplanerare till Bixby?

Planerar AI-revolutionen

"Efter 10 år av smartphones väntar en ny revolution," förklarade Rhee. Vi var i ett konferensrum i Digital City, ett av hemelektronikjättens kontorskomplex i Suwon, Sydkorea, ungefär en halvtimme söder om Seoul.

Digital City är cirka två mil bred och spänner över flera kontorstorn och bostadshus. Den är lika stor som en förskola och strukturerad som en. Det finns breda boulevarder, ett utomhustorg som heter Central Park (med inspelade fågelljud!) och en gigantisk underjordisk shopping och boendekomplex som rymmer två fitnesscenter, relaxavdelningar, en Samsung-butik, apotek och butikskedjor - till och med en Dunkin' Munkar.

Cirka 20 000 personer arbetar i Digital City, de flesta pendlar in från närliggande förorter. De äter tre måltider om dagen i företagets matsalar, sväller korridorerna från 11:30 till 1:30 till lunch, en armé av människor som tittar på mobiltelefoner, arbetar på mobiltelefoner, planerar nya mobiltelefoner, handlar mobil telefoner.

Rhee har det snygga utseendet som en rockstjärna - och en frisyr som matchar. Han är charmig att lyssna på, engagerar och brinner tydligt för Bixby, som han tror kommer att vara ett extraordinärt verktyg. Du förstår, maskininlärning driver armén av assistenter som har dykt upp de senaste åren, från det superintelligenta IBM Watson-systemet som kan överlista schackstormästare och drömmar skapa sina egna recept till mindre smidiga bots som Siri, den vänliga assistenten som bor i din iPhone och bokar möten åt dig, berättar om du behöver en jacka och hittar information. Även om maskininlärning är oerhört viktigt, har det varit utmaningen att göra den användbar för konsumenter.

Glöm Watson – det är en helt annan klass av system. Assistenter riktade till konsumenter som Alexa, Siri och Google Assistant (varför inget gulligt namn, Google?) verkar vara bäst lämpade för att leta upp information, hävdar Rhee: de hjälper dig inte riktigt att använda din gadget. Tänk på termen "användargränssnitt": Bixby syftar till att sätta tillbaka "användningen" i det.

"Titta på antalet uppgifter nuvarande agenter kan utföra," sa Rhee. "Det handlar om hundra. Vi tittar på att täcka allt du kan göra med ett pekkommando. Det här är ett mycket ambitiöst mål."

Samsungs Gallery-app kan till exempel göra 300 uppgifter, och det finns cirka 15 000 sätt som människor kan utföra dessa uppgifter med sina fingrar med hjälp av menyer och så vidare. Ta in röst och det blir komplicerat. Rhee sa att antalet sätt som människor kan tala dessa kommandon "varierar över miljoner", och dagens assistenter hjälper oss inte att göra de flesta saker vi skulle vilja göra med våra telefoner, än mindre förstå de miljontals sätt vi kan be om hjälp med att göra dem.

Vad kan Bixby göra?

Här är grejen: All denna information är baserad på löften från Samsung. Företaget kunde inte ge oss många konkreta svar på vad Bixby kan eller inte kan göra, så vi får vänta och se när det lanseras tillsammans med Galaxy S8.

Vad vi vet är att som Siri är för iPhone, eller Google Assistant är för en Pixel, kommer Bixby att vara för Galaxy S8 - något inbakat och nyckeln till gränssnittet. Bixby kan utföra informationssökningar, men till skillnad från de andra är dess primära roll att hjälpa dig att använda din telefon.

Be Bixby att hitta det fotot du tog förra veckan av ett rosa paraply, lysa upp det lite och maila det till kusin Fester, så kommer det att hända för dig. Samsung kallar det multimodal förmåga, och en av de smarta sakerna Bixby gör är att hantera problem i den. När ett kommando inte innehåller tillräcklig information för att assistenten ska kunna slutföra det, Bixby kommer fortfarande att ta användaren så långt den kan, snarare än att hoppa över hela. Det kommer att skapa det e-postmeddelandet och bifoga fotot, även om det inte känner igen kusin Fester som Thelonious. [email protected].

Men för att göra allt detta bra måste det kunna förstå naturligt språk bättre än andra. Så kan det?

"Ja med ett utropstecken!" Rhee berättade för oss. Det återstår förstås att se. Medan vi tillbringade en hel del tid på att prata med Rhee om assistenten, kunde Digital Trends ännu inte testa funktionen själva.

Vid lanseringen kommer det att finnas 10 förinstallerade appar som Bixby kan arbeta med, inklusive Galleri, Innehåll, Inställningar, Kamera och så vidare. Räkna med kalenderfunktionalitet i den andra vågen av Bixby-förberedda appar, som bör komma en månad efter den första batchen, och fler uppdateringar kommer att följa inom en liknande tidsram. För att använda tjänsten kan du helt enkelt prata med den ("Hej, Bixby!”) som du kan med andra assistenter, men Samsung anser att det inte är det mest intuitiva sättet att använda en assistent.

Bixby-knappen

Istället anser Rhee att alla prylar som stöder Bixby borde ha en knapp, oavsett om det är en smartphone för kommunikation i walkie-talkie-stil - i så fall behöver du naturligtvis inte säga "hej Bixby", eller en tvättmaskin med en biometrisk fingeravtrycksläsare som du trycker på innan du frågar Bixby att köra en tung cykel med låg centrifugeringshastighet. Bixby kan finnas överallt, limmet som håller ihop ditt smarta liv. Tänk dig en knapp på sidan av din fjärrkontroll, Rhee sa: tryck på den för att be din telefon hitta det fotot du skickade kusin Fester och kasta upp det på tv: n.

"Det börjar med smartphones, men var som helst som har en internetanslutning och en mikrofon kan Bixby användas," förklarade han. "Det finns en del av tekniken som vi lägger i enheten, men mycket av den lever i molnet."

Gränssnittet

Det finns fyra olika komponenter till Bixby, förklarar Rhee: Voice Agent, Vision, Home och Reminders. Röstagent är precis vad du kan förvänta dig – prata med Bixby och du får ett svar eller slutför en åtgärd. Påminnelser är en annan enkel. De andra två är mer komplexa.

Vision är Bixbys förmåga att använda en kamera för att känna igen föremål – en flaska vin, till exempel: Bixby kommer att dyka upp flera knappar med etiketter som beskriver objektet den ser (här är den maskininlärningen igen). Tryck på vinknappen så berättar den var du kan köpa den där beaujolaisen och vad den kostar. Eller så kan det vara gudomliga intressepunkter, eller känna igen böcker och så vidare.

Om du tycker att detta låter anmärkningsvärt likt Google Goggles är du inte ensam. Vi kommer att se hur Samsung utvecklar den här funktionen.

Sedan finns det Bixby Home, som finns på skärmen till vänster om hemskärmen. Liksom Google-appen (tidigare Google Now) har den kort som innehåller information, samt förslag om saker den vet att du gillar att göra, och Samsung planerar att göra den utbyggbar och låta tredje part arbeta med det. Det kommer att känna till sammanhanget, oavsett om du är på jobbet eller hemma. Ett kort tryck på knappen tar upp det, till skillnad från ett långt tryck som startar Bixby lyssnande.

Viv Labs-anslutningen

Samsung började arbeta på Bixby på allvar för ungefär ett och ett halvt år sedan, berättade Rhee, men företaget har naturligtvis haft röstigenkänning och kontroll i flera år genom S Voice-appen. S Voice gör de vanliga assistentgrejerna – den startar navigeringen för att ta dig hem eller berätta om vädret.

"Baserat på vår erfarenhet av S Voice övervägde vi verkligen att förnya det, och verkligen ändrar den filosofin och grunden bakom detta för att göra det mycket lättare för människor att adoptera”, Rhee sa. "Och det var då vi började arbeta med det här, för ungefär 18 månader sedan."

Bixby kan inte göra allt, och det kan inte Samsung heller – det fanns helt klart ingen anledning för ingenjörsteamet att uppfinna hjulet på nytt. Google är riktigt bra på att söka efter saker, till exempel, och Rhees team arbetar på ett smidigt sätt att lämna över en förfrågan från Bixby att googla. Det är där Viv kommer in.

"Vi tar Viv Labs för att växa det ekosystemet på ett skalbart sätt," förklarade han. Bixby har varit i vardande i flera år, men den senaste tiden förvärv av Viv – ett företag bildat av människorna som skapade Siri – kommer att hjälpa till att göra det bra. Viv-teamet skapade inte Bixby, men en del av det arbete de har gjort på sistone, särskilt ansträngningar för att göra assistenter utbyggbara, kommer att hjälpa till att särskilja detta verktyg.

"Viv Labs kommer att hjälpa till att expandera till ett ekosystem från tredje part," sa Rhee. "för att göra det lättare att exponera funktioner och perfekta upplevelsen för tredje part."

Så vad är det med det namnet?

Varför Bixby, frågar du? Det skulle vara bra om det fanns ett intressant svar - om någons farbror var Philip Bixby, eller någon kille räddade Rhees hund från att drunkna, och när han gick iväg tittade han tillbaka och viskade "Bixby.”

Nej.

En grupp som heter Design Center kom på namnet och tog det från en kortlista på tre, minskat från en lista på tusentals. Det är lätt att känna igen från ett maskinperspektiv, med rätt antal stavelser för att känna igen heta ord. Det kan vara man eller kvinna, säger de, och är mer ett efternamn än ett förnamn. Det kommer att tilltala millennials som de tror, ​​en grupp som är väldigt vänlig mot ny teknik. Samsung noterade att det också är namnet på en bro i San Francisco, vilket är lite mer suggestivt: "bygga broar" mellan dina prylar och smarta hem och mellan maskin och människa och allt det där.

Men innan vi kommer till bron är det fortfarande mycket väg kvar att bygga. Kanske är det något Bixby kan hjälpa till med? Bixby, är du där? Bixby?

Redaktörens rekommendationer

• Operation Shush: Uppgången och fallet för Samsungs oälskade Bixby-assistent