Inside The Coder Art At Googles Cultural Institute

Kan en maskin være kreativ? Google mener det, og det har et helt team dedikert til å lære maskiner hvordan de kan se verden litt mer som oss emosjonelle mennesker.

Tenk på datamaskiner som om de var barn, og det er enkelt å forstå hvordan programmerere kan lære dem å lære. Kunstig intelligens er i begynnelsen veldig grunnleggende og enkel. Menneskelige moderatorer instruerer datamaskiner, viser dem hvordan de skal tenke og dermed lære seg selv. Så snart koderne gir dem det grunnleggende, kan de raskt utvide denne kunnskapen.

På Google Cultural Institute i Paris, Frankrike, lærer søkegiganten maskiner hvordan de kan kategorisere 7 millioner bilder av menneskelige kunstneriske prestasjoner gjennom århundrene. Instituttet har til og med en nettside, samt apper for iOS og Android hvor du kan søke gjennom kunstverk fra forskjellige museer rundt om i verden. For å lage sin kunstkatalog, måtte kodekunstnerne i residensen ved instituttet lære datamaskiner til se bilder slik mennesker ville gjort for å lage et nøyaktig digitalt arkiv av kunst gjennom menneskets historie.

Katalogisering av historie er vel og bra, men noen av ferdighetene datamaskiner lærer fra sortering og arkivering, gjør dem faktisk mer kreative. Kunstnerne i residensen eksperimenterer nå med datamaskiner for å lage nye kunstverk ved hjelp av maskinintelligens og katalogen med 7 millioner bilder de har satt sammen. Under Google I/O 2016, Cyril Diagne og Mario Klingemann forklart hvordan de har lært maskiner å se kunst som mennesker, og hvordan de har trent maskiner til å være kreative.

Lære datamaskiner sine ABC-er

Noe av det første du lærer et barn er språk. I vestlig kultur betyr det å lære ABC-ene dine. Mario Klingemann, en selvskreven kodekunstner fra Tyskland, begynte å lære maskiner til identifisere stiliserte bokstaver fra gamle tekster for å finne ut om han kunne lære en datamaskin å gjenkjenne tusenvis av forskjellige As, Bs, Cs og så på. Det var et lynkurs i å lære maskiner hvordan man kategoriserer bilder slik mennesker ville gjort det.

Mens en datamaskin kan se på en stilisert bokstav B dekket av vinranker og blomster og se en plante av noe slag, kan til og med et 5 år gammelt barn umiddelbart identifisere bildet som en bokstav B - ikke en plante. For å lære datamaskinen sin å gjenkjenne ABC-ene, matet Klingemann den med tusenvis av bilder av stiliserte bokstaver. Han opprettet et Tinder-lignende grensesnitt for å sveipe til høyre eller venstre for å fortelle maskinene sine om de gjettet bokstaven riktig eller feil.

Det viser seg at maskiner lærer ABC-ene ganske raskt; de begynte å se bokstaver i alt. Akkurat som mennesker ser ansikter i skyer og bilder i abstrakte kunstverk, så datamaskinene hans bokstaver i fullstendig urelaterte bilder. Klingemann viste datamaskinen sin en tegning eller etsing av en ødelagt bygning, og de så en bokstav B i stedet.

Klingemann forklarte at når du trener en datamaskin med bare ett sett med bilder, begynner den å se bare den typen bilder i alt. Det er derfor maskinene hans så et brev i en ruin.

Lære datamaskiner å kategorisere 7 millioner bilder

Da Digital Interaction Artist Cyril Diagne begynte i Cultural Institute, stilte Google et ganske skremmende spørsmål til ham: «Hva kan du gjøre med 7 millioner digitale gjenstander?»

Diagne ble overveldet av spørsmålet, så han kartla hvert bilde i en strålende massiv sinusbølge, som du kan se nedenfor. Den bølgen endte senere opp med å bli en vakker representasjon av alt prosjektet håper å oppnå med maskinlæring. Diagnes sinusbølge er faktisk søkbar, så du kan surfe på et hav av alle bildene i det digitale arkivet laget av Google Cultural Institute. Bildene er gruppert i kategorier, og fra et fugleperspektiv ser du bare et hav av prikker. Når du flytter inn, kan du se spesifikke bilder, alle med et felles tema, enten det er valper, gårder eller mennesker.

Du kan også søke gjennom den og finne bildene du vil ha. Hvis du ser godt nok etter, kan du til og med støte på det Diagne kaller Portrettens kyst. Det er der alle bildene av folks ansikter er samlet.

For å lage det søkbare kartet over hvert bilde i arkivet, måtte Diagne og teamet hans lage en kategori for alt for å lære maskinen hva som var hva.

Å kategorisere 7 millioner artefakter, hvorav mange kan ha flere kategorier, er ingen enkel oppgave. Laget måtte finne på noen som var utenfor boksen. Det er ikke nok å bare kategorisere ting basert på hva de er. De måtte også lage kategorier for følelsene som bilder vekker.

På den måten kan du søke etter et bilde av "rolig", og datamaskinen vil vise deg bilder som fremkaller en følelse av ro, som solnedganger, rolige innsjøer og så videre. Utrolig nok lærte maskinene å identifisere menneskelige følelser med en slik dyktighet at de kan sette seg i våre sko for å vurdere hvordan et bestemt bilde ville få et menneske til å føles.

Å lære maskiner menneskelige følelser er et viktig skritt mot å gjøre dem mer kreative. Tross alt er mye av moderne kunst visuelle representasjoner av menneskelige følelser.

Men kan en maskin være kreativ?

Kreativitet og kunstnerskap er to ting som vi mennesker liker å tenke på som våre alene. Dyr lager ikke kunst, og heller ikke maskiner … ennå. Googles Deep Dream-prosjekt forsøkte å snu forestillingen om at maskiner ikke kan lage kunst på hodet. Søkegiganten trente datamaskiner til å manipulere bilder for å lage bisarre, psykedeliske kunstverk. Bildene laget av Google Deep Dream-motor er kanskje ikke pene, men de er absolutt unike og vilt kreative. Maskinkreasjoner inneholder psykedeliske farger, snegler, rare øyne og kroppsløse dyr som virvler i udefinerte rom.

Noen vil kanskje hevde at det egentlig ikke er kunst hvis maskiner bare kombinerer eksisterende bilder, vrir dem og dypper dem i ekstreme farger; Google ville tigge om å avvike, og det ville kodekunstneren Klingemann også.

"Mennesker er ute av stand til originale ideer," forklarte han.

Selv kjente malerier inneholder elementer fra tidligere kunstverk, bemerket han. Picassos mesterverk fra 1907 Les Demoiselles d'Avignon, for eksempel har påvirkninger fra afrikansk kunst og forløpere til kubister som Paul Cezanne. For den saks skyld er collager, som kombinerer eksisterende bilder på en kunstnerisk måte, en annen veletablert kunstform. Picasso, Andy Warhol, Man Ray og flere er kjent for sine eksentriske collager, så hvorfor kan ikke collager laget av maskiner også stå som kunst?

Klingemann ønsket å flytte grensene for digital kunst og se hvordan kreative maskiner kunne bli lenge før han begynte på residency ved Google Cultural Institute. Ved å bruke sine egne mindre kraftige maskiner begynte Klingemann å leke med Internet Archives og Googles TensorFlow maskinlæringsprogramvare for å lage digitale collager.

Han skapte et maskinlæringsverktøy kalt Ernst, oppkalt etter surrealisten og collagekunstneren Max Ernst. Klingemann identifiserte en serie objekter fra Ernsts arbeid og ba datamaskinen hans lage forskjellige collager med de samme elementene. Resultatene var ofte surrealistiske, noen ganger morsomme, og andre ganger helt forferdelige.

Klingemann ønsket mer kontroll over de kaotiske bildene maskinene hans produserte, så han begynte å lære dem nye ting. Han spurte seg selv: "Hva er interessant for mennesker?" Klingemann visste at han måtte lære systemet hva det skulle se etter, for å lære det hvordan det skulle se alle disse elementene som en menneskelig kunstner ville gjort.

Det resulterende kunstverket er nydelig og helt unikt. Selv om Klingemann åpenbart brukte gamle bilder for å lage sitt arbeid, vises de i en ny kontekst, og det utgjør hele forskjellen.

Akkurat nå er datamaskinkreativitet begrenset til interessante collager og forståelse av hvilke bilder som passer godt sammen. Maskiner lager ikke sin egen kunst ennå, men kodekunstnerne som driver dem blir mer kurator enn skaper i løpet av prosessen.

Det gjenstår å se hvor langt mennesket kan utvide maskinenes kreative sinn, men det er absolutt fascinerende å se.

Redaktørenes anbefalinger

• Google Bard kan nå snakke, men kan det overdøve ChatGPT?
• Du kan nå prøve Googles Bard, konkurrenten til ChatGPT
• Googles nye Bard AI kan være kraftig nok til å få ChatGPT til å bekymre seg – og den er allerede her
• Google Meet eller Zoom? Snart spiller det ingen rolle
• Google Japans bisarre nye tastatur kan også fange opp (bokstavelig talt) feil