Hva er semantisk gjengivelse, og hvordan det forbedrer iPhone 11s kamera

De største forbedringene til Apples nye iPhones er i kameraene, og ikke bare på grunn av de nye ultravidvinkelobjektivene på iPhone 11, iPhone 11 Pro, og iPhone 11 Pro Max. Programvaren som driver kameraene er ansvarlig for et betydelig sprang fremover i bildekvalitet takket være forbedringer i databasert fotografering teknikker. En av de mest interessante er semantisk gjengivelse, en intelligent tilnærming til automatisk justering av høylys, skygger og skarphet i bestemte områder av et bilde.

Hva er semantisk gjengivelse?

I kunstig intelligens refererer "semantikk" til en maskins evne til smart å segmentere informasjon som ligner på hvordan et menneske ville gjort det. Ulike grener av maskinlæring kan ha forskjellige bruksområder for semantisk segmentering, men for fotografering starter det med gjenkjenning av emner.

I Apples tilfelle ser kameraet spesifikt etter alle personer innenfor rammen, men det går et nivå dypere enn det. Når iPhone oppdager et menneskelig motiv, fortalte Apple Digital Trends at den skiller ytterligere mellom hud, hår og til og med øyenbryn. Den kan deretter gjengi disse segmentene annerledes for å oppnå de beste resultatene, og skape et portrett som er riktig eksponert over bakgrunnen.

[/pullquote]Bare ta et bilde, så vil telefonen gjøre jobben på brøkdeler av et sekund. [/trekksitat]

For å forstå hvorfor dette er så viktig, hjelper det å også forstå hvordan et standardkamera fungerer. Enten en eldre iPhone eller en profesjonell DSLR, et kamera vet vanligvis ikke hva det tar opp. Den kjenner fargen og lysstyrken til en gitt piksel, men den kan ikke finne noen mening om hva som faktisk er i rammen. Når du velger "portrett"-fargeprofilen på for eksempel en Nikon eller Canon, bruker kameraet bare innstillinger på spesifikke fargeområder av piksler som vanligvis finnes i mennesker; den vet egentlig ikke om en person er til stede eller ikke.

En slik effekt kalles en global justering, noe som betyr at den brukes på hele bildet likt. Dette er også hvordan standard høyt dynamisk område, eller HDR, bilder fungerer: Høydepunkter senkes, skygger heves, og mellomtonekontrasten kan forbedres – men uten hensyn til hva som er på bildet. Denne tilnærmingen fungerer bra for motiver som landskap, men den fungerer ikke alltid for portretter.

Med semantisk gjengivelse, en iPhone 11 kan bruke lokale, i stedet for globale, justeringer. Dette betyr at en lys himmel kan få redusert lysstyrken for å opprettholde farger og detaljer, mens høydepunktene i ansiktet til en person ikke reduseres så mye, noe som bevarer dybden i motivet. Skarphet kan også påføres hud og hår i forskjellige styrker.

Fotografer har gjort denne typen retusjering for hånd i programmer som Adobe Photoshop i årevis, men forbedringene brukes umiddelbart på en iPhone 11.

Hvordan bruker du det? Bare ta et bilde, og telefonen vil gjøre jobben på brøkdeler av et sekund. Vet at semantisk gjengivelse bare påvirker menneskeportretter; andre typer bilder får standard HDR-behandling. Det er ikke begrenset til portrettmodus - ethvert bilde med et menneskelig motiv er automatisk en kandidat for semantisk gjengivelse.

Beregningsfotografering – som inkluderer alt fra HDR til dybdefølende portrettmoduser – gjør det mulig for telefonkameraer å overgå de fysiske begrensningene til sine små linser og sensorer. Apples semantiske gjengivelse er blant den neste utviklingen av disse teknologiene – Google har brukt lignende maskinlæring for å drive kameraet i Pixel-smarttelefonene.

Selv om teknologien som driver den er kompleks, er målet enkelt. Ved å gi iPhone muligheten til å vite når den ser på en person, ser den verden litt mer som vi gjør, noe som fører til bilder som ser naturlige og mer sanne ut.

Redaktørenes anbefalinger

• Jeg mistet iPhonen min på en drømmeferie - og det var ikke et mareritt
• Apple kan møte "alvorlig" iPhone 15-mangel på grunn av produksjonsproblem, sier rapporten
• Jeg blir rasende hvis iPhone 15 Pro ikke får denne ene funksjonen
• Jeg prøvde å erstatte min GoPro med denne nye telefonen og det smarte kameraet
• Jeg har brukt en iPhone i 14 år. Pixel Fold fikk meg til å ville slutte

Oppgrader livsstilen dinDigitale trender hjelper leserne å følge med på den fartsfylte teknologiverdenen med alle de siste nyhetene, morsomme produktanmeldelser, innsiktsfulle redaksjoner og unike sniktitter.