Vad är semantisk rendering och hur det förbättrar kameran på iPhone 11

iPhone 11 Pro Max bakre trippelkamera
Julian Chokkattu/Digitala trender

De största förbättringarna av Apples nya iPhones finns i kamerorna, och inte bara på grund av de nya ultravidvinkellinserna på iPhone 11, iPhone 11 Pro, och iPhone 11 Pro Max. Programvaran som driver kamerorna är ansvarig för ett betydande steg framåt i bildkvalitet tack vare förbättringar i beräkningsfotografering tekniker. En av de mest intressanta är semantisk rendering, en intelligent metod för att automatiskt justera högdagrar, skuggor och skärpa i specifika delar av ett foto.

Vad är semantisk rendering?

Inom artificiell intelligens hänvisar "semantik" till en maskins förmåga att smart segmentera information som liknar hur en människa skulle göra. Olika grenar av maskininlärning kan ha olika användningsområden för semantisk segmentering, men för fotografering börjar det med ämnesigenkänning.

I Apples fall letar kameran specifikt efter alla personer inom ramen, men den går en nivå djupare än så. När iPhone upptäcker ett mänskligt motiv, berättade Apple för Digital Trends att den skiljer ytterligare mellan hud, hår och till och med ögonbryn. Den kan sedan rendera dessa segment på olika sätt för att uppnå bästa resultat och skapa ett porträtt som är korrekt exponerat över bakgrunden.

Relaterad

  • Det här är de enda två anledningarna till att jag är exalterad över iPhone 15 Pro
  • En iPhone såldes precis för en galen summa på auktion
  • Denna $600 Android-telefon har en stor fördel jämfört med iPhone

[/pullquote]Ta bara en bild så gör telefonen jobbet på bråkdelar av en sekund. [/dragcitat]

För att förstå varför detta är så viktigt hjälper det att också förstå hur en vanlig kamera fungerar. Oavsett om det är en äldre iPhone eller en professionell DSLR, vet en kamera vanligtvis inte vad den fotograferar. Den känner till färgen och ljusstyrkan för en given pixel, men den kan inte få någon mening om vad som faktiskt finns i ramen. När du väljer "porträtt"-färgprofilen på en Nikon eller Canon, till exempel, tillämpar kameran bara inställningar på specifika färgintervall av pixlar som vanligtvis förekommer i mänskliga motiv; den vet inte riktigt om en person är närvarande eller inte.

En sådan effekt kallas en global justering, vilket innebär att den tillämpas på hela fotot lika. Detta är också hur standard högt dynamiskt omfång, eller HDR, foton fungerar: Höjdpunkterna sänks, skuggorna höjs och mellanregisterkontrasten kan förbättras – men utan hänsyn till vad som finns på bilden. Det här tillvägagångssättet fungerar bra för motiv som landskap, men det fungerar inte alltid för porträtt.

iPhone 11 porträttlägeJulian Chokkattu/Digitala trender

Med semantisk återgivning, en iPhone 11 kan tillämpa lokala, snarare än globala, justeringar. Detta innebär att en ljus himmel kan få sin ljusstyrka reducerad för att bibehålla färg och detaljer, medan höjdpunkterna i en persons ansikte inte kommer att reduceras så mycket, vilket bevarar djupet i motivet. Skärpa kan även appliceras på huden och håret i olika styrkor.

Fotografer har gjort den här typen av retuschering för hand i program som Adobe Photoshop i flera år, men förbättringarna tillämpas direkt på en iPhone 11.

Hur använder du det? Ta bara en bild så gör telefonen jobbet på bråkdelar av en sekund. Vet att semantisk återgivning endast påverkar mänskliga porträtt; andra typer av foton får standard HDR-behandling. Det är inte begränsat till porträttläge – alla foton med ett mänskligt motiv är automatiskt en kandidat för semantisk återgivning.

Beräkningsfotografering – som innehåller allt från HDR till djupavkännande porträttlägen – gör det möjligt för telefonkameror att överträffa de fysiska begränsningarna för sina små linser och sensorer. Apples semantiska rendering är en av nästa utveckling av dessa tekniker – Google har använt liknande maskininlärning för att driva kameran i sina Pixel-smarttelefoner.

Även om tekniken som driver den är komplex, är dess mål enkelt. Genom att ge iPhone möjligheten att veta när den tittar på en person, ser den världen lite mer som vi gör, vilket leder till bilder som ser naturliga och mer verklighetstrogna ut.

Redaktörens rekommendationer

  • Jag förlorade min iPhone på en drömsemester – och det var ingen mardröm
  • Apple kan möta "allvarlig" iPhone 15-brist på grund av produktionsproblem, säger rapporten
  • Jag kommer att bli arg om iPhone 15 Pro inte får den här funktionen
  • Jag försökte ersätta min GoPro med den här nya telefonen och dess smarta kamera
  • Jag har använt en iPhone i 14 år. Pixel Fold fick mig att vilja sluta

Uppgradera din livsstilDigitala trender hjälper läsare att hålla koll på den snabba teknikvärlden med alla de senaste nyheterna, roliga produktrecensioner, insiktsfulla redaktioner och unika smygtittar.