Hvordan Samsung bragte AR-emojis til liv i Galaxy S9

Integreret i Samsung Galaxy S9s kamera-app giver AR Emoji dig mulighed for at bruge det fremadvendte kamera til at oprette og sende digitale tegneserie-avatarer. I lighed med Apples Animojis i koncept fanger AR Emoji dine ansigtsbevægelser og spejler dem i form af en karakter eller et dyr. Men med funktionen "Opret min emoji" kan du også oprette en af ​​dig selv ved blot at tage en selfie - så du kan vælge hudfarve, tøj, frisure, hårfarve og briller.

Med AR Emoji gik Samsung ud på at løse det, de ser som et problem - at finde en måde at erstatte eksisterende emojier med dem, der er interaktive. Virksomheden ønskede at gøre dette på en måde, der var enkel ved at give brugerne de rigtige værktøjer til at fange følelser, men tillod dem stadig at dele resultatet på en række forskellige messaging-platforme.

Så hvordan oprettede Samsung sine AR Emojis? Til at begynde med gik det direkte til 3D-animationseksperterne, der bragte nogle af Hollywoods mest populære figurer til live.

Fra stor skærm til smartphone-kamera

For at drive den nye funktion samarbejdede Samsung med Loom.ai - en San Francisco-baseret opstart med speciale i 3D-animation. Virksomhedens software giver brugerne mulighed for at oprette fuldt personaliserede og tilpassede 3D-avatarer fra et enkelt fotografi uden brugerdefineret hardware eller dybdesensorer. Gennem et partnerskab og et softwareudviklingssæt (SDK) kombinerede Samsung Loom.ais teknologi med S9s kamerateknologi (udvidet) virkelighed og ansigtsgenkendelse) for at gøre brugerdefineret AR Emoji mulig.

Samsung ønsker at finde en måde at erstatte eksisterende emojier med dem, der er interaktive.

Visionen bag Loom.ai startede alt sammen med film - tegneserier og superhelte for at være nøjagtige. Efter at have tidligere arbejdet hos populære visuelle effekter virksomheder som DreamWorks og Lucasfilm, har Loom.ais grundlæggere - Mahesh Ramasubramanian og Kiran Bhat - hjulpet med at bringe kendte figurer, såsom Shrek og Hulk, til den store skærm.

For at injicere personlighed i disse karakterer brugte de performance-capture-teknologi til at inkorporere de skuespillere, der spillede dem - optagelse af skuespillerens bevægelser, ikke deres visuelle udseende. Men efter at have set, hvordan filmpublikummet reagerede på deres 3D-kreationer, besluttede Ramasubramanian og Bhat at tage teknologien videre - ud over Hollywood - ved at starte Loom.ai, der fokuserer på smartphones.

"Folk reagerer øjeblikkeligt på at få disse karakterer til at leve, når de drives af menneskelige aktører," fortalte Ramasubramanian, der fungerer som CEO og medstifter, Digital Trends. "Vi startede Loom.ai med det mål, at vi skal være i stand til at finde en nem måde for hver enkelt at være i stand til at se sig selv i 3D, og ​​til det var vi nødt til at opbygge en ny teknologi."

AR Emoji Brenda Stolyar / Digitale tendenser

Med spillefilm kræver oprettelse af en 3D-avatar masser af udstyr - dyr hardware og software, makeup og en studioindstilling. Men Loom.ai fandt en måde at forenkle processen med at indfange en persons funktioner uden de sædvanlige værktøjer; i stedet bruger dens patenterede teknologi et enkelt fotografi og dyb læring til at analysere et billede. Hvis et fotografi er fri for ansigtsudtryk, ser dyblæringsalgoritmen på pixels og producerer automatisk et ansigt, der indkapsler den korrekte muskelbevægelse.

"Da Samsungs partnerskab rullede rundt, havde vi en chance for at implementere den sofistikerede teknologi på en enhed, som vi mener allerede er en ret overbevisende ingeniøropgave i sig selv," fortalte Bhat, Loom.ais CTO og medstifter, Digital Trends. "Det er et stort teknologisk spring i at kunne tage nogle af disse ideer og forhåbninger fra den store skærm og bringe det til mobil."

For at styrke AR Emoji hyrede Samsung hjælp fra Loom.ai - en San Francisco-baseret opstart med speciale i 3D-animation.

At indarbejde denne teknologi i Galaxy S9-hardware krævede Loom.ai at omstrukturere sine algoritmer for at køre på enheden. Men Loom.ai oprettede ikke AR Emoji alene: Både Ramasubramanian og Bhat anerkender Samsung i at afsætte en enorm indsats for at optimere softwaren. Ved at tilbyde SDK til at integrere i smartphones tror Loom.ai-grundlæggerne, at Samsung kan gøre rammen meget rigere ved at tilføje mere indhold og muligheder for tilpasning i fremtiden.

Hvordan Galaxy S9 skaber en digital avatar

Så hvordan opretter S9 (og S9 Plus) nøjagtigt AR Emojis? Mens Samsung ikke afslørede sin hemmelige sauce, gav det Digital Trends et kig under emhætten.

Arbejdet fra Loom.ais teknologi fanger og behandler telefonens kamera et 2D-billede til 3D. For at forbedre dette yderligere bruger S9 yderligere software - ansigtssporing og Samsungs Blend Shape-teknologi - til at give ansigtsudtryk til AR Emoji.

hvordan samsung bragte ar emojis til live i galaksen s9 disney emoji partnerskab 2Mickey Mouse AR Emoji tæt på Samsung Galaxy S9

Du står derefter tilbage med en tegneserielignende version af dig selv, der kan emotere 18 forskellige udtryk - som Samsung planlægger langsomt at udvide til 54 - lige fra glæde og glæde til sorg og vrede. Alle data er også lokale for enheden og gemmes ikke andre steder.

Begge arbejder sammen, ansigtssporingsteknologi sporer over 100 ansigtsegenskaber i realtid (såsom blink eller smil) for at fange individuelle følelser, mens Blend Shape hjælper med at levere et større udvalg af dem - som blander udtryk sammen baseret på 75 grundlæggende menneskelige ansigtsegenskaber . Samsung siger, at for Blend Shape udførte det mindst 100 tests ugentligt inden for sine laboratorier for at sikre, at der er nok data, der ville lokke brugerne. (Blend Shape bruges også til at skabe sine Disney AR Emojis, som Mickey og Minnie Mouse.)

I vores egen AR Emoji-test følte et flertal af os, at vores tegn så ekstremt unøjagtige ud. En forfatter følte, at der manglede hudfarvemuligheder, uden mørkhudede toner at vælge imellem. Andre følte, at deres AR Emoji ikke lignede dem, hvilket fik redigering af avataren til at virke mere som en opgave end en fornøjelig opgave.

Ifølge Loom.ai er oprettelse af en nøjagtig AR Emoji stærkt afhængig af den måde, selfien bliver skudt på. Brugere skal gå rundt med at tage billedet på samme måde, som de tager et pasfoto. ”Du vil have jævn belysning, intet der dækker dit ansigt og et neutralt udtryk, så vi kan tilføje udtrykkene senere,” forklarede Ramasubramanian. "Det handler om, at folk bliver lidt vant til det og så ser mulighederne for at animere det og bruge det."

Ramasubramanian sagde også, at brugerne skal behandle det som de ville, mens de tog nogen selfie - hvilket betyder at du kan tage masser af fotos, indtil du er tilfreds med billedet. Da AR Emoji giver dig mulighed for at oprette flere avatarer, kan du sammenligne dem for at finde den, du bedst kan lide. Hver, du opretter, gemmes også på din telefon, så du kan skifte den version, du bruger, afhængigt af dit humør.

Den seneste opdatering til AR Emoji inkluderer yderligere frisurer, hovedbeklædning som en hijab og andre muligheder. Opdateringen rulles i øjeblikket ud til ulåste versioner af Samsung Galaxy S9 og S9 Plus i Korea, Kina og Europa. Europæiske luftfartsselskabsenheder og ulåste amerikanske enheder skal have opdateringen tilgængelig til download i denne uge. Opdateringen til amerikanske luftfartsselskaber ruller ud i løbet af de kommende uger. Samsung siger, at AR Emoji vil fortsætte med at udvikle sig i fremtiden, men for øjeblikket holder de sig tæt på nøjagtige detaljer.

Seneste indlæg

$config[zx-auto] not found$config[zx-overlay] not found