U hebt waarschijnlijk gehoord van een AI-techniek die bekend staat als “stijl transfer” — of, als je nog niet van gehoord, heb je het gezien. Het proces maakt gebruik van neurale netwerken voor het toepassen van de look en feel van het ene beeld naar het andere, en wordt in apps zoals Prisma en Facebook. Deze stijl transfers, echter, zijn stilistische, geen photoshop. Ze zien er goed uit omdat ze eruit zien als ze zijn geschilderd. Nu een groep van onderzoekers van de Cornell-Universiteit en Adobe hebben augmented stijl overdracht, zodat het kan de overdracht van het uiterlijk van de ene foto naar de andere, terwijl nog steeds op zoek, zoals een foto. De resultaten zijn indrukwekkend.
De onderzoekers van het werk wordt vermeld in een document getiteld “Diep Photo Style.” In wezen, ze hebben de methoden van de oorspronkelijke stijl overdracht, en een nieuwe laag van neurale netwerken in het proces — een laag die ervoor zorgt dat de details van het oorspronkelijke beeld bewaard.
Van links naar rechts: de originele afbeelding, maar het referentie beeld, en de output.
“Mensen zijn erg vergevingsgezind zijn als ze zien dat [stijl transfer images] in deze picturale stijlen,” Cornell professor Kavita Bala, co-auteur van de studie, vertelt De Berm. “Maar met echte foto’ s is er een sterkere verwachting van wat we willen dat het eruit, en dat is waarom het wordt een interessante uitdaging.”
De toegevoegde neurale netwerk laag besteedt veel aandacht aan wat Bala oproepen “lokale affiene patches.” Er is geen snelle manier om nauwkeurig te vertalen van deze zin, maar het betekent in feite de verschillende randen in het beeld, of dat de grens tussen een boom en een meer, of een gebouw en de hemel. Terwijl de stijl van de overdracht heeft de neiging om te spelen en snel los met deze randen worden, schakelen ze heen en weer als hij wil, photo style overdracht behoudt.