Technologie is steeds beter in staat om afbeeldingen te herkennen. Aanvankelijk gebeurde dit nog tamelijk 'primitief', door een geregistreerde afbeelding te vergelijken met de inhoud van een database (zoals de Art Regonizer in de 'Arts en Culture-app' van Google), maar tegenwoordig zijn computers dankzij deep learning meer en meer in staat om objecten uit zichzelf herkennen.
Dit heet machine of computer vision. Door de computer een paar ogen te geven (de camera), kunnen we de wereld voorzien van een virtuele informatielaag die aansluit op de omgeving. Zowel Tim Cook als Mark Zuckerberg gaven onlangs aan dat AR op mobiel bij hun bedrijf echt focus heeft. Volgens Zuckerberg zal hier de grote adoptie van AR als eerste plaatsvinden en niet bij de VR-brillen zoals HoloLens en Magic Leap.
Camera herkent persoon
Facial recognition is één van de vele manieren om beelden te herkennen. Snapchat is de ongekroonde koning van facial recogniton. De Lenses zijn een groot succes bij gebruikers en sinds de introductie acht maanden geleden van de sponsored Lenses, ook bij adverteerders. Veel filmstudio’s gebruiken Snapchat om een nieuwe speelfilm te promoten, zoals Sony voor de nieuwe Ghostbusters. Volgens Adweek kost een sponsored Lens tussen de 600.000 en 750.000 dollar voor 24 uur. Een gemiddelde Lens wordt een paar miljoen keer gebruikt en gezien door tientallen miljoenen mensen, dus dat is serieus bereik.
Lenses kunnen ook worden gekoppeld aan bepaalde GPS-locaties met de zogeheten Geofilters. Op deze manier is een Lens alleen te gebruiken in een bepaald gebied. Hilary Clinton en haar team hebben op deze manier de Republikeinse Conventie gekaapt met anti-Trump Geofilters. Ook hebben alle NFL-teams Geofilters met fan-content in hun stadions en rond hun training faciliteiten. Een start-up genaamd MakeShake maakt hier slim gebruik van door tegen betaling custom Geofilters te maken voor feesten en partijen.
Facebook zag het succes van de Snapchat Lenses en kocht MSQRD. Deze app herkent net als Snapchat een gezicht en legt daar een virtueel masker over heen - dezelfde techniek als van de immens populaire face swap. Op dit moment is Facebook bij een select aantal gebruikers in de mobiele app een feature aan het testen die gebruikt maakt van lenses. Als je een selfie maakt met de camera kan je bijvoorbeeld een vlag van het land dat je support met de Olympische spelen op je gezicht plaatsen.
Facebook en Google zijn natuurlijk al veel langer bezig met het herkennen van gezichten in foto’s om vrienden in foto’s te herkennen die je kunt taggen. Volgens Yann LeCun van het Facebook Artificial Intelligence Research lab gaat Facebook hier in de toekomst steeds meer mee doen. Ze zijn bezig met een soort digitale assistant die jouw online identity bewaakt. De assistant ziet bijvoorbeeld dat iemand anders een foto van je plaatst zonder dat jij daarvan af weet. Facebook kan straks ook zien in wat voor gemoedstoestand je bent zodat ze je kunnen tippen om die dronken foto niet te plaatsen. Het herkennen van gezichtsuitdrukkingen en emoties en gemoedstoestanden is mooi te combineren met speciale lenses.
De camera herkent ruimtes
Behalve voor het herkennen van gezichten in foto’s gebruikt Google ook image recognition om ruimtes te herkennen. Project Tango is technologie die de camera gebruikt om de omgeving te scannen. Het werkt een beetje op dezelfde manier als een zelfrijdende auto zijn omgeving scant. De camera ziet hoe groot en lang objecten zijn en wat hun positie in een ruimte is. Op deze manier kan Tango een virtuele laag over de ruimte leggen, bijvoorbeeld een indoor Google Maps die extra informatie biedt over allerlei objecten en ruimtes. Google heeft zo'n tour gemaakt voor een museum in Barcelona tijdens het Mobile World Congress 2016.
Een ander mooi voorbeeld is de app van de doe-het-zelf-winkel Lowe die helpt met het klussen in en inrichten van je huis. De camera scant de omgeving en laat je zien hoe groot bepaalde ruimtes zijn. Ook geeft het de mogelijkheid om producten van Lowe in jouw kamer te plaatsen, die dan uiteraard gelijk besteld kunnen worden. De Lenovo Phab2 Pro is de eerste telefoon die voorzien is van Google Tango en deze zal eind dit jaar in de winkel liggen.
De camera herkent alles
Google heeft naast Project Tango nog meer ijzers in het vuur. Zo heeft het bedrijf Moodstock gekocht om z'n positie op het gebied van mobile augmented reality te versterken. Het Franse bedrijf staat bekend als de ‘Shazam’ voor afbeeldingen. Maar Google is niet de enige tech-speler die een move maakt.;Twitter kocht in juni Magic Pony voor 150 miljoen en Apple is voornemens om een imaging-tech R&D lab te openen in Grenoble.
Als er zo veel techbedrijven in beweging komen dan weet je dat computer vision aan het doorbreken is en serieuze potentie heeft.
Een grote en nu nog zelfstandige speler is Blippar. Met inmiddels meer dan 65 miljoen gebruikers is dit een app die mij keer op keer doet verbazen, zo ver is hun technologie al doorontwikkeld. Blippar is in 2011 gestart, kocht in 2014 het Nederlandse Layar en is inmiddels meer dan 1 miljard waard. Het is de missie van Blippar om via deep learning de hele fysieke wereld te kunnen herkennen om vervolgens relevante informatie of acties te bieden. De app herkent al honderden miljoenen objecten. Soms heel generiek, maar vaak ook heel specifiek zoals plant- en diersoorten.
Unlock the world around you - #DiscoverMore with Blippar
Veel grote merken hebben al geëxperimenteerd met Blippar door speciale content aan te bieden op basis van het scannen van een product. Bijvoorbeeld Coca Cola die een playlist op Spotify aanbiedt als de gebruiker een blikje Cola scant. Voorheen lag de focus van de app ook echt op advertising, maar dat is veel meer verschoven naar ontdekken. Volgens de CEO Rish Mitra kunnen merken in de nieuwe app de zoekresultaten zelf niet beïnvloeden, maar zijn er nog wel mogelijkheden om te adverteren rondom de zoekresultaten.
De camera wordt zo enorm een krachtig middel om context te bieden. Waar ben je, wat zie je en met wie zie je dat? Baidu, de Chinese Google, is ook bezig met een AR-platform genaamd DuSEE dat gebruik maakt van computer vision. Op een conferentie in Beijing demonstreerden zij hoe een virtuele laag aan een reclame van een shampoomerk is toegevoegd. De Baidu search-app heeft honderden miljoenen gebruikers dus zij zien wel mogelijkheden om dit aan de man te brengen.
Ik startte deze blog door Snapchat te noemen als de ongekroonde koning van facial recognition, maar deze speler heeft de ambitie om nog meer stappen te zetten op het gebied van computer vision. Zij hebben onlangs een technologie-patent ingediend dat alle objecten in een Snap kan herkennen. In het patent wordt een voorbeeld gegeven van een kopje koffie waarbij een koffiemerk dat object heeft ‘gekocht’ en dus bij elke Snap waarin koffie voorkomt een ad mag laten zien. Dit zijn wel ads die passen in het Snapchat mechanisme zoals toffe filters.
De advertentie herkent alles
In het patent staat omschreven dat adverteerders kunnen bieden om te adverteren bij een productcategorie. Ik ben benieuwd waar dit met Snapchat, maar ook met de andere genoemde voorbeelden naar toe gaat. Een indicatie geven de Snapchat Geofilters en de virtuele locaties van Pokemon Go. Wie is eigenaar van de virtuele ruimte? Waar liggen de grenzen? Koop je straks als merk het alleenrecht op één of meerdere productcategorieën van objecten? Kan je straks als adverteerder ook emoties opkopen?
Boeiende vragen die de markt ongetwijfeld vanzelf oplost. Want hoeveel vragen dit ook oproept, de nieuwe techniek biedt vooral veel creatieve mogelijkheden. Maak je klaar om met de camera als sensor nieuwe dingen en routes te ontdekken in de echte wereld, of kortingen en acties waar je op dat moment echt op zit te wachten, nieuwe spaarsystemen waarmee je fysieke objecten kan scannen en ga zo maar door.
Plaats als eerste een reactie
Ook een reactie plaatsen? Word lid van Adformatie!