Tekst-naar-beeldtechnologie: hype of blijvertje?

David Verbeek, regisseur: ‘Voor een filmaker is Midjourney en Dall-E een uitkomst, omdat het je in staat stelt iets snel te visualiseren dat er nog niet is. Daarom is het vooral in de financieringsfase handig om als een soort proof of- concept te gebruiken. Ik maak er inmiddels moodboards mee om fondsen te overtuigen. Er wordt daardoor minder snel een storyboard or concept artist ingehuurd bij een laag budget. Kortom, het is in dit stadium vooral handig om ideeën te schetsen. Om tot een precies resultaat te komen is het nog niet zo efficiënt. Maar ik vind juist dat de impressionistische stijl die je al gauw krijgt als onervaren gebruiker, juist wel verfrissend. Eerder werden dan vaak stills uit eerdere films gebruikt, maar ik vond het dan vaak afleidend dat je acteurs herkende die niets met de beoogde nieuwe film te maken hadden.

Het is op termijn zeker een bedreiging voor beeldmakers, omdat dit steeds verder zal gaan. Over tien jaar tovert een Hollywood studio, a comedy about a bankrobber who meets a guru from Bangladesh and decides to conquer Mars, Spielberg style, illustrated by Picasso as a two hour blockbuster with a twisted end, uit de hoge hoed en na een week renderen hebben ze een halve film klaar, beetje tweaken in post en ze kunnen cashen.

Op korte termijn denk ik dat illustratoren deels vervangen gaan worden. Maar op langere termijn ook steeds meer bewegend beeldmakers. Tegelijk zagen schilders de fotocamera aanvankelijk ook als bedreiging en ontstond er juist veel nieuwe kunst en een hele eigen discipline door. Dat gaat hier ook gebeuren, maar het gaat óók menselijke creativiteit vervangen. Dat is onvermijdelijk. Het zal in de toekomst veel meer over keuzes maken gaan, niet zozeer over vaardigheid, maar over creatief kiezen. Smaak wordt alles.’

Daniël Samama, art director: ‘AI-systemen proberen zo precies mogelijk tekst om te zetten in beeld. Ik vind het dan juist leuk om te kijken wat er gebeurt als je dat systeem verstoort. Bijvoorbeeld door vroegtijdig te stoppen. Of expres spelfouten te maken in de prompts (opdrachten- red.). Of juist te vragen om fouten en mislukkingen. Dat doet-ie dan weer heel keurig natuurlijk.

Soms trek ik de output van verschillende text-to-image- modellen een aantal keer in elkaar of trek ik het beeld door een eigen stuk code of door een video-synth of glitch software. Die beelden zet ik dan weer naast elkaar of laat de AI het weer samenvoegen. ‘Als je AI-beelden niet ziet als eindproduct maar als gereedschap, zoals een camera of een kwast, zijn de mogelijkheden eindeloos. Als artistiek werktuig is het fantastisch. Je genereert zo even een startpunt voor jezelf, of een aantal variaties op iets waar je mee bezig bent.

Daar gaan de makers die voor je merk werken natuurlijk ook de vruchten van plukken. Maar zoals met elk werktuig is het geen silver bullet. Dat het nu makkelijker is om mooie plaatjes te maken, betekent nog niet dat je wegkomt met saaie ideeën. Of een tekstje intypen straks de gezamenlijke creativiteit van een hele crew zal vervangen betwijfel ik, maar voor een lekker plaatje in je presentatie is dat ook niet altijd nodig. Ik verwacht vooral veel van de utility-functie van AI. Plaatjes oneindig vergroten, opschonen, wijzigen, special effects toevoegen, animatie, etcetera.

En wat dacht je van een op maat gemaakte preroll op basis van klantdata? Ik las ook al dat het schrijvers helpt bij de verbeelding van hun verhaal, dus het gaat verder dan art. Of laat consumenten met een paar steekwoorden hun eigen versie van een commercial creëren. Dat lijkt me een leuk experiment.’

Daan Hocks, regisseur: ‘Ik ben vooral nog aan het experimenteren en aan het onderzoeken hoe je deze techniek als regisseur zou kunnen toepassen. Hier heb ik bijvoorbeeld een idee voor fotowerk proberen te pre-visualizen met Dall E, die geeft vaak toch net weer even andere suggesties dan je zelf voor ogen had. Dat helpt je in het creatieve proces: dit niet en dat wel.

Praktisch loop je nog tegen beperkingen aan. Er is een aantal aspecten waar Dall-E nog niet goed naar ‘luistert’. Hoe specifieker het beeld is dat je wilt creëren, hoe lastiger het wordt – zoals bijvoorbeeld compositie, dat kun je nog niet goed sturen. Dat is niet voor niets: een beeld zegt meer dan duizend woorden, en dat werkt twee kanten op.

Artistiek gezien vind ik het vooral interessant om te kijken waar je voorbijgaat aan de cliché-machine en resultaten onvoorspelbaar worden. Een beetje duwen tot de AI zich verslikt en iets onverwachts of zelfs compleet bizars voorschotelt. Ik zie het vooral als fantastisch extra gereedschap. Het maakt een snelle schets van een idee of een concept heel toegankelijk. Ideaal voor interpretaties bijvoorbeeld waar je concepten zonder al te veel tijd en middelen moet verduidelijken en visualiseren. De ontwikkelingen gaan hard en het wordt steeds beter. We staan nog maar aan het begin. Kijk bijvoorbeeld naar The Crow, jurywinnaar bij het Cannes Short Film Festival: ook text-to-video komt er al aan.’

Huub van Veenhuizen, senior creative: ‘Leuk allemaal dat AI, maar kan die ook een intergallactische battle anime maken? Oké, maar ook in de stijl van Star Wars? Misschien iets meer gesatureerd ... of Metal Gear Solid? Candy? Onderwater? Comic book? Ridley Scott’s Blade Runner?!!! Dit is ongeveer hoe een uurtje Midjourney met mij eruitziet én dat is waarschijnlijk niet heel representatief voor heel creatief Nederland, maar het geeft hopelijk wél een mooi beeld van hoe veelzijdig Midjourney als stijlexploratie-tool is.

We kennen de uitdrukking, a picture is worth a thousand words. Met algoritmes zoals Midjourney en Dall-E kan je dit volledig omdraaien — It takes a thousand words to create a worthy image. De kracht van deze technologie zit ‘m denk ik voornamelijk in de kwaliteit van de prompts. Een varkentje op een skateboard kan leuke resultaten opleveren maar je laat veel aan het toeval over en je mist de regie. Als je lekker wilt brainstormen, kan je gewoon op refresh blijven hitten tot je iets krijgt wat je tof vindt.

Maar stel, je wilt als creatief een poster, advertentie of NFT maken en het wil maar niet lukken met je prompt, dan moet het verfijnder. Zowel in de aansturing als uitvoering. Mensen zullen ongetwijfeld een soort Kodak-reflex hebben: Het zal wel meevallen dat AI, hoe groot kan dat nou worden?– een soortgelijke attitude die Kodak had ten aanzien van digitale fotografie. Het is prima als je het niet direct gaat gebruiken, maar ik ga er niet van uit dat dit zomaar zal verdwijnen. Zeker niet als je kijkt naar hoe snel deze algoritmes zijn verbeterd. Een maandje
geleden kon je geen fatsoenlijke gezichten krijgen en moest je dat nog door FaceApp heen halen. We zijn een paar updates later en het is gefixt. Dus kans of bedreiging? Beide, maar honderd procent kans voor creatie.’

Nadia Piet, hoofd creative technology bij Dept en oprichter van AIxDesign Community, dat AI toegankelijker wil maken voor creatieven: ‘Midjourney wordt meestal gebruikt voor (foto)realistische output – daarom wilde ik juist andere visuele stromingen ontdekken die ik zelf mooi vind zoals infographics, collages, en in dit geval semi-abstracte, editorial illustraties (zie beeld/creatie van Piet, red.).

Ook vind ik het interessant om in plaats van objecten juist abstracte en wetenschappelijke concepten als input te geven en te kijken hoe de computer deze ‘begrijpt’. Qua post processing heb ik naast opschalen en het opschonen van glitches niets gedaan. Het genereren van afbeeldingen met text-to image-modellen is een andere manier van maken. Waar je in Photoshop je visie laag voor laag tot leven brengt, moet je hier het eindresultaat zo duidelijk mogelijk in je mind’s eye visualiseren en dan in woorden vatten. Het is een soort reverse engineering van output naar input met daarin ook minder controle en een uitnodiging tot het omarmen van happy accidents (à la Bob Ross).

Een tool zoals Midjourney zorgt voor veel hype; niet om de techniek, maar omdat het zodanig gebruiksvriendelijk en toegankelijk is dat iedereen mee kan doen. Ik zie image generation vooral als een tool voor het creatieve proces: een soort schetsblok on steroids. Voor creatieven kan het een waardevolle en verrassende manier zijn om hun creatieve proces te verrijken. Het is een manier om ideeën in je hoofd vroeg en vluchtig te prototypen, om makkelijk visuele referenties te vinden in plaats van uren te browsen, en de mogelijkheid om diverse visuele en designrichtingen te testen.

Binnen het brand- en advertising team bij Dept zijn we hier actief mee aan het experimenteren (en ook veel om aan het giechelen). ‘Wat de toekomstige impact van text-to-image generators betreft: verandering ‘bedreigt’ altijd de status quo. Zoals de komst van fotografie de schilderkunst transformeerde, verandert AI het makerschap. Meer dan alleen de tool of techniek zelf, zien we een structurele shift waarbij iedere craft of creatieve discipline wordt geraakt door computational thinking, data, en generatief ontwerp (een proces waarbij software op basis van algoritmen zelfstandig ontwerpvoorstellen genereert, red.).

Daarmee verandert de rol, maar niet de waarde, want essentiële ingrediënten van creativiteit zoals intentie, visie, en smaak zijn nog niet te automatiseren. Wel zijn er zorgen rondom copyright, omdat er weinig transparantie is en momenteel geen juridische support om (beeld)makers te ondersteunen in de bescherming van hun gedachtegoed. Want wie heeft wat nu precies bedacht en gemaakt?’

Rodger Werkhoven, creative director en betrokken bij de ontwikkeling van Dall-E2. ‘Doordat ik zelf meedacht over wat deze AI kan én mag, als ook over hoe de user-interface werkt, ben ik er helemaal in thuis. Ik heb bijvoorbeeld meegeholpen onwenselijke culturele vooroordelen - racisme, homofobie, vrouwonvriendelijkheid et cetera - er zoveel mogelijk uit te halen. En meegedacht over de manier waarop ook niet-technische mensen met deze technologie kunnen creëren. Ik weet dus hoe ik m’n copy-gestuurde art-directie op deze AI loslaat.

Want dát maakt alle verschil: net zoals je bijvoorbeeld een geniale Japanse fotograaf zou briefen, moet je eerst elkaars semantiek doorkrijgen. Gelukkig is Dall-E2 een polyglot. Geen Japans paraat? Je kan naar elke andere taal switchen. Technische termen snapt de AI ook: Dall-E2 weet alles van cameralenzen, sluitertijden, papiersoorten, inkten, drukmethodes, kunstgeschiedenis, signaturen van artiesten, materialen, de invloed van natuurkrachten op maakprocessen et cetera. Dát is waar de ‘I’ in AI het verschil maakt en deze tech meer dan een hype maakt. Sure, de een maakt er leuke kattenplaatjes mee. De ander gebruikt het als schetstool naar bijvoorbeeld die Japanse fotograaf.

Stockfotobanken moeten oppassen. Hoe breed je als professional met een AI als Dall-E2 kunt gaan, illustreren de beelden die ik koos. ‘Potloodschetsjes’, ‘papiermodellen’, de eerste ‘kleipogingen’, het ‘beschilderen en glazuren’, het ‘bakken van het aardewerk’, de ‘expositieopstellingen’ van m’n Delfts blauwe Stormtroopers, alles. Ook de mensen en handen die je ziet, zijn AI-gegenereerd. Ik vond dat een leuke mindfuck. Toen ik deze beelden de wereld in hielp, kwamen al gauw bestellingen binnen… Toen het besef landde dat alles fake is, vroeg men me er keynotes over te houden. Ook lucratief.’

Jana van der Merwe (@ai_directress), artdirector bij digital contentbureau C2B Amsterdam: ‘Het willekeurige aspect van de AI – hoe het jouw instructies vertaalt naar beeld – triggert mijn creativiteit enorm. Het is iedere keer weer een verrassing wat je te zien krijgt. Ik merk dat ik als ontwerper, ondanks mijn eigen fantasie, tóch geremd ben door logica en wat ik eerder gezien heb. De bot houdt weinig rekening met de wetten van de natuur en hoe iets eruit ‘hoort’ te zien. Als je ‘vogel’ intypt, is de kans groot dat het resultaat vijf of drie poten heeft en dat zijn bek en staart van plaats zijn gewisseld.

Hoeveel ogen je creatie heeft, is ook steeds weer afwachten, al verwacht ik dat het niet lang zal duren totdat dit soort fratsen tot het verleden behoort. Je kunt de bot overigens wel enigszins een richting opduwen door het een referentie-afbeelding te geven. Ik ben hier nog flink mee aan het spelen; vooralsnog heb ik voornamelijk beelden gegenereerd die binnen mijn esthetiek passen.

Op mijn werk heb ik inmiddels een Midjourney-abonnement geregeld, zodat we hier ook zakelijk mee kunnen experimenteren en AI bijvoorbeeld kunnen inzetten tijdens brainstorms. ‘Ik denk dat de technologie nu al fantastisch ontwikkeld is en zie dat het daadwerkelijk professioneel gebruikt wordt door architecten, mode- en interieurontwerpers.

Ik ben ervan overtuigd dat de toepassingen en mogelijkheden eindeloos zullen blijken, en dat AI een standaard en onmisbaar onderdeel zal worden van de ontwerpwereld. Het zal ook zeker niet bij tweedimensionaal beeld blijven. In plaats van bang te zijn dat deze generatie beeldtechnologie de plaats van ontwerpers inneemt, beschouw ik het als een waardevol nieuw hulpmiddel. Een handige tool, zoals ander ontwerpsoftware. Met AI stuur je alleen een programma aan in plaats van dat je het zelf maakt. En ik spring liever vroeg op de trein, dan dat ik ‘m voor m’n neus zie wegrijden.’