Computers slapen niet. Ze staren alleen maar naar gegevens totdat het op iets heel anders begint te lijken.
Terwijl we offline zijn, zijn onze machines druk bezig met het herinterpreteren van oude bestanden en het uitspugen van raar nieuw materiaal. De motor hierachter? Google Diepe Droom. Het is een programma dat op zoek gaat naar patronen in digitale afbeeldingen, deze verandert en de resultaten aan ons ter beoordeling voorlegt. Je kunt gek worden. Je kunt artistiek worden. Of je kunt nachtmerries krijgen. Het hangt af van wat je het voedt en welke parameters Google-medewerkers instellen.
De enige echte manier om te begrijpen wat Deep Dream doet, is door het te proberen. Google heeft zijn servers opengesteld voor het publiek. Het doel was om te begrijpen hoe het programma afbeeldingen classificeert en indexeert. Je uploadt een foto. Enkele seconden later krijg je een fantastische weergave op basis van die originele opname.
De output is een bizarre hybride. Stel je voor dat Salvador Dali, Hieronymus Bosch en Vincent van Gogh een wild schilderfeest zouden organiseren dat de hele nacht duurde. Dat is de sfeer. Bladeren veranderen in kleurrijke wervelingen. Rotsen worden repetitieve rechthoeken. Bergen lossen op in sierlijke, gemarkeerde lijnen.
Een leeg landschap? Deep Dream vult het. Pagoden. Auto’s. Bruggen. Menselijke lichaamsdelen. Het ziet dieren. Veel van hen.
Upload een portret van Tom Cruise. Het programma herwerkt de vouwen en spaties in hondenkoppen, vissen en andere bekende wezens. Dit zijn geen normale dieren. Het zijn fantastische recreaties gekruist met een LSD-getinte caleidoscoop. Ze zijn griezelig suggestief. Vaak angstaanjagend.
Google geeft geen raves. Het voedt zijn servers geen hallucinogene chemicaliën. Het begeleidt die servers om beelden te analyseren en ze vervolgens uit te braken als nieuwe representaties van onze wereld.
Hoe het werkt vertelt ons iets over hoe we digitale apparaten bouwen. Het laat zien hoe machines de onvoorstelbare hoeveelheid gegevens in onze door technologie geobsedeerde wereld verwerken.
Neuronen in bits
Computers zijn koude, anorganische machines. Ze slapen niet. Ze dromen zeker niet. Of dat dachten we toch.
Deep Dream veranderde die perceptie. Het ging er niet om een computer een onderbewustzijn te geven. Het ging over het blootleggen van de enorme, bizarre complexiteit die ontstaat als je data uit de menselijke wereld invoert in steeds ingewikkelder wordende code.
De ontwikkelaars van Google zijn dit niet begonnen als een kunstproject. Ze bouwden Deep Dream voor de ImageNet Large Scale Visual Recognition Challenge. Deze wedstrijd begon in 2010. Elk jaar racen tientallen teams om de beste automatische beeldclassificatoren te bouwen. Het doel? Om miljoenen foto’s te detecteren en te sorteren zonder menselijke hulp. Na elke wedstrijd passen de verliezers (en winnaars) hun algoritmen aan. Ze proberen het sneller te doen. Beter. Nauwkeuriger.
Dit is het probleem met die zoektocht. Beeldherkenning ontbreekt grotendeels in onze standaard internettoolkit. Zoekmachines? Ze houden van trefwoorden. Typ “kat” en u krijgt tekstresultaten. Typ “cat.jpg” en mogelijk krijgt u een bestand. Maar vraag een zoekmachine om begrijpen wat er op een foto staat? Het worstelt.
Wij taggen onze foto’s zelf. “Huis.” “Tommie.” “Zonsondergang.” We doen dit omdat computers visuele rommel niet op betrouwbare wijze kunnen ontleden. Het echte leven is rommelig. Het zijn geen schone vectoren. Het is lawaai. En tot voor kort behandelden machines die ruis als onzingegevens.
Deep Dream was een poging om die blindheid te verhelpen.
Hoe diepe dromen werken
De geheime saus? Een kunstmatig neuraal netwerk (ANN).
Dit is niet alleen code. Het is een systeem gemodelleerd naar het menselijk brein. Denk er eens over na. We hebben meer dan 100 miljard neuronen. Ze vuren impulsen af. Ze verwerken sensorische input. Ze helpen ons een gezicht in een volle kamer te herkennen.
Deep Dream bootst dit na. Het maakt gebruik van kunstmatige neuronen om gegevens te filteren. Het leidt die gegevens door lagen. En lagen. En lagen. Opnieuw en opnieuw.
De architectuur van een droom
Voor Deep Dream heeft het netwerk doorgaans tussen de 10 en 30 lagen van deze kunstmatige neuronen. Dat zijn veel verwerkingsstappen voor één afbeelding.
Het systeem ‘ziet’ niet zomaar een afbeelding. Het breekt het af. Er wordt gezocht naar patronen. Randen. Rondingen. Texturen. Het verfijnt zijn interpretatie op elke laag. Het uiteindelijke resultaat is een afbeelding. Maar niet de originele.
Het resultaat is een hallucinatie.
Je voert een foto van een park in. De computer ziet bomen. Hij ziet gras. Maar omdat het neurale netwerk hypergetuned is om alles te vinden dat op een bekend object lijkt, begint het de kenmerken te versterken.
Het gras wordt vacht. De boomtakken worden poten. De lucht wordt een gigantisch oog.
Waarom het belangrijk is voor visueel zoeken
Dit is niet zomaar een trippy screensaver. Het benadrukt een verschuiving in de manier waarop we informatie verwerken.
Jarenlang vertrouwden we op metadata. We hebben onze digitale levens een label gegeven. Maar Deep Dream toonde aan dat machines konden leren visuele gegevens te interpreteren zonder die labels.
“Deep Dream heeft ons laten zien dat als je een machine maar goed genoeg laat kijken, hij patronen zal vinden die er niet zijn – of beter gezegd: hij zal patronen vinden die wij niet zien.”
De computer droomt niet in menselijke zin. Het optimaliseert. Het duwt pixels naar wat het denkt dat erbij hoort. En door dat te doen, legt het de hiaten in zijn eigen begrip bloot.
Als een machine een fiets kan veranderen in een wezen gemaakt van fietsen,
Neurale netwerken zijn geen magische spiegels die alleen maar gegevens naar u terugkaatsen. Ze beginnen niet automatisch met het identificeren van patronen uit het niets. Ze hebben training nodig. Je moet ze sets gegevens verstrekken die ze als referentiepunten kunnen gebruiken. Zonder dat zware werk zouden ze blindelings informatie doorzoeken, zonder er iets van te kunnen begrijpen.
Volgens de officiële blog van Google is het trainingsproces afhankelijk van herhaling en analyse. Stel dat u een kunstmatig neuraal netwerk (ANN) wilt trainen om een fiets te identificeren. Je zegt niet alleen ‘fiets’. Je laat miljoenen afbeeldingen van fietsen zien. Ook geef je in computercode aan hoe een fiets er daadwerkelijk uitziet. Twee wielen. Een stoel. Stuur.
Vervolgens laten onderzoekers het netwerk los om te zien wat het vindt. Het zal fouten maken. Het programma retourneert mogelijk een reeks afbeeldingen van motorfietsen en bromfietsen. Wanneer dat gebeurt, passen programmeurs de code aan. Ze maken de computer duidelijk dat fietsen geen motoren of uitlaatsystemen hebben. Ze voeren het programma opnieuw uit. En opnieuw. Ze verfijnen de software totdat de resultaten bevredigend zijn.
“Het Deep Dream-team realiseerde zich dat zodra een netwerk bepaalde objecten kan identificeren, het die objecten ook zelf kan herscheppen.”
Het Deep Dream-team heeft iets interessants opgemerkt. Zodra een netwerk objecten kan identificeren, kan het deze zonder verdere invoer reproduceren. Een netwerk dat een fiets op zicht kent, kan vanuit het niets een beeld van een fiets genereren. Het idee is dat het netwerk creatief nieuw beeldmateriaal genereert, simpelweg omdat het de mogelijkheid heeft om afbeeldingen te classificeren en sorteren.
Het klinkt indrukwekkend totdat je naar de output kijkt. Zelfs nadat ze miljoenen fietsfoto’s hebben doorzocht, maken computers cruciale fouten bij het genereren van hun eigen afbeeldingen. De gegenereerde fietsen kunnen gedeeltelijke menselijke handen aan het stuur hebben. Of voeten op de pedalen. Dit gebeurt omdat veel van de trainingsafbeeldingen mensen bevatten. De computer kan uiteindelijk niet meer onderscheiden waar de fietsonderdelen eindigen en de menselijke delen beginnen.
Dit soort fouten gebeuren om verschillende redenen. Software-ingenieurs begrijpen niet elk aspect van de neurale netwerken die ze bouwen volledig. Maar als u weet hoe ze werken, begrijpt u hoe deze gebreken ontstaan.
De architectuur van het inceptionisme
De kunstmatige neuronen in het netwerk werken in stapels. Deep Dream kan slechts 10 lagen of zelfs 30 lagen gebruiken. Elke laag pikt verschillende details van een afbeelding op. De eerste lagen detecteren basiselementen zoals randen en randen. Een andere laag kan specifieke kleuren en oriëntatie identificeren.
Andere lagen zoeken naar specifieke vormen die lijken op objecten zoals een stoel of een gloeilamp. De laatste lagen reageren alleen op meer geavanceerde objecten zoals auto’s, bladeren of gebouwen.
De ontwikkelaars van Google noemen dit proces inceptionisme. Het verwijst naar deze specifieke neurale netwerkarchitectuur. Ze plaatsten zelfs een openbare galerij om voorbeelden van het werk van Deep Dream te laten zien. Het is een glimp van hoe de machine ziet.
Zodra het netwerk verschillende aspecten van een afbeelding heeft geïdentificeerd, kunnen er allerlei dingen gebeuren. Met Deep Dream besloot Google het netwerk te vertellen nieuwe afbeeldingen te maken. Er wordt niet alleen geanalyseerd. Het creëert.
Duisternis aan de rand
Google-technici lieten Deep Dream niet alleen kiezen welke delen van een afbeelding moesten worden geïdentificeerd. Ze vertelden de computers in wezen dat ze die aspecten van de foto moesten nemen en ze moesten benadrukken.
Als Deep Dream een hondenvorm ziet in het stoffenpatroon op je bank, accentueert dat de details van die hond.
Elke laag voegt meer toe aan de hondenlook. Bond. Ogen. De neus. Wat ooit onschuldig paisley op je bank was, wordt een hondenfiguur compleet met tanden en ogen.
Deep Dream zoomt een beetje in bij elke iteratie van zijn creatie. Het voegt steeds meer complexiteit toe aan het beeld. Denk hond binnen hond binnen hond.
Er begint een feedbacklus wanneer Deep Dream elk detail van een foto te veel interpreteert en benadrukt. Een lucht vol wolken verandert van een idyllisch tafereel in een tafereel vol ruimtesprinkhanen, psychedelische vormen en regenboogkleurige auto’s. En honden.
Er is een reden voor de overvloed aan honden in de resultaten van Deep Dream. Toen ontwikkelaars een database selecteerden om dit neurale netwerk te trainen, kozen ze er een die 120 hondensubklassen bevatte, allemaal vakkundig geclassificeerd. Dus wanneer Deep Dream op zoek gaat naar details, is de kans groot dat hij overal waar hij zoekt puppygezichten en pootjes ziet.
Deep Dream heeft niet eens een echte afbeelding nodig om foto’s te maken. Als je hem een lege witte afbeelding of een afbeelding gevuld met statische elektriciteit invoert, zal hij nog steeds delen van de afbeelding “zien”, en deze gebruiken als bouwstenen voor steeds vreemdere afbeeldingen.
Het is de poging van het programma om betekenis en vorm te onthullen uit anderszins vormloze gegevens. Dat spreekt tot het idee achter het hele project: proberen betere manieren te vinden om de inhoud van afbeeldingen die op computers over de hele wereld verspreid staan, te identificeren en te contextualiseren.
Kunnen computers dus ooit echt dromen? Worden ze te slim voor hun eigen bestwil? Of is Deep Dream gewoon een fantasievolle manier om ons voor te stellen hoe onze technologie gegevens verwerkt?
Het is moeilijk om precies te weten wat de output van Deep Dream controleert. Niemand begeleidt de software specifiek om voorgeprogrammeerde taken te voltooien. Er zijn nogal vage instructies voor nodig (details vinden en accentueren, keer op keer) en de klussen voltooien zonder openlijke menselijke begeleiding.
De resulterende beelden zijn een weergave van dat werk. Misschien zijn deze afbeeldingen machinaal gemaakte kunstwerken. Misschien is het een manifestatie van digitale dromen, geboren uit silicium en circuits. En misschien is dit het begin van een soort kunstmatige intelligentie die onze computers minder afhankelijk zal maken van mensen.
Je bent misschien bang voor de opkomst van bewuste computers die de wereld overnemen. Maar voorlopig komen dit soort projecten rechtstreeks ten goede aan iedereen die internet gebruikt. In slechts een paar jaar tijd is de beeldherkenning dramatisch verbeterd, waardoor mensen sneller door afbeeldingen en afbeeldingen kunnen bladeren om de informatie te vinden die ze nodig hebben. Bij het huidige tempo van de vooruitgang kun je binnenkort grote sprongen in beeldherkenning verwachten, deels dankzij de droomcomputers van Google.
