DeepMind, de Artificial Intelligence investering van Google, leert kunstmatige intelligentie om jaren ’80 Atari spelletjes te spelen zonder instructies. En ze zijn goed. Heel erg goed. Space Invaders, BreakOut en Video Pinball worden als instrument gebruikt om de systemen binnen een afgeschermde en beperkte omgeving te leren werken en scoren.
Ai systemen leren zonder instructie
De enige instructie die ze aan de zelflerende software geven is te proberen een zo hoog mogelijke score te behalen binnen een zo kort mogelijke tijd. Dan begint de software zonder enig beeld van het spel en het doel om gewoon te spelen. Gaandeweg leert het welk gedrag de score laat oplopen en welk gedrag Game Over geeft. Zo kan het duizenden spelletjes per dag spelen en ieder keer een heel klein beetje beter worden. Maar het gaat snel. Binnen een paar dagen continue spelen krijg je dit:
Het is bijna (of helemaal, nou ja helemaal) afschuwelijk om de efficiency van de Ai te zien. Er is geen move teveel en alles is raak.
Hoger doel
Maar er is een hoger doel. Vanuit Atari spelletjes legt DeepMind de basis voor systemen die ook in de echt wereld kunnen functioneren. Ook daar geldt trial en error, leren en verbeteren. Dat is natuurlijk ook de reden dat ze deze route lopen. Eerst een ‘kaart’ maken van de wereld en vervolgens leren wat je er kan doen. De algoritmes van DeepMind gebruiken een soort beloningssysteem voor de Ai om hem te laten zien dat een bepaalde volgorde van handelingen gewenst was. Een hogere score leidt tot een soort virtuele dopamine waarmee het systeem getriggerd wordt het goede gedrag te herhalen.
Ze noemen het systeem Osara. Dat staat voor Obervation, State inference, Action, Reward. En als het goed is gaat de cirkel weer terug naar Observation.
Related Posts
De constatering: “Data is het nieuwe goud” is een suf cliché. Maar zo waar. En zo belangrijk om te begrijpen. Vaak wordt me gevraagd hoe het zit en om een voorbeeld te geven. Het voorbeeld van Netflix (Netflix is 100% data driven) slaat vaak aan. Daarom dit artikel.
Inloggen versus de TV aanzetten
Om de waarde van data goed te begrijpen is het nodig om de verschillen tussen TV en Netflix uit te werken. Het begint er al mee dat je bij Netflix ingelogd bent als je kijkt.
Netflix logt en analyseert elke interactie met klanten om kijk voorkeuren te voorspellen en gepersonaliseerde aanbevelingen te doen. Ze weten wat je kijkt, wanneer je kijkt, hoe lang je kijkt en op welke plaatjes je klikt. Ze targeten jou zelfs met andere plaatjes dan een ander voor dezelfde content! Dit is niet alleen op basis van je gedrag, maar op ook op basis van je gender, leeftijd, en regio.
Netflix gebruikt gedragssegmentatie om dagelijks op geautomatiseerde basis aangepaste inhoud te leveren aan zijn meer dan 200 miljoen abonnees. Netflix slaat deze informatie vervolgens op om klanten te segmenteren in groepen op basis van hun acties, waardoor de media dienstverlener een meer gepersonaliseerde klantervaring kan bieden.
De TV weet amper wie je bent, ze gebruiken de gegevens van een klein vast panel om een idee te krijgen van onze voorkeuren. Dat hebben ze nodig om adverteerders te trekken. Het is duidelijk hoe slecht dat werkt, alle reclames die je ziet zijn namelijk saai en niet op jou gericht.
Nieuwe content maken
Netflix gebruikt zelfs data om te helpen bepalen welke nieuwe tv-series of films ze moeten maken. Dit is allemaal nodig om gebruikers vast te houden of nieuwe gebruikers te werven. Hebben ze nog vrouwen tussen 25 en 30 jaar oud nodig in Egypte? Ze weten exact welke nieuwe content hiervoor nodig is. Wat dacht je van 10% spanning, 30% humor, 40% romantiek en 20% muziek? En graag een lange hoofdrolspeler.
De kwaliteit van deze content kan ook hoger zijn om de eenvoudige reden dat het niet hoeft te worden goedgekeurd door adverteerders. Series en films hoeven alleen maar de doelgroep aan te spreken. De ruimte die schrijvers en regisseurs krijgen is dus groter, waardoor ze ook meer talent aantrekken. Dat geeft ook weer openingen voor nieuwe acteurs, die er in Hollywood nooit aan te pas zouden komen. We zien het ook aan de thema’s die worden behandeld. Het is meer open-minded en inclusief dan ooit.
Conclusie
Het gebruik maken van data voor video consumptie leidde tot een compleet nieuw business model, hogere kwaliteit content en ook tot meer kijkplezier. TV was al half dood, maar je snapt dat de beweging die Netflix heeft ingezet niet veel handjes op elkaar krijgt in Hilversum.
Als je wilt weten welke kant jouw bedrijf op kan met de gigantische hoeveelheden data die er in omloop zijn? Nodig mij eens uit om het te bespreken; wie weet wat er bij jullie gaat gebeuren! Of word je Hilversum?
Randall is een ‘disruptive technology strategist’ voor uw keynotes en specifieke workshops. Tevens is Randall te boeken als dagvoorzitter voor innovatiedagen en congressen.
Na 20 jaar technologie bestuderen heb ik ook af en toe een kwartje in technologie kunnen investeren. Hier leg ik uit hoe ik (lees; mijn vrouw en ik) dit hebben aangepakt en waarom we deze keuzes maken. Dit is geen beleggingsadvies want ik ben een gekke aap die er niets van begrijpt, het zijn 3 basisregels om te investeren in tech die wij hanteren. Maar daar gaan we want iedereen blijft het me vragen:
Onze 3 uitgangspunten zijn
- Niet teveel diversificatie. Het is beter echt te begrijpen wat je doet
- Grote rendementen en risico’s (de dood of de gladiolen)
- Alles in technologie die de wereld ten goede kan veranderen
Onze posities in % op dit moment met uitleg waarom:
1 Tesla (75%)
Ik vind dit bedrijf een voorbeeld van ondernemerschap, top cultuur, extreme innovatie en duurzaamheid in één. Ik ben ook een Megabull. Wie geld op de bank heeft staan en het niet in Tesla investeert zal huilen over 5 jaar. Klaar. Mijn target voor Tesla aandeel in 2030 is >10.000 dollar. Lach maar. Ik lach harder.
2 Bitcoin (11%)
Als God geld had gemaakt was het Bitcoin geweest. De hardste valuta die er is. In het heelal is er namelijk niets schaarser dan Bitcoin. Ja, denk daar nog maar eens over na. Mijn target voor een hele Bitcoin in 2030 is 10 miljoen dollar maar met de koopkracht van nu 2.5 miljoen omdat de Dollar stuk is. En de Euro ook.
3 Ethereum (8%)
Is toch de blockchain waarop het meeste wordt ontwikkeld. Ik hou van het idee van smart contracts. Gaat het niet lopen de komende jaren dan wissel ik naar Bitcoin.
4 Arcimoto (2.5%)
Kennen jullie niet. Is een bedrijf dat driewielers op elektriciteit maakt. Wordt groot want delivery en steden zijn vol&vuil. Gaat deze niet lopen de komende drie jaar dan gaat alles in Tesla.
5 xrp (1.7%)
Swift is dood en dit is beter.
In principe zit 77.5% dus in de overgang van brandstof auto’s naar elektrische auto’s en de rest in crypto. Verder zitten er 6.000 uur denktijd en studie in voordat we hebben geïnvesteerd. Dus al is niemand het eens met deze allocatie, wij hebben er lol mee.
Randall is een ‘disruptive technology strategist’ voor uw keynotes en specifieke workshops. Tevens is Randall te boeken als dagvoorzitter voor innovatiedagen en congressen.
Soms heb je in mijn werk het geluk een absolute koploper in een disrupting technology te mogen spreken. Vorige week was het voor mij zover. Associate Professor Servaas Kokkelmans maakte tijd om met mij te praten over zijn carrière, ambities en dromen rond zijn vakgebied; quantumtechnologie.
Voor niet-ingewijden: TNO omschrijft quantumtechnologie als volgt:
“Quantumtechnologie is een sleuteltechnologie die nieuwe producten en diensten mogelijk maakt. Quantumcomputers, quantumsimulators, quantumnetwerken en quantumsensoren kunnen straks dingen die hun ‘klassieke’ voorgangers niet kunnen. We staan daarmee aan de vooravond van een technologische revolutie die een bijdrage kan leveren aan het oplossen van allerlei maatschappelijke uitdagingen.”
Hoe heeft je loopbaan je naar quantumtechnologie geleid?
“Ik was al vanaf de middelbare school gefascineerd door natuurkunde en wiskunde. Quantumtechnologie kwam daarin natuurlijk nog niet voor. Het was in de jaren ‘80 nog een heel jong vakgebied. Op deze jonge leeftijd kon ik in semi-wetenschappelijke tijdschriften wel al wat over quantum mechanica lezen. Daarmee was mijn eerste fascinatie geboren, al zou het nog een tijdje duren voordat het er echt uit kwam.”
“Buiten de theoretische aspecten was ik ook al vroeg praktisch ingesteld: zo kreeg ik een oude brommer cadeau van een oom, die was in de eerste plaats niet interessant om te rijden, maar vooral was dit apparaat een studie object. Een stuk techniek om helemaal uit elkaar te halen en weer terug op te bouwen. Met veel plezier ontdekte ik hoe carburateurs en cilinders werkten. Leren hoe iets technisch werkt vond ik geweldig”.
Dat experimenteren is er altijd in gebleven want tijdens het interview zal hij nog vaak benadrukken dat voor hem de theorie en praktijk erg bij elkaar horen.
“Deze combinatie tussen intellectuele nieuwsgierigheid en praktische toepassingen heb ik nog steeds. Mijn eerste stage ging over orgelpijpen en op basis daarvan is achttien jaar later een compleet nieuw orgel gebouwd. Het liet al een beetje zien wat er ging komen. Hierna deed ik onderzoek naar atoomklokken”
Een atoomklok is een bijzonder soort klok. Hij maakt gebruik van trillingen van atomen om de exacte tijd aan te geven. Als je een dergelijke klok had aangezet toen ons heelal ontstond, dan was de afwijking nu nog geen 1 seconde! Ik zag dan ook dat quantum natuurkunde de absolute sleutel is tot ons begrip van het heelal.
Kun je uitleggen wat quantum mechanica is?
“Het is de studie naar het gedrag van de allerkleinste deeltjes die we kennen. Het is interessant om te zien dat deze zich op een bijzondere manier gedragen. Zo kunnen bepaalde deeltjes op twee plekken tegelijk zijn (superpositie) of innig met elkaar verbonden ondanks de enorme afstand tot elkaar (entanglement). Door deze eigenschappen vormen ze de basis voor volstrekt andere computers waarmee we de waarschijnlijkheid van zeer ingewikkelde zaken goed in kaart kunnen brengen.”
“Quantumcomputers hebben de potentie om berekeningen veel sneller uit te voeren dan traditionele computers. En zelfs sneller dan de supercomputers die we vandaag de dag gebruiken. Een stabiele quantumcomputer kan bijvoorbeeld zorgen voor een ongekende groeispurt op het gebied van kunstmatige intelligentie. Stel je voor dat we nieuwe medicijnen kunnen ontwikkelen, of zouden leren hoe we CO2 uit de lucht zouden kunnen halen. Nieuwe chemische reacties ontwikkelen voor allerhande toepassingen en andere molecuulstructuren kunnen ontdekken. Of zelfs nieuwe vormen van kernreacties!”
Zouden er dingen in het heelal zijn die we nooit kunnen begrijpen?
“Ik denk dat er geen grenzen zijn aan het menselijk vermogen om zaken te begrijpen. Toch is mijn inschatting dat nieuwe antwoorden ook altijd weer nieuwe vragen zullen oproepen waardoor we eindeloos zullen blijven ontdekken en leren.”
Moeten we alles begrijpen voordat we het gaan inzetten?
“Dat is volgens mij niet nodig. en zelfs niet gewenst. Want door te experimenteren met nieuwe inzichten leren we juist steeds meer het daadwerkelijk te begrijpen. Met quantumtechnologie is dat ook het geval. We snappen wellicht nog niet volledig hoe entanglement werkt maar kunnen al wel experimenteren met toepassingen ervan.”
Kun je vertellen wat je graag zou willen bereiken?
“Naast mijn functie als Associate Professor ben ik Director of the Eindhoven Center for Quantum Materials and Technology. Daarbinnen ben ik bezig met een snel groeiend team om quantumtechnologie te bouwen die in potentie een aantal grote problemen zou kunnen helpen oplossen, problemen waar de huidige computers geen raad mee weten. Ik filosofeer met mijn vakgenoten over al deze zaken. En we bouwen er actief aan. Ik zie geen beperkingen in de kracht van ons brein om uiteindelijk de sleutels tot oplossingen te vinden.”
Hoe ziet de wereld eruit als jullie vele jaren verder zijn?
“Quantumtechnologie zou onze wereld werkelijk ingrijpend kunnen verbeteren. Ik ben daar optimistisch over. We kunnen allerhande problemen oplossen door de bottleneck (de huidige computer) aan te vullen met de quantumcomputer.”
Dit was de laatste vraag. Servaas heeft volgens mij een unieke combinatie van bescheidenheid, optimisme, inzicht en realisatiekracht die een groot verschil gaan maken! En hij heeft er weer een grote fan bij.