DeepMind, de Artificial Intelligence investering van Google, leert kunstmatige intelligentie om jaren ’80 Atari spelletjes te spelen zonder instructies. En ze zijn goed. Heel erg goed. Space Invaders, BreakOut en Video Pinball worden als instrument gebruikt om de systemen binnen een afgeschermde en beperkte omgeving te leren werken en scoren.
Ai systemen leren zonder instructie
De enige instructie die ze aan de zelflerende software geven is te proberen een zo hoog mogelijke score te behalen binnen een zo kort mogelijke tijd. Dan begint de software zonder enig beeld van het spel en het doel om gewoon te spelen. Gaandeweg leert het welk gedrag de score laat oplopen en welk gedrag Game Over geeft. Zo kan het duizenden spelletjes per dag spelen en ieder keer een heel klein beetje beter worden. Maar het gaat snel. Binnen een paar dagen continue spelen krijg je dit:
Het is bijna (of helemaal, nou ja helemaal) afschuwelijk om de efficiency van de Ai te zien. Er is geen move teveel en alles is raak.
Hoger doel
Maar er is een hoger doel. Vanuit Atari spelletjes legt DeepMind de basis voor systemen die ook in de echt wereld kunnen functioneren. Ook daar geldt trial en error, leren en verbeteren. Dat is natuurlijk ook de reden dat ze deze route lopen. Eerst een ‘kaart’ maken van de wereld en vervolgens leren wat je er kan doen. De algoritmes van DeepMind gebruiken een soort beloningssysteem voor de Ai om hem te laten zien dat een bepaalde volgorde van handelingen gewenst was. Een hogere score leidt tot een soort virtuele dopamine waarmee het systeem getriggerd wordt het goede gedrag te herhalen.
Ze noemen het systeem Osara. Dat staat voor Obervation, State inference, Action, Reward. En als het goed is gaat de cirkel weer terug naar Observation.
Related Posts
Soms heb je in mijn werk het geluk een absolute koploper in een disrupting technology te mogen spreken. Vorige week was het voor mij zover. Associate Professor Servaas Kokkelmans maakte tijd om met mij te praten over zijn carrière, ambities en dromen rond zijn vakgebied; quantumtechnologie.
Voor niet-ingewijden: TNO omschrijft quantumtechnologie als volgt:
“Quantumtechnologie is een sleuteltechnologie die nieuwe producten en diensten mogelijk maakt. Quantumcomputers, quantumsimulators, quantumnetwerken en quantumsensoren kunnen straks dingen die hun ‘klassieke’ voorgangers niet kunnen. We staan daarmee aan de vooravond van een technologische revolutie die een bijdrage kan leveren aan het oplossen van allerlei maatschappelijke uitdagingen.”
Hoe heeft je loopbaan je naar quantumtechnologie geleid?
“Ik was al vanaf de middelbare school gefascineerd door natuurkunde en wiskunde. Quantumtechnologie kwam daarin natuurlijk nog niet voor. Het was in de jaren ‘80 nog een heel jong vakgebied. Op deze jonge leeftijd kon ik in semi-wetenschappelijke tijdschriften wel al wat over quantum mechanica lezen. Daarmee was mijn eerste fascinatie geboren, al zou het nog een tijdje duren voordat het er echt uit kwam.”
“Buiten de theoretische aspecten was ik ook al vroeg praktisch ingesteld: zo kreeg ik een oude brommer cadeau van een oom, die was in de eerste plaats niet interessant om te rijden, maar vooral was dit apparaat een studie object. Een stuk techniek om helemaal uit elkaar te halen en weer terug op te bouwen. Met veel plezier ontdekte ik hoe carburateurs en cilinders werkten. Leren hoe iets technisch werkt vond ik geweldig”.
Dat experimenteren is er altijd in gebleven want tijdens het interview zal hij nog vaak benadrukken dat voor hem de theorie en praktijk erg bij elkaar horen.
“Deze combinatie tussen intellectuele nieuwsgierigheid en praktische toepassingen heb ik nog steeds. Mijn eerste stage ging over orgelpijpen en op basis daarvan is achttien jaar later een compleet nieuw orgel gebouwd. Het liet al een beetje zien wat er ging komen. Hierna deed ik onderzoek naar atoomklokken”
Een atoomklok is een bijzonder soort klok. Hij maakt gebruik van trillingen van atomen om de exacte tijd aan te geven. Als je een dergelijke klok had aangezet toen ons heelal ontstond, dan was de afwijking nu nog geen 1 seconde! Ik zag dan ook dat quantum natuurkunde de absolute sleutel is tot ons begrip van het heelal.
Kun je uitleggen wat quantum mechanica is?
“Het is de studie naar het gedrag van de allerkleinste deeltjes die we kennen. Het is interessant om te zien dat deze zich op een bijzondere manier gedragen. Zo kunnen bepaalde deeltjes op twee plekken tegelijk zijn (superpositie) of innig met elkaar verbonden ondanks de enorme afstand tot elkaar (entanglement). Door deze eigenschappen vormen ze de basis voor volstrekt andere computers waarmee we de waarschijnlijkheid van zeer ingewikkelde zaken goed in kaart kunnen brengen.”
“Quantumcomputers hebben de potentie om berekeningen veel sneller uit te voeren dan traditionele computers. En zelfs sneller dan de supercomputers die we vandaag de dag gebruiken. Een stabiele quantumcomputer kan bijvoorbeeld zorgen voor een ongekende groeispurt op het gebied van kunstmatige intelligentie. Stel je voor dat we nieuwe medicijnen kunnen ontwikkelen, of zouden leren hoe we CO2 uit de lucht zouden kunnen halen. Nieuwe chemische reacties ontwikkelen voor allerhande toepassingen en andere molecuulstructuren kunnen ontdekken. Of zelfs nieuwe vormen van kernreacties!”
Zouden er dingen in het heelal zijn die we nooit kunnen begrijpen?
“Ik denk dat er geen grenzen zijn aan het menselijk vermogen om zaken te begrijpen. Toch is mijn inschatting dat nieuwe antwoorden ook altijd weer nieuwe vragen zullen oproepen waardoor we eindeloos zullen blijven ontdekken en leren.”
Moeten we alles begrijpen voordat we het gaan inzetten?
“Dat is volgens mij niet nodig. en zelfs niet gewenst. Want door te experimenteren met nieuwe inzichten leren we juist steeds meer het daadwerkelijk te begrijpen. Met quantumtechnologie is dat ook het geval. We snappen wellicht nog niet volledig hoe entanglement werkt maar kunnen al wel experimenteren met toepassingen ervan.”
Kun je vertellen wat je graag zou willen bereiken?
“Naast mijn functie als Associate Professor ben ik Director of the Eindhoven Center for Quantum Materials and Technology. Daarbinnen ben ik bezig met een snel groeiend team om quantumtechnologie te bouwen die in potentie een aantal grote problemen zou kunnen helpen oplossen, problemen waar de huidige computers geen raad mee weten. Ik filosofeer met mijn vakgenoten over al deze zaken. En we bouwen er actief aan. Ik zie geen beperkingen in de kracht van ons brein om uiteindelijk de sleutels tot oplossingen te vinden.”
Hoe ziet de wereld eruit als jullie vele jaren verder zijn?
“Quantumtechnologie zou onze wereld werkelijk ingrijpend kunnen verbeteren. Ik ben daar optimistisch over. We kunnen allerhande problemen oplossen door de bottleneck (de huidige computer) aan te vullen met de quantumcomputer.”
Dit was de laatste vraag. Servaas heeft volgens mij een unieke combinatie van bescheidenheid, optimisme, inzicht en realisatiekracht die een groot verschil gaan maken! En hij heeft er weer een grote fan bij.
Ik wil Randall boeken Bekijk Randall op Linkedin
Randall is een ‘disruptive technology strategist’ voor uw keynotes en specifieke workshops. Tevens is Randall te boeken als dagvoorzitter voor innovatiedagen en congressen.
De constatering: “Data is het nieuwe goud” is een suf cliché. Maar zo waar. En zo belangrijk om te begrijpen. Vaak wordt me gevraagd hoe het zit en om een voorbeeld te geven. Het voorbeeld van Netflix (Netflix is 100% data driven) slaat vaak aan. Daarom dit artikel.
Inloggen versus de TV aanzetten
Om de waarde van data goed te begrijpen is het nodig om de verschillen tussen TV en Netflix uit te werken. Het begint er al mee dat je bij Netflix ingelogd bent als je kijkt.
Netflix logt en analyseert elke interactie met klanten om kijk voorkeuren te voorspellen en gepersonaliseerde aanbevelingen te doen. Ze weten wat je kijkt, wanneer je kijkt, hoe lang je kijkt en op welke plaatjes je klikt. Ze targeten jou zelfs met andere plaatjes dan een ander voor dezelfde content! Dit is niet alleen op basis van je gedrag, maar op ook op basis van je gender, leeftijd, en regio.
Netflix gebruikt gedragssegmentatie om dagelijks op geautomatiseerde basis aangepaste inhoud te leveren aan zijn meer dan 200 miljoen abonnees. Netflix slaat deze informatie vervolgens op om klanten te segmenteren in groepen op basis van hun acties, waardoor de media dienstverlener een meer gepersonaliseerde klantervaring kan bieden.
De TV weet amper wie je bent, ze gebruiken de gegevens van een klein vast panel om een idee te krijgen van onze voorkeuren. Dat hebben ze nodig om adverteerders te trekken. Het is duidelijk hoe slecht dat werkt, alle reclames die je ziet zijn namelijk saai en niet op jou gericht.
Nieuwe content maken
Netflix gebruikt zelfs data om te helpen bepalen welke nieuwe tv-series of films ze moeten maken. Dit is allemaal nodig om gebruikers vast te houden of nieuwe gebruikers te werven. Hebben ze nog vrouwen tussen 25 en 30 jaar oud nodig in Egypte? Ze weten exact welke nieuwe content hiervoor nodig is. Wat dacht je van 10% spanning, 30% humor, 40% romantiek en 20% muziek? En graag een lange hoofdrolspeler.
De kwaliteit van deze content kan ook hoger zijn om de eenvoudige reden dat het niet hoeft te worden goedgekeurd door adverteerders. Series en films hoeven alleen maar de doelgroep aan te spreken. De ruimte die schrijvers en regisseurs krijgen is dus groter, waardoor ze ook meer talent aantrekken. Dat geeft ook weer openingen voor nieuwe acteurs, die er in Hollywood nooit aan te pas zouden komen. We zien het ook aan de thema’s die worden behandeld. Het is meer open-minded en inclusief dan ooit.
Conclusie
Het gebruik maken van data voor video consumptie leidde tot een compleet nieuw business model, hogere kwaliteit content en ook tot meer kijkplezier. TV was al half dood, maar je snapt dat de beweging die Netflix heeft ingezet niet veel handjes op elkaar krijgt in Hilversum.
Als je wilt weten welke kant jouw bedrijf op kan met de gigantische hoeveelheden data die er in omloop zijn? Nodig mij eens uit om het te bespreken; wie weet wat er bij jullie gaat gebeuren! Of word je Hilversum?
Ik wil Randall boeken Bekijk Randall op Linkedin
Randall is een ‘disruptive technology strategist’ voor uw keynotes en specifieke workshops. Tevens is Randall te boeken als dagvoorzitter voor innovatiedagen en congressen.
Wij mensen denken natuurlijk dat we met onze ogen heel veel kunnen zien. Dat klopt eigenlijk niet. Er is vooral heel veel dat we niet kunnen zien. Samen met Paul Voerman, Head of Innovations bij Tricas, leg ik in onderstaand artikel uit waar we staan en hoe robots ons met hun fantastische ogen kunnen helpen.
We behandelen eerst de technische kant en gaan dan een paar voorbeelden geven van het nut van robot ogen.
Resolutie
Robots kunnen met een veel hogere resolutie kijken dan wij. Uit je oog komen twee miljoen zenuwen die het beeld dat op je netvlies valt, doorgeven aan je hersenen. Als je zenuwen met pixels vergelijkt, heeft het oog dus twee miljoen pixels. Een goede camera op een telefoon heeft met 20 miljoen pixels dus al het tienvoudige. Maar dat is nog maar het begin, want als je een robot zou gebruiken dan kan dit nog veel verder omhoog. Exponentieel je weet wel.
Contrast
Ons computer kleurenspectrum is meestal opgedeeld in 16.5 miljoen kleuren. Met moeite kunnen we als mensen 5 punten verschil zien. Dat is al knap maar een robot kan veel kleinere verschillen onderscheiden. De kleurverschillen tussen de bolletjes hieronder zijn lastig te zien voor ons maar geen enkel probleem voor een robotoog.
Een robot oog laat zich niet verleiden door de eigen interpretatie van de hersenen, dat doen mensen continu en dat verkleint bij ons de objectieve werkelijkheid helaas.
Snelheid
De snelheid van het menselijk oog in beelden per seconde meten is technisch niet te doen. Het gaat namelijk om of je iets ziet (draaiend wiel) en hoe goed (elke spaak van het wiel). Dat een camera het in iedere geval veel beter kan behoeft geen betoog eigenlijk. Om mooie slow motion opnames te maken is een framerate van 960 al vrij gebruikelijk. Dit verbleekt bij de 100.000 frames per seconde van gespecialiseerde camera’s voor super slow motion.
Een stukje in het elektromagnetisch spectrum
Op het spectrum van near-infrared staan onze ogen buitenspel. Kijk eens hierboven in het plaatje, dan zie je hoeveel we (onze ogen) eigenlijk missen! Het licht gedraagt zich in dit gedeelte van het spectrum namelijk niet anders dan in het voor ons zichtbare spectrum. Ook hier is het spel van reflectie, absorptie en doorlatend. Eigenschappen die voor ons niet zichtbaar zijn worden met near-infrared wel zichtbaar.
Toepassingen
We kunnen gelukkig robots en andere machines uitrusten met camera’s die erg goed, snel en scherp kunnen kunnen kijken. Wat zouden ze dan kunnen zien waar wij wat aan hebben? Hieronder een topje van de ijsberg. Er zijn namelijk duizenden toepassingen te verzinnen.
- Ongewenste vervuiling / schimmels op onze voeding. Dat lijkt me super! Je robot wijst in de winkel op het meest verse eten. Veel minder kans op voedselvergiftiging. Dat kleine puntje dat jij niet ziet is helder aanwezig met near-infrared. Maar ook de kleur van voedsel bevat veel meer informatie voor de robot dan voor ons.
- Onregelmatigheden op de huid van mens en dier. Ook deze kan een robot zien en wij niet. Denk aan huidkanker, meteen spotten is hogere overlevingskans! Iedere spiegel met een goede camera erin zou jou en je gezin dagelijks zonder gedoe kunnen checken.
- De gezondheid van gewassen. Vanuit een drone kan snel worden bekeken welke gewassen gezond of ziek zijn. Maar de drone ziet ook exact welke gewassen er staan via near-infrared.
- Verschillende kunststoffen die er voor ons hetzelfde uitzien. Als je bij de recycling van kunststoffen op mensen vertrouwt dan gooi je allerhande soorten bij elkaar. Dat is zeer ongewenst in een circulaire economie.
Bovenstaande voorbeelden zijn puur ter illustratie en om je te prikkelen zelf na te denken over de mogelijkheden.
Ik wil Randall boeken Bekijk Randall op Linkedin