AI biedt ongekende mogelijkheden, maar een AI-model (zoals ChatGPT) werkt niet op een klein apparaat zonder toegang tot het internet. Toch zijn er genoeg situaties denkbaar waarin autonome intelligente systemen van pas kunnen komen in gebieden met weinig bereik. Denk aan het voorkomen van bosbranden, het opsporen van stropers of het in de gaten houden van gewassen. Bijvoorbeeld in een klein apparaatje of in een drone. Maar ook in de gezondheidszorg kan het vanwege privacy niet gewenst zijn om persoonlijke data naar een server te sturen. In zulke situaties kan Edge AI worden ingezet, oftewel AI aan de randen van een netwerk, dus ver weg van de servers waar AI normaal gesproken gebruik van maakt. Om AI ook op zulke apparaten te laten werken, zijn flinke aanpassingen nodig. Want de huidige AI-modellen zijn heel groot, omdat ze veel berekeningen moeten uitvoeren. Een apparaatje dat alleen maar een batterij heeft, zou daardoor al gauw leeg zijn. Door flink te sleutelen aan de software zouden AI-modellen ook aan de ‘edge’ hun werk moeten kunnen doen.

Via India en Londen naar Amsterdam

Dolly Sapra is sinds afgelopen maart aangesteld als universitair docent bij de vakgroep Parallel Computing Systems (PCS) , en richt zich op Edge AI. De uit India afkomstige Sapra studeerde computerwetenschappen en engineering, en werkte daarna als softwareontwikkelaar. Toen haar man een baan kreeg in Londen verhuisde ze mee, en ze waren van plan om daar lang te blijven. Maar toen werd hij gevraagd om een jaartje in de vestiging in Amsterdam te gaan werken. Sapra ging mee, en vond een tijdelijke baan als gastonderzoeker bij PCS. De vrijheid van de academische wereld beviel haar wel, dus na een jaar ging ze solliciteren op promotieplaatsen. In eerste instantie in Londen, maar haar afdelingshoofd Andy Pimentel vroeg: waarom blijf je niet hier? ‘Ik had die optie niet eens overwogen, maar vond het eigenlijk wel een goed idee.’ Sapra en haar gezin bleven in Amsterdam, en na haar promotieonderzoek volgde een postdocpositie, en sinds kort dus de aanstelling als universitair docent.

Verticale landbouw

Het verschil met haar vorige onderzoek, is dat Sapra naast haar fundamentele werk nu ook meer over toepassingen wil nadenken. Niet dat ze die zelf wil ontwikkelen, maar ze wil wel in contact komen met mensen die dat wel kunnen. ‘Ik wil graag dat mijn onderzoek wordt toegepast, maar dat is lastig met fundamentele wetenschap. Als je daar zelf niet actief moeite voor doet, dan kan het wel tien tot twintig jaar duren voordat je idee wordt opgepakt.’ Sapra werkt nu dan ook bijvoorbeeld aan een voorstel om Edge AI toe te passen in apparaten die zorgen voor de bestuiving van gewassen in de verticale landbouw. Hier worden gewassen in gebouwen onder ledlampen geteeld, en is het niet mogelijk om insecten te gebruiken voor de bestuiving. Kleine apparaatjes moeten automatisch kunnen inschatten wanneer bestuiving nodig is, en waar precies op het gewas. Daarvoor is een klein, energie-efficiënt AI-model nodig.

Optimaal benutten

Een van de manieren om zo’n model te maken is door simpelweg te kijken of je delen van de software kunt weglaten, maar hoe ver ga je daarin? ‘Als je meer weglaat, wordt je model minder accuraat. Daarin moet je een balans zien te vinden.’ Een andere manier is om te variëren in de frequentie die onderdelen van een chip gebruiken. Als er een taak moet worden uitgevoerd, dan kunnen meerdere onderdelen aan het werk worden gezet. ‘Sommige onderdelen werken op een hogere frequentie en zijn sneller klaar, maar ze verbruiken daardoor wel meer energie. Terwijl andere onderdelen langzamer werken. We onderzoeken hoe we de frequentie omlaag kunnen brengen, zonder dat dit de taak in zijn geheel vertraagt. Het gaat er dus om dat je alle mogelijkheden van de software en de hardware zo optimaal mogelijk benut.’

Voetafdruk moet omlaag

Daarnaast is het een persoonlijke missie voor Sapra om AI-modellen meer energie-efficiënt te maken, niet alleen voor toepassingen aan de edge, maar ook voor grotere systemen die op servers in datacentra zijn aangesloten. Een van de nieuwe onderzoekslijnen van Sapra wordt dan ook om hybride AI-modellen te maken, die de huidige, energie-intensieve technieken combineren met oudere, zuinigere technieken. ‘De modellen achter ChatGPT zijn gigantisch. Het schijnt dat één vraag aan versie drie van ChatGPT 36 cent aan energie kost. De grote techbedrijven zijn momenteel alleen maar bezig met het maken van grotere modellen die nog meer mogelijkheden bieden, en ze houden zich niet met het energieverbruik bezig. Maar dit kan niet eeuwig zo doorgaan. Op een gegeven moment zullen de modellen tegen de grenzen aanlopen vanwege het energieverbruik. Het verminderen van de ecologische voetafdruk is voor mij dan ook een heel belangrijk punt.’