Taal bevat naast spelling en grammaticaregels ook beeldspraak, sarcasme, en jargon. ArtificiaI Intelligence (AI) moet dit allemaal kunnen begrijpen. Hoe doet ze dit en wat hebben we eraan? Dennis Bakhuis neemt je mee in het jargon van de datawetenschap en hoe hij AI toepast.
BERT is het eerste taalmodel (we noemen AI-programma's modellen) dat op hetzelfde niveau als de mens kwam. Modellen vormen een web van getallen (wij spreken van gewichten) die wij allemaal stuk voor stuk kunnen instellen. BERT heeft 109 miljoen gewichten. Als je BERT af zou willen drukken, heb je meer dan 27.000 pagina's nodig. De AI die wij in PUUR. stoppen, maakt ook gebruik van een model gebaseerd op BERT.
Onderzoekers van taalmodellen zijn fan van Sesamstraat. Elk nieuw taalmodel krijgt een naam van een personage uit dit populaire kinderprogramma. ELMo, BERT, Grover, ERNIE, KERMIT, en Big-BIRD figureren allemaal in AI. De namen vormen slim gekozen afkortingen van begrippen uit AI. Sesamstraatmodellen maken gebruik van transfer learning. Ze leren eerst een taal in het algemeen (pre-training). Daarna krijgt het model training (fine tuning) voor zijn uiteindelijke taak.
BERT bestaat twee jaar en is in sommige dingen net zo goed als mensen. Echter, iedereen riep dat BERT 'te zwaar' zou zijn voor gebruik in productiesystemen. Wat je nu ziet, is dat steeds meer bedrijven een versie van BERT gebruiken. Google gebruikt het nu voor bijna alle zoekopdrachten in hun zoekmachine. Wij werken aan verschillende projecten met het BERT-model waaronder een paar die uiteindelijk ook in PUUR. komen. Zo zijn we bezig met het detecteren van hoest (en verschillende typen van hoest) in rapportages. Nu zit er nog geen BERT-gebaseerd model in PUUR. Wel is er een proefversie voor de gehandicaptenzorg. Elver experimenteert daarmee
Onze ervaring met BERT is erg positief. Het classificeren van tekst werkt al met minimale gelabelde data best goed. Ik heb nu een soort interface geschreven zodat de rest van het team ook makkelijk projecten kan opstarten, waaronder dus het hoestdetectiesysteem. BERT en hun opvolgers zijn zeker de toekomst!
Meer weten waarbij AI kan helpen in de zorg? Kijk dan het webinar Enter the Matrix - AI for dummies terug. Datawetenschappers Dennis Bakhuis en Coen Lucasse wijzen je de weg in de wereld van kunstmatige intelligentie.