Bert, Ernie, Kermit
BERT is het eerste taalmodel (we noemen AI-programma's modellen) dat op hetzelfde niveau als de mens kwam. Modellen vormen een web van getallen (wij spreken van gewichten) die wij allemaal stuk voor stuk kunnen instellen. BERT heeft 109 miljoen gewichten. Als je BERT af zou willen drukken, heb je meer dan 27.000 pagina's nodig. De AI die wij in PUUR. stoppen, maakt ook gebruik van een model gebaseerd op BERT.
Onderzoekers van taalmodellen zijn fan van Sesamstraat. Elk nieuw taalmodel krijgt een naam van een personage uit dit populaire kinderprogramma. ELMo, BERT, Grover, ERNIE, KERMIT, en Big-BIRD figureren allemaal in AI. De namen vormen slim gekozen afkortingen van begrippen uit AI. Sesamstraatmodellen maken gebruik van transfer learning. Ze leren eerst een taal in het algemeen (pre-training). Daarna krijgt het model training (fine tuning) voor zijn uiteindelijke taak.