Kleine woordenlijst

[PanderMusubi]

Maak ook een kleine woordenlijst van 50.000 woorden zoals https://packages.debian.org/stable/wamerican-small

[petervandenabeele]

UPDATE: Mijn onderstaande opmerking is niet correct. Door het gebruik van WordPiece, zijn er slechts 30,000 kernwoorden in BERT-gerelateerde vocabularia, maar dat zijn niet noodzakelijk de meest gebruikte woorden ...

[FOUT: Toevallig heb ik hier net het vocabularium van BERTje https://github.com/wietsedv/bertje#transformers van 30,000 Nederlandse woorden staan. Misschien geeft een doorsnede met de gekeurde woordenlijst hier al direct een mooie insteek?]