Écrire son propre LLM: ce que j'ai appris

« Je ne comprends rien à ce que je ne peux pas construire. » disait Richard P. Feynman.

C'est pareil pour moi: si je veux bien comprendre quelque chose, je dois le le réécrire. C'est ce que j'ai fait pour essayer de comprendre les LLM.

Dans cette session, nous inspecterons le contenu d'un (petit) LLM écrit en python afin de bien comprendre ce qu'il est, et ce qu'il n'est pas.