Tous les modèles open source ne se valent pas. Ce module explique la taille des modèles, la quantization et comment choisir le bon modèle pour une machine et une tâche données.
Vous mettrez aussi en place une vraie interface de chat plutôt que la ligne de commande brute.