Comment un modèle open-weight surpasse les modèles privés de pointe

Kimi K3 est sans aucun doute une vraie avancée. Je pense que ce papier est important : beaucoup de gens pensent que pour avoir un très bon LLM, il faut forcément des poids privés. Et c'est assez logique : si j'avais les poids d'un modèle de pointe sur mon ordinateur, je ne suis pas sûr que j'aurais envie de les partager ! Mais la Chine joue probablement un autre jeu. En partageant un modèle aussi gros et aussi performant, elle étend non seulement son soft power, mais elle rappelle aussi aux Américains que d'autres savent faire des LLM, et que les leurs sont aussi bons. Un peu le même coup que lors de la sortie de DeepSeek, quand Nvidia a perdu 23 % ou quelque chose comme ça en une journée. Et vu la manière dont ils ont géré les pertes d'énergie pour entraîner Kimi K3, ils ont vraiment fait du bon travail. Voyons maintenant deux ou trois points qui ont particulièrement retenu mon attention.

Premièrement : les Attention Residuals

Ce que la Kimi Team a fait ici est assez malin : à chaque couche, au lieu de transmettre toute l'histoire des blocs précédents, ils n'en transmettent qu'un résumé. Cela permet de réduire le temps de calcul.

Deuxièmement : le MoE

Plus encore que les Attention Residuals, n'activer qu'une partie des experts pendant l'inférence réduit considérablement le temps de calcul.

Troisièmement : la Kimi Delta Attention

Là encore, on voit qu'ils se concentrent de moins en moins sur la taille du modèle, et de plus en plus sur la résolution d'un problème d'optimisation pour un modèle précis.

Je pense que ce modèle devrait être l'un des derniers de son genre. Je m'attends à ce que la recherche se tourne vers l'optimisation du ratio calcul/énergie, en réduisant la consommation de l'ensemble de l'algorithme plutôt qu'en le faisant encore grossir.