L'IA de Microsoft fonctionne sur des processeurs bas de gamme, économisant 6 fois la mémoire

Les spécialistes de Microsoft ont développé le modèle de langage BitNet b1.58 2B4T, qui, malgré sa taille compacte, offre des résultats comparables à ceux de ses homologues plus grands. Sa caractéristique principale est sa capacité à fonctionner sur des CPU standard sans avoir besoin d'accélérateurs graphiques. Cela ouvre l'accès aux technologies d'IA pour les appareils disposant de ressources limitées.

Au lieu de calculs standard de 16 ou 32 bits, le modèle utilise des opérations simplifiées de 1 bit avec trois états : -1, 0 et +1. Cette approche réduit l'utilisation de la mémoire à 400 Mo — en comparaison, le concurrent le plus proche de Google (Gemma 3 1B) nécessite 1,4 Go. Les économies sont réalisées grâce à une approche fondamentalement différente du traitement des données : au lieu d'opérations mathématiques complexes, le système s'appuie sur des algorithmes binaires optimisés.

Lors des tests, BitNet a été comparé avec des modèles de Meta (LLaMa 3.2 1B), Google (Gemma 3 1B) et Alibaba (Qwen 2.5 1.5B). Malgré sa taille plus petite, le développement de Microsoft a obtenu un score moyen de 54,19 lors de tests complets, surpassant LLaMa (44,90) et Gemma (43,74), et ne se plaçant que légèrement derrière Qwen (55,23), qui occupe 6,5 fois plus de mémoire. Dans des tâches spécifiques liées à l'analyse de texte, BitNet a pris la tête.

Pour une efficacité maximale, le modèle nécessite le cadre spécial bitnet.cpp, disponible dans le dépôt GitHub ouvert. Les outils standard comme la bibliothèque Transformers ne débloquent pas pleinement son potentiel. Les développeurs notent que la version actuelle est optimisée pour les CPU, mais que les futures mises à jour ajouteront le support pour les neuroprocesseurs et les GPU.

BitNet est un exemple de la tendance vers des modèles d'IA « légers ». De telles solutions réduisent la consommation d'énergie et permettent l'exécution d'algorithmes complexes sur des appareils sans accès aux services cloud. Cela est particulièrement pertinent pour les régions avec une connexion Internet lente ou lorsqu'il s'agit de données confidentielles, où il est indésirable de transmettre des informations vers des centres de données. Selon les développeurs, leur objectif est de rendre les technologies d'IA accessibles sans mises à niveau matérielles, ce qui pourrait changer l'approche du développement d'applications alimentées par l'IA.