Aujourd'hui, petit cours de vocabulaire ! On va apprendre ce que signifie réellement le terme Open-weight.
Le terme s'est imposé avec l'essor de l'IA générative. Depuis 2023, de nombreuses sorties de modèles s'accompagnent d'une version dite « open ». Pour des entreprises comme Meta, Mistral AI ou plus récemment OpenAI, c'est une façon de se démarquer et de fédérer une communauté de développeurs autour de leurs modèles.
La start-up française en a d'ailleurs fait la démonstration ce mardi 6 octobre en dévoilant Mistral Large 4, surnommé « Le Chonk ». Avec ce modèle, elle entend réduire l'écart avec les géants américains et chinois.
Disponible pour l'instant en préversion via son API, il deviendra open-weight d'ici la fin du mois : Mistral s'est engagée à en publier les poids, permettant ainsi aux entreprises de l'héberger sur leurs propres serveurs.
Mais ce terme cache bien des subtilités. Ouvert, oui, mais à quoi exactement ? C'est ce que nous allons voir.
Aux origines de l'open-weight avec LLama
Le terme s'est imposé progressivement au cours de l'année 2023, quand les géants américains de la tech se sont lancés, les uns après les autres, dans la course à l'IA après le succès fulgurant de ChatGPT.
En février 2023, le groupe Meta présente LLaMA de manière restreinte : pour y accéder, il faut en faire la demande. L'accès est réservé principalement aux chercheurs, et tout usage commercial est interdit.
Toutefois, quelqu'un fait fuiter les poids du modèle et la communauté s'en empare très rapidement. Les poids sont les milliards de valeurs numériques ajustées pendant l'entraînement : ils contiennent tout ce que le modèle a appris. Les avoir, c'est avoir le modèle lui-même, prêt à l'emploi. Des projets apparaissent très vite, comme llama.cpp, qui permet de faire tourner le modèle sur un ordinateur classique. On découvre ainsi qu'un modèle d'IA performant peut fonctionner hors des data centers.
Meta finit par assumer l'ouverture : en juillet 2023, Llama 2 est publié officiellement, téléchargeable par tous, avec une licence qui autorise un usage commercial sous conditions.
Poids, données, informations : ce qui différence l'open-weight de l'open-source.
Au sein de la communauté tech, plusieurs esprits débattent de la qualification d'un modèle d'IA comme open-source. En effet, les entreprises comme Mistral revendiquent ce terme pour démontrer l'ouverture de leurs modèles d'IA à tous.
Néanmoins, l'OSI (Open Source Initiative), un organisme à but non lucratif qui fait référence en matière de logiciel libre, estime que cette approche ne correspond pas à sa définition de l'IA open source. Selon elle, pour être qualifié d'open source, un modèle doit fournir non seulement ses poids, mais aussi son code d'entraînement et des informations détaillées sur les données utilisées pour l'entraîner.
Or, à l'exception des poids, ces éléments restent inaccessibles à la communauté. Et même les poids sont soumis à une licence restrictive : leur utilisation est encadrée par des conditions fixées par Meta, Anthropic ou encore OpenAI.
Cela signifie qu'un modèle d'IA open-weight peut être réutilisé mais pas entièrement décortiqué. Ce qui rend plus complexifie l'analyse des biais. Il est donc plus difficile de garantir qu’un modèle open-weight est exempt de biais ou de contenus problématiques.
Pourtant, l'open-source est considéré comme un levier d'innovation qui a permis l'emergence de technologies comme Linux, Python mais aussi l'outil Git.
Les entreprises leaders justifient cette approche pour des raisons de sécurité : un modèle IA trop ouvert peut être utilisé à des fins malveillantes, comme la désinformation ou la cybercriminalité.
Quelle IA pour le futur ?
L'approche open-source devrait continuer d'exister à l'ère de l'IA comme le démontre la publication de la solution OpenClaw.
L'open-source et l'open-weight incarnent néanmoins deux visions différentes de l'ouverture en intelligence artificielle. Il est plus que probable que les deux parviennent à co-exister. L'approche open-weight permet aux entreprises cherchant à tirer de l'IA de la performance économique de garder la propriété intellectuelle de leurs modèles.
Les développeurs et les entreprises devront choisir en fonction de leurs priorités : maximiser l’innovation et la transparence avec l’open-source, ou bénéficier d’une ouverture encadrée avec l’open-weight. Dans tous les cas, l’ouverture de l’IA sous toutes ses formes redessine déjà les équilibres du secteur tech.