1.

2. Plan

3. Introductions aux LLMs

4. Qu'est q'un LLM ?

L'intelligence artificielle (IA) est un terme vaste qui englobe un ensemble de technologies diverses. Parmi celles-ci, on retrouve les modèles de langage de grande taille (LLM), qui sont des modèles d'intelligence artificielle générative capables de produire du texte de manière autonome. Un exemple bien connu de LLM est ChatGPT.

Il est important de distinguer les LLM des modèles fondationnels, bien qu'ils soient souvent confondus. Tandis que les modèles fondationnels sont conçus pour être utilisés dans une grande variété d'applications d'IA, les LLM se spécialisent dans la génération de texte, facilitant ainsi l'interaction avec les humains en langage naturel.

Aux yeux du grand public, ChatGPT incarne un exemple concret d’application de l'intelligence artificielle. Il a popularisé l'usage des modèles génératifs en offrant une interaction fluide et naturelle avec la machine. D'ailleurs, le langage est souvent perçu comme un signe d’intelligence humaine, et une bonne éloquence est fréquemment associée à une intelligence supérieure. Cette perception renforce l'idée que les modèles comme ChatGPT sont plus qu'un simple outil technologique, mais un reflet de l'intelligence dans sa capacité à communiquer efficacement.

Il est cependant essentiel de clarifier que, bien que les LLM comme ChatGPT puissent sembler "intelligents" en raison de leur capacité à produire du texte de manière cohérente et à simuler une conversation fluide, ils ne sont pas véritablement intelligents au sens humain du terme. Ces modèles ne comprennent pas réellement le contenu qu'ils génèrent, mais se basent sur des schémas statistiques appris à partir de vastes ensembles de données. Ils n'ont ni conscience, ni raisonnement, ni capacité à saisir le contexte comme le ferait un humain. Leur "intelligence" est donc purement le résultat de traitements algorithmiques avancés et de l'analyse probabiliste du langage.

5. Course à la Performance

Depuis la sortie de ChatGPT en novembre 2022, une véritable course à la performance s’est engagée entre les entreprises technologiques, chacune cherchant à développer le modèle LLM le plus puissant. Pour évaluer ces performances, des tests standardisés, similaires aux tests de QI mais adaptés aux LLM, sont utilisés. Le graphique ci-dessous illustre les résultats des principales entreprises dans cette compétition. OpenAI, avec ChatGPT, domine actuellement le classement, mais d'autres acteurs tels que Google, Anthropic, Meta, et même Mistral – une entreprise française – sont également en lice et réalisent des avancées notables.

6. Comment ça fonctionne ?

L’objectif principal d’un modèle de langage de grande taille (LLM) est de prédire la suite d’un texte en proposant le mot qui a statistiquement le plus de chances de suivre dans une phrase donnée.

Le fonctionnement d'un LLM repose sur trois composantes clés. Tout d’abord, les données : ces modèles sont formés à partir de gigantesques ensembles de textes provenant de diverses sources comme des livres, des sites web, ou encore des articles. Ensuite, il y a l’architecture, constituée de réseaux de neurones, que l'on peut décrire comme des structures mathématiques traduites en informatique. Les LLM utilisent plus spécifiquement des architectures appelées transformers, qui sont conçues pour traiter et comprendre efficacement des séquences de mots. Enfin, l’élément clé est l’entraînement : le modèle apprend à prédire le mot suivant dans une phrase en affinant constamment ses connexions internes grâce à des millions, voire des milliards d’exemples. Ce processus d'entraînement permet au LLM de capturer les nuances et subtilités du langage humain.

7. Rendre un LLM plus performant

Les modèles de langage de grande taille (LLM) présentent certaines limitations. Par exemple, un LLM ne pourra pas répondre correctement à une question si le modèle n’a pas été entraîné sur les données spécifiques liées à ce sujet. Ses connaissances sont figées dans le temps, car elles se basent uniquement sur les informations disponibles au moment de l'entraînement. En outre, ces modèles sont très généralistes, ce qui peut entraîner un manque de précision contextuelle lorsqu’ils doivent répondre à des besoins spécifiques ou des cas d’usage pointus.

Cela soulève une question importante : comment adapter ces modèles pour les spécialiser dans des domaines précis ? Une solution à ce problème réside dans l’utilisation de la technologie RAG (Retrieval-Augmented Generation), qui combine la génération de texte avec la récupération d'informations actualisées à partir de sources spécialisées, offrant ainsi des réponses plus pertinentes et adaptées à des contextes particuliers.

8. RAG

Pour surmonter ces limitations, nous appliquons la technologie RAG (Retrieval-Augmented Generation), qui se traduit littéralement par "Retrouver, Augmenter, Générer". Cette approche permet à un LLM d'accéder à des informations en temps réel, un peu comme si on lui donnait accès à une immense bibliothèque. Au lieu de se limiter à ses connaissances statiques, le modèle peut rechercher des données actualisées et pertinentes, puis les intégrer dans ses réponses, offrant ainsi des résultats plus précis et adaptés à des contextes spécifiques.

9. RAG Explication

Le fonctionnement de la technologie RAG se déroule en plusieurs étapes. Tout d'abord, l'utilisateur pose une question. À partir de cette question, le système recherche l'information pertinente dans une bibliothèque de documents mise à disposition, qui peut contenir une grande variété de ressources, allant de textes à des images. Une fois l'information trouvée, le passage du document pertinent est ajouté à la question de l'utilisateur, puis transmis au LLM. Enfin, le LLM peut alors générer une réponse analytique, appuyée et justifiée par les documents fournis, offrant ainsi une réponse plus précise et adaptée au contexte.

10. Les avantages du RAG

11. Cas d'usage

12. 2 Cas d'usages

13. Un assistant personnel

Si nous reprenons l'exemple d'une question posée lors d'une conversation précédente, grâce à la technologie RAG, la réponse obtenue est plus détaillée et enrichie par les informations retrouvées dans les documents pertinents.

Pour retrouver ces informations, une méthode de recherche particulière est utilisée : la recherche vectorielle. Contrairement aux méthodes classiques qui se basent sur des mots-clés, la recherche vectorielle repose sur la sémantique. Chaque texte est transformé en vecteurs, c'est-à-dire en représentations mathématiques qui capturent le sens des mots et des phrases. Cela permet au système de rechercher des informations non pas uniquement en fonction des mots spécifiques utilisés, mais sur la base du sens global du texte, rendant les résultats plus précis et adaptés au contexte de la question.

14. Un assistant intelligent

Cet exemple montre déjà que la technologie RAG, sous forme d’assistant personnel, permet de gagner un temps précieux en offrant des réponses enrichies et pertinentes. Cependant, il est possible d’aller encore plus loin en développant ce que l’on appelle un RAG avancé. L’idée ici est de créer un agent RAG, un système qui ne se contente pas de répondre à des questions, mais qui peut également agir de manière proactive. Un agent RAG est capable de prendre des initiatives pour effectuer des tâches complexes, rechercher des informations supplémentaires, interagir avec d’autres systèmes, ou encore exécuter des actions automatisées en fonction des besoins de l’utilisateur. Cela en fait un outil encore plus puissant, transformant la simple assistance en un véritable agent intelligent capable de faire gagner en efficacité et en précision.

15. Pour les citoyens

Pour les citoyens, cette application prend la forme d’un chatbot, directement intégré à l’interface web de Val de Garonne. Ce chatbot utilise la technologie RAG pour répondre aux questions des utilisateurs en temps réel, en s’appuyant sur des informations précises et à jour provenant des documents administratifs et des ressources locales. Grâce à cette intégration, les citoyens peuvent obtenir des réponses rapides et pertinentes sans avoir à parcourir de longs documents ou contacter les services municipaux, ce qui améliore l'efficacité du service public.

16. Une expérience améliorée

17. Les enjeux de sécurité

Comment rendre ChatGPT 10x plus performant pour vos besoins