✍️ L’article que je vous partage aujourd’hui est celui à l’origine de la dernière révolution de la discipline NLP : l’article intitulé « Attention is all you need ». 

🧠 Dans cet article, publié en 2017, des chercheurs et chercheuses proposent un nouveau type de réseau de neurones, appelé Transformer, qui permet de reproduire un mécanisme essentiel du cerveau humain : la capacité à retenir ou oublier sélectivement certaines informations pour comprendre le sens global d’une phrase.

📝 Cette approche, appelée « Mécanisme d’Attention », était déjà présente dans les réseaux de neurones utilisés jusqu’alors ; la révolution provient du fait qu’un Transformer est capable d’appliquer le mécanisme sur l’ensemble d’une phrase et non plus séquentiellement d’un mot à l’autre. Ainsi, une meilleure prise en compte du contexte global d’une phrase permet de mieux en saisir le sens. 

🤯 Cette révolution a permis des avancées très importantes : elle est par exemple à l’origine du modèle GPT développé par OpenAI, dont l’utilisation pour traduire, compléter ou synthétiser des phrases est vraiment spectaculaire. 

💪Mais elle est aussi au cœur des algorithmes que nous avons développés pour notre solution VERBATIM.care. En effet, la performance d’analyse des verbatim patient de nos algorithmes repose conjointement sur l’intelligence humaine – notre capacité par des regards croisés de professionnels de santé et patientes expertes à structurer, contextualiser, comprendre les retours qualitatifs des patients – et sur ces dernières avancées technologiques capables d’intégrer cette intelligence humaine au cœur des modèles. 

👉 Suite à la publication de cet article, Google a développé et publié en 2018 un nouveau modèle de réseau de neurone basé sur les Transformers (BERT), pré entrainé en langue anglaise. En langue française, nous pouvons citer camenBERT, développé par Facebook AI et l’Inria. 

💡 Dans tous ces travaux, ce qui me passionne est la créativité dont font preuves les équipes de recherche pour réussir à répliquer, avec des processeurs et des calculs informatiques, des « mécanismes d’intelligence » de notre cerveau biologique.

🤝 Chez EntendsMoi, nous utilisons ces technologies pour analyser la parole libre des patients hospitalisés, et comprendre leur expérience vécue. Je profite de ce post pour remercier les équipes d’AI for Tomorrow, programme d’accompagnement de startups d’IA à impact.