Comment évaluer l’intelligence d’un chatbot ?

La longue marche des boîtes de conserve vers l’intelligence Les chatbots sont des membres de la confrérie des robots. Les robots ont été annoncés longtemps avant leur existence réelle par la mythologie (grecque, biblique) et ses avatars littéraires les plus récents, notamment la science-fiction. Dans ces histoires, des créatures artificielles douées de raison, et plus […]

La longue marche des boîtes de conserve vers l’intelligence

Les chatbots sont des membres de la confrérie des robots. Les robots ont été annoncés longtemps
avant leur existence réelle par la mythologie (grecque, biblique) et ses avatars littéraires les plus
récents, notamment la science-fiction. Dans ces histoires, des créatures artificielles douées de raison,
et plus ou moins libres de leurs actes ont le pouvoir d’aider ou s’opposer à l’humanité. Lorsqu’on
parle de chatbot, on évoque cette intelligence. Mais à partir de quand décidons-nous que cette
intelligence existe et que ce chatbot en est vraiment un ? D’ailleurs y a-t-il vraiment un seuil, binaire,
au-delà duquel on constate cette intelligence ou bien est-ce une progression continue de l’inanimé à
l’animé ?

Plutôt que de tenter ici de vainement trancher ce débat philosophique, nous allons plutôt nous
intéresser à la nature de cette intelligence ou plutôt aux diverses natures de ces intelligences. Car
derrière la grande excitation du marché et des médias pour cette technologie émergeante se cachent
des réalités très diverses. Nous nous sommes focalisés ici sur l’intelligence cognitive et celle du
langage.

Il est important de noter que ce ne sont pas les seules formes d’intelligence et que l’intelligence
émotionnelle ou l’intelligence interpersonnelle sont de celles qui ne sont pas couvertes dans la suite
de cet article même si elle a un rôle à jouer dans la qualité d’un chatbot. La raison en est que nous
avons choisi de privilégier ce qui est indispensable à servir une conversation, c’est-à-dire son sens et
sa pertinence. Il est certain que l’empathie et la sympathie sont des éléments très importants eux
aussi mais alors que le service peut être rendu sans empathie, il ne peut pas être rendu sans
pertinence. Cela explique notre choix.

Pour donner une échelle de progression, nous avons arbitrairement choisi une note pour chaque
capacité citée plus loin. L’échelle proposée n’est pas linéaire et le lecteur pourra construire sa propre
vision de cette échelle indicative, l’idée étant de faire prendre conscience de l’existence de ces stades
de progrès et de leur plus ou moins bonne prise en charge par les chatbots existants aujourd’hui.

Commençons par le langage.

Pour traiter le langage naturel émis par ses interlocuteurs humains, le chatbot doit faire appel à la
reconnaissance des mots, de la syntaxe, de la sémantique et de la conversation.
La reconnaissance des mots va de la simple correspondance lettre à lettre avec une référence bien
orthographiée (ce que l’on appelle parfois la reconnaissance par mot clé) à une reconnaissance
approximative tolérant les erreurs. Note de 1 à 2

Vient ensuite la syntaxe qui guide la compréhension de la structure des phrases, du rôle des mots
dans cette phrase et de la position qu’ils y occupent ainsi que des variantes engendrées par les
accords et la conjugaison. Là aussi la tolérance aux erreurs, propres à l ‘expression humaine est
essentielle. Note de 3 à 4

Enfin, la sémantique permet de rattacher cette phrase à sa signification. C’est cette partie qui est la
moins formelle et la plus « intelligente ». On est capable d’accomplir cette prouesse notamment en
s’appuyant sur les graphes de synonymie associant les mots proches en cliques. Ces regroupements
constituent des ontologies propres à un domaine. L’ontologie du commerce n’est pas celle de la
plomberie ou de la fiscalité. Note de 5 à 7

Pour finir, la reconnaissance de la conversation permet de reconnaître les ontologies applicables au
discours en donnant une cohérence d’interprétation à l’ensemble. Hélas, le domaine peut changer en
cours de conversation et parfois même en cours de phrase et les ontologies ne sont pas des
constructions statiques et formidables mais bien plutôt des structures en évolution et variant de
locuteur et locuteur et d’environnement en environnement. Note de 8 à 10

Le cerveau humain est toujours inégalé aujourd’hui dans ces tâches et les techniques les plus
avancées dans ce domaine ne donnent des résultats satisfaisants que dans les cas les moins
perturbés et les plus simples.

Et finissons par la capacité à répondre

Mais une fois le langage analysé, pour savoir répondre à une interaction humaine, en supposant que
son sens en ait été parfaitement cerné, il faut une capacité d’identification du raisonnement (ou
processus cognitif) qui permettra de formuler en retour l’interaction avec l’humain que celui-ci
attend ou espère.

Pour cela, il est possible d’appliquer à la lettre une recette préétablie, décrite par ceux qui ont conçu
le chatbot. Cette recette pourra être appliqué sans personnalisation ou être influencée par le
contexte d’utilisation. Note de 1 à 2.

Il est possible également d’appliquer une de ces recettes en donnant une latitude au chatbot pour
s’écarter du cadre prédéfini, notamment par l’apprentissage des chemins les plus efficients ou par
l’intégration de données contextuelles dans la détermination de ces chemins. Note de 3 à 4

On peut également offrir au chatbot une capacité à construire une nouvelle recette par analogie avec
une recette existante, cette capacité dépendant de sa compréhension de la recette modèle et de sa
proximité avec la situation et de sa capacité à adapter plus ou moins profondément la recette de
départ pour compenser l’écart entre la notion originelle de la recette et la notion proche, identifiée
dans la situation actuelle. Note de 5 à 7

On peut enfin imaginer, car les travaux dans le domaine sont encore balbutiants que le chatbot
puisse bâtir seul une recette sans modèle sachant que cela dépend de capacités d’apprentissage qui
sont à la fois limitées à ce que le chatbot a pu expérimenter donc à son exposition à ces situations et
par sa capacité à les interpréter donc sa capacité d’interaction avec les situations. On conçoit
facilement qu’une telle capacité est très limitée pour un objet informatique dépourvu des sens et des
moyens de se déplacer et d’interagir avec son environnement dont bénéficient les humains. Note de
8 à 10.

Où en sommes-nous ?

Les notes des chatbots de 2017 oscillent entre 0 et 10 sur 20. On se rend compte que pour assister
les humains, cela peut déjà suffire, pourvu que le problème soit simple, la solution déjà éprouvée et
l’exigence de l’humain peu élevée. En revanche, on voit aussi que cela illustre les grandes disparités qui
existent dans les outils proposés dans ce domaine et doit inciter à la vigilance lors du choix de ces
outils et de leur adaptation au besoin à satisfaire.
Quelle note a obtenu votre chatbot ? La longue marche est loin d’être terminée mais elle a vraiment
commencé…

Partagez cet article

Blog

Extrait du Livre Noir du service et de l’expérience client

Faire répondre au client par celui qui sait, vite et bien : les conseils imagés du Dr Godefroy, les outils, la tisane. 4 médicaments : 1- Assurer la polyvalence des conseillers pour faciliter l’accès à une personne en capacité de répondre : si l’entreprise dispose de spécialistes (souvent peu nombreux in fine), la probabilité qu’un client joigne l’un d’eux, et

Lire la suite »

Les rendez-vous Sereneo 2018

Tout au long de l’année, Sereneo vous donne rendez-vous pour présenter ses innovations, partager son savoir-faire mais aussi étudiez vos besoins et vous apporter ses solutions. WelcomeTrack Morning Un événement trimestriel organisé par WelcomeTrack. Cette nouvelle édition réunira des professionnels du e-commerce et des spécialistes de l’expérience client autour du thème de la relation client. Frédéric Godefroy, Président de Sereneo,

Lire la suite »

Les temps forts Sereneo 2017

Conseiller augmenté, Chatbots, DUC, Livre noir… Autant de nouveautés qui ont marqué l’année Sereneo 2017 Le Conseiller Augmenté Le conseiller clientèle peut désormais être soutenu dans son activité par différents outils technologiques. Grâce à eux, sa tâche est simplifiée et son efficacité accrue, qu’il s’agisse de délivrer la bonne réponse, de réaliser un diagnostic fiable ou d’apporter une recommandation personnalisée…

Lire la suite »

Relation client-conseiller mutualiste : l’important, c’est la santé

Plus de confort pour vos conseillers dans leur activité, c’est plus de satisfaction pour vos adhérents … et la santé en plus pour tous ! Compte tenu du caractère sensible des sujets à traiter par le conseiller d’une mutuelle u d’une assurance, celui-ci doit faire preuve d’écoute, d’empathie et de patience pour gérer les émotions des adhérents. Une tâche bien

Lire la suite »

Le livre noir du service et de l’expérience client

Parce que le service client est (bien trop) souvent en souffrance, ils ont recensé les pathologies fréquentes qui lui nuisent au quotidien. « Ils », ce sont les 3 « docteurs » qui ont partagé leur savoir et leur expérience pour donner naissance à cet ouvrage. Rédigé par Manuel Jacquinet (En-Contact magazine) et deux co-auteurs, Patrick Giudicelli (Akio) et Frédéric Godefroy (Sereneo), ce livre

Lire la suite »

Optimiser les traitements clients

Le métier de la relation client est (bien trop) souvent présenté comme un métier de dépensier. Cette vision évolue cependant ces dernières années, mais lentement. Pour en finir avec cette perception d’un “poste de coût”, il est nécessaire que la mentalité change, et ce, de deux manières. La première et la plus évidente, est de considérer que le client bien

Lire la suite »

L’effort client, un nouveau KPI

Un nouveau KPI est apparu dans les entreprises : l’effort client. Cette notion se définit comme l’énergie qu’un client doit déployer pour que sa demande soit satisfaite. L’entreprise doit tenir ses promesses vis-à-vis du client, facteur déterminant de la fidélité client.  Aussi, la réduction des efforts client permet d’améliorer le service client, de réduire les coûts de ce service. Comment

Lire la suite »

Retour sur Expérience Client / The French Forum – La Baule 2017

Les pain points de l’expérience client… ils sont nombreux et certains ont été largement évoqués lors de cette 5ème édition d’Expérience Client / The French Forum à La Baule. Frédéric Godefroy, Président de Sereneo, a apporté son regard expert sur les parcours client et notamment la mise en œuvre du Once & Done. Comment bien répondre au client, du 1er

Lire la suite »

Customer Relationship & Marketing Meetings 2017

Nous y serons ! Venez rencontrer l’équipe Sereneo sur le Salon-Meetings de la relation et connaissance client, du marketing digital et des études. Vous découvrirez nos solutions pour limiter l’effort client, simplifier la vie de vos collaborateurs répondre à vos enjeux clés : l’augmentation de la satisfaction, l’essor des ventes et la baisse des coûts de gestion ! Rendez-vous à

Lire la suite »

Le robot en soutien à l’humain – pour les mutuelles et assurances aussi !

En ces temps où la digitalisation gagne tous les secteurs d’activité, le robot semble toutefois confronté à quelques réticences qui freinent son entrée dans l’univers des mutuelles et assurances. La complémentaire santé, la prévoyance ou encore la gestion de sinistres sont autant de sujets sensibles voire anxiogènes pour l’individu qu’est l’adhérent. Celui-ci conçoit donc difficilement de s’en remettre à une

Lire la suite »

Après l’Off-shore, le Bot-shore !

L’amélioration des coûts de gestion de la relation client passe, depuis plus de 10 ans, par la recherche permanente de prix horaires de production de plus en plus bas. Après le Maghreb, les nouvelles destinations sont toujours plus au sud, Madagascar, l’Afrique Subsaharienne…et toujours moins chères, a priori. Car c’est sans compter les temps de formation, l’accompagnement et le délai

Lire la suite »

En route vers le commerce automatisé

Phénomène de fond, la transformation digitale de l’entreprise a démultiplié les lieux d’échanges avec le client : boutique, site marchand, mobile, messagerie instantanée Facebook… Le premier effet mesurable est la dynamique commerciale du secteur E-Commerce : avec une croissance annuelle à 2 chiffres, ce marché s’établit à hauteur de 72 milliards en 2016 versus de 31 en 2010. (Source Fevad)

Lire la suite »