Comment évaluer l’intelligence d’un chatbot ?

La longue marche des boîtes de conserve vers l’intelligence Les chatbots sont des membres de la confrérie des robots. Les robots ont été annoncés longtemps avant leur existence réelle par la mythologie (grecque, biblique) et ses avatars littéraires les plus récents, notamment la science-fiction. Dans ces histoires, des créatures artificielles douées de raison, et plus […]

La longue marche des boîtes de conserve vers l’intelligence

Les chatbots sont des membres de la confrérie des robots. Les robots ont été annoncés longtemps
avant leur existence réelle par la mythologie (grecque, biblique) et ses avatars littéraires les plus
récents, notamment la science-fiction. Dans ces histoires, des créatures artificielles douées de raison,
et plus ou moins libres de leurs actes ont le pouvoir d’aider ou s’opposer à l’humanité. Lorsqu’on
parle de chatbot, on évoque cette intelligence. Mais à partir de quand décidons-nous que cette
intelligence existe et que ce chatbot en est vraiment un ? D’ailleurs y a-t-il vraiment un seuil, binaire,
au-delà duquel on constate cette intelligence ou bien est-ce une progression continue de l’inanimé à
l’animé ?

Plutôt que de tenter ici de vainement trancher ce débat philosophique, nous allons plutôt nous
intéresser à la nature de cette intelligence ou plutôt aux diverses natures de ces intelligences. Car
derrière la grande excitation du marché et des médias pour cette technologie émergeante se cachent
des réalités très diverses. Nous nous sommes focalisés ici sur l’intelligence cognitive et celle du
langage.

Il est important de noter que ce ne sont pas les seules formes d’intelligence et que l’intelligence
émotionnelle ou l’intelligence interpersonnelle sont de celles qui ne sont pas couvertes dans la suite
de cet article même si elle a un rôle à jouer dans la qualité d’un chatbot. La raison en est que nous
avons choisi de privilégier ce qui est indispensable à servir une conversation, c’est-à-dire son sens et
sa pertinence. Il est certain que l’empathie et la sympathie sont des éléments très importants eux
aussi mais alors que le service peut être rendu sans empathie, il ne peut pas être rendu sans
pertinence. Cela explique notre choix.

Pour donner une échelle de progression, nous avons arbitrairement choisi une note pour chaque
capacité citée plus loin. L’échelle proposée n’est pas linéaire et le lecteur pourra construire sa propre
vision de cette échelle indicative, l’idée étant de faire prendre conscience de l’existence de ces stades
de progrès et de leur plus ou moins bonne prise en charge par les chatbots existants aujourd’hui.

Commençons par le langage.

Pour traiter le langage naturel émis par ses interlocuteurs humains, le chatbot doit faire appel à la
reconnaissance des mots, de la syntaxe, de la sémantique et de la conversation.
La reconnaissance des mots va de la simple correspondance lettre à lettre avec une référence bien
orthographiée (ce que l’on appelle parfois la reconnaissance par mot clé) à une reconnaissance
approximative tolérant les erreurs. Note de 1 à 2

Vient ensuite la syntaxe qui guide la compréhension de la structure des phrases, du rôle des mots
dans cette phrase et de la position qu’ils y occupent ainsi que des variantes engendrées par les
accords et la conjugaison. Là aussi la tolérance aux erreurs, propres à l ‘expression humaine est
essentielle. Note de 3 à 4

Enfin, la sémantique permet de rattacher cette phrase à sa signification. C’est cette partie qui est la
moins formelle et la plus « intelligente ». On est capable d’accomplir cette prouesse notamment en
s’appuyant sur les graphes de synonymie associant les mots proches en cliques. Ces regroupements
constituent des ontologies propres à un domaine. L’ontologie du commerce n’est pas celle de la
plomberie ou de la fiscalité. Note de 5 à 7

Pour finir, la reconnaissance de la conversation permet de reconnaître les ontologies applicables au
discours en donnant une cohérence d’interprétation à l’ensemble. Hélas, le domaine peut changer en
cours de conversation et parfois même en cours de phrase et les ontologies ne sont pas des
constructions statiques et formidables mais bien plutôt des structures en évolution et variant de
locuteur et locuteur et d’environnement en environnement. Note de 8 à 10

Le cerveau humain est toujours inégalé aujourd’hui dans ces tâches et les techniques les plus
avancées dans ce domaine ne donnent des résultats satisfaisants que dans les cas les moins
perturbés et les plus simples.

Et finissons par la capacité à répondre

Mais une fois le langage analysé, pour savoir répondre à une interaction humaine, en supposant que
son sens en ait été parfaitement cerné, il faut une capacité d’identification du raisonnement (ou
processus cognitif) qui permettra de formuler en retour l’interaction avec l’humain que celui-ci
attend ou espère.

Pour cela, il est possible d’appliquer à la lettre une recette préétablie, décrite par ceux qui ont conçu
le chatbot. Cette recette pourra être appliqué sans personnalisation ou être influencée par le
contexte d’utilisation. Note de 1 à 2.

Il est possible également d’appliquer une de ces recettes en donnant une latitude au chatbot pour
s’écarter du cadre prédéfini, notamment par l’apprentissage des chemins les plus efficients ou par
l’intégration de données contextuelles dans la détermination de ces chemins. Note de 3 à 4

On peut également offrir au chatbot une capacité à construire une nouvelle recette par analogie avec
une recette existante, cette capacité dépendant de sa compréhension de la recette modèle et de sa
proximité avec la situation et de sa capacité à adapter plus ou moins profondément la recette de
départ pour compenser l’écart entre la notion originelle de la recette et la notion proche, identifiée
dans la situation actuelle. Note de 5 à 7

On peut enfin imaginer, car les travaux dans le domaine sont encore balbutiants que le chatbot
puisse bâtir seul une recette sans modèle sachant que cela dépend de capacités d’apprentissage qui
sont à la fois limitées à ce que le chatbot a pu expérimenter donc à son exposition à ces situations et
par sa capacité à les interpréter donc sa capacité d’interaction avec les situations. On conçoit
facilement qu’une telle capacité est très limitée pour un objet informatique dépourvu des sens et des
moyens de se déplacer et d’interagir avec son environnement dont bénéficient les humains. Note de
8 à 10.

Où en sommes-nous ?

Les notes des chatbots de 2017 oscillent entre 0 et 10 sur 20. On se rend compte que pour assister
les humains, cela peut déjà suffire, pourvu que le problème soit simple, la solution déjà éprouvée et
l’exigence de l’humain peu élevée. En revanche, on voit aussi que cela illustre les grandes disparités qui
existent dans les outils proposés dans ce domaine et doit inciter à la vigilance lors du choix de ces
outils et de leur adaptation au besoin à satisfaire.
Quelle note a obtenu votre chatbot ? La longue marche est loin d’être terminée mais elle a vraiment
commencé…

Partagez cet article

Blog

Automatisation et chatbots au service des RH

Vers plus de robotisation dans la gestion des ressources humaines Les atouts des outils digitaux séduisent de plus en plus les responsables des RH, en quête eux-aussi d’amélioration de leur performance et de leur qualité de service. La gestion des ressources humaine s’appuie sur de multiples règlementations à maîtriser. Elle nécessite en parallèle la définition, la mise en œuvre et

Lire la suite »

Le digital, catalyseur de l’engagement collaborateur

Dans leur perpétuelle quête de performance, les organisations recherchent, toujours et encore, de nouveaux leviers. Le « bien-être » au travail des collaborateurs en est un, nouvellement identifié. En effet, Forbes a nommé l’année 2018 comme étant « l’année de l’engagement collaborateur » ; Accenture et Talentsoft affirment quant à eux que « la qualité de vie au travail a

Lire la suite »

L’observatoire de la DUC

76% de temps inutile lors d’un échange avec un service client C’est éloquent : Les français passent en moyenne 2h25 par an au téléphone avec des services clients et leur adressent plus de 10 e-mails chaque année*. C’est beaucoup… C’est surtout beaucoup de temps perdu, puisque l’on sait aujourd’hui que 24% du temps passé – seulement- est perçu comme utile

Lire la suite »

Retour sur le salon Stratégie Clients 2018

L’équipe Sereneo était présente cette année encore sur le salon Stratégie Clients. Nous avons eu plaisir à vous accueil sur notre stand pour échanger ensemble sur vos besoins et vous présenter nos solutions ainsi que nos nouveautés ! Cette année, notre présence a également été marquée par 2 prises de paroles auxquelles vous avez été nombreux participer : WORKSHOP :

Lire la suite »

La vérité sur le chatbot

Des machines pensantes et apprenantes étaient annoncées, promettant d’alléger notre quotidien. La réalité aujourd’hui est tout autre. Qu’est-ce qu’un Chatbot ? En associant littéralement le « Chat » – la conversation – au « Bot »- le robot- ce terme définit en théorie « l’agent virtuel conversationnel », agent censé comprendre une problématique et effectuer les bonnes actions pour la résoudre. On l’imagine agissant à la

Lire la suite »

Webinar Digitalisation de l’expérience client

Digitalisation de l’expérience client : pour quelles ambitions ? 7 dirigeants sur 10 considèrent que la transition numérique est un enjeu stratégique pour leur entreprise. Et la relation client est le premier pôle où cette digitalisation est impérieuse…. Quelles sont donc les ambitions de la digitalisation de l’expérience client ? 30 minutes pour tout savoir sur la digitalisation de l’expérience

Lire la suite »

Salon Stratégie Clients 2018

Sereneo sera présent au salon de la relation client 2018 ! Les 10, 11 et 12 avril 2018 à Paris-Porte de Versailles Stand I32-J31 Notre équipe sera à l’écoute de vos projets et à votre disposition pour vous présenter ses solutions -> Retrouvez-nous Stand I32-J31 -> Prenez rendez-vous dès maintenant pour un échange personnalisé : RDV Venez échanger lors de

Lire la suite »

Comment booster la digitalisation de l’expérience client ? 4- Digitaliser les canaux de contact

La digitalisation de la démarche d’achat a bouleversé le commerce traditionnel. Les acteurs du retail se sont vus contraints d’évoluer au rythme de ces innovations digitales pour répondre aux attentes du client et lui offrir la meilleure expérience possible. Cet impératif est alors rapidement devenu un véritable levier de croissance de leur activité et de leur rentabilité. Améliorer la performance

Lire la suite »

#WTMorning Elogistique et Relation client

Retour sur le #WTMorning spécial Elogistique et Relation Client du 1er février 2018. Frédéric Godefroy, Président de Sereneo, était invité à participer à la table ronde organisée par WelcomeTrack et animée par Frédéric Mirebeau, CEO. Aux côtés de Terez Duhameau, Responsable du Service clients de Mano Mano et de Camille Ouahidi, Responsable d’activité chez Decathlon, Frédéric Godefroy s’est exprimé sur

Lire la suite »

Comment booster la digitalisation de l’expérience client ? 3- Recentrer le conseiller sur son coeur de métier

Si la digitalisation modifie les comportements du client-consommateur, elle impacte également l’activité du conseiller clientèle et le rôle de celui-ci dans l’expérience vécue par le client. Accentuer la digitalisation, c’est renforcer l’importance du conseiller comme facteur clé d’une expérience client réussie. Face au niveau d’exigence de plus en plus élevé du client, le conseiller se doit d’être plus « expert

Lire la suite »

Comment booster la digitalisation de l’expérience client ? 2- Automatiser les traitements

L’intégration de la technologie digitale dans notre quotidien répond aux exigences croissantes de mobilité, d’instantanéité, d’universalité et de big data. Ces impératifs caractérisent aujourd’hui le vécu attendu par le consommateur lors de son « expérience client ». Aussi, la digitalisation s’imposant au travers de la définition du parcours client, elle devient également nécessaire dans la phase de traitement de la

Lire la suite »

Comment booster la digitalisation de l’expérience client ? 1- Le parcours client

A l’heure où le consommateur est de plus en plus connecté, celui-ci devient de plus en plus exigeant quant à la qualité de la relation engagée avec l’entreprise lui procurant un bien ou un service. Cette relation s’intensifiant fortement sous l’impulsion de la digitalisation croissante des canaux de communication, le consommateur veut désormais vivre une expérience client plus que satisfaisante

Lire la suite »