Gracias al nuevo “conversation history” en Dialogflow CX se podrán examinar, filtrar y analizar conversaciones reales entre asistentes virtuales y usuarios finales
Dialogflow CX ha incorporado una nueva herramienta que será muy útil para analizar el rendimiento de los agentes conversacionales y la depuración de problemas. Se trata del “conversation history”, una interfaz que permite examinar las conversaciones reales entre asistentes virtuales y usuarios finales.
El uso de esta herramienta requiere un permiso específico de acceso (dialogflow.conversations) que está disponible en el rol de administrador y también puede añadirse a un rol personalizado.
Consultar este histórico de conversaciones es sencillo. Una vez dentro de la consola de Dialogflow CX, selecciona el proyecto y el agente. Elige la pestaña “Manage” en la columna de la izquierda. Ahí verás “conversation history” entre las opciones del menú.
Vista resumen del “conversation history” en Dialogflow CX
Al hacer clic en esta opción, aparecerá una “vista resumen”. En esta tabla se recogen, en modo lista, los principales campos de cada conversación:
- Conversation ID: El identificador único para la conversación.
- Duration: El tiempo que ha durado
- Turns: El número de giros que han existido
- Channel: Donde se distingue si es un chat de texto o una conversación por voz
- Language: El idioma en el que se ha desarrollado, especialmente útil para agentes multi-idiomas
- Environment: El entorno en el que se ha desarrollado, ya que Dialogflow CX permite crear varias versiones de sus flujos de agentes y desplegarlas en entornos de servicio separados
- Start Time: La hora de inicio
- Flag: En este campo puede aparecer el estado “Live Agent Handoff” para conversaciones que se derivaron a un agente humano o “Abandoned” para cuando el usuario final deja la conversación incompleta.
La vista resumen permite comprobar de manera rápida el rendimiento de las conversaciones de un agente concreto y detectar un posible problema que tengamos que abordar en profundidad. Estos campos sirven también para filtrar resultados, a excepción de los de duración y entorno. A ellos se pueden añadir otras opciones adicionales:
- Intent: Para mostrar conversaciones en las que un intent concreto apareció en algún momento.
- Page name: Para seleccionar aquellas en las que se activó una página específica.
- Is Live Agent Handoff: si el traspaso a agente humano está activo.
- Is Abandoned: Si el indicador de “abandonada” está activo.
“La vista resumen permite comprobar de manera rápida el rendimiento de las conversaciones de un agente concreto y detectar patrones en las incidencias”
Vista de detalle de las conversaciones
La nueva función “conversation history” de Dialogflow CX permite seleccionar una de las conversaciones para ver sus detalles de forma específica. En esta vista se muestran los mensajes del usuario final y los del agente virtual, por turnos, así como los siguientes metadatos:
- Intent: el nombre de un intent mostrado, que puede ser coincidente o no
- Page: el nombre de la página activa
- Parameters: los parámetros que se han recogido durante el turno de conversación
Detectar patrones en incidencias
La nueva herramienta “conversation history” de Dialogflow CX puede ayudar a detectar patrones comunes en los errores que registre un agente. En consecuencia, se podrá proponer una solución para ellos. Te ponemos un caso de ejemplo:
- Identificas todas las conversaciones que se están derivando a un agente humano aplicando el filtro “Is Live Agent Handoff” → “Yes”
- Encuentras que en muchas de esas conversaciones que se están derivando hay un aviso de “no coincidencia” para los turnos de una página específica.
- Este aviso podría indicar que una ruta de intents que debería de estar al alcance, no está siendo accesible. También podría revelar la necesidad de crear un nuevo itinerario conversacional que haga aparecer dicha página.
La utilidad de “conversation history” va a depender del tipo de proyecto que hayamos desarrollado en Dialogflow CX.
- Proyectos sencillos. En aquellos casos en los que existan pocos agentes y haya un menor peso técnico, “conversation history” puede llegar a ser muy útil, puesto que centra el análisis en los fallos que pueden aparecer en la conversación –ya sea en las routes, pages o turns–.
- Proyectos complejos. Si el agente tiene conexiones vía API y queremos atender a las incidencias que puedan aparecer en el fulfillment, dispatcher… “conversation history” puede que no cubra todas las necesidades de monitorización. Para estos casos es más recomendable usar la combinación BigQuery y Data Studio, que ofrece un análisis exhaustivo del rendimiento del agente, así como la posibilidad de establecer KPI específicos para nuestro proyecto.
“Conversation history” será también útil para las empresas que tienen en producción un agente conversacional desarrollado por un proveedor especializado, ya que sin grandes conocimientos técnicos, podrán hacer un seguimiento de su asistente virtual a alto nivel.