Al testear con este número acotado de users y con tráfico real, experiments permite comprobar el impacto que llegará a tener un determinado despliegue.
Google despide enero 2021 lanzando Experiments en Dialogflow CX una nueva funcionalidad para comparar el rendimiento de flujos. A partir de ahora puedes elegir una versión de producción, que sirva como versión de control, y comparar cómo funcionarían versiones variantes con tráfico a tiempo real. Esta medición puede realizarse, además, asignando una porción de usuarios a cada versión de flujo.
Entre las métricas que pueden analizarse, se encuentran:
- Recuento total de turnos de conversación. Un turno comprende una entrada del usuario final y la respuesta del agente a dicha entrada.
- Promedio de turnos.
- Recuento total de no coincidencias, es decir, el total de veces que se produce un evento no-match, es decir, la veces que el asistente no ha sido capaz de interpretar lo que el usuario final quería decir.
- Tasa de finalización de sesión: número total de sesiones que llegaron al END_SESSION
- Tasa de traspaso a agentes humanos: recuento de las sesiones que han sido transferidas a una persona.
Además de todas estas, los experiments permiten medir KPI específico en agentes que utilicen integración de telefonía, como son:
- Tasa de devolución de llamadas: Recuento de sesiones que fueron iniciadas de nuevo por un usuario final.
- Tasa de abandono: Recuento de sesiones abandonadas por usuarios finales.
- Contenido: Recuento de sesiones que alcanzaron END_SESSION sin activar ninguna de las otras métricas.
“Gracias a experiments se puede comprobar el impacto que llegará a tener un determinado despliegue.”
Con esta nueva función podrás observar cómo se comporta un pequeño grupo de usuarios en un flujo diferente. Al testear con este número acotado de users y con tráfico real, se puede comprobar el impacto que llegará a tener un determinado despliegue.
Crear experiments en Dialogflow CX
Google recomienda en sus notas de lanzamiento, preparar bien un experiment antes de crearlo en la consola:
- Flujo. No se pueden ejecutar varios experiments en un único flujo, por lo que antes de crear uno de ellos es necesario decidir en cuál de ellos será ejecutada la prueba.
- Versiones. También hay que crear más de una versión del flujo. Las diferencias entre éstas pueden ser notables, dependiendo de qué se quiere comparar.
- Tráfico. Para cambios de poca envergadura, se puede asignar una cantidad mayor de tráfico. Si se pretenden realizar grandes cambios, se recomienda que la cantidad de tráfico asignada sea menor.
Una vez decidido el flujo, las versiones y la cantidad de tráfico a asignar, llega la hora de crear el experiment en Dialogflow CX:
- Abre la consola y selecciona el proyecto de GCP.
- Selecciona el agent y dirígete al menú manage.
- Al hacer clic en Experiments se abre el panel donde verá el botón create.
- Indica el nombre del experiment, añade una descripción.
- Selecciona el entorno y el flujo.
- Introduce la versión de flujo de control y el porcentaje de tráfico que irá a la misma.
- Incluye de una a cuatro versiones de variantes del flujo y el porcentaje de tráfico que corresponderá a cada una.
- Para finalizar, pulsa save.
De manera opcional se puede incluir un número de días para que la prueba termine automáticamente cumplido ese plazo. En caso de no introducirlo, podrás parar el experiment en cualquier momento de forma manual.
