Preguntas y respuestas: por qué los chatbots de salud mental necesitan barreras de seguridad estrictas

La salud mental sigue siendo un foco clínico importante para los inversores en salud digital. Hay mucha competencia en el espacio, pero sigue siendo un desafío importante para el sistema de atención médica: muchos estadounidenses viven en áreas con escasez de profesionales de la salud mental, lo que limita el acceso a la atención.

Wysa, fabricante de un chatbot respaldado por IA que tiene como objetivo ayudar a los usuarios a trabajar a pesar de preocupaciones como la ansiedad, el estrés y el estado de ánimo deprimido, anunció recientemente un aumento de fondos de la Serie B de $ 20 millones, poco después de que la empresa emergente recibiera la designación de dispositivo innovador de la FDA para usar su herramienta para ayudar a los adultos con dolor musculoesquelético crónico.

Ramakant Vempati, cofundador y presidente de la compañía, se sentó con ComoHow para hablar sobre cómo funciona el chatbot, las medidas de seguridad que usa Wysa para monitorear la seguridad y la calidad, y qué sucederá después de su última ronda de financiación.

ComoHow: ¿Por qué cree que un chatbot es una herramienta útil para la ansiedad y el estrés?

Ramakant Vempati: La accesibilidad tiene mucho que ver con esto. Al comienzo del viaje de Wysa, recibimos comentarios de un ama de casa que dijo: "Mira, me encanta esta solución porque estaba sentada con mi familia frente al televisor e hice toda una sesión de TCC. [cognitive behavioral therapy]y nadie tenía que saberlo".

Creo que es realmente privacidad, anonimato y accesibilidad. Desde la perspectiva del producto, los usuarios pueden o no pensar en él directamente, pero la seguridad y las barreras que hemos integrado en el producto para asegurarnos de que se ajuste a su propósito en ese contexto de bienestar es una parte esencial del valor que ofrecemos. Creo que así es como se crea un espacio seguro.

Inicialmente, cuando lanzamos Wysa, no estaba completamente seguro de cómo resultaría. Cuando lanzamos en 2017, pensé: "¿La gente realmente va a hablar con un chatbot sobre sus miedos más profundos y oscuros?" Utiliza chatbots en un contexto de servicio al cliente, como el sitio web de un banco y, francamente, la experiencia deja mucho que desear. Entonces, no estaba del todo seguro de cómo sería recibido.

Creo que cinco meses después del lanzamiento, recibimos este correo electrónico de una niña que decía que esto estaba allí cuando nadie más estaba allí y que eso ayudó a salvar su vida. No podía hablar con nadie más, una niña de 13 años. Y cuando sucedió, creo que fue cuando cayó el centavo, personalmente para mí, como fundador.

Desde entonces, hemos pasado por una evolución de tres pasos de una idea a un concepto a un producto o negocio. Creo que la fase uno nos ha demostrado a nosotros mismos, al convencernos realmente, que a los usuarios les gusta y obtienen valor del servicio. Creo que el segundo paso fue probarlo en términos de resultados clínicos. Entonces, ahora tenemos 15 publicaciones revisadas por pares publicadas o en progreso en este momento. Estamos involucrados en seis estudios de control aleatorios con socios como el NHS y Harvard. Y luego, tenemos la designación de dispositivo innovador de la FDA para nuestro trabajo de dolor crónico.

Creo que todo esto está demostrando y creando esa base de evidencia, que también les da a todos los demás la certeza de que funciona. Además, la fase tres la está llevando a escala.

MHN: Usted mencionó las barandillas en el producto. ¿Puedes describir cuáles son?

Vempati: El número 1 es que cuando la gente habla de IA, hay muchos conceptos erróneos y mucho miedo. Y, por supuesto, hay cierto escepticismo. Lo que hacemos con Wysa es que la IA, en cierto sentido, está en una caja.

Donde usamos la PNL [natural language processing], estamos utilizando NLU, comprensión del lenguaje natural, para comprender el contexto del usuario y comprender de qué están hablando y qué están buscando. Pero cuando responde al usuario, es una respuesta preprogramada. La conversación está escrita por los médicos. Entonces, tenemos un equipo de médicos en el personal que realmente escribe el contenido y lo prueba explícitamente.

Entonces, la segunda parte es que, dado que no usamos modelos generativos, también somos muy conscientes de que la IA nunca capturará lo que alguien dice al 100 %. Siempre habrá casos en los que las personas digan algo ambiguo o usen oraciones anidadas o complicadas y los modelos de IA no podrán entenderlas. En ese contexto, cada vez que escribimos un script, lo haces con la intención de que cuando no entiendas lo que dice el usuario, la respuesta no se dispare, no cause ningún daño.

Para hacer esto, también tenemos un protocolo de prueba muy formal. Y nos adherimos a un estándar de seguridad utilizado por el NHS en el Reino Unido. Tenemos un gran conjunto de datos de seguridad clínica, que usamos porque ahora hemos tenido 500 millones de conversaciones en la plataforma. Entonces, tenemos un gran conjunto de datos de conversación. Tenemos un subconjunto de datos que sabemos que la IA nunca podrá capturar. Cada vez que creamos un nuevo guión de conversación, lo probamos con este conjunto de datos. ¿Qué pasaría si el usuario dijera estas cosas? ¿Cuál sería la respuesta? Y luego, nuestros médicos revisan la respuesta y la conversación y juzgan si la respuesta es apropiada o no.

MHN: Cuando anunciaste tu serie B, Wysa dijo que quería agregar más soporte de idiomas. ¿Cómo determinas qué idiomas incluir?

Vempati: Al comienzo de Wysa, había personas que escribían, se ofrecieron como voluntarios para traducir. Alguien de Brasil escribió y dijo: "Mira, soy bilingüe, pero mi esposa solo habla portugués. Y puedo traducir para ti".

Por lo tanto, es una pregunta difícil. Su corazón se sale, especialmente para los idiomas de bajos recursos donde las personas no reciben apoyo. Pero se requiere mucho trabajo no solo para traducir, sino que esto es casi una adaptación. Es casi como construir un nuevo producto. Por lo tanto, debe tener mucho cuidado con lo que toma. Y no es solo una traducción estática y única. Es necesario observarlo constantemente, para asegurarse de que la seguridad clínica esté presente y que evolucione y mejore con el tiempo.

Entonces, desde ese punto de vista, hay algunos idiomas que estamos considerando, impulsados ​​principalmente por la demanda del mercado y en los que somos fuertes. Por lo tanto, es una combinación de comentarios del mercado y prioridades estratégicas, así como lo que el producto puede manejar: lugares donde es más fácil usar IA en ese idioma en particular con confianza clínica.

MHN: También notó que está tratando de integrarse con el servicio de mensajería de WhatsApp. ¿Cómo funcionaría esta integración? ¿Cómo maneja los problemas de privacidad y seguridad?

Vempati: WhatsApp es un concepto muy nuevo para nosotros en este momento y lo estamos explorando. Somos muy, muy conscientes de los requisitos de privacidad. WhatsApp en sí mismo está encriptado de extremo a extremo, pero entonces, si rompes el velo del anonimato, ¿cómo lo haces de manera responsable? ¿Y cómo se asegura de cumplir también con todas las normas reglamentarias? Estas son todas las conversaciones que están sucediendo en este momento.

Pero creo que, en esta etapa, lo que realmente quiero enfatizar es que lo estamos haciendo con mucho, mucho cuidado. Existe un gran entusiasmo por la oportunidad de WhatsApp porque, en gran parte del mundo, es el principal medio de comunicación. En Asia, en África.

Imagine personas en comunidades desatendidas donde no tiene apoyo de salud mental. Desde el punto de vista del impacto, es un sueño. Pero es la etapa inicial.