¿Es la IA capacitada para experimentar sensaciones sintéticas? La antropomorfización nos ha permitido establecer conexiones con la IA, pero ¿cuál es su utilidad en el desarrollo de investigaciones? Puede utilizarla, sin embargo, a menudo falta para tener una conversación real. (Gerry Duffy · Seguir Publicado en UX Collective · 13 min leer · Hace 2 horas 2 horas).
Humphrey esperando a que mi amigo vuelva. Mi amiga tenía una bicicleta llamada Humphrey, que ella amaba profundamente. Ellos iban a todos lados juntos. Al darle un nombre a su bicicleta y tratarlo como si fuera una persona, Humphrey se convirtió en algo más que solo una bicicleta, se convirtió en un compañero afectuoso. Es un proceso conocido como antropomorfismo, por el cual la gente atribuye características humanas a cosas no humanas con fines de relacionarse, construir conexión o entender algo mejor. No es nada nuevo, tal vez lo hayas hecho tú mismo sin darte cuenta. ¿Te has molestado alguna vez por algo que no funcionaba como te gustaría? Es la culpa del objeto que no funciona, pero el descontento aún está dirigido hacia el objeto, como si estuviera haciéndolo con propósito. Todos hemos estado allí! Culpando al objeto por nuestras propias deficiencias en el manejo del mismo o la finalización de la tarea. En otras áreas de su vida, usted puede haber encontrado antropomorfismo, por ejemplo, en la televisión y el cine - desde HAL del chatbot original en 2001: Una odisea espacial de Stanley Kubrick hasta Star Trek: el androide residente, Data, y más recientemente los bots de Inteligencia Artificial (IA) como el de Amazon 'Rufus'. La investigación ha demostrado que otorgar a la IA un nombre y permitirle hablar es clave para construir la conexión y confianza con los seres humanos. Esto también nos ofrece una vía para crear una conexión que hasta ahora ha sido el ámbito de la ciencia ficción. Ahora estamos en un lugar donde la IA puede decirnos lo que debemos ver en Netflix, los asistentes de IA como Siri pueden reconocer complejas entradas de voz y responder correctamente, lo que ha cambiado la forma en que trabajamos. Es importante saber cómo funciona la IA y los modelos de lenguaje grande (LLMs), una parte de la IA, para saber cómo funcionará para nosotros.
Los LLM son algoritmos probabilísticos que tomando la consulta entrada, buscan todas las respuestas donde han sido entrenados y luego intentan determinar cual es la mejor respuesta a la consulta. Sin embargo, debido a esto, los resultados pueden ser racistas. Los LLMs, como ChatGPT, son básicamente una forma muy sofisticada de autocompletado. Según el Dr. Michael Wooldridge, profesor de informática en Oxford, lo que hace impresionante es que los datos de su formación consisten en toda la Internet. Pero finalmente, Datos no pudo triunfar porque no podía experimentar el mundo como una persona y aprender de los libros o la observación, ni tampoco puede una inteligencia artificial. La inteligencia artificial es... artificial y carece de emoción, empatía y comprensión de la experiencia humana. Es útil para muchas de las tareas que estamos utilizando, pero no para otras. Datos de Star Trek tratando de entender el ser humano. Un reciente desarrollo en investigación e IA son los usuarios sintéticos. El grupo Neilson/Norman define a los usuarios sintéticos como perfiles que intentan imitar a un grupo de usuarios y proporcionar datos de investigación artificiales sin estudiar a los usuarios reales. Los usuarios sintéticos expresan pensamientos, necesidades y experiencias simuladas con el fin de que puedas utilizarlos en lugar de los reales para obtener una comprensión inicial de tu base de usuarios. Con un conjunto de datos de usuarios de IA, podrías hacer preguntas de investigación sobre el perfil al que estés interesado. De acuerdo con Kwame Ferreira (fundador de una empresa llamada “Synthetic” Los usuarios’) no están diseñados para reemplazar a los usuarios orgánicos o la investigación, sino para acelerar el proceso de investigación. Dice que al ejecutar el estudio con los usuarios sintéticos se puede obtener una comprensión inicial de sus usuarios que pueden ayudar a crear mejores preguntas o pivotear a la realización de una evaluación con diferentes usuarios orgánicos, porque la población original puede tener sesgos. Sin embargo, los usuarios sintéticos se basan en datos existentes, la mayoría de los cuales serán de Internet, lo que contribuye a que la retroalimentación sea sesgada.
Entonces, ¿cómo podemos evitar este sesgo o al menos mitigarlo? Los usuarios sintéticos intentan hacer esto usando RAG. RAG o Generación aumentada de recuperación es un método donde los LLM buscan una fuente de datos externa, que puede ser la Internet, para mayoría de la información actualizada, en lugar de basarse en información potencialmente anticuada en sus datos de formación. Los LLM suelen tener un corte de conocimiento, esa fecha de la última actualización. El LLM no será consciente de nada después de esto
fecha. RAG ayuda a evitar la información desactualizada. Luego responde al aviso utilizando los datos más recientes, lo que ayuda a mejorar la exactitud de la información y a evitar alucinaciones. o información engañosa generada por AI. Así que esto es genial si usted está buscando información sobre un tema específico, pero
¿No sería una fuente externa como el Internet todavía tienen los mismos sesgos? Bueno, sí! RAG es realmente sólo tan bueno como los datos que
Así que aunque tendrá la información más actualizada, si los datos devueltos también contienen sesgos, esto podría,
de hecho, amplificar los sesgos de la información devuelta. Bias aparte, quería poner algo de esto a prueba y ver cómo un simple usuario sintético creado en ChatGPT4.0
Hace un par de años realicé una investigación en el sector de la salud, en la que entrevisté a 11 médicos — 6
pacientes hospitalizados (trabajo en un hospital tipo) y 5 pacientes ambulatorios (trabajo en una clínica/cirugía de médicos) durante 60 minutos. del estudio fue entender las necesidades situacionales de los médicos mediante la catalogación de sus objetivos y la información que necesitan para cumplir
Las dos áreas en las que estaba interesado eran:
Evaluación y planificación
Comunicación relacionada con los traspasos y comunicación con otros médicos
Los cuatro objetivos de mi estudio descubiertos fueron:
Diagnosticar al paciente Para determinar la mejor estrategia/plan de tratamiento Para iterativamente y de manera eficiente mejorar/manejar la
Para garantizar la continuidad de la atención
Para hacer esto, utilicé un aviso muy simple para crear a los usuarios sintéticos y llevar a cabo la investigación — “Imagine que usted es un médico
con 20 años de experiencia trabajando en un hospital ocupado en la ciudad de Nueva York. Me gustaría entender la conciencia de la situación de los médicos
las necesidades mediante la catalogación de sus objetivos y de la información que necesitan para alcanzarlos, lo que debería centrarse en dos ámbitos, a saber:
Evaluación y planificación Comunicación relacionada con entregas y comunicación con otros médicos”
En un alto nivel como este fue bastante precisa en su respuesta. Sugirió las siguientes categorías de objetivos, los primeros cuatro
son similares a los objetivos que he identificado -
Diagnosticar con precisión las condiciones del paciente (Evaluación y Planificación) Desarrollar planes de tratamiento eficaces (Evaluación y Planificación)
Supervisar el progreso del paciente y ajustar el tratamiento según sea necesario (Evaluación y Planificación) Asegurar la continuidad de la atención (Comunicación)
Facilitar la colaboración y el intercambio de información entre los proveedores de atención médica (Comunicación)
Seguridad del paciente (Comunicación)
Traté de profundizar un poco más para entender cuáles son los problemas en torno a la comunicación y la continuidad del cuidado, y pedí algunos
Las citas que recibí carecían de matices o perspicacia.
Aquí están algunas de las que generó:
“La comunicación eficaz es la piedra angular de la continuidad del cuidado, pero sigue siendo uno de nuestros mayores desafíos:
Las malas comunicaciones pueden conducir a errores significativos y comprometer la seguridad del paciente.” — Dra. Laura Mitchell, Medicina de Emergencia
Y
“En un entorno de alto riesgo como la salud, cada detalle importa. El desafío es asegurar que cada pieza de crítica
la información se transmite con precisión a través de turnos, especialidades y entornos de atención.” — Dr. Robert Hughes, Administrador del Hospital
Entonces decidí crear usuarios sintéticos más sofisticados y ver si eso hace alguna diferencia. 11 médicos en total — 6 pacientes hospitalizados y 5 médicos ambulatorios — similares al estudio real. Le hice la misma pregunta a los médicos sobre sus necesidades de consciencia para comprender la situación y establecer objetivos, así como la información necesaria para evaluar y planificar transferencias relacionadas con la comunicación y comunicación entre clínicos. También pregunté si podría resumir la retroalimentación de los 11 participantes y llamar a cualquier diferencia en la retroalimentación o temas entre médicos hospitalizados y ambulatorios. Los resultados fueron similares, pero con algunos objetivos menos alineados que los identificados previamente: diagnóstico preciso y planificación eficaz del tratamiento (Evaluación y Planificación), desarrollar planes de atención integrales y personalizados (Evaluación y Planificación), garantizar el uso eficiente de recursos y la gestión del tiempo (Evaluación y Planificación), garantizar la continuidad del cuidado durante cambios de turno o transferencias de pacientes (Comunicación) y mantener una comunicación clara, concisa y precisa con todos los miembros del equipo de salud (Comunicación). Minimizar los errores derivados de la mala comunicación también fue un objetivo. Las citas carecían de claridad o utilidad. Por ejemplo, la continuidad de atención es importante para garantizar la seguridad del paciente y los resultados eficaces del tratamiento, y se necesita mantener una comunicación fluida entre los diferentes proveedores de atención sanitaria, que a menudo está fragmentada por las ineficiencias del sistema. Sin embargo, estas citas no proporcionan ideas ni ningún uso para mejorar un producto actual o señalar algo nuevo que pudiera ser de valor para los médicos. La retroalimentación de la investigación real mostró que el problema principal era la comunicación verbal — como las enfermeras pueden obtener confuso acerca de dónde estamos, lo que puede hacer que las órdenes se hagan dos veces o no en absoluto. Esto sugiere un problema importante que podría tener implicaciones significativas, y que guía el producto a problemas reales y ofrece una oportunidad para innovar y agregar valor. Cuando exploré cuáles son los sub-objetivos y decisiones que deben tomar en cada etapa (algo que hice en el estudio original), algunos de los subobjetivos se alinearon con el estudio original, mientras que otras decisiones surgieron como recomendaciones — por ejemplo, implementar una plataforma de comunicación unificada accesible a todos los miembros del equipo. En lo que podría ser el primer caso de un usuario sintético, en 2020, un hombre envió mensajes de texto y publicaciones de Facebook de su difunta novia, Jessica, a una versión previa de ChatGPT de OpenAI.
Utilizó esto como una manera de llorar y llegar a términos con la muerte de su novia. Las respuestas fueron sorprendentes, las respuestas sintéticas de Jessica parecían las que la verdadera Jessica habría dicho, especialmente la primera noche que lo usó hablaron durante horas y luego intermitentemente durante los siguientes meses. Sin embargo, a veces Jessica sintética se equivocaba y confundía a la gente o estaba equivocada sobre ciertos hechos. Le pregunté a mi colega, Natalia Usme, sobre la creación de usuarios sintéticos. Natalia ha creado y utilizado usuarios sintéticos para ayudar a los clientes a entender mejor a sus clientes y obtener más información de su investigación. Natalia explicó que existen dos tipos de usuarios sintéticos: digitalmente completamente sintéticos, creados enteramente a partir de grandes conjuntos de datos públicos, lo que los hace 100% artificiales; y otros basados en datos de usuario extraídos de proyectos específicos, que mantienen una conexión más cercana con el comportamiento real del usuario. Los usuarios sintéticos son similares a la versión sintética de Jessica descrita anteriormente. Entonces, ¿cómo estos usuarios ChatGPT totalmente sintéticos se enfrentan a los usuarios sintéticos diseñados que están más alineados con los usuarios reales? Y podemos obtener más valor de ellos? El caso de Jessica sintética muestra que los usuarios sintéticos diseñados estarán más cerca del comportamiento de los usuarios reales (que los usuarios sintéticos de ChatGPT) — hablarán como ellos, dirán cosas similares a lo que los usuarios reales dirían. Además, Natalia encontró en su trabajo que los usuarios sintéticos diseñados tratan de complacer y dar la respuesta que piensa que desea escuchar, lo que es extrañamente similar al comportamiento de los usuarios humanos. Resulta que los LLMs también quieren ser amados. Considero que el mayor inconveniente de utilizar a los usuarios sintéticos es la falta de este elemento. Entonces, ¿para qué sirve la IA y cuándo no? ¿Para qué sirve?
Aprender sobre un tema: es magnífico para mantenerse al día en un tema o área que estés interesado en estudiar. Puede servir como punto de partida que puede guiar hacia la investigación o una fuente que podrías desear explorar más adelante. Ayuda a la investigación: basado en mi corto experimento creo que puede ser útil en la investigación de descubrimiento, donde puedes ejecutar pruebas preliminares antes de un estudio. Esto puede darte una idea de las áreas que podrían ser interesantes para explorar con participantes o para generar hipótesis que desees evaluar más adelante en estudios dirigidos. Le permite preparar la guía de discusión anticipadamente y preguntar sobre temas o áreas de interés para ver si coincide con lo que dijo la IA. Sintetizar los datos de la investigación: puede ser útil utilizar a la IA para agrupar la retroalimentación según tema o sentimiento para ver si hay tendencias. Pero yo recomendaría hacer esto además de tu propio análisis, no en su lugar. Piensa en ello como un segundo par de ojos que revise si te has perdido algo. Lo que no es tan bueno en... Innovación: y descubrir problemas reales de los usuarios. Como se mencionó anteriormente, creo que los usuarios sintéticos pueden señalar áreas que podrían ser problemáticas. Pero sin la información de los usuarios no podemos estar seguros de si cualquier problema sugerido por IA es en realidad un problema real que enfrentan. El riesgo de realizar este tipo de estudio es que podría reducir el foco de la investigación y terminamos perdiéndonos algo más importante. Investigación dirigida: no va a reemplazar la investigación dirigida en áreas donde tienes un nuevo concepto o producto que vas a lanzar al mercado y quieres ver si resonará o si resolverá un problema real de usuario. Incluso una simple prueba de usabilidad, donde quieres obtener retroalimentación sobre un prototipo, creo, será difícil de ejecutar con IA. Investigación con usuarios desatendidos: si está intentando comprender países, clases económicas o grupos de edad con escasa penetración en internet, puede encontrar dificultades para obtener conjuntos de datos lo suficientemente completos y fiables para crear usuarios sintéticos seguramente.
Como Humphrey, los usuarios de Inteligencia Artificial (IA) y sintéticos pueden llevarte a un lugar donde puedas comunicarte con alguien o ayudarte en el otro extremo, cuando tengas una gran cantidad de retroalimentación y estés tratando de resumirla e interpretarla. Sin embargo, no debe confundirse con cualquier otra cosa que no sea un medio para llegar allí. No puede entender completamente a los usuarios enfermos o cómo puedes ayudarles. Actualmente, no está cerca de ser capaz de reemplazar la interacción humana genuina — empatía, comprensión, el matiz de. La IA sintética de Jessica no fue un sustituto de la verdadera Jessica. Los usuarios también se queden cortos de usuarios reales. La IA es una herramienta como cualquier otra, y no desaparecerá. Al igual que en su infancia, Internet no podríamos haber sabido cómo se desarrollaría y cambiaría con el tiempo, y creo que lo mismo se puede decir de la IA. ¿Dónde nos llevará? La IA es una herramienta, un compañero si lo desea, y si se utiliza correctamente podemos ayudarnos a hacer más y mejor trabajo.
