En toda mi vida profesional he probado un buen número de herramientas de análisis de información, y en todos los casos con los que al menos hasta ahora me he encontrado, la herramienta pitaba en el mismo sitio: en el análisis del sentiment.
Lamentablemente, no podemos echarle la culpa exclusivamente a los algoritmos. El problema es que ni nosotros mismos sabemos qué hace que un texto sin contextualidad diga lo que parece que quiere decir o utilice el sarcasmo o la ironía para apuntar hacia otros derroteros. Traducido a lenguaje máquina, una cosa es desarrollar una serie de ecuaciones matemáticas puramente cuantitativas (algo que a todos los efectos es objetivo), y otra bien distinta es medir criterios cualitativos, sujetos habitualmente a diferentes lecturas.
Y créame si le digo que conocer el sentiment de un universo de menciones sociales es de todo menos cuantitativo. Hay tantísimas maneras de decir la misma cosa de forma totalmente distinta que en la práctica no parece que exista una suerte de sistema de reglas que nos permita automatizarlo. Eso, o no somos aún capaces de ver la relación causal entre ellos.
La alternativa, por tanto, pasa por depositar todas las esperanzas en ese Santo Grial de la industria de nuestros días que es el aprendizaje profundo, con la esperanza de que, desconociendo la pregunta (y por supuesto la respuesta), sea la máquina capaz de hallar ambas en base a meterle más y más conversaciones que anteriormente un analista humano, sin saber casi cómo, ha conseguido catalogar.
Sea como fuere, para aquellos que nos dedicamos a la consultoría y no al desarrollo de producto, la solución es obvia. Cuando el cliente quiere análisis reputacionales, o bien se le ofrece lo que ofrece la herramienta, dejándole claro que el resultado hay que tomarlo con pinzas (muchísimo ruido y falsos positivos) y que el precio, por tanto, se reduce drásticamente, o bien se le ofrece la posibilidad de hacer un análisis manual, lo que significan no pocas horas extra de trabajo y el pagar el sueldo de al menos un analista, que para colmo tenemos la osadía de cobrar más que una máquina.
Y el resultado, por tanto, es radicalmente distinto:
- En la actualidad no hay herramienta capaz de comprender sin un margen de error considerable qué diablos quiso decir cada usuario en un universo de menciones, por lo que la información que de forma automática obtenemos de una herramienta de este tipo es probable que sirva para análisis superficiales y poco más.
- Por contra, un estudio riguroso por parte de un analista suele estar formado por una segmentación previa lo suficientemente heterogénea (puesto que no podemos poner a un analista a analizar millones de menciones, lo más práctico suele ser elegir un porcentaje de todo el espectro forma aleatoria y otro según el impacto que ha tenido, extrapolando los datos obtenidos al universo completo, y siendo conscientes de que siempre hay un pequeño margen de error que asumimos), y da como resultado un análisis mucho más exacto a lo que ocurre en la realidad. Siendo la única vía posible para estudios que tienen como fin la toma de decisión estratégica en una organización, e incluso el poner el conocimiento la evolución de un proyecto o evento en un tiempo específico.
No hay puntos medios. O aceptamos que los resultados que vamos a considerar están fuertemente sesgados por la incapacidad de la máquina de entender la subjetividad humana, o pagamos más y delegamos esa responsabilidad en el buen quehacer de una mente humana, mucho mejor preparada para comprender a los de su especie.
Y aún con todo, parece que hay algunos “pero”.
Cuando el problema lo vamos reduciendo en tamaño (de un universo genérico vamos tirando hacia sub-universos más y más pequeños), la máquina tiende a ir sacando músculo de forma escalar, mientras que el humano mantiene su porcentaje de éxito.
Esto mismo, de hecho, me da que les ha pasado a los investigadores detrás de DeepMoji (EN), un proyecto que en principio tenía como objetivo ser capaces de comprender la forma de comunicarse digitalmente que tiene nuestra civilización (vamos, una tarea sencillita…), y que al final ha pasado a ser un análisis del sarcasmo en frases únicamente en inglés (uno de los idiomas más sencillos y pobres en cuanto a ramificaciones, por cierto) que vengan acompañadas de emoticonos.
Los emoticonos como punto de partida
Parece que DeepMoji está ya obteniendo mejores resultados a la hora de detectar el sarcasmo y otras emociones en Twitter que el usuario medio. Un 82% de precisión, frente al 76% de los voluntarios humanos.
Lo cual no está nada mal.
Para ello, como viene siendo habitual, inyectaron a una red neuronal una base de datos conformada por 55.000 millones de tweets que vienen acompañados de emojis y que previamente ya se había etiquetado, quedándose con 1.200 millones de menciones que utilizaban los 64 emoticonos más habituales.
La web permite a cualquiera etiquetar los ejemplos con los que ya cuenta o incluir nuevos, pero lo verdaderamente interesante del asunto, bajo mi humilde opinión, es que han llegado a una conclusión que a priori me parece obvia: la mayoría de estos sentimientos son tan subjetivos que están sujetos a la interpretación de cada uno.
Es decir, que aún considerando que la máquina acabe encontrando maneras más óptimas de extrapolar una frase con un emoticono a un estado sentimental, y éste extrapolarlo al objetivo real que tenía esa frase, todavía quedará una parte totalmente incontrolable que viene dada por el propio emisor: lo mismo éste quería decir otra cosa.
Un problema que claramente viene dado por el contexto (estamos intentando dotar de sentimientos a un texto escrito acompañado de una imagen, perdiéndonos por el camino la entonación de la voz, los micro-gestos que el emisor realiza inconscientemente al pronunciarlo, el resto de la conversación…), y que sinceramente, tiene poca solución.
Aún así, es muy de académico asegurar que el estudio realizado podría servir en un futuro para controlar o prevenir problemas tan habituales en un entorno digital como es el acoso. E incluso apuntar hacia un uso de este tipo de herramientas con el fin de intentar prevenir situaciones que acaben en desgracia (principios de depresión, locura y demás problemas psiquiátricos).
Pero recalco, creo que seguimos obviando que el alcance real de este tipo de estudios es muy pero que muy reducido. Que ojalá sea cuestión de tiempo y que el día de mañana me tenga que buscar la vida con otras cosas. Pero hoy por hoy los pasitos son tan pequeños, y las aspiraciones tan grandes, que están llevando a muchos a engaño, con todo lo que ello supone.
En toda mi vida profesional he probado un buen número de herramientas de análisis de información, y en todos los casos con los que al menos hasta ahora me he encontrado, la herramienta pitaba en el mismo sitio: en el análisis del sentiment.
Lamentablemente, no podemos echarle la culpa exclusivamente a los algoritmos. El problema es que ni nosotros mismos sabemos qué hace que un texto sin contextualidad diga lo que parece que quiere decir o utilice el sarcasmo o la ironía para apuntar hacia otros derroteros. Traducido a lenguaje máquina, una cosa es desarrollar una serie de ecuaciones matemáticas puramente cuantitativas (algo que a todos los efectos es objetivo), y otra bien distinta es medir criterios cualitativos, sujetos habitualmente a diferentes lecturas.
Y créame si le digo que conocer el sentiment de un universo de menciones sociales es de todo menos cuantitativo. Hay tantísimas maneras de decir la misma cosa de forma totalmente distinta que en la práctica no parece que exista una suerte de sistema de reglas que nos permita automatizarlo. Eso, o no somos aún capaces de ver la relación causal entre ellos.
La alternativa, por tanto, pasa por depositar todas las esperanzas en ese Santo Grial de la industria de nuestros días que es el aprendizaje profundo, con la esperanza de que, desconociendo la pregunta (y por supuesto la respuesta), sea la máquina capaz de hallar ambas en base a meterle más y más conversaciones que anteriormente un analista humano, sin saber casi cómo, ha conseguido catalogar.
Sea como fuere, para aquellos que nos dedicamos a la consultoría y no al desarrollo de producto, la solución es obvia. Cuando el cliente quiere análisis reputacionales, o bien se le ofrece lo que ofrece la herramienta, dejándole claro que el resultado hay que tomarlo con pinzas (muchísimo ruido y falsos positivos) y que el precio, por tanto, se reduce drásticamente, o bien se le ofrece la posibilidad de hacer un análisis manual, lo que significan no pocas horas extra de trabajo y el pagar el sueldo de al menos un analista, que para colmo tenemos la osadía de cobrar más que una máquina.
Y el resultado, por tanto, es radicalmente distinto:
No hay puntos medios. O aceptamos que los resultados que vamos a considerar están fuertemente sesgados por la incapacidad de la máquina de entender la subjetividad humana, o pagamos más y delegamos esa responsabilidad en el buen quehacer de una mente humana, mucho mejor preparada para comprender a los de su especie.
Y aún con todo, parece que hay algunos “pero”.
Cuando el problema lo vamos reduciendo en tamaño (de un universo genérico vamos tirando hacia sub-universos más y más pequeños), la máquina tiende a ir sacando músculo de forma escalar, mientras que el humano mantiene su porcentaje de éxito.
Esto mismo, de hecho, me da que les ha pasado a los investigadores detrás de DeepMoji (EN), un proyecto que en principio tenía como objetivo ser capaces de comprender la forma de comunicarse digitalmente que tiene nuestra civilización (vamos, una tarea sencillita…), y que al final ha pasado a ser un análisis del sarcasmo en frases únicamente en inglés (uno de los idiomas más sencillos y pobres en cuanto a ramificaciones, por cierto) que vengan acompañadas de emoticonos.
Los emoticonos como punto de partida
Parece que DeepMoji está ya obteniendo mejores resultados a la hora de detectar el sarcasmo y otras emociones en Twitter que el usuario medio. Un 82% de precisión, frente al 76% de los voluntarios humanos.
Lo cual no está nada mal.
Para ello, como viene siendo habitual, inyectaron a una red neuronal una base de datos conformada por 55.000 millones de tweets que vienen acompañados de emojis y que previamente ya se había etiquetado, quedándose con 1.200 millones de menciones que utilizaban los 64 emoticonos más habituales.
La web permite a cualquiera etiquetar los ejemplos con los que ya cuenta o incluir nuevos, pero lo verdaderamente interesante del asunto, bajo mi humilde opinión, es que han llegado a una conclusión que a priori me parece obvia: la mayoría de estos sentimientos son tan subjetivos que están sujetos a la interpretación de cada uno.
Es decir, que aún considerando que la máquina acabe encontrando maneras más óptimas de extrapolar una frase con un emoticono a un estado sentimental, y éste extrapolarlo al objetivo real que tenía esa frase, todavía quedará una parte totalmente incontrolable que viene dada por el propio emisor: lo mismo éste quería decir otra cosa.
Un problema que claramente viene dado por el contexto (estamos intentando dotar de sentimientos a un texto escrito acompañado de una imagen, perdiéndonos por el camino la entonación de la voz, los micro-gestos que el emisor realiza inconscientemente al pronunciarlo, el resto de la conversación…), y que sinceramente, tiene poca solución.
Aún así, es muy de académico asegurar que el estudio realizado podría servir en un futuro para controlar o prevenir problemas tan habituales en un entorno digital como es el acoso. E incluso apuntar hacia un uso de este tipo de herramientas con el fin de intentar prevenir situaciones que acaben en desgracia (principios de depresión, locura y demás problemas psiquiátricos).
Pero recalco, creo que seguimos obviando que el alcance real de este tipo de estudios es muy pero que muy reducido. Que ojalá sea cuestión de tiempo y que el día de mañana me tenga que buscar la vida con otras cosas. Pero hoy por hoy los pasitos son tan pequeños, y las aspiraciones tan grandes, que están llevando a muchos a engaño, con todo lo que ello supone.
Compartir esto: