De patrones a significado en el lenguaje humano: como la AI se nutre de la diversidad

Si les interesa entender como la Inteligencia Artificial puede nutrirse de la diversidad les dejo este link más que interesante en SCMP donde se muestra como usar la logica del idioma chino junto a la del inglés le dió a Baidu la ventaja para destronar por un tiempo a Google y Microsoft en la tabla GLUE que es el benchmark “Entendimiento de Lenguaje Natural” en AI… y este párrafo es clave:

En inglés, la palabra sirve como unidad semántica, lo que significa que una palabra sacada completamente de contexto aún contiene significado. No se puede decir lo mismo de los caracteres en chino. Si bien ciertos caracteres tienen un significado inherente, como fuego (火, huŏ), agua (水, shuĭ) o madera (木, mù), la mayoría no lo hacen hasta que se unen con otros. El carácter 灵 (líng), por ejemplo, puede significar inteligente (机灵, jīlíng) o alma (灵魂, línghún), dependiendo de su coincidencia. Y los caracteres en un nombre propio como Boston (波士顿, bōshìdùn) o los EE. UU. (美国, měiguó) no significan lo mismo una vez separados.

Technology Review

En el post oficial de Baidu hay más datos pero lo interesante es ver como lograron pegar un salto gigante en evaluación gracias a unir la lógica de su lenguage (Chino) con la de los modelos previos (Inglés) incluyendo al del lider anterior en la tabla… BERT (desarrollado por Google en Inglés)

Y a mi me fascina porque esto es un gran ejemplo de diversidad; antes de BERT el análisis de lenguaje era unidireccional: esto es podia anticipar que palabra seguía a una o cual venia antes de otra… ¿Donde se ve claro? en el autocorrector de los teléfonos donde sugieren la palabra que sigue o en Word sugiriendo cambios para una palabra anterior a la que tipeaste y que cambia el sentido.

Cuando llega BERT, el sistema de Google, se empieza a analizar al mismo tiempo lo que viene antes y despues de una palabra para darle contexto al texto… y lo aprende usando una técnica que se llama “masking” esto es borrando el 15% de las palabras de un texto y luego tratando de predecir las que no están. Si, asi se entrena un algoritmo, prueba y error.

Cuando Baidu lanza ERNIE lo que hace es tomar la logica del chino y en vez de borrar UN caracter o UNA palabra empieza a borrar bloques de palabras para entender el contexto de bloques de palabras y asi generar algo que antes no se podía hacer que buscar significado en vez de patrones de uso y eso es clave en nuestra comunicación!

¿Que le sigue a esto? conocimiento persistente y progresiones lógicas. Esto en términos simples, entender que signigica el “eso” o “como decía antes” y asociarlo al significado para lograr entendimiento comunicacional real.

Que grandes momentos estamos viviendo… les dejo el link al paper en ARVIX para que se diviertan un poco leyendo el modelo

Un vehículo autónomo de Pronto.ai atraviesa USA sin intervención humana

Finalmente Anthony Lewandowski, el ingeniero en medio del juicio entre Uber y Waymo por robo de secretos industriales, hace público su nuevo proyecto de vehículos autónomos que es una evolución de Otto el add-on para camiones del que hablamos hace más de 2 años ahora llamado Pronto.AI y que acaba de lograr un viaje costa a costa sin intervención humana.

El acercamiento de Lewandowski es realmente bueno y me gustó siempre porque busca ir a un nivel de manejo más cercano con la tecnología actual y manteniendo el precio bajo mientras suma datos para entrenar redes neuronales… básicamente pone más fuerza en el software que en el hardware que estamos viendo.

Para explicarlo de forma más simple:

  • No busca un sistema de manejo completamente autónomo (nivel 4) sino un sistema “copiloto” donde la intervención humana es requerida para supervisión(nivel 2)
  • Eso le permite evitar hardware tipo LiDAR e integrado en el auto, y usando más fuerza en machine learning para que el sistema aprenda a manejar basado en ML en vez de en reglas desde cero.
Continue reading “Un vehículo autónomo de Pronto.ai atraviesa USA sin intervención humana”