AI | Denken Über

San Francisco está muerto, larga vida a San Francisco

Desde la pandemia todos hablaban de la muerte de San Francisco, el boom de la inteligencia artificial muestra (con datos) que San Francisco esta más vivo que nunca.. y eso me genera algunas ideas

Desde la pandemia, uno no se cansa de ver análisis diciendo que ya pasó la era dorada de San Francisco y la Bay Area para el talento tecnológico, que San Francisco no tenia futuro y que el talento estaba en todas partes… pero el AI Boom nos demuestra que no es así y que el ecosistema de Bay Area y San Francisco están mas vivos que nunca.

Hay datos que son realmente interesantes y todos de diferentes fuentes agregadas, analizando datos de LinkedIn: “Over the last 12 months, San Francisco has seen the second-biggest worker population gain of any area in the United States” y la encuesta anual de CBRE muestra que esos datos son consistentes con salarios y contrataciones y hasta las quejas contra la inteligencia artificial nacen en Bay Area ;)

Pero el datos que nos interesa para analizar el ecosistema tecnológico es bastante simple ¿donde se junta el talento? ¿donde se crean las compañias que se convierten en lideres? y sobre todo ¿donde hay inversión? porque eso es la vara que se usa para definir ecosistemas y empresas con el war-chest financiero para crecer rápido.

¿donde esta el talento y los nodos de Inteligencia Artificial?

Tomemos el AI Top 50 de Forbes (con sus fallas o no) es un estudio con una gran metodología y consistente con el estado actual del mercado y literalmente el 70% del mercado global está en California…
Eso es consistente con la publicación de papers y estudios relacionados a Inteligencia Artificial desde 2001 donde mas del 25% se publicó desde Bay Area
A su vez; Bay Area tienen más búsquedas de empleados para trabajar en Inteligencia Artificial que los 14 ecosistemas siguientes en el ranking de Brookings
Aunque es cierto que el mundo de la inteligencia artificial generativa (o LLMs) es demasiado nuevo para tener datos históricos, es una buena señal para entender donde se crean los hubs de mercado y los nodos de talento que luego van a generar los futuros unicornios.

el futuro ya está aquí, pero desigualmente distribuido

Esta es una de esas frases que William Gibson dijo y pareció predecir el futuro de la concentración de ecosistemas y cada día parece más relevante; los recursos necesarios para desarrollar nuevas tecnologías (especialmente cuando arrancan los ciclos de tecnología) son monstruosos y es ahí donde el valor de los ecosistemas es clave.

Las explosiones cámbricas

Internet + ARPA; mobile apps + el mundo de la nube; Inteligencia Artificial + Attention is all you need + OpenAI … son 3 momentos que definieron y definirán décadas de negocios y de tecnología y podemos, medio en broma, definirlos como explosiones cámbricas.

Y tal vez San Francisco estaba muerta cuando no existía una explosión cámbrica que necesitaba la concentración de talento, de capital y de infraestructura… mientras que otros ecosistemas son buenos cuando el capital de riesgo es menos averso al riesgo, los modelos de negocios están medianamente establecidos y el conocimiento esta más distribuido igualitariamente.

Estando basado en Argentina pero analizando la cantidad de datos sobre startups que construyen en la nube y orientados en AI creo que hay una oportunidad gigantesca para crear algo aprovechando el talento existente porque la infra existe y es solo cuestión de tiempo que los lideres se establezcan quizás a nivel global

Every now and then… vuelven los Beatles (con AI)

El resúmen: Paul McCartney utilizó AI en un demo de John Lennon para poder aislar su voz, limpiarla, editarla y poder editar un tema que nunca habían grabado y se lanzará como “El último tema”… pero no es la primera vez que se edita la voz de Lennon luego de muerto. Free as a Bird y real Love se editaron limpiando grabaciones de Lennon 15 años luego de su muerte.

Y esto, es más interesante de lo que parece porque abre la puerta a nuevos experimentos, mezclas y hasta juegos como el dueto que se usó en su ultimo tour… porque al fin del día no esta claro donde estará el límite del “gemelo digital” de un artista por más que se cuente con la autorización de sus administradores y, del otro lado del espectro, significa que hay nuevas herramientas para crear mezclas deep-fakes que nunca existieron,

BloombergGPT: un modelo de IA financiera

Si algo distinguió a Bloomberg del resto de los proveedores de información financiera fue que siempre estuvo al frente del uso de nueva tecnología; ahora su terminal suma un modelo como ChatGPT pero entrenado y orientado puramente a finanzas.

Bloomberg GPT o Inteligencia artificial en la terminal de bloomberg

Con las ventajas de estos modelos para dominios especificos de conocimiento, Bloomberg tiene un leverage competitivo gigantesco: entrenaron a BloombergGPT como un modelo financiero con su dataset propietario de 363.000 millones de tokens de documentos financieros en inglés, y lo aumentaron luego con un dataset similar en tamaño pero público; por eso los benchmarks de NLP dan números gigantescos.

Los tokens son las unidades básicas de texto o código que un LLM AI utiliza para procesar y generar lenguaje. Los tokens pueden ser caracteres, palabras, subpalabras u otros segmentos de texto o código, dependiendo del método o esquema de tokenización elegido.
LLM AI Tokens en Microsoft Learn.

Ahora, con este poder de fuego mejorando las herramientas para escanear noticias, datos, análisis de sentimiento y aplicardo en el sentido general de las preguntas que se pueden generar con lenguaje natural… le abre a Bloomberg un mercado gigante con casos de uso que no termino de imaginar.

Y esto es un gran paso para entender el peso de estos modelos en dominios de conocimiento específico. Qué mejor que finanzas para verlos claramente donde los resultados son blanco o negro, positivo o negativo.

¿Los fondos de inversion dudan del valor de AI?

Me gustaría resaltar dos detalles de la nota del Financial Times sobre cómo los fondos de inversión están siendo cautos con las inversiones en el mercado de Inteligencia Artificial:

AI’s potential has drawn in the likes of Sarah Guo who, a year ago, led investment into the crypto sector for venture capital firm Greylock, having also been an angel investor into cryptocurrency exchange FTX. FTX has since collapsed into bankruptcy, but Guo has raised more than $100mn to invest into artificial intelligence with her new fund Conviction.
Link

Cuando uno maneja fondos o alocaciones de cientos de millones veo increiblemente dificil saltar de un mercado que necesita tanto domain knowledge, como cripto/web3, saltar a manejar cientos de millones en algo como inteligencia artificial donde se necesita mucho conocimiento para separar paja del trigo.

Aunque ambos mercados comparten el hype del conocimiento superficial:

One investor said that, because of the huge amount of capital and computing resources required, recent leaps in generative AI were comparable to landing on the moon: a massively impressive technical achievement, only replicable by those with nation-state level wealth.
Link

Cuando una tecnología arranca masivamente (no entremos en detalles de investigación y papers) es obvio que es un momento donde no hay economías de escala y que los modelos de negocio no son claros; encontrar donde existen esos modelos de negocio y donde esas economías de escala pueden aparecer es lo que distingue a los grandes inversores de los mediocres.

inversiones en generative AI Gen AI Chart 4 012423 V1

Cuando la duda sobre las inversiones en inteligencia artificial se den por las valuaciones es que no se termina de entender como es el stack de esta tecnología y cómo se dividen: plataformas, modelos y aplicaciones.

Es bastante simple de entender: plataformas cloud para AI son las 3 tradicionales con la entrada de startups como Coreweave, los modelos de IA son abiertos como Stable Diffusion o cerrados como GPT-3 y pueden correr en hubs como Hugging Face para finalmente ver aplicaciones de IA como Github Copilot o Midjourney que es el “front end” :)

En definitiva: hay muchos fondos que apuestan a AI y eso es porque tienen conocimiento como para entender el mercado y encima están completamente alejados del miedo que el Financial Times parece estar viendo en el mercado.

De patrones a significado en el lenguaje humano: como la AI se nutre de la diversidad

Si les interesa entender como la Inteligencia Artificial puede nutrirse de la diversidad les dejo este link más que interesante en SCMP donde se muestra como usar la logica del idioma chino junto a la del inglés le dió a Baidu la ventaja para destronar por un tiempo a Google y Microsoft en la tabla GLUE que es el benchmark “Entendimiento de Lenguaje Natural” en AI… y este párrafo es clave:

En inglés, la palabra sirve como unidad semántica, lo que significa que una palabra sacada completamente de contexto aún contiene significado. No se puede decir lo mismo de los caracteres en chino. Si bien ciertos caracteres tienen un significado inherente, como fuego (火, huŏ), agua (水, shuĭ) o madera (木, mù), la mayoría no lo hacen hasta que se unen con otros. El carácter 灵 (líng), por ejemplo, puede significar inteligente (机灵, jīlíng) o alma (灵魂, línghún), dependiendo de su coincidencia. Y los caracteres en un nombre propio como Boston (波士顿, bōshìdùn) o los EE. UU. (美国, měiguó) no significan lo mismo una vez separados.
Technology Review

En el post oficial de Baidu hay más datos pero lo interesante es ver como lograron pegar un salto gigante en evaluación gracias a unir la lógica de su lenguage (Chino) con la de los modelos previos (Inglés) incluyendo al del lider anterior en la tabla… BERT (desarrollado por Google en Inglés)

Y a mi me fascina porque esto es un gran ejemplo de diversidad; antes de BERT el análisis de lenguaje era unidireccional: esto es podia anticipar que palabra seguía a una o cual venia antes de otra… ¿Donde se ve claro? en el autocorrector de los teléfonos donde sugieren la palabra que sigue o en Word sugiriendo cambios para una palabra anterior a la que tipeaste y que cambia el sentido.

Cuando llega BERT, el sistema de Google, se empieza a analizar al mismo tiempo lo que viene antes y despues de una palabra para darle contexto al texto… y lo aprende usando una técnica que se llama “masking” esto es borrando el 15% de las palabras de un texto y luego tratando de predecir las que no están. Si, asi se entrena un algoritmo, prueba y error.

Cuando Baidu lanza ERNIE lo que hace es tomar la logica del chino y en vez de borrar UN caracter o UNA palabra empieza a borrar bloques de palabras para entender el contexto de bloques de palabras y asi generar algo que antes no se podía hacer que buscar significado en vez de patrones de uso y eso es clave en nuestra comunicación!

¿Que le sigue a esto? conocimiento persistente y progresiones lógicas. Esto en términos simples, entender que signigica el “eso” o “como decía antes” y asociarlo al significado para lograr entendimiento comunicacional real.

Que grandes momentos estamos viviendo… les dejo el link al paper en ARVIX para que se diviertan un poco leyendo el modelo

Gradient Ventures, CVC ultra-vertical

Me parece más que interesante lo que anunció Google con Gradient Ventures, un fondo de inversion verticalizado en AI con acceso a los ingenieros de Alphabet y la tesis de inversión de un fondo de inversion corporativo tradicional.

Su idea por ahora es invertir (aunque no sea liderando rondas) en productos basados en AI incluyendo cosas como entrenar datasets hasta encontrar empresas usando sus productos más nuevos; y tiene toda la lógica que están teniendo en sus inversiones, de hecho el fondo se hizo público hace un par de meses porque al invertir en Algorithmia se hizo público un formulario pero recién hoy con toda la estructura armada se hace público.

No es mala la idea y Google, siendo otra de las corporaciones que parecen entender a los startups pero no, empieza a tener una estrategia mucho más inteligente para desarrollo corporativo [Corporate Development VPs driven :P].

Siendo honesto, esta es una de las patas que debería tener cualquier corporación que quiera meterse en el mundo del CVC y no es común.

“Tu margen es mi oportunidad” Jeff Bezos y su carrera de armas

“This focus on free cash flow isn’t new for Amazon.com. We made it clear in our 1997 letter to shareholders—our first as a public company—that when “forced to choose between optimizing GAAP accounting and maximizing the present value of future cash flows, we’ll take the cash flows”
Jeff Bezos, 2004 Annual Results

Esta frase y este foco convirtió a Amazon en el estándar de facto para comparar precios online… nadie que compre online deja de revisar al menos el precio del producto en Amazon aún sin saber que, dinámicamente, este precio es capaz de cambiar 20 veces en un sólo día y tener una variación superior al 10%

Ups, sorpresa, el margen de la competencia es su oportunidad pero eso no significa que sea el precio más barato existente; de hecho si uno toma en cuenta variables como el costo de la suscripción a Prime, el costo de envíos y otras cosas quizás… descubra que Amazon no es el más barato producto por producto.

De hecho la competencia entre retailers por conocer los precios de la competencia y modificar los precios propios está tan automatizada y algoritmizada que Amazon pidió una patente para un sistema de encriptación de precios para que sólo puedan ser vistos por humanos y no por bots…

Continuar leyendo

Google AI Experiments initiative y Quick Draw

Definitivamente Google quiere que sepas que están haciendo cosas con Inteligencia Artificial, y Google Ai Experiments es una forma bastante amigable de ver algunas de esas cosas, creo que Quick Draw es increíblemente interesante.. y adictivo porque te ayuda a ver pequeñas aplicaciones de la AI y sobre todo los ayudas a mejorar sus algoritmos y asi los ayudas a mejorar esa misma inteligencia ;)

Can a neural network learn to recognize doodles? See how well it does with your drawings and help teach it, just by playing.

La consigna es simple: “dibuja un objeto específico en menos de 20 segundos y veamos si una red neuronal puede adivinarlo” y entre que recibís la consigna y dibujás empezás a escuchar que es lo que está adivinando esa “inteligencia artificial” con sus patrones. Continuar leyendo “Google AI Experiments initiative y Quick Draw”

Coches autónomos y los miedos infundados

Es interesante este gráfico de Statista sobre los miedos que la gente tiene a los automóviles autónomos… mi único miedo es el último en la lista porque vimos el paso de pruebas de concepto a hacks reales.

El resto de los miedos, interesantemente, son culturales generados por el paso de un “momento de control” a un momento de “pérdida de control a manos de un algoritmo” cosa que pasa desde hace tiempo en aviones o en equipos médicos.

Me pregunto si mi hijo, hoy con 9 años, tendrá alguna de las preocupaciones descriptas en el gráfico y me pregunto si alguna, de todas las empresas hoy en la batalla por poner autos en la calle, va a ser la que logre esa confianza o será algún startup que no conocemos.

Facebook despide a los humanos de “Trending News”. No. Los algoritmos no son neutrales.

Hace un tiempo el partido republicano, ese que lleva a Trump como candidato, se quejó porque “trending news in Facebook are not neutral” y ahí el pánico apareció en Facebook porque no se animaron a pelearse con los seguidores de Trump. El resto es una sucesión de malas decisiones por parte de Facebook.

investigar si las denuncias eran verdaderas, dando de esta forma validez a una queja ridícula fomentada por la campaña de un megalomaníaco… cuando el resultado independiente salió verificando que no había parcialidad nadie leyó esa noticia.
despedir al equipo de humanos que curaban las noticias, dando a entender que había injerencia humana en el algoritmo… cuando quisieron explicar que solo revisaban que no aparezcan noticias falsas o títulos tontos nadie leyó esa noticia.

Esto le dio validez a las denuncias de que había parcialidad en la publicación de noticias, cuando la realidad es que siempre va a haber parcialidad aunque no sea explícita porque los algoritmos no son neutrales porque el humano que los escribe no es neutral y tiene cargas implícitas desde el lenguaje hasta en variables que son cargadas y que luego pueden ser “suavizadas”. pero que si encima confían en humanos entrenando algoritmos de AI volvemos a cero y estamos poniendo a un algoritmo de machine-learning en manos de humanos para su entrenamiento… con la carga implícita de parcialidad en su propia personalidad. Continuar leyendo “Facebook despide a los humanos de “Trending News”. No. Los algoritmos no son neutrales.”

Error humano y autos con inteligencia artificial

Leo en Scientific American: What NASA Could Teach Tesla about Autopilot’s Limits algo interesante y que apoya mi punto de vista sobre los autos con AI, se es autónomo o no pero el punto medio es el sweet-spot del error humano y mientras haya marcas que quieran hacernos creer que existe el piloto automático perfecto los accidentes van a seguir sucediendo… y la lógica es simple.

La foto que ilustra este articulo muestra todo lo que está mal con nuestra capacidad de atención y reacción, la versión corta de todo esto es: “Imaginen el tiempo que le lleva al salame de la foto en esa posición pisar el freno o girar el volante en un evento inesperado”, la versión larga se las recomiendo en estos paper de Stephen Casner de 1994 o el de 2014 para entender como somos incapaces de retener atención cuando esta no nos es requerida. Continuar leyendo “Error humano y autos con inteligencia artificial”

Otto otra visión de camiones autónomos

Hace unos días escribí sobre el hito que, para la conducción autónoma, fue que un pelotón de camiones autónomos haya cruzado Europa y hoy la noticia es el lanzamiento de Otto una iniciativa para camiones autónomos pero que tiene tres ingredientes completamente distintivos: está pensado sólo para autopistas, no está pensado para tropas de camiones y tiene un sistema instalable de auto-manejo lo cual es un paradigma completamente diferente del que se maneja hasta ahora y me resulta interesante.

Por un lado la idea es optimizar el uso de las autopistas en USA que son apenas el 5% de las millas recorridas pero causan casi el 10% de accidentes y generan el 28% de las emisiones contaminantes, mientras mueven el 70% de la logística comercial de todo Estados Unidos… son números realmente buenos para pensar en optimizaciones. Continuar leyendo “Otto otra visión de camiones autónomos”

Viv y los nuevos asistentes personales

Ayer en TechCrunch Disrupt, el co-fundador de Siri,Dag Kittlaus presentó Viv, un asistente personal basado en Inteligencia Artificial que muestra bastante bien el porque Siri fue una primer generación y como el modo de interacción puede cambiar radicalmente; no sólo en cuanto a tipear texto versus hablar sino al hecho de no pensar siquiera en las búsquedas como tales ni en los proveedores de información como tales… VIV, conceptualmente, me hace acordar a Samantha de HER ^[1]

Si miran el video para ver la inteacción pueden arrancar directo en el minuto 3:40 y van a ver lo que denominan “conversational commerce” donde en lneguaje natural puede decir algo como “conseguime un lindo cuarto en Palm Springs para el fin de semana del dia del trabajador” y automáticamente traducirlo en una serie de ofertas de Hotels.com para ese fin de semana puente, en Palm Springs y con algo de entrenamiento, basado en tus historial/gustos… eso es un asistente y no un ~~estúpido~~ limitado Siri que sirve para mostrarme el tiempo en Madrid.

La idea de a) Un asistente, B) Personalizado, C) Multidispositivo, D) Abierto a desarrolladores… puede dejar a Google relegado, puede dejar a las apps relegadas y en vez de pensar en las 7 apps que tengo para tomar taxis, Uber o Lyft.. solo pido un auto y me llega sin siquiera pensar en quien es mi proveedor.

Grubhub chief executive Matt Maloney said he rushed to sign up with Viv two years ago, impressed with the idea of allowing consumers to perform different activities without having to toggle between services. “No one has been able to say, ‘I want the movie ticket, and the bottle of wine, and some flowers on the side’ — all in one breath,” he said.

El cambio en serio puede ser radical en la estructura actual de uso de internet y móviles en nuestra cabeza; y si VIV se convierte en una “app” o una plataforma multidispositivo la pelea de Microsoft Cortana, Apple Siri, Google Now y Amazon Alexa puede quedar en el olvido…o convertir a VIV en una adquisición billonaria.

Nota: ^[1] dije conceptualmente, no sean literales por favor :)

Un pelotón de camiones autónomos a través de Europa

La idea de un pelotón de camiones autónomos, conectados entre sí, aún siendo de diferentes fabricantes, saliendo de 3 países diferentes y terminando su recorrido juntos en Rotterdam es algo mucho más interesante pero menos sexy en los medios que un auto autónomo en una autopista de California… pero a nivel práctico, ambiental y de desarrollo es mucho más complicado este “platooning” porque involucran desde decisiones conjuntas hasta estándares de comunicación que permitirían automatizar la logística de bienes físicos y mostrar el mercado B2B de estos desarrollos.

[NB: Este video es de los más aburridos que he visto :P]

Aunque esto parezca de un episodio de los Simpsons donde se descubre el secreto de los camioneros de USA, creo que hay tres grandes problemas a resolver: el primero es la confiabilidad/seguridad de sus conexiones y ahi las telcos tienen un rol gigantesco; el segundo son las regulaciones de diferentes países donde cada país va a querer formalizar el suyo y finalmente la implementación de los estándares técnicos de comunicación (en el desafío se usaron algunos pero cada marca desarrolla sus propios sistemas) para no tener un lock-in técnico…

Unilever quiere en 2017 iniciar pruebas en Rotterdan donde descargar de puerto mercaderías en estos camiones y distribuirlas por sus operaciones, lo cual sería genial no sólo por el ahorro de decenas de miles de € en combustible sino por la baja del 15% en la emisión de contaminantes, mejores tiempos de entrega y sobre todo eficiencias sin tener que cambiar las redes de autopistas que hay en el mundo

(ok, en algunos países hay que mejorar las rutas y no sé como se enfrentarían los camiones a un conductor enajenado tipico de la RN14 :P).

Armas autónomas, los Kalashnikov del mañana

robot us marines boston dynamics

Es muy interesante la carta que se presentará hoy en el “International Joint Conference on Artificial Intelligence” en Buenos Aires, firmada por más de mil expertos en Inteligencia Artificial, que van desde Elon Musk, Demis Hassabis, Stephen Hawking, Peter Asaro y hasta filósofos como Chomsky o Dennett. La carta se puede leer en Autonomous Weapons: an Open Letter from AI & Robotics Researchers y tiene algunas perlas interesantes. Continuar leyendo “Armas autónomas, los Kalashnikov del mañana”