Algunos links interesantes que encontré o estuve leyendo sobre Inteligencia Artificial, OpenAI, ChatGPT y hasta costos de infraestructura; no es un week-log en realidad pero... quizas es una buena forma de volver a escribir ;)

• Si alguien sabe de AI es Stephen Wolfram, asi qeu esto te ayudara a entender que esta haciendo ChatGPT, What Is ChatGPT Doing … and Why Does It Work?
• En ArsTechnica hay un buen recuento de como se llego a este punto en Generative AI - The generative AI revolution has begun—how did we get here?
• El problema de la caja negra de la inteligencia artificial en VICE (que es bastante alarmista pero no es malo) Scientists Increasingly Can’t Explain How AI Works
• Un analisis del costo de modelos de inferencia o ¿porque el mercado castiga a Google? en Semi: The Inference Cost Of Search Disruption – Large Language Model Cost Analysis
• Por eso Microsoft puede lanzar un asistente en Bing y aca esta el detalle: Reinventing search with a new AI-powered Microsoft Bing and Edge, your copilot for the web

From now on, the [gross margin] of search is going to drop forever.

Satya Nadella, Microsoft CEO

• Esto me resulto interesante porque habla sobre optimizacion de costos en estas tecnologias, The AI Brick Wall – A Practical Limit For Scaling Dense Transformer Models, and How GPT 4 Will Break Past It
• Y hablando de optimizar, me gusto esto porque habla de otros modelos: ChatGPT Burns Millions Every Day. Can Computer Scientists Make AI One Million Times More Efficient?
• Injeccion de prompts... o como se logra evitar algunos limites de las interfaces de chatr como ChatGPT o BingChat en Ars Technica: AI-powered Bing Chat spills its secrets via prompt injection attack [Updated]
• Mientras, en Product Hunt descubri " curated bundle of the most advanced AI prompts for image generation. From photorealism to cartoon: create anything you can imagine using Midjourney!"en best AI Prompts
• Y hablando de creatividad en The Atlantic te cuentan que tu creatividad no va a salvar tu trabajo de los transformers de inteligencia artificial en Your Creativity Won’t Save Your Job From AI

Al escribir algo de AI o cuando estoy tratando de usar sentido común para explicar algo hablo con Diego Basch para ver si pasa su filtro; pero la realidad es que el el "sentido común" es tan dificil de definir que es en esos puntos donde termino haciendo agua... y por eso me parecio maravillosa esta entrevista con Yeichin Choi

¿como definimos lo que es "entender"? ¿como definimos lo que es "saber"? ¿cuales son las excepciones? ¿como las manejamos? ¿como las definimos? ¿como interactuamos nosotros con el contexto que rodea la información?

Yeichin Choi usa el mismo ejemplo que me viene a la cabeza cuando me dicen "OpenAI no entiende lo que le pregunto" o "Google Bard comete errores de nene" ¿pueden las aves volar? nuestra respuesta automática es "si" pero la realidad es que la respuesta es "generalmente si" y ese "generalmente" depende del contexto de la pregunta.

”Commonsense is the dark matter of intelligence. We know it’s there, and we all rely on it effortlessly, yet it has been notoriously hard to pin down, especially for machines. My research seeks to tackle this longstanding challenge in AI (artificial intelligence) by teaching machines to reason about the likely causes and effects of everyday events and the likely intents and mental states of people in relation to those events.”

Jeichin Yoi en la MacArthur Foundation

Pero más alla de esto que es clave ¿como definimos el sentido común? la entrevista revisa el concepto de value pluralism o las diferentes verdades a las que nos enfrentamos y como esas verdades, hoy explícitamente, toman en cuenta valores morales.

These rules basically cannot be written down as universal truths, because when applied in your context versus in my context, that truth will have to be bent. Moral rules: There must be some moral truth, you know? Don’t kill people, for example. But what if it’s a mercy killing? Then what?

Si algo hay que reconocerle a Elon Musk es que esta rompiendo cosas a un ritmo que pocos esperaban de un "hardcore 100x engineer" y no hablo de los problemas que todos sufren por consolidar datacenters o cortar costos de cloud ni hablo de tener que pausar funcionalidades para enfocar al equipo de ingenieros que sobrevivieron a los recortes en evitar que se caiga y ojo, tampoco hablo de los menos de 0.5% de usuarios que se sumaron a Twitter Blue cuando esperaban un 10% ... ni de la caida de mas de 40% en ingresos publicitarios gracias a su politica combativa de avergonzar a los anunciantes.

Hablo de dos cosas muestran claramente que desprecia o menosprecia a la comunidad que le da valor a Twitter:

• Sin third-party devs no existe el concepto de plataforma esto es obvio, con lo que nutrir y cuidar a una comunidad de aplicaciones que monten sobre tus datos te deje extender el valor de tu plataforma al punto que te volvés indispensable... sin estas terceras partes, perdés valor.
  Con lo que cortar el acceso sin notificacion, como hizo hace un mes, y luego cambiar de estrategia constante y hasta la fecha de lanzamiento de la "nueva API y pricing" es LITERALMENTE una de las peores decisiones que vi.
• Negar el derecho a borrar datos personales y privados como los mensajes directos, no es solamente ilegal, es peligroso para todos y cada uno de nosotros.
  Lo pongo mas simple, muchos usuarios europeos estan pidiendo que se borren los DMs de la plataforma y son ignoradoss al punto que la UE esta analizando el caso sin embargo lo peor (y que pocos reportaron) es que los "periodistas" que se usaron para publicar los #TwitterFiles tuvieron acceso a los DMs de las cuentas que analizaron mostrando que la privacidad no existe.

Trato, realmente, de ser objetivo analizando a Elon Musk y sus delirios pero no puedo creer que despide ingenieros porque sus tweets no son mas leidos, aun luego de análisis técnicos le demuestran que tiene menos engagement... y esto muestra que el View Count es simplemente inventado para empujar visualizaciones algorítmicas...

Entonces, lo miro desde afuera y pienso ¿si rompe la confianza de los anunciantes, de la comunidad de developers y hasta de los ingenieros que lo contradicen? ¿cuanto aguantara el efecto de red que hace a Twitter relevante? ¿soportara que las marcas tengan que pagar extra para proteger sus marcas? ¿que los "creadores de contenido" sean atraidos a pagar una suscripcion para "potencialmente"recibir publicidad?

Solo rants de alguien que gracias a Twitter disfrutó demasiado :)

Fue Steve Jobs el que dijo "If you don't cannibalize yourself, someone else will." y creo que por eso la acción de Google cayó un 9% en un solo dia cuando apuró un evento de AI y no porque "hubo un error en una demo".

Lo que el análisis de 280 caracteres resume en "Google perdió un 9% porque una demo salió mal" es no entender el porque Google no habia presentado hasta ahora una interfaz conversacional como ChatGPT para aumentar los resultados: esto cambia la dinamica de negocio y no hay incentivos para innovar si canibalizas tus ingresos mientras cambia tu estructura de costos

• La estructura de costos de una interfaz conversacional sobre inteligencia artificial es diferente a la del modelo actual de los buscadores (aka: 10 blue links).
• El modelo de ingresos cambia radicalmente versus la actual integracion de links de anuncios arriba y abajo de los resultados en varios sentidos:
  • La interfaz es diferente entonces el espacio "above the fold" cambia; la integracion/mezcla de SERP/SEO cambia
  • pero mas estratégico es que el usuario ahora espera algo mas que "un link con la informacion" y nadie hizo pruebas a escala de esos nuevos modelos.

Pero entonces ¿con tantas preguntas porque el mercado le pego a Google este golpe que borró $100b en una hora? porque esperaban que se presente algo parecido al nuevo Bing que presentó Microsoft y Google no lo hizo... repito: no lo hizo porque pese a tener talento y tecnologia no tenia incentivos para probar algo que pudiera canibalizar su modelo de negocios por eso hay otro jugador, Microsoft, probando cosas nuevas.

¿Porque hablo de Microsoft si empece hablando de la caida de 9% en un dia de $GOOG o citando a Steve Jobs? porque la realidad es que en algun momento todos los negocios necesitan cambiar... y los mejores ejemplos son los dos "abuelos" del mercado de las Big Tech: Apple y Microsoft tienen 47 años y ya sufrieron reinvenciones.

Apple presento el iPhone en 2007 sabiendo que iban a volver obsoleto al iPod aun cuando era el motor de su crecimiento; Microsoft se enfoco en la nube aun cuando era su core eran los servers... "If you don't cannibalize yourself, someone else will."

Enter Satya y su experiencia en canibalizarse antes que lo canibalice otro, que explica MUY bien en su entrevista con The Verge sobre "The New Bing":

Like all things, one of the things that I think about is, in platform shifts, two things have to happen. You have to retool pretty much every product of yours, so you’ve got to rethink it, whether that’s the way you build it or what its core features are. It’s like how Microsoft had to pivot for the cloud to rethink exchange. It was not an exchange server. It was exchange as a service or what we had to do with our server infrastructure. We had to rebuild, essentially, a new core stack in Azure. So every time, with transitions, you have to essentially rewrite it. That’s how I think about it. The second thing is you also have to think about the business model. Sometimes these transitions are pretty harsh. I’ll tell you, the last transition from having the high share server business with great gross margins to saying, “Hey, the new business is called cloud, and it’s going to have one-fourth the margins” as the new news was pretty harsh, but we made it.

Satya Nadella explicando las dos caras de un cambio de paradigma.

Pero ¿hace bien el mercado en apostar contra Google? honestamente no lo creo... Google tiene el talento, tiene el market share y sobre todo tiene a Chrome y Android para apalancar todo; ojala hoy tengan algo de miedo y dejen de alocar experimentos interesantes como Google Duplex a una parte de Assistant.

Me pareció interesante el lanzamiento de Quora, POE o “Platform for Open Exploration” es su AI conversacional usando OpenAI y Anthropic como motor para encontrar contenido con dos enfoques diferentes pero sin entrenarlo con su contenido porque todavía no esta claro como impacta en propiedad intelectual y saben que no hay precisión fáctica... sabiendo que quieren construir un ecosistema sobre este.

(1) Dos modelos en un producto ¿porque Quora usa dos motores y cuales son las diferencias entre OpenAI y Anthropic? Por las dudas explico algo básico; cada modelo tiene su propio entrenamiento, cada modelo se optimiza para cosas diferentes y, estoy seguro que a medida que aparezcan mas opciones veremos cosas muy diferentes (eg: un modelo entrenado en el "cespool of hate" que es Twitter seguro sale racista pero sin duda va a estar optimizado para engagement) lo bueno de esto es que uno puede elegir.

Por ejemplo, por la base de sus decisiones, OpenAI no tiene acceso a eventos posteriores a 2021 y Anthropic no responde ciertas preguntas (honestamente no se cuales son esos lineamientos) entonces cuando instalas POE y elegís entre Sage, Claude o Dragonfly... en realidad estas eligiendo bots entrenados por esas modelos y atados a esas limitaciones...

Por esas mismas limitaciones, que incluyen los sesgos de entrenamiento, las limitaciones de dataset y sobre todo que no están entrenados para certeza es que NO se integran en Quora sino que se mantiene como un "extra" para experimentar... de ahi su nombre: “Platform for Open Exploration”

(2) una comunidad para refinar preguntas y resultados Y acá viene lo interesante de Quora, no solo podes elegir el modelo, sino que podes crear un perfil y seguir a otros usuarios que esten usando POE y puedas usar sus "prompts" para hacerles sintonía fina y vayan mejorando... con algo de suerte una comunidad de varios cientos de millones ayudaran a mejorar el modelo con el ida y vuelta que genera su uso.

(3) una api para crear ecosistema Ah, si sos developer... Quora está preparando una API para que puedas integrarlo en tus aplicaciones o crear algo nuevo desde cero en ese ecosistema. Que es lo que, en última instancia, los va a separar del resto y le da sentido a la frase que uso el CEO en el anuncio:

Over time, we hope to become the most efficient way for people to collectively explore the possibilities opened up by new AI models as they are released. 

Adam D'Angelo: POE

Pueden descargar POE para iOS en este link

El experimento del Juez Juan Manuel Padilla Garcia, de Colombia, es de los mas interesantes que he visto con OpenAI en el mundo real, cuando el Juzgado 1º Laboral del Circuito de Cartagena, usó ChatGPT para dictar sentencia y lo fundamentó en el documento... usandolo como copiloto.

"...extender los argumentos de la decisión adoptada, conforme al uso de inteligencia artificial (IA). Por consiguiente, se procedió a incluir apartes del problema jurídico planteado en la presente sentencia y se ingresó en el aplicativo https://chat.openai.com/chat" ... "El propósito de incluir estos textos producto de la IA no es en manera alguna reemplazar la decisión del Juez. Lo que realmente buscamos es optimizar los tiempos empleados en redacción de sentencias, previa corroboración de la información suministrada por IA"

Fundamentos: Juez Juan Manuel Padilla Garcia, P5 y 7

En el link está el documento completo del juez pero la base es simple de entender; estos modelos (LLM y Transformers) son herramientas que necesitan corroboración de un humano para darle sentido a su respuesta.

La base de todo es simple: la respuesta que uno ve en ChatGPT o cualquier otro modelo, se genera por un modelo estadístico que decide que palabra (o símbolo) va luego de otra, sin entrar en valoración del sentido de lo que esta entregando.

Eso es lo que genera mucha confusión alrededor de estos transformers: Sus respuestas hacen sentido, son rápidas y son asertivas pero no están orientadas a certeza sino a modelos estadísticos.

Por eso me gusta el concepto de "copilotos" como una herramienta que ayudan al piloto con datos y background que uno puede tomar para mejorar el producto final... el segundo punto que hay que entender que pocas veces esto es un one-off; hay valor en refinar prompts, en follow ups, en buscar hacks y así dandole verdadero valor al concepto conversacional.

Por eso Stack Overflow se prohibe copiar respuestas de ChatGPT sin verificacion y errores en sus respuestas matemáticas y por eso hay gente horrorizada de verlos sin entender las limitaciones que estos modelos tienen y no terminan de entender que estamos en una era hibrida de IA

Explainability and comprehensibility of AI are important requirements for intelligent systems deployed in real-world domains. Users want and frequently need to understand how decisions impacting them are made. Similarly it is important to understand how an intelligent system functions for safety and security reasons. In this paper, we describe two complementary impossibility results (Unexplainability and Incomprehensibility), essentially showing that advanced AIs would not be able to accurately explain some of their decisions and for the decisions they could explain people would not understand some of those explanations.

Roman V. Yampolskiy - Unexplainability and Incomprehensibility of AI