El experimento del Juez Juan Manuel Padilla Garcia, de Colombia, es de los mas interesantes que he visto con OpenAI en el mundo real, cuando el Juzgado 1º Laboral del Circuito de Cartagena, usó ChatGPT para dictar sentencia y lo fundamentó en el documento… usandolo como copiloto.
“…extender los argumentos de la decisión adoptada, conforme al uso de inteligencia artificial (IA). Por consiguiente, se procedió a incluir apartes del problema jurídico planteado en la presente sentencia y se ingresó en el aplicativo https://chat.openai.com/chat” … “El propósito de incluir estos textos producto de la IA no es en manera alguna reemplazar la decisión del Juez. Lo que realmente buscamos es optimizar los tiempos empleados en redacción de sentencias, previa corroboración de la información suministrada por IA”
Fundamentos: Juez Juan Manuel Padilla Garcia, P5 y 7
En el link está el documento completo del juez pero la base es simple de entender; estos modelos (LLM y Transformers) son herramientas que necesitan corroboración de un humano para darle sentido a su respuesta.
La base de todo es simple: la respuesta que uno ve en ChatGPT o cualquier otro modelo, se genera por un modelo estadístico que decide que palabra (o símbolo) va luego de otra, sin entrar en valoración del sentido de lo que esta entregando.
Eso es lo que genera mucha confusión alrededor de estos transformers: Sus respuestas hacen sentido, son rápidas y son asertivas pero no están orientadas a certeza sino a modelos estadísticos.
Por eso me gusta el concepto de “copilotos” como una herramienta que ayudan al piloto con datos y background que uno puede tomar para mejorar el producto final… el segundo punto que hay que entender que pocas veces esto es un one-off; hay valor en refinar prompts, en follow ups, en buscar hacks y así dandole verdadero valor al concepto conversacional.
Por eso Stack Overflow se prohibe copiar respuestas de ChatGPT sin verificacion y errores en sus respuestas matemáticas y por eso hay gente horrorizada de verlos sin entender las limitaciones que estos modelos tienen y no terminan de entender que estamos en una era hibrida de IA
Explainability and comprehensibility of AI are important requirements for intelligent systems deployed in real-world domains. Users want and frequently need to understand how decisions impacting them are made. Similarly it is important to understand how an intelligent system functions for safety and security reasons. In this paper, we describe two complementary impossibility results (Unexplainability and Incomprehensibility), essentially showing that advanced AIs would not be able to accurately explain some of their decisions and for the decisions they could explain people would not understand some of those explanations.
Roman V. Yampolskiy – Unexplainability and Incomprehensibility of AI