Denken Über

Un blog donde escribir ayuda a pensar.

Suscribirme

Primero se acabaron los tokens subsidiados. Ahora, los modelos open source.

Comparación ilustrada: open source permite ver, usar y modificar el código; open weight ofrece pesos públicos sin revelar necesariamente cómo se entrenó el modelo.

Cuando el uso de agentes hizo que los costos de usar IA se disparen, la primer respuesta fue empezar a usar modelos “open source” que en realidad solo eran “Open Weight” y hay una diferencia enorme entre una cosa y la otra. No digo “no uses modelos Open Weight” pero deberias entender que son y sus riesgos.

La fiesta de los tokens subsidiados se terminó. Desde los gigantes como Microsoft y Meta hasta el startup más chico que arrancó ayer, todos están recortando costos de IA por todos los flancos posibles, y una de las vías favoritas es migrar a “modelos abiertos” o “modelos open source”, en particular modelos chinos que, spoiler, en su inmensa mayoría no lo son.

Alibaba en marzo cerró Qwen 3.7 Max. Solo API, sin pesos descargables. Meta hizo lo mismo con Muse Spark, su primera release bajo los nuevos Superintelligence Labs, cerrada de entrada, o sea que haya una etiqueta “open” pegada en un paper no significa lo mismo que “open source” significaba cuando hablábamos de Linux y aunque crearon su reputación en “open” ahora deciden caso por caso qué abren y qué no, lo que muestra que tratan el open weight como una palanca estratégica, no como un principio.

Y, más allá de la diferencia técnica y legal enorme entre “te doy los pesos para que corras el modelo” y “te doy todo lo necesario para reproducirlo desde cero” hay 3 puntos clave que definen: qué podés auditar, qué podés confiar, y qué riesgo estás asumiendo cuando lo metés en producción.

Open Source vs Open Weight

Un “peso” es, básicamente, el resultado del entrenamiento: millones de números que le dicen al modelo cómo procesar lo que le escribís y qué responder. Cuando una empresa te da los pesos, te está dando el producto terminado para que lo uses, no la receta.

  • Open source real significa que además de los pesos te dan la receta completa: con qué datos entrenaron, el código de entrenamiento, todo lo necesario para reconstruir el modelo desde cero.
  • Open weight es mucho más chico: te dan el producto terminado para correrlo y adaptarlo, pero no sabés qué hay adentro. Casi ningún modelo “open source” que usás hoy (ni Llama, ni Gemma, ni los chinos) cumple la definición completa. Casi todos son open weight con otro nombre.

En una frase: no tener el modelo verdaderamente open source significa que no podés auditar qué hay adentro. La ventaja es que eso no te frena para ahorrar: correr un modelo por tu cuenta hoy cuesta una fracción de lo que costaba hace tres años (de $20 por millón de tokens en 2022 a $0.40 hoy).

¿Los Modelos Chinos son Open Source?

Ninguno, en rigor, pero DeepSeek es el más generoso: te da pesos y código bajo licencia MIT (la más permisiva que existe, podés usarlo comercialmente sin restricciones), pero no publica los datos con los que entrenó. GLM (Zhipu) hace lo mismo, Qwen usa una licencia parecida (Apache 2.0) en varias líneas, pero Alibaba ya cerró su modelo top de gama.

Es decir: te dan libertad legal para usar el modelo como quieras, pero no transparencia sobre qué contiene. Son primos hermanos de Llama en ese sentido, solo que con licencias más cómodas para tu abogado.

En resúmen: el riesgo es que una parte importante de los startups y empresas que hoy usan “IA open source” corren sobre modelos chinos sin ningún mecanismo para verificar qué hay adentro de esos pesos ni transparencia para descartar que existan backdoors.

El trade-off real para tu empresa

Acá está el punto que un CEO necesita entender: correr un modelo “abierto” en tu propia infraestructura es, en los hechos, ejecutar un archivo pesado que bajaste de internet en una máquina de tu empresa y en 2024, JFrog encontró cerca de cien modelos maliciosos en Hugging Face, algunos con puertas traseras persistentes.

Un año después, ReversingLabs encontró más modelos usando una técnica todavía más difícil de detectar por los escáneres automáticos..

La industria que se dedica a detectar esto todavía es chica: apenas un puñado de empresas en el mundo se especializan en escanear modelos de IA por seguridad, comparado con la industria de ciberseguridad tradicional que mueve miles de millones.

Hay una oportunidad real pero hay que buscarla

Nada de esto significa “no uses estos modelos”. Significa que la decisión no es “abierto y barato” contra “cerrado y seguro”. Es un trade-off que hay que gestionar: escanear el modelo antes de instalarlo, saber de dónde salió, y entender que una licencia MIT te da permiso legal, no garantía de que el modelo sea confiable.

La oportunidad para empresas en LATAM es enorme: costos que bajan diez veces por año, capacidades que ya compiten con lo mejor de Anthropic, OpenAI o Google. Pero la pregunta que un CEO debería hacerse no es “¿cuál es más barato?” sino “¿qué estoy dispuesto a no poder verificar a cambio de ese ahorro?”

Recibí los nuevos artículos por email.

Comentarios

2 responses to “Primero se acabaron los tokens subsidiados. Ahora, los modelos open source.”

  1. Guillermo Muñoz Herrera

    Hola! Excelente tus correos Mariano!
    Podrás escribirlos en español más neutro che? jeje

    1. mariano

      Jajaja los escribo bastante neutral ¿se nota que no?

Descubrí más de Denken Über

Suscribite ahora para seguir leyendo y obtener acceso al archivo completo.

Seguir leyendo