Dev&Ops - EP054 - IA Local vs IA en la Nube: ¿Realmente vale la pena correr modelos en tu computadora?

En este episodio hablamos a fondo sobre una de las preguntas más comunes hoy en día en inteligencia artificial: ¿es mejor usar modelos en la nube o correr IA en local?

Compartimos experiencias reales probando modelos locales, los retos de hardware, costos ocultos, rendimiento y qué tan viable es realmente para el día a día. También exploramos casos prácticos donde sí tiene sentido usar IA en local y cuándo definitivamente no vale la pena.

Si estás considerando montar tu propio entorno de IA o quieres optimizar costos, este episodio te va a dar claridad basada en experiencia real, no en “venta de humo”.

🔍 En este episodio aprenderás:

• Qué es realmente la IA en local y cómo funciona
• Diferencia entre modelos “open source” y “open weights”
• Limitaciones reales de hardware (RAM, VRAM, contexto)
• Cuándo sí tiene sentido usar modelos locales
• Por qué la nube sigue siendo la mejor opción en muchos casos
• Casos prácticos donde modelos pequeños funcionan muy bien
• Cómo balancear costo, rendimiento y tiempo en tu workflow

📑 Capítulos:
(00:00) Introducción y contexto del episodio
(02:00) Nuevo integrante en la familia y regreso al podcast
(04:30) Tema del episodio: IA en local vs en la nube
(07:30) ¿Qué es la IA en local?
(10:30) Open source vs open weights
(14:00) Evolución de modelos (Llama, Qwen, etc.)
(18:30) Limitaciones reales del hardware
(22:00) Quantization explicado
(26:30) Experimentos en hardware limitado
(30:00) Casos de uso prácticos con modelos pequeños
(35:30) Debate: IA local vs nube
(42:00) Costos, planes y modelos en la nube
(48:00) Problemas reales de rendimiento en local
(52:00) Privacidad: mitos y riesgos
(56:30) Casos donde sí vale la pena IA local
(01:02:00) Conclusiones y recomendaciones
(01:10:00) Cierre del episodio