Este finde estuve intentando desplegar y correr llama.cpp en mi homelab (una pobre laptop del 2019 que está cansada, jefe). La misma que tiene mi email con ip residencial.

Sorprendentemente la GPU Intel integrada se la pudo con los modelos de pesos abiertos más humildes y algunos no tan chicos.

Obviamente la wea no sirve para vibecodear a lo maldito, pero pudo "traducir" unas instrucciones en inglés plano con comandos bash a un playbook de Ansible. Se demoró dos horas a unos 3 tokens/seg y los pobres ventiladores dieron todo lo que podían.

Obviamente dicho playbook está como el pico y hay que mejorarle muchas cosas, sobre todo el manejo de credenciales. Pero está bueno como punto de partida.

En otras noticias, por pura coincidencia, estoy vitriniando como andan los precios de las GPUs gordas.