J'ai également 8 GB de VRAM, j'utilise un modèle un peu "vieux" (tout est relatif) :
"provider": "ollama",
"model": "deepseek-coder:6.7b"
Avec :
format: gguf
quantization: Q4_K_M
J'ai également 8 GB de VRAM, j'utilise un modèle un peu "vieux" (tout est relatif) :
"provider": "ollama",
"model": "deepseek-coder:6.7b"
Avec :
format: gguf
quantization: Q4_K_M