Can I Run Qwen 3.5 on NVIDIA L40S?

Autor: Jakub Rusinowski · Ostatnia aktualizacja: 10 lipca 2026

Yes — the Qwen 3.5 family runs on the NVIDIA L40S.

Ujawnienie afiliacyjne: Niektóre odnośniki na tej stronie to linki afiliacyjne — jeśli dokonasz zakupu za ich pośrednictwem, LLM Configurator może otrzymać prowizję bez dodatkowych kosztów dla Ciebie. Jako uczestnik programu Amazon Associates, LLM Configurator zarabia na kwalifikujących się zakupach.

Sprawdź cenę na Amazon — NVIDIA L40S 48GB

NVIDIA L40S Specs

VRAM48 GB
Memory Bandwidth864 GB/s

Qwen 3.5 Variants That Fit

Qwen 3.5 35B-A3BQ4_K_M · 21.4 GB · ~400 tok/s (est.)
Qwen 3.5 27BQ4_K_M · 16.5 GB · ~52 tok/s (est.)
Qwen 3.5 9BQ4_K_M · 6.6 GB · ~131 tok/s (est.)
Qwen 3.5 4BQ4_K_M · 3.4 GB · ~254 tok/s (est.)
Qwen 3.5 2BQ4_K_M · 2.7 GB · ~320 tok/s (est.)
Qwen 3.5 0.8BQ4_K_M · 1 GB · ~400 tok/s (est.)

FAQ

Can I run Qwen 3.5 on the NVIDIA L40S?

Yes — the Qwen 3.5 family runs on the NVIDIA L40S.

Which Qwen 3.5 variant fits best on the NVIDIA L40S?

Qwen 3.5 35B-A3B at Q4_K_M quantization (21.4 GB), estimated ~400 tokens/sec.

Qwen 3.5 on Other GPUs

Popular Models on the NVIDIA L40S

VRAM Tier

Troubleshooting

Buying Guide

← Can I Run It? | Qwen 3.5 Model Page | NVIDIA L40S GPU Page | Check Your Hardware