有大佬推荐AI 涩涩聊天可以本地部署的模型吗？

ryuuki2010 · 发表于 2026-5-5 10:06:27

首先不知道你GPU到底多大显存，我16G显存用这个模型Qwen3.5-9B-Q8_0.gguf，GGUF是破限的可以瑟瑟，你要是显存足够大，可以考虑现在Qwen3.6 27B 35B

ryuuki2010 · 发表于 2026-5-5 22:02:18

还有你说的语言逻辑混乱，需要你调温度才行

ryuuki2010 · 发表于 2026-5-7 13:20:55

跑大模型只看你显卡，你显卡是A卡跑大模型限制不少，显存你也没说是多少的

ryuuki2010 · 发表于 2026-5-19 19:10:24

djaafer 发表于 2026-5-19 12:08
大佬我也用的9B 感觉5060TI 16 还可以往往上加点比如14B

太大的模型咱显卡会慢啊只是聊天没啥必要吧

ryuuki2010 · 发表于 2026-5-20 18:53:36

djaafer 发表于 2026-5-20 09:44
此言差异啊大佬小模型回话快可是常常不知所云要不就是极其极其极其极其极其极其极其极其 .
.... ...

还是需要设置温度别弄太高

ryuuki2010 · 发表于 2026-5-21 18:21:17

djaafer 发表于 2026-5-20 23:18
温度太低就老是车轱辘话一段一段的

在提示词中得让AI不得重复使用相同描述

[随便聊聊] 有大佬推荐AI 涩涩聊天可以本地部署的模型吗？