米游社 · 大别野

氵

来自版块: 生活
0
2
0
文章发表:08-24 最后编辑:08-25
来自合集: 实践

本来躺着美美生图呢,越生图越不满意,气得我爬起来改参数

然后发现了新大陆..

膜拜大佬ing

对不起了zzz,你可能需要离开我的电脑,为了更伟大的事业(

(话说又是好久没登录了..

算了,明天再折腾吧,狗命要紧

mtp,一个预测头,用空间换时间

qat,量化感知,训练的时候就想着要量化


# 做个比较 qwen3.8-27b-q4_k_p

llama-cli 直接运行,默认是cpu推理,这是上下文直接爆了吗..

.

官方标注的1M上下文是扩展后的,原生是262K

而且这里K的基数是1000,按计算机领域应该256K

256*1024=262144

行吧

cpu推理好慢啊,等会试试关推理模式

256K上下文连带自身的模型,内存要35.1G,

不带上下文参数的话,llama-cli 默认是训练时使用的大小也就是,它训练时也没跑满256K?

不想等了,大概26.6.16日吧,比前一个还慢,

.

我设置的32K上下文和默认模式是一个内存占用,关闭思考模式(--reasoning off --reasoning-budget 0

)后回答全英文..

这里说最新日期是24年初,又说原神最新角色是Citlali,

这个是25.1.1的5.3版本角色(我不知道最早曝光时间

好嘛,24,25,26全齐了

.

q4_k_p量化精度,32K上下文(没开那个把上下文挪到内存的参数,也会在显存里挤占),12G的显存可以塞下31层(-ngl 31

不行,gpu推理也慢

不像那个35b-a3b的模型,每次只激活一部分参数,

体感快一丢丢吧,也是个位数token每秒的输出

最新知识这里给的24.6

不对!gpu没跑起来

这种怎么看都不像gpu跑起来的样子吧?就启动的时候顶了一下

稠密型的特点?

应该不是我软件的问题吧?等会还要编译一个新的,到时候再看看

--spec-type draft-mtp 使用内置的mtp后,ngl有效参数从31下降到25

等会,我没指定--spec-draft-model 这个也能生效,其他就不行

还是个位数,就这也快了一点

你别告诉我这勉强的起伏就代表它在运行啊

那我只能说,我还是等下一个a3b的模型吧..


# gemma4

google的模型

31B-Q4_K_M.gguf -ngl 22 -c 32768

也是个位数的token/s,gpu应该也没跑起来吧

这个模型能使用网络搜索功能,但我提供不了..

好吧,指定mtp了也是个位数,没救了,删了吧

.

26B-A4B-QAT-Q4_K_M -ngl 16 -c 32768

内置mtp也用不了

32.2 t/s

我不会一直都是用的cpu推理的吧??

这原来就是我能同时跑语言模型和comfyui的真相吗??

遇到正规军了..llama的参数应该仔细看看的

C:\Users\pc>llama-server \

--model m:\Gemma4\Gemma4-26B-A4B-QAT-Q4_K_M.gguf \

--spec-draft-model M:\Gemma4\mtp-gemma-4-26B-A4B-it.gguf \

好像不一定需要补丁就可以加第三方mtp

--spec-draft-ngl all \

--spec-type draft-mtp \

--spec-draft-n-max 3 \

--spec-draft-p-min 0 \

--ctx-size 32768 \

--parallel 1 \

--batch-size 512 \

--n-gpu-layers 16 \

--host 127.0.0.1 --port 8080

结果是

38.0 t/s

提升了吗?确定不是随机波动?

好像还挺稳定的?


# qwen3.6-35b-a3b-q4_k_m

这个使用不了内置的mtp?

不对,几个模型,内置mtp都使用不了

我是不是理解错了?


等会,我要干啥来着

2
0
看帖是喜欢,评论才是真爱:
0 / 1000
  • 全部评论
  • 只看楼主
排序:最早
0
0
2
扫码下载
米游社App