本来躺着美美生图呢,越生图越不满意,气得我爬起来改参数
然后发现了新大陆..
膜拜大佬ing
对不起了zzz,你可能需要离开我的电脑,为了更伟大的事业(
(话说又是好久没登录了..
算了,明天再折腾吧,狗命要紧
mtp,一个预测头,用空间换时间
qat,量化感知,训练的时候就想着要量化
# 做个比较 qwen3.8-27b-q4_k_p
llama-cli 直接运行,默认是cpu推理,这是上下文直接爆了吗..
.
官方标注的1M上下文是扩展后的,原生是262K
而且这里K的基数是1000,按计算机领域应该256K
256*1024=262144
行吧
cpu推理好慢啊,等会试试关推理模式
256K上下文连带自身的模型,内存要35.1G,
不带上下文参数的话,llama-cli 默认是训练时使用的大小也就是,它训练时也没跑满256K?
不想等了,大概26.6.16日吧,比前一个还慢,
.
我设置的32K上下文和默认模式是一个内存占用,关闭思考模式(--reasoning off --reasoning-budget 0
)后回答全英文..
这里说最新日期是24年初,又说原神最新角色是Citlali,
这个是25.1.1的5.3版本角色(我不知道最早曝光时间
好嘛,24,25,26全齐了
.
q4_k_p量化精度,32K上下文(没开那个把上下文挪到内存的参数,也会在显存里挤占),12G的显存可以塞下31层(-ngl 31
不行,gpu推理也慢
不像那个35b-a3b的模型,每次只激活一部分参数,
体感快一丢丢吧,也是个位数token每秒的输出
最新知识这里给的24.6
不对!gpu没跑起来
这种怎么看都不像gpu跑起来的样子吧?就启动的时候顶了一下
稠密型的特点?
应该不是我软件的问题吧?等会还要编译一个新的,到时候再看看
--spec-type draft-mtp 使用内置的mtp后,ngl有效参数从31下降到25
等会,我没指定--spec-draft-model 这个也能生效,其他就不行
还是个位数,就这也快了一点
你别告诉我这勉强的起伏就代表它在运行啊
那我只能说,我还是等下一个a3b的模型吧..
# gemma4
google的模型
31B-Q4_K_M.gguf -ngl 22 -c 32768
也是个位数的token/s,gpu应该也没跑起来吧
这个模型能使用网络搜索功能,但我提供不了..
好吧,指定mtp了也是个位数,没救了,删了吧
.
26B-A4B-QAT-Q4_K_M -ngl 16 -c 32768
内置mtp也用不了
32.2 t/s
我不会一直都是用的cpu推理的吧??
这原来就是我能同时跑语言模型和comfyui的真相吗??
遇到正规军了..llama的参数应该仔细看看的
C:\Users\pc>llama-server \
--model m:\Gemma4\Gemma4-26B-A4B-QAT-Q4_K_M.gguf \
--spec-draft-model M:\Gemma4\mtp-gemma-4-26B-A4B-it.gguf \
好像不一定需要补丁就可以加第三方mtp
--spec-draft-ngl all \
--spec-type draft-mtp \
--spec-draft-n-max 3 \
--spec-draft-p-min 0 \
--ctx-size 32768 \
--parallel 1 \
--batch-size 512 \
--n-gpu-layers 16 \
--host 127.0.0.1 --port 8080
结果是
38.0 t/s
提升了吗?确定不是随机波动?
好像还挺稳定的?
# qwen3.6-35b-a3b-q4_k_m
这个使用不了内置的mtp?
不对,几个模型,内置mtp都使用不了
我是不是理解错了?
等会,我要干啥来着

