Download Cola

sybil-solutions/inference-optimisation-skill

在显存限制内调优本地模型服务的吞吐与延迟。

S
sybil-solutions

Developers / Professionals

DevelopmentData analysisCommunityOpen-source license: MIT
sybil-solutions/inference-optimisation-skill preview

Suggested prompts

帮我算一下这台机器跑这个模型,速度的理论上限在哪。
加长上下文之后检索就出错,帮我做一轮长上下文稳定性验证。
对比加上投机解码前后的吞吐量,用一组对照实验说话。

针对在自己机器上跑大模型服务的场景,覆盖单用户与并发解码、投机解码、预填充、KV 缓存容量、启动时间与首字延迟,适配 NVIDIA、AMD、Intel、Apple 以及统一内存笔记本,量化格式从 GGUF 到 MLX 都能用。它强调有证据的调优:先算理论上限,改动逐项对照验证,结果连同失败一起留档,最后用长上下文检索确认稳定,才固化成可复现的配方。