📰 资讯2026年5月10日
Redis之父为DeepSeek V4打造专属推理引擎ds4.c:128GB Mac本地跑284B模型
antirez发布ds4.c,专为DeepSeek V4 Flash打造的Metal推理引擎,128GB Mac上2-bit量化达26 token/s。
来源:36氪 · 查看原文 →
Redis创始人Salvatore Sanfilippo(antirez)发布ds4.c——一个用C+Metal从头编写的推理引擎,专为DeepSeek V4 Flash打造。V4 Flash为效率型号:284B总参数、13B激活参数、100万token上下文。ds4.c采用三项关键技术:非对称量化(MoE专家层2-bit,共享专家/投影层/路由层保留Q8精度)、KV缓存搬至磁盘(匹配token前缀SHA1哈希避免重复prefill)、内置OpenAI和Anthropic双API兼容层。在128GB MacBook Pro M3 Max上,2-bit量化32K上下文短prompt预填充58.52 token/s,生成26.68 token/s;512GB Mac Studio M3 Ultra长prompt预填充达468 token/s。antirez强调2-bit量化在coding agent下表现良好,能可靠调用工具。这一项目引发开发者圈讨论:未来是否会变成一个模型配一个推理框架?去掉抽象层针对精确硬件+模型超优化,可能带来显著性能提升。
发布于 2026年5月10日 · 更新于 2026年5月10日