Adaptive DHiSparse: Speculative Decoding over a Load-Adaptive KV Hierarchy· 自适应DHiSparse：基于负载适应的稀疏KV层次结构的投机解码
Long-context serving runs out of KV memory before the hardware reaches its useful throughput. HiSparse stores history in host memory and fetches only the selected entries, but it uses one cache budget at every load and does not handle draft-model speculative decoding such as DSpark and DFlash2. We present Adaptive DHiSparse, which supports speculative decoding over hierarchical sparse KV and adapts residency to load. It protects the required working set, retains additional history while GPU memory is spare, and recovers the rest through exact fused retrieval. DSpark and DFlash2 keep their proposal and acceptance rules: queries share missing-row retrieval, draft KV uses a window-bounded ring, and verification staging is reused across layer groups. At 100K context and concurrency 128, GLM-5.
自适应DHiSparse通过负载适应的稀疏KV层次结构支持投机解码，提高长上下文服务的效率。
- 核心方法
- Adaptive DHiSparse方法通过支持稀疏KV层次结构上的投机解码，并根据负载动态调整内存驻留策略，来解决KV内存限制问题。该方法在GPU内存充足时保留下额外的历史数据，并通过精确的融合检索恢复其余数据。
- 适合谁读
- 研究者 / 工程师
- 要解决的问题
- 长上下文服务时，KV内存常常在硬件达到有效吞吐量之前就耗尽，现有的HiSparse方法无法处理DSpark和DFlash2等草案模型的投机解码。
- 关键实验
- 在100K上下文和128并发量的情况下，GLM-5模型上的实验显示了Adaptive DHiSparse的有效性，但具体实验结果未提供。
- 主要贡献
- 提出了自适应DHiSparse，能有效管理长上下文服务中的KV内存使用，支持DSpark和DFlash2的投机解码机制，提高了系统的整体效率和性能。
- 意义与局限
- Adaptive DHiSparse对于提升大型语言模型的长上下文处理能力具有重要意义，能更好地利用硬件资源，但在实际应用中的性能表现仍需进一步验证。