RAGO 深度分析报告

一、论文基本信息

二、研究背景与核心动机

2.1 RAG 技术的产业价值

纯大模型架构（LLM-only）的三大固有缺陷：

• 知识时效性缺陷 — 参数固化的训练数据无法实时同步最新知识，全量微调成本极高
• 事实幻觉风险 — 统计关联生成缺乏事实依据，金融/医疗/政务场景存在合规风险
• 知识边界刚性 — 参数规模决定知识上限，扩展参数会指数级推高部署成本

RAG 的三大落地优势：

• 知识更新成本极低 — 仅需增量更新向量索引，无需重新训练
• 事实幻觉风险显著降低 — 生成被限定在可溯源的权威知识范围内
• 部署成本更可控 — 10B 级小模型即可达到 70B 级模型的生成质量

2.2 现有技术的研究缺口

2.3 核心设计原则

三、RAGSchema 标准化负载抽象

业界首个面向服务端性能优化的 RAG 工作负载结构化抽象，解决性能不可比、优化无基准的难题。

四类典型 RAG 范式

1. 超大规模检索 (Hyperscale Retrieval)
2. 长上下文排序 (Long-Context Sequence Processing)
3. 解码中迭代检索 (Iterative Retrievals + Prefix)
4. 带查询重写+重排序的完整流水线

四、实证性能瓶颈分析

五、RAGO 系统化优化框架

业界首个覆盖 RAG 全链路的异构资源优化调度框架，核心是 "混合协同-拆分调度策略"。

5.1 任务放置（Task Placement）

5.2 资源分配（Resource Allocation）

• 计算密集型（前缀、重排、编码）→ 高算力 GPU/TPU
• 内存密集型（解码、向量检索）→ 高带宽内存
• 检索 → 多核 CPU 资源提升并行能力
• 迭代检索场景：解码 ~50% 资源、前缀 ~30%、检索/重排余下

5.3 批处理策略（Batching Policy）

• 延迟敏感（重排、前缀）→ 小批量，优先 TTFT
• 吞吐敏感（解码）→ 大批量，最大化资源利用
• 检索 → 动态调整，与解码严格匹配（关键）

5.4 Pareto 最优搜索机制

1. 性能画像 — 基于 RAGSchema 参数量化各阶段开销、延迟、吞吐上限
2. 策略空间遍历 — 遍历任务放置/资源分配/批处理组合，筛选满足 SLA 的候选
3. 帕累托最优筛选 — 找到吞吐最大化+延迟最小化的最优边界，生成可部署配置

六、实验设计与结果

6.1 实验环境

6.2 核心实验结果

• 8B 级模型 RAG 系统单芯片 QPS 是 70B 级 LLM-only 方案的 1.5 倍
• 迭代检索场景通过批处理对齐消除近 70% 流水线等待延迟
• 将推理开销转移到低成本 CPU，硬件成本较 LLM-only 降低 60%+

6.3 敏感性分析

• 任务放置：对长上下文/迭代检索影响权重最大，优化空间超 40%
• 批处理比例：迭代检索核心因素，比例相差>4倍延迟高 2.77 倍
• 资源分配：检索 CPU 资源 ×2 → 吞吐量提升 ~60%
• 模型组件：查询重写模型规模对 TTFT 影响最大，重排规模可忽略

6.4 与同类优化技术差异

七、研究价值与落地意义

• 成本与体验平衡：降硬件成本同时 TTFT 降低一半以上
• 部署优先级：任务放置 → 资源分配 → 批处理校准
• 无侵入集成：Artifact 可无缝集成 LangChain/LlamaIndex
• "小模型+检索"范式：8B+检索达到 70B 质量，吞吐更高、延迟更低

八、研究局限与后续方向

后续研究方向

1. 场景扩展 — 覆盖 Agentic AI：工具调用、多步骤编排、长时状态管理
2. 算法-系统协同 — 向量检索算法优化 + 系统调度协同设计
3. 调度目标多元化 — 纳入能耗、成本、SLA、网络波动
4. 迭代检索优化 — 异步预取、KV-cache 跨阶段复用、结果缓存
5. 硬件架构定制 — 存算一体、近数据计算等新硬件适配

九、核心结论