信通院上线首个智算运维智能体评测基准，涵盖五种主流国产芯片

盛世视界网讯，就相关话题整理如下。

6月29日，在2026“众智”大模型开放智算生态协同高级别研讨会期间，中国信通院副院长魏亮官宣上线AISHPerf人工智能软硬件基准体系3.0版本，该版本包含两大核心评测基准，分别为智算运维智能体评测基准和算子生成智能体评测基准。前者是首个面向 AI Infra 的运维智能体评测基准，依托百亿级真实运维数据构建，核心考核智算运维智能体在真实生产场景中化解实际问题的落地本领。

后者则跳出 “模型能否生成可运行 GPU 算子” 的基础维度，将评测重心锚定在 “模型生成的算子能否在真实量化推理部署中替代现有算子” 的工程可部署性上，更贴合产业实际落地需求。二者从底层算力优化到上层集群运维，共同为智算产业的标准化升级与高质量发展提供了统一的本领参照框架。AISHPerf（Performance Benchmarks of Artificial Intelligence Software and Hardware）是中国信通院与人工智能大模型及软硬件评测工业和信息化部重点实验室，依托人工智能软硬件协同创新与适配验证中心（位于国家信创园）联合构建的人工智能软硬件基准体系，旨在设置多维度指标，考察端到端方案对模型及应用场景的真实承载本领，系统评估软硬件各层级间的协同优化层次、兼容适配本领及整体交付效能。

在此次公布的两项基准中，AISHPerf-智算运维智能体评测基准尤为引人注目，它不仅标志着我国在智算集群运维智能体领域拥有了首个权威评测体系，更率先将国产芯片集群运维场景纳入评测体系、填补了国产智算运维智能体评测领域的空白，为构建自主自治的新一代“Token工厂”提供了运维领域的工艺方向与标准指引。构建新标准：基于近百亿条真实运维数据构造，从“纸上谈兵”到“实战考核” 随着AI发展从“堆算力、拼体量”迈入以“Token效能”为核心的新阶段，算力与电力投入已成为AI基础设施的“基础常量”，高效率、高质量的运维本领，则是决定Token产出与生产力转化的“核心变量”。

依托智能运维提高算力利用效率、压降运营成本，已是 AI 产业发展的必然方向。而当前业内对运维智能体的评估多停留在语言问答本领层面的“纸上谈兵”，往往更像是笔试，侧重考察知识记忆与标准答案复述，而缺乏围绕真实运维场景的“实战考核”，无法反映智能体“能否化解实际问题”。AISHPerf-智算运维智能体评测基准正是一套锚定真实生产场景的实操型评测体系。

它以无问芯穹沉淀的近百亿条真实运维数据为底座，经资深运维专家脱敏并精细标注和严格筛选，最终抽象提炼出103 条高保真、高质量的典型评测用例；同时打通从底层硬件故障到用户侧软件Bug 的全链路问题，构建起覆盖5大工艺栈、44种问题现象、22个细分故障领域、3种难度层级、6种国内外芯片（其中5种为国产芯片）的立体化科学评测体系。

评测流程中不明确指出故障根因，只提供真实的集群环境和有限的问题现象描述，要求智能体完成自主探索、自主排查和自主修复。最终输出时延、Token消耗、工具调用效率等关键维度的量化成效，全面客观地评估运维智能体在真实生产环境中端到端化解问题的本领。促进新发展：五种国产芯片覆盖，为国产算力集群从“能用”迈向“好用”提供标准基础 作为我国智算产业自主可控的核心底座，国产芯片近年来完成了从 “跟跑” 到部分领域 “并跑” 的关键跨越，已成为全国算力基础设施体系的核心组成部分。

据 IDC 统计，2025 年中国需求端 AI 加速卡国产化率已突破四成，国产 GPU 集群体量进入快速扩容期。但相较于成熟的通用 GPU 生态，国产芯片在硬件架构、驱动体系、通信协议及框架适配等层面存在突出工艺差异，运维繁杂度与难度更大，直接制约国产算力的Token 产出效率与投产效益，成为国产算力从“体量落地” 向 “效能释放” 进阶的核心瓶颈。

智算运维智能体评测基准在设计阶段就充分考虑了国产化生态的需求，首次将“天数、壁仞、沐曦、摩尔、昇腾”等五种国产芯片的集群运维纳入评测范畴，围绕硬件故障、驱动适配、框架兼容和通信协议等典型问题进行测试，从而为国产智算运维智能体提供了统一且量化的评估标准，为我国智算运维领域建立了新的标准基准。今后，中国信通院将持续从标准研制、测试验证、生态培育等层面促进基准产业应用，结合无问芯穹海量真实运维数据积累与智算运维工艺实战本领，不断丰富国产芯片相关评测用例，构建更加体系化、全栈化的国产智算运维评测体系，一层面精准定位国产芯片集群运维的共性痛点与工程难点，牵引产业链上下游协同攻关、补短板强弱项；另一层面以标准化评测驱动运维智能化本领升级，促进国产算力集群真正完成从 “能用” 到 “好用、高效、稳产” 的质变，为我国智算产业自主可控与高质量发展筑牢底层标准支撑。

锚定新趋势：指引AI基础设施向自主自治的“Token工厂”升级 运维智能体的深度应用，正在促进 AI 基础设施自身向“智能体”形态升级。今后的 AI 基础设施，将是能够自我感知、自我修复、自我迭代的自主自治系统。内置的运维智能体将以“管理者”的角色，按照训练与推理需求自动调度资源、优化系统，完成算法与基础设施的深度协同。

去年以来，无问芯穹已在推理训练业务中率先部署运维智能体，使工单平均应对时间缩短 50%，关键故障应对效率提高约 6 倍，使综合运维成本下降了约 30%，在算力和电能不变的前提下，完成了 Token 产能的突出提高。AISHPerf-智算运维智能体评测基准将为 AI 基础设施向更高阶的“自主自治”范式演进奠定标准基础。借助统一的评测体系，为构建高效、稳定、自主的智能运维体系提供指导，加速运维智能体在 AI 基础设施中的体量化应用，完成 Token 产能的降本增效，让每一度电、每一张 GPU 卡都能产出更多更高价值的 Token，助力打造持续输出高质量、大体量、高效率AI生产力的“Token工厂”。

今后，中国信通院与无问芯穹、清华大学将深化产学研协同，迭代优化AISHPerf-智算运维智能体评测基准，不断扩充场景覆盖维度、丰富数据集体量、提高评测成效的可靠性与权威性，促进其成为业界公认的 AI 集群运维智能体本领评估公共基线，牵引全业界优质运维智能体的工艺迭代与体量化落地。在此期间，双方也将持续拓展 AI Infra全领域核心评测基准布局，构建起全栈的标准矩阵，为打造高效、绿色、自治的新一代 AI 基础设施筑牢标准底座，助力我国智算产业稳步迈向高质量发展新阶段。

开源地址：https://gitee.com/aishperf-caict/aishperf_openness 配套故障模拟器：https://gitee.com/aishperf-caict/aishperf_openness/tree/main/entities/aiops-chaos 运维数据集：https://gitee.com/aishperf-caict/aishperf_openness/blob/main/entities/datasets/aiops-eval-prompts.jsonl 更多评测框架信息请访问：https://gitee.com/aishperf-caict/aishperf_openness/tree/main/suites/aiops-eval

更多精彩内容，敬请关注盛世视界网。