AI Infra · 大模型推理优化与部署 · MIT 开源

看见大模型推理时
哪些层在真正计算,哪些在冗余。

UniVis 用零侵入 forward hook 在端侧把每层激活压缩为 5 项标量指标(单步 1–2 KB), 产出实时热力图与自包含报告。下面的热力图不是动画素材——是 Qwen2.5-7B 在沐曦曦云 C500 上真实生成的 478 个 token × 28 层遥测回放。

live telemetry · Qwen2.5-7B · MetaX Xiyun C500 (MXMACA) · greedy · per-layer scaled for visibility · data committed in-repo

跨硬件画像一致性
r = 1.0000
验证规模
0.5B → 27B (54×)
单元测试
83 · CI 全绿
PyPI
pip install univis

02 · 跨硬件一致性

同一模型,两种硬件,几乎相同的冗余画像

同模型、同提示词、同解码协议(greedy · bf16 · 50 token),分别在沐曦 C500 与 NVIDIA L20 上诊断。 10 条多样化提示词协议下,Qwen2.5 三个规模的层级冗余画像 Pearson r = 1.0000—— 在一种硬件上得出的冗余结论,可以直接迁移到另一种硬件。跨架构同样成立(TinyLlama-1.1B / Llama 架构,r = 0.9968)。

模型架构r(余弦画像)r(Relative Delta)MAE
Qwen2.5-0.5BQwen21.00001.00000.0008
Qwen2.5-3BQwen21.00001.00000.0007
Qwen2.5-7BQwen21.00001.00000.0005
TinyLlama-1.1BLlama0.99680.99980.0040
0.5B 跨硬件冗余画像对比
Qwen2.5-0.5B · 24 层
3B 跨硬件冗余画像对比
Qwen2.5-3B · 36 层
7B 跨硬件冗余画像对比
Qwen2.5-7B · 28 层

03 · 跨规模实证

中间层冗余最显著——0.5B 到 27B 稳定成立

参数跨度约 54 倍(Qwen2.5-0.5B / 3B / 7B + Qwen3.6-27B hybrid)。层深度归一化后, 四个模型的中间段余弦相似度都明显高于浅层与深层:冗余集中在模型的「腰上」。

跨规模冗余画像:0.5B 到 27B 中间层冗余最显著

04 · MXMACA 适配实录

MXMACA 适配实录:扎根 C500 的验证之路

验证在 Gitee AI(模力方舟)平台的曦云 C500 实例上完成:从零代码修改跑通指标采集, 到跨硬件实证与工具自身的性能修复,每一步都留有可复核的原始数据与环境指纹。

  1. 01

    环境就位

    曦云 C500 实例,官方 MACA 3.x + PyTorch 2.8.0 镜像。环境指纹三件套(mx-smi / torch 版本 / 系统信息)先行留档。

  2. 02

    阶段 A · 通路验证

    Qwen2.5-0.5B 完整生成,零代码修改挂上全部 24 层 hook,384 步指标全量采集,自包含 HTML 报告与 JSONL 落盘。

  3. 03

    阶段 B · 三规模对照

    0.5B / 3B / 7B 与 NVIDIA L20 同协议对照,画像一致性 r ≥ 0.9998。边界实测:7B(bf16 权重 15.3GB)在 16GB 切分实例上完整跑通。

  4. 04

    方法学加固

    L20 间隔两月重跑稳定性验证 r ≥ 0.9985——排除运行噪声,跨硬件差异只能来自数值栈。

  5. 05

    early-exit 首轮:负结果与定位

    朴素逐 token 熵阈值 100% 过早截断。逐 token 熵序列追踪定位根因:格式化 token 形成散布全答案的超低熵簇(<0.05 nats)。

  6. 06

    窗口判据:从负结果到可用功能

    实现 entropy_window(连续 N 步低熵才退出)。24 提示词复测得到单调可控权衡曲线——负结果公开入库,修复成为 v0.6.0 功能。

  7. 07

    工具自身的性能修复

    实测发现 hook 采集在多层数模型上拖慢生成 4–5 倍。重构为设备端张量化 + 每步单次批量回传:+400% → 约 +55%,指标数值逐位不变(MAE = 0.0000)。

  8. 08

    实时演示与版本发布

    Qwen2.5-7B 经 SSH 隧道实时驱动 Dashboard,热力图逐 token 生长——本站 hero 即其截图数据。随后多提示词 r = 1.0000、TinyLlama 跨架构、v0.6.0 发布。

05 · Pilot early-exit

把度量变成行动:质量与算力的可调权衡

当模型连续多步足够自信时提前结束生成。横轴为熵阈值(log 刻度),纵轴为生成的 token 数(% 相对基线)—— 曲线上的每一点都是 C500 上的真实测量(24 条多样化提示词,窗口 = 5)。

悬停查看每个阈值的取舍

06 · 公开的负结果

负结果也是结果:layer-skip 的公开记录

Pilot v1 曾按「高余弦相似度 = 可跳过」的直觉直接跳过中间冗余层。Qwen2.5-7B 实测:

配置perplexity变化
基线(全部层)13.81—
跳过中间「冗余」层105.67+665%

结论:残差架构里余弦相似度饱和 ≠ 这层没用,「看似冗余」的层仍承担必要的细化计算。 完整记录随 commit 1938d60 公开,Pilot 转向基于置信度的 early-exit。 公开纠错是我们可信度的一部分。

07 · 精确支持契约

精确支持契约与验证边界

已实测

  • Qwen2.5-0.5B / 3B / 7B-Instruct(bf16)· C500 + L20 双侧
  • TinyLlama-1.1B(Llama 架构)· 双侧
  • Qwen3.6-27B(hybrid)· L20 单侧
  • torch 2.8.0+metax3.3.0.2 / MACA 3.3.0.15 / transformers 4.57.x
  • 83 项单元测试 · CPU 环境全量运行

边界声明

  • 冗余结论不外推到未测模型
  • 27B 级 C500 整机对照:计划 2026-10
  • Attention / FFN 子层粒度:路线图中期
  • early-exit 质量度量当前为 token 级保留率,任务级正确性评估进行中

FAQ

「无卡可审计」是什么意思?

仓库内提交了每次实验的 JSONL 原始数据与环境指纹;本画廊的报告全部由这些数据渲染,任何人在任何电脑上打开即可复核——不需要租 GPU。

怎么在沐曦卡上复现?

租「曦云 C500 + PyTorch 2.8.0」官方镜像实例,pip install univis(或克隆仓库),注意不要用公版 torch 覆盖镜像里的 +metax 适配版。完整步骤见仓库 docs/mxmaca/phase-a/README.md。

接入我的模型要改多少代码?

两行:tracker = univis.attach(model) 与 model.generate(..., logits_processor=[tracker.logits_processor(tok)])。架构按 config 自动识别。

08 · 真机硬件与生态

扎根国产算力:曦云 C500 上的真机验证

MetaX 曦云 C500

  • 自研 XCORE 架构 GPGPU,面向 AI 训练与推理
  • 64GB HBM2e 高带宽显存(本站证据采集自其 16GB sGPU 切分实例)
  • MXMACA 软件栈:mcPyTorch 即 torch +metax 适配版,高度兼容 CUDA 生态用法
  • FP32 / TF32 / FP16 / BF16 / INT8 精度支持

UniVis 在 C500 上的实测

  • 零代码修改跑通全链路诊断(阶段 A)
  • 0.5B / 3B / 7B 冗余画像与 NVIDIA L20 一致(10 提示词 r = 1.0000)
  • 7B bf16(15.3GB)在 16GB sGPU 切分实例上完整运行
  • 全流程环境指纹与原始数据随仓库公开,无卡可审计

平台与生态

真机验证在 Gitee AI(模力方舟)平台按小时租用的曦云 C500 实例上完成——从下单到出第一份国产卡诊断报告不到两小时,即租即用的国产算力体验流畅可靠。

下一步,我们期待 UniVis 深度参与 MXMACA 生态:把冗余定位结论对接 FlagGems / mcTriton 算子优化(路线图阶段 C),让「先测量、再优化」的流程在国产栈上完整闭环。