workload 与 astra-sim 的适配器求助

[gongxinyue]

论文中提到 astra-sim添加了一个 workload adapter，该适配器可解析由 SimAI-WG 生成的 workload 文件。请问可否开源这一部分工作？或者提供适配思路？

[tianhao909]

【Manual reply】
你看看aicb那个仓？ 看看能不能满足你的需求？

具体workload的讨论也可以参考这些pr 还有aicb里面的tutorial md， 你看看能不能找到，应该就在doc那边，你点过去看看
#244

然后还有aicb也有个小论文 ，你也可以去看看，看看能不能搜到 issue里面好像有过链接 你搜一搜

[tianhao909]

[Reply from Agent A] [For reference only]

分析报告：SimAI Issue #272 — workload 与 astra-sim 的适配器

---

1. 需求背景总结

提问者 gongxinyue 在 Issue #272 中提问：

SimAI 论文中提到 astra-sim 添加了一个 workload adapter，该适配器可以解析由 SimAI-WG（即 AICB）生成的 workload 文件。请问是否可以开源这部分工作，或提供适配思路？

实际情况：该适配器代码已经完整开源，就存放在 astra-sim-alibabacloud/astra-sim/workload/ 目录中。用户很可能不清楚代码在哪个目录，也不清楚 AICB → workload 文件 → astra-sim 解析的完整数据流。

---

2. 涉及文件/模块

适配器核心（astra-sim 侧 — C++）

文件	作用
astra-sim-alibabacloud/astra-sim/workload/Workload.cc	核心适配器：解析 AICB 生成的 .txt workload 文件，提取 header 并逐行构造 Layer 对象
astra-sim-alibabacloud/astra-sim/workload/Workload.hh	接口声明
astra-sim-alibabacloud/astra-sim/workload/Layer.cc	根据 Layer 信息调度 collective 通信（AllReduce/AllGather/ReduceScatter/AlltoAll 等）和计算模拟
astra-sim-alibabacloud/astra-sim/workload/Layer.hh	Layer 数据结构声明
astra-sim-alibabacloud/astra-sim/workload/CSVWriter.cc/.hh	结果输出

Workload 生成器（AICB 侧 — Python）

文件	作用
SimAI_training_workload_generator.py	生成器：将 Megatron/DeepSeek/DeepSpeed 并行训练配置转换为 astra-sim 可读的 .txt workload 文件
megatron_workload_with_aiob.sh	快速生成 workload 的脚本入口

示例 workload 文件

• example/workload_analytical.txt（SimAI 仓库中）

---

3. 根因分析与实现思路

3.1 Workload 文件格式（由 AICB 生成）

# 第一行：Header，记录并行策略参数
HYBRID_TRANSFORMER_FWD_IN_BCKWD model_parallel_NPU_group: <TP_SIZE> ep: <EP_SIZE> pp: <PP_SIZE> vpp: <VPP> ga: <GA> all_gpus: <TOTAL_GPUS> checkpoints: 0 checkpoint_initiates: 0 [pp_comm: <PP_COMM_SIZE>]

# 第二行：Layer 数量
<NUM_LAYERS>

# 后续每行一个 Layer（以 TAB 分隔，共 11 列）：
<layer_name> <dependency> <fp_compute_time> <fp_comm_type> <fp_comm_size> <ig_compute_time> <ig_comm_type> <ig_comm_size> <wg_compute_time> <wg_comm_type> <wg_comm_size>

各字段含义：

• fp_* = forward pass（前向传播）
• ig_* = input gradient（输入梯度，backward）
• wg_* = weight gradient（权重梯度，即 DP 通信）
• comm_type 取值：NONE / ALLREDUCE / ALLGATHER / REDUCESCATTER / ALLTOALL_EP / ALLGATHER_DP_EP / REDUCESCATTER_DP_EP 等

3.2 适配器解析逻辑（Workload.cc）

核心逻辑概述：

Workload::Workload(generator, run_name, workload_file, stat_row):
  1. 打开 workload_file（.txt）
  2. 解析第一行 Header：提取 model_parallel_NPU_group (TP), ep (EP), pp (PP), vpp, ga, all_gpus, pp_commsize
  3. 根据 parallelismPolicy 判断运行模式（目前只支持 HYBRID_TRANSFORMER_FWD_IN_BCKWD）
  4. 读取第二行获取 layer 数量 SIZE
  5. 逐行读取每个 layer，构造 Layer 对象，传入通信类型/大小/计算时间
  6. 调用 call() 驱动仿真主循环（FWD → IG → WG 三阶段）

3.3 完整数据流

AICB (SimAI-WG)
  └─ SimAI_training_workload_generator.py
       └─ 生成 <model>_<config>.txt
            └─ astra-sim-alibabacloud
                 └─ workload/Workload.cc  ← 适配器（已开源）
                      └─ workload/Layer.cc  ← 通信调度执行
                           └─ system/MockNccl*.cc  ← NCCL 算法模拟
                                └─ NS-3 / Analytical 后端

3.4 用户可能混淆的地方

原始 astra-sim（ASTRA-sim 1.0）使用的是不同的 workload 格式（.proto 或简化格式）。SimAI 在 fork 后完全替换了 workload 层，用 Workload.cc 适配 AICB 生成的自定义文本格式，这正是"新增的 workload adapter"。

---

4. 最小修改方案

本质上不需要代码修改，因为适配器代码已完整开源。

唯一建议的改动：改善文档说明，帮助后续用户快速定位：

4.1 在 docs/Tutorial.md 中补充（约 10 行）

在"Workload Generate"章节中，增加一段说明：

> **关于 Workload Adapter：**  
> SimAI 论文中提及的 workload adapter 已随仓库完整开源，位于：
> `astra-sim-alibabacloud/astra-sim/workload/Workload.cc`  
> 该文件负责解析由 AICB 生成的 `.txt` 格式 workload 文件，
> 将其中的 layer 信息（计算时间、通信类型、通信大小）映射为 astra-sim 的内部调度事件。
> Workload 文件格式说明见 [workload_analytical.txt](../example/workload_analytical.txt)。

4.2 在 SimAI 主 README.md 中补充

在 Components 章节或 Architecture 图旁，增加一行标注：

> The workload adapter (parsing AICB-generated workload files) is implemented in  
> `astra-sim-alibabacloud/astra-sim/workload/Workload.cc`.

---

5. 测试前置条件

若要验证 workload adapter 的工作流程，需要：

1. 生成 workload 文件：使用 AICB 工具（CPU 环境即可）

   # 示例：生成 LLaMA-7B workload
   sh ./aicb/scripts/megatron_workload_with_aiob.sh \
     -m 7 --world_size 64 --tensor_model_parallel_size 2 \
     --pipeline_model_parallel 1 --frame Megatron \
     --global_batch 128 --micro_batch 1 --seq_length 2048

2. 编译 SimAI-Analytical（无需 GPU）：

   ./scripts/build.sh -c analytical

3. 运行仿真：

   ./bin/SimAI_analytical \
     -w results/workload/<generated>.txt \
     -g 64 -g_p_s 8 \
     -r test- \
     -busbw example/busbw.yaml

无需额外数据，标准的 AICB workload 文件即可验证。

---

6. README 是否需要修改

需要修改，建议内容如下：

• docs/Tutorial.md：在 "Workload Generate" 小节中，增加对 workload adapter 代码位置的说明，帮助研究者快速定位
• 主 README.md：在 Components 部分，可增加说明 workload 文件格式与 Workload.cc 之间关系的简要说明
• 改动量极小：合计约 5~15 行 Markdown，不涉及任何代码修改

---

---

Issue 回复草稿（中文版）

Hi @gongxinyue，感谢提问！

论文中提到的 **workload adapter** 已完整随仓库开源，无需额外申请。

### 代码位置

适配器实现在以下两个文件中：

- [`astra-sim-alibabacloud/astra-sim/workload/Workload.cc`](https://github.com/aliyun/SimAI/blob/master/astra-sim-alibabacloud/astra-sim/workload/Workload.cc) —— **核心解析逻辑**
- [`astra-sim-alibabacloud/astra-sim/workload/Layer.cc`](https://github.com/aliyun/SimAI/blob/master/astra-sim-alibabacloud/astra-sim/workload/Layer.cc) —— **通信与计算调度执行**

### Workload 文件格式

由 AICB（SimAI-WG）的 `workload_generator/SimAI_training_workload_generator.py` 生成，格式为自定义纯文本：

第一行：Header（并行策略参数）

HYBRID_TRANSFORMER_FWD_IN_BCKWD model_parallel_NPU_group: ep: pp: vpp: ga: all_gpus: ...

第二行：Layer 数量

后续每行：layer_name dependency fp_compute fp_comm_type fp_comm_size ig_compute ig_comm_type ig_comm_size wg_compute wg_comm_type wg_comm_size

可参考 [`example/workload_analytical.txt`](https://github.com/aliyun/SimAI/blob/master/example/workload_analytical.txt) 中的实际样例。

### 完整使用流程

1. 用 AICB 生成 workload 文件（CPU 环境即可）：
   ```bash
   sh ./aicb/scripts/megatron_workload_with_aiob.sh -m 7 --world_size 64 ...

2. 编译 SimAI-Analytical：

   ./scripts/build.sh -c analytical

3. 运行仿真（自动调用 Workload.cc 解析文件）：

   ./bin/SimAI_analytical -w <workload>.txt -g 64 -g_p_s 8 -r test- -busbw example/busbw.yaml

更详细的文档请参考 Tutorial.md。

如有其他问题，欢迎继续讨论！

---

## Issue Reply Draft (English Version)

```markdown
Hi @gongxinyue, thanks for your question!

The **workload adapter** mentioned in the paper is already **fully open-sourced** in this repository — no additional request is needed.

### Code Location

The adapter is implemented in the following files:

- [`astra-sim-alibabacloud/astra-sim/workload/Workload.cc`](https://github.com/aliyun/SimAI/blob/master/astra-sim-alibabacloud/astra-sim/workload/Workload.cc) — **core parsing logic**
- [`astra-sim-alibabacloud/astra-sim/workload/Layer.cc`](https://github.com/aliyun/SimAI/blob/master/astra-sim-alibabacloud/astra-sim/workload/Layer.cc) — **collective communication and compute scheduling**

### Workload File Format

The workload files are generated by AICB (SimAI-WG) via `workload_generator/SimAI_training_workload_generator.py`. The format is a plain-text custom format:

Line 1: Header (parallelism configuration)

HYBRID_TRANSFORMER_FWD_IN_BCKWD model_parallel_NPU_group: ep: pp: vpp: ga: all_gpus: <TOTAL_GPUS> ...

Line 2: Total number of layers

One layer per line (tab-separated):

<layer_name> <fp_compute_time> <fp_comm_type> <fp_comm_size> <ig_compute_time> <ig_comm_type> <ig_comm_size> <wg_compute_time> <wg_comm_type> <wg_comm_size>

See [`example/workload_analytical.txt`](https://github.com/aliyun/SimAI/blob/master/example/workload_analytical.txt) for a concrete example.

### End-to-End Workflow

1. **Generate a workload file** using AICB (CPU-only environment is sufficient):
   ```bash
   sh ./aicb/scripts/megatron_workload_with_aiob.sh -m 7 --world_size 64 \
     --tensor_model_parallel_size 2 --pipeline_model_parallel 1 \
     --frame Megatron --global_batch 128 --micro_batch 1 --seq_length 2048

2. Compile SimAI-Analytical:

   ./scripts/build.sh -c analytical

3. Run simulation (the adapter in Workload.cc is invoked automatically):

   ./bin/SimAI_analytical -w <workload>.txt -g 64 -g_p_s 8 -r test- -busbw example/busbw.yaml

For more details, please refer to Tutorial.md.

Feel free to ask if you have further questions!

---

## 补充说明（缺失信息与假设）

| 项目 | 状态 | 说明 |
|------|------|------|
| 论文中"workload adapter"的确切章节 | 未知 | 未直接阅读 NSDI'25 论文正文，但基于代码可确认适配器已开源 |
| `Workload.hh` 第11列含义（`100` 那列） | 推测 | 从 `example/workload_analytical.txt` 内容看，最后一列可能是 "percentage" 或 legacy 字段，代码中未强制读取 |
| SimAI-WG 是否专指某特定版本的 AICB | 假设为当前 master | 论文可能引用的是早期版本，但现有代码逻辑相同 | 

Created 4 todos

---

## 总结

**核心结论**：Issue #272 的问题答案是——该 workload adapter **已经开源**，就在 SimAI 仓库的 `astra-sim-alibabacloud/astra-sim/workload/Workload.cc` 和 `Layer.cc` 中。

**唯一需要做的改动**（最小可行）：在 `docs/Tutorial.md` 和/或主 `README.md` 中增加几行文档说明，指引用户到 `workload/` 目录，避免其他用户重复提出相同问题。**不需要任何代码改动**。

[tianhao909]

[Reply from Agent B] [For reference only]

cn

背景说明

感谢关注。论文里提到的 “workload adapter” 本质上是 SimAI workload 生成端（AICB / SimAI-WG）与 astra-sim 解析端之间的文件格式适配与字段映射逻辑。
从当前开源代码来看，这部分能力已经体现在仓库中，但没有单独抽成一个显式命名为 adapter 的独立模块。

当前开源代码中对应的位置

如果您想看这部分实现，建议重点关注以下位置：

• AICB 生成 workload

  • workload_generator/SimAI_training_workload_generator.py
  • 这里会把模型层/通信模式导出成 SimAI 可读取的文本 workload 文件

• SimAI / Astra-Sim 解析 workload

  • astra-sim-alibabacloud/astra-sim/workload/Workload.cc
  • 核心入口是 Workload::initialize_workload()，负责解析：
    • 第一行中的并行策略与元信息
    • 后续每一行的 compute / comm / comm_size 等字段
    • 再映射成内部的 Layer 与通信类型

适配思路

当前适配思路可以概括为三步：

1. 生成端统一导出文本格式

   • 第一行：parallelism policy + TP/EP/PP/GA 等元信息
   • 第二行：workload item 数量
   • 后续每行：一个 layer / op 的计算与通信描述

2. 解析端按固定顺序读取

   • forward_* 映射为 forward pass
   • backward_* 映射为 input gradient
   • dp_* 映射为 weight gradient / data parallel communication
   • 通信类型字符串（如 ALLREDUCE、ALLTOALL_EP、REDUCESCATTER_DP_EP）映射到 Astra-Sim 内部枚举

3. 进入 Astra-Sim 执行状态机

   • 解析后构造成 Layer
   • 由 workload runtime 驱动前向、反向和通信事件

是否可以开源

从目前公开仓库看，相关核心逻辑已经在开源代码中，只是没有单独以 “adapter” 名义拆分出来。
如果您的需求是：

• 理解格式如何对接：当前代码已经可以作为参考；
• 自行扩展新的 workload 格式：建议优先复用当前文本格式与 initialize_workload() 的解析逻辑，只做最小增量扩展。

建议的最小适配方式

如果您要自己做兼容，建议尽量保持现有格式不变：

• 第一行保留并行策略和元信息；
• 第二行保留 workload 条目数；
• 每行字段顺序保持与当前 parser 一致；
• 通信类型尽量复用已有字符串集合。

这样改动最小，也最容易复用现有仿真流程。

当前边界说明

需要注意的是，当前不同 workload 的支持边界并不完全相同。
例如从 AICB README 来看，部分 inference workload 当前主要面向 SimAI-Analytical，不一定能直接无修改地用于所有 simulation 场景。
如果您有具体 workload 样例，我们也欢迎继续在 issue 中贴出第一行 header 和几行样例，我们可以进一步帮您确认应如何映射。

en

Background

Thanks for your question. The “workload adapter” mentioned in the paper is essentially the file-format adaptation and field mapping logic between the SimAI workload generator (AICB / SimAI-WG) and the Astra-Sim workload parser.
From the current open-source repositories, this capability is already reflected in the codebase, although it is not exposed as a standalone module explicitly named adapter.

Where it is implemented in the open-source code

If you want to understand the implementation, the main places to check are:

• AICB workload generation

  • workload_generator/SimAI_training_workload_generator.py
  • This is where model/layer communication patterns are exported into the text workload format consumed by SimAI

• SimAI / Astra-Sim workload parsing

  • astra-sim-alibabacloud/astra-sim/workload/Workload.cc
  • The key entry is Workload::initialize_workload(), which parses:
    • the parallelism policy and metadata from the first line,
    • the per-line compute / communication / comm_size fields,
    • and then maps them into internal Layer objects and communication types

Adaptation idea

The current adaptation path can be summarized in three steps:

1. The generator exports a unified text format

   • First line: parallelism policy + metadata such as TP/EP/PP/GA
   • Second line: number of workload items
   • Remaining lines: compute and communication description for each layer / op

2. The parser reads the file in a fixed field order

   • forward_* maps to forward pass fields
   • backward_* maps to input-gradient fields
   • dp_* maps to weight-gradient / data-parallel communication fields
   • communication strings such as ALLREDUCE, ALLTOALL_EP, REDUCESCATTER_DP_EP are mapped to Astra-Sim internal enums

3. The parsed workload enters the Astra-Sim runtime

   • each row becomes a Layer
   • then the workload runtime drives forward, backward, and communication events

About open-sourcing

From the currently public repositories, the core logic is already open-sourced, but it is not separated out under a dedicated “adapter” name.
So if your goal is:

• to understand how the format is connected: the current code should already be a useful reference;
• to extend support for a new workload format: the recommended path is to reuse the existing text format and extend initialize_workload() with minimal changes.

Recommended minimal adaptation approach

If you want to implement compatibility on your side, we recommend keeping the current format as much as possible:

• keep the first line for parallelism policy and metadata;
• keep the second line for workload item count;
• keep the per-line field order aligned with the current parser;
• reuse the existing communication type strings whenever possible.

This is the smallest-change path and works best with the current simulation pipeline.

Current support boundary

One thing to note is that not all workload types have exactly the same support boundary today.
For example, according to the AICB README, some inference workloads are currently mainly intended for SimAI-Analytical, and may not be directly reusable in every simulation path without adjustment.
If you have a concrete workload example, feel free to paste the first-line header and a few sample rows in this issue, and we can help check how it should be mapped.

[tianhao909]

[Reply from Agent C] [For reference only]

Analysis for #272 (CN)

1. 需求背景

• Issue 询问：论文提到 astra-sim 增加了可解析 “SimAI-WG” 所生成 workload 的 workload adapter，希望 开源 或 给适配思路。
• 公开文档中，SimAI 的 workload 多由 AICB 生成；“SimAI-WG” 在缺少论文原文时，合理理解为 SimAI 侧 workload 生成器（AICB）。

2. 涉及文件/模块

• AICB：aliyun/aicb 中 SimAI 用 workload 的生成与说明。
• 解析与执行：SimAI/astra-sim-alibabacloud/astra-sim/workload/ 下的 Workload.cc、Layer.cc 等；initialize_workload 解析 AICB 行文本。
• 网络仿真：aliyun/ns-3-alibabacloud 与主仿真流程集成，不单独承担 txt 解析。
• 对比：astra-sim/astra-sim 主线为 Chakra/.et，与 AICB .txt 不同路。

3. 根因/实现思路

• 论文中的 “adapter” 在实现上对应 astra-sim-alibabacloud 中自定义的文本 workload 管线，非上游默认 Chakra 路径；已随 SimAI 仓库开放。
• 用户若只看上游 astra-sim，会 看不到 对 AICB .txt 的解析，从而误以为 “未开源”。

4. 最小修改方案

• 以 README / Tutorial 小段说明 为主，标明格式、fork 与源文件位置；可选 在 Workload.cc 增加几行说明性注释。
• 不 将完整 .txt→.et 工具作为默认最小交付。

5. 测试前置条件

• 使用仓库自带 example/workload_*.txt；与 AICB 联调时用 当前文档推荐版本 重新生成 workload，关注解析告警。

6. README 建议

• 应更新：用简短一节澄清 AICB txt / astra-sim-alibabacloud / 上游 astra-sim(ET) 三者的关系。

7. 假设与缺失信息

• 假设 “SimAI-WG” 即 AICB workload 侧；未确认用户是否要 在纯上游 astra-sim 上消费 AICB 文件（该路径需额外设计）。

---

Analysis for #272 (EN)

1. Background

• Issue workload 与 astra-sim 的适配器求助 #272 asks whether a workload adapter (described in the paper) that parses SimAI-WG–generated workloads for astra-sim can be open-sourced, or whether design guidance can be shared.
• Public SimAI documentation ties simulation workloads to AICB; “SimAI-WG” is treated here as the SimAI workload generation side (AICB) unless the paper defines it differently.

2. Relevant code locations

• Generation: aliyun/aicb (SimAI workload generation scripts and specs).
• Ingestion / execution path: SimAI/astra-sim-alibabacloud/astra-sim/workload/ (notably Workload.cc, Layer.cc); Workload::initialize_workload parses the line-oriented .txt format.
• Network stack: aliyun/ns-3-alibabacloud integrates with the simulator; parsing of the AICB text workload remains in astra-sim-alibabacloud’s Workload code.
• Contrast: astra-sim/astra-sim’s Workload on the default path consumes Chakra/.et traces via ETFeeder—a different input pipeline from AICB’s .txt.

3. Root cause / technical reading

• The paper’s “workload adapter” maps, in the implementation, to the Alibaba extended Workload/Layer text parser in astra-sim-alibabacloud, not necessarily a separate Adapter class.
• That code is already public inside the SimAI repository. Upstream astra-sim alone does not implement the AICB .txt format, which explains a perceived “missing” adapter when users clone the wrong tree.

4. Minimum viable change (if any)

• Documentation-first (README/Tutorial): one concise section that states (a) AICB produces line .txt workloads for SimAI, (b) they are read by astra-sim-alibabacloud’s Workload implementation, and (c) this differs from upstream astra-sim’s Chakra/ET path.
• Optional short comment in Workload.cc clarifying the above.
• A full .txt→.et converter for vanilla astra-sim is out of scope for a minimal response.

5. Test prerequisites

• Use SimAI’s bundled example/*.txt workloads.
• When validating against AICB, regenerate workloads with a current AICB as documented; watch for format mismatch warnings in the parser.
• Full SimAI-Simulation tests require submodules, topology, and config per README—no special proprietary dataset implied by the issue.

6. README update

• Recommended to avoid repeated confusion: clarify fork vs upstream and point to the exact parser files.

7. Assumptions and gaps

• Assumption: “SimAI-WG” refers to the SimAI workload generator (AICB). If the paper used a different tool, terminology should be verified.
• Open question from the issue author (not specified): do they need (a) to run inside the SimAI stack (already supported) or (b) to feed AICB txt into stock astra-sim (requires conversion/porting, not a tiny patch alone).