## PR 主要改动总结 **核心改动：** 修复了 WebGPU EP（Execution Provider）在退出时的崩溃问题。 **解决的问题：** 当 `WebGpuContextFactory::Cleanup()` 被调用时（OrtEnv 析构或插件卸载时），在释放 WGPU 实例和 WebGpuContext 资源的过程中，可能会访问已卸载的 dxcompiler.dll 中的 DXC 线程 TLS，导致崩溃。 **技术方案：** 1. 显式加载 DXC 相关 DLL 并持有引用，防止其过早卸载 2. 显式实现 `WebGpuContextFactory` 析构函数，确保资源按预期顺序释放 3. 通过控制 DLL 生命周期解决退出时的资源清理竞争条件 **影响：** 提升了 Windows 平台上 WebGPU EP 的稳定性，避免了程序退出时的崩溃风险，特别是在使用 DirectX Shader Compiler 的场景下。
## PR 主要改动总结 **核心功能：** 为 ONNX Runtime 的 WebGPU 后端添加了 TopK 算子支持，新增了约 326 行代码实现该功能。 **解决的问题：** 修复了某些模型（如 Trinity-Nano-Preview）在 WebGPU 上运行时的性能瓶颈。之前由于缺少 TopK 的 GPU 实现，导致频繁的 CPU-GPU 内存拷贝（MemcpyToHost），使得推理速度极慢（仅 8-10 tokens/s）。该模型需要 TopK 来正确选择专家网络。 **技术实现：** 算法直接复用了现有 QMoE 中的 TopK 实现，未来可能通过模板化进一步去重代码。主要实现文件包括 `top_k.cc`（核心逻辑）、`top_k.h`（头文件）以及在执行提供器中注册该算子。 **影响：** 显著提升了使用 TopK 算子的模型在 WebGPU 上的执行效率，避免了不必要的内存传输开销，使更多 ONNX 社区模型能高效运行。
## PR 总结 **主要改动：** 此 PR 将 uint4 和 int4 数据类型重新添加回 ONNX Runtime 的 WebAssembly WebGPU 构建配置中。 **解决的问题：** 恢复了之前被移除的 4 位整数类型支持，确保 WebGPU 构建能够处理使用这些低精度数据类型的模型，这对于量化模型的推理至关重要。 **对 WebGPU 的影响：** 使 WebGPU 后端能够支持 4 位量化模型，这类模型在保持较好精度的同时大幅减少内存占用和提升推理速度，对于在浏览器端运行大型 AI 模型具有重要意义。 **技术要点：** 仅修改了一个配置文件（`reduced_types.config`），通过简单的一行改动即完成了类型支持的恢复，改动轻量且风险可控。
## PR 改动总结 **主要功能：** 为 ONNX Runtime 的 WebGPU 后端添加了 GQA (Grouped Query Attention) 的 softcap 支持。 **解决的问题：** 实现了注意力机制中的 softcap 功能，这是一种限制注意力分数数值范围的技术，通常用于稳定训练和提升模型性能。此次更新完成了 TODO 项，使得相关的 jsonc 测试用例得以启用。 **技术实现：** 主要修改集中在 Flash Attention 相关代码，包括在 WGSL 着色器模板中添加 softcap 计算逻辑，并在 C++ 层面扩展了参数传递和配置接口（如 `FlashAttentionParameters` 和 `FlashAttentionDecodeParams` 结构）。改动涉及注意力核心计算流程，确保 softcap 机制在 GPU 着色器中正确应用。 **影响：** 增强了 WebGPU 后端对现代 Transformer 模型优化技术的支持，提升了模型兼容性和推理质量。
## PR 主要改动总结 **1. 主要功能改动：** 在 OrtFactory 中添加了 CIG（Chromium Interop Graphics）上下文的创建和管理能力，新增了 Init 和 Deinit API，应用程序需在调用任何互操作或 ORT API 之前调用这些初始化接口。 **2. 解决的问题：** 解决了 Web 应用无法直接访问 D3D Command Queue 或 ORT 对象的限制问题。由于 Web 环境只能使用 WebNN 和 WebGPU 暴露的接口，此 PR 将互操作上下文的创建逻辑移到了 ORT EP（Execution Provider）代码层，避免了对底层图形 API 的直接依赖。 **3. 对 WebGPU 支持的影响：** 通过在 Chromium 层或 ORT 代码中创建互操作上下文，为 WebGPU 与其他执行提供器（如 TensorRT）的协同工作提供了性能优化基础，使得 Web 应用能够更好地利用硬件加速能力。 **4. 技术要点：** 主要修改集中在 C API 层（新增 99 行 API 定义）和 NV TensorRT RTX 提供器实现（新增测试代码 479 行），通过插件式 EP 工厂模式实现了跨平台的互操作上下文管理。
## PR 主要改动总结 **核心改动：** 这个 PR 从 WebGPU 执行提供程序（EP）的 `MatMul::ComputeInternal()` 函数中移除了所有处理 `bias`（偏置）相关的逻辑代码。 **解决的问题：** 由于 ONNX 的 `MatMul` 算子本身不支持 `bias` 作为输入参数，因此在实现中处理偏置的逻辑是冗余和不必要的。这次清理移除了 18 行代码，仅添加 3 行，简化了实现。 **对 WebGPU 支持的影响：** 这是一次代码清理优化，不影响功能正确性，反而使 WebGPU 后端的矩阵乘法实现更加精简和符合 ONNX 规范。 **技术要点：** 移除了 `has_bias` 相关的条件判断和处理分支，使代码逻辑更清晰，减少了不必要的复杂度。
## PR 主要改动总结 **核心改动：** 修复了 ONNX Runtime WebGPU 执行提供程序中 Split 算子对动态输出形状的处理错误。 **解决的问题：** - 当 Split 算子的输出形状在运行时动态计算时，C++ 层错误地向 JavaScript 层传递了零值的 splitSizes 数组 - 这导致下游算子（如 Conv）因接收到错误的输入形状（如 [1,0,22]）而失败，报告通道数不匹配错误 **技术要点：** - C++ 侧在 `split.h` 中添加了 `has_dim_value()` 检查，避免在动态形状场景下错误使用 `dim_value()` 的零返回值 - 当检测到动态形状时，跳过传递 splitSizes 参数，让 JavaScript 层在运行时自行计算正确的分割尺寸 - TypeScript 侧（split.ts）增强了运行时形状计算逻辑，能够处理未预定义的分割尺寸情况 **对 WebGPU 的影响：** 显著提升了 WebGPU 后端对动态模型的支持能力，使包含动态 Split 操作的神经网络模型能够正确执行。
## PR 主要改动总结 **1. 核心功能：** 此 PR 为 ONNX Runtime 的 WebGPU 后端中的 `im2col` 核心添加了对任意 `input_channel` 大小的支持，通过引入 `vec1` 类型处理非 4 的倍数的输入通道数。 **2. 性能提升：** 解决了之前仅支持输入通道数为 4 的倍数的限制，使更多模型受益。在 YOLOv8n_pose 模型上，整体性能提升约 7%，对于输入通道数非 4 倍数的 Conv2D 算子性能提升达 50%。 **3. 技术实现：** 修改了 WGSL 着色器模板和 C++ 实现代码，通过动态选择向量化类型（vec1/vec2/vec4）来适配不同的输入通道配置，移除了之前对通道数必须是 4 的倍数的硬性限制。 **4. WebGPU 影响：** 增强了 WebGPU 后端对各种 CNN 模型的兼容性和性能表现，特别是对通道数配置不规则的模型提供了更好的支持。
## PR 主要改动总结 **核心改动：** 该 PR 通过在 `setup.py` 中添加自定义 Distribution 类，为所有 ONNX Runtime 变体包（包括 onnxruntime-webgpu）的 wheel 元数据注入 `Provides-Dist: onnxruntime` 字段，解决了现代 Python 依赖解析器（pip ≥20.3、uv、poetry 等）将变体包与基础包视为无关包而同时安装的问题。 **解决的问题：** 修复了依赖冲突问题 - 当项目同时依赖 `onnxruntime-gpu`（或其他变体）和间接依赖 `onnxruntime` 的包时，之前会错误地同时安装两个包，现在依赖解析器能正确识别变体包已提供基础包功能。 **对 WebGPU 的影响：** onnxruntime-webgpu 包现在会正确声明它提供了 onnxruntime 的功能，避免与基础包或其他变体包产生安装冲突。 **技术要点：** 通过 monkey-patch `setuptools.Distribution.write_pkg_file` 方法，在构建 wheel 时自动注入符合 PEP 566 规范的元数据，仅对非基础包生效，无需修改各变体包的单独配置。
## PR 主要改动总结 ### 核心功能 此 PR 为 ONNX Runtime 添加了**支持偏移量的张量拷贝功能**，允许在源和目标张量之间进行部分数据拷贝，而不仅限于完整张量拷贝。主要在 C API 层面新增了 `CopyTensorWithOffsets` 等方法，并在数据传输框架层进行了相应扩展。 ### 解决的问题 解决了原有张量拷贝机制无法精细控制拷贝范围的限制，新增了指定源/目标偏移量和拷贝大小的能力，使得内存操作更加灵活高效，避免了不必要的全量数据传输。 ### WebGPU 影响 针对 WebGPU Provider 进行了适配性改造，更新了 `buffer_manager` 和 `data_transfer` 模块，使其支持带偏移量的 GPU 缓冲区操作，增强了 WebGPU 后端在处理大型张量时的内存管理效率。 ### 技术要点 涉及 18 个文件的修改（新增 220 行，删除 40 行），核心改动集中在数据传输抽象层（`data_transfer.h/cc`）和 WebGPU 缓冲区管理模块，同时扩展了公开 C API 接口以支持外部调用。