## PR 改动总结 **主要功能:** 为 ONNX Runtime 的 WebGPU 后端添加了 GQA (Grouped Query Attention) 的 softcap 支持。 **解决的问题:** 实现了注意力机制中的 softcap 功能,这是一种限制注意力分数数值范围的技术,通常用于稳定训练和提升模型性能。此次更新完成了 TODO 项,使得相关的 jsonc 测试用例得以启用。 **技术实现:** 主要修改集中在 Flash Attention 相关代码,包括在 WGSL 着色器模板中添加 softcap 计算逻辑,并在 C++ 层面扩展了参数传递和配置接口(如 `FlashAttentionParameters` 和 `FlashAttentionDecodeParams` 结构)。改动涉及注意力核心计算流程,确保 softcap 机制在 GPU 着色器中正确应用。 **影响:** 增强了 WebGPU 后端对现代 Transformer 模型优化技术的支持,提升了模型兼容性和推理质量。
## PR 主要改动总结 **核心改动:** 本 PR 为 ONNX Runtime 的 WebGPU 执行提供程序添加了 Softplus 算子支持。 **解决的问题:** 此功能是为了支持 onnx-community/Falcon-H1-Tiny-90M-Instruct-ONNX 模型的推理需求,该模型需要 Softplus 激活函数。 **技术实现:** 修改涉及两个文件:在 `unary_elementwise_ops.cc` 中实现 Softplus 算子的具体逻辑(作为一元逐元素运算),并在 `webgpu_execution_provider.cc` 中注册该算子,使其能在 WebGPU 后端执行。 **影响:** 增强了 WebGPU 后端的算子覆盖率,使更多模型(特别是 Falcon 系列轻量级指令模型)能够在浏览器端通过 WebGPU 加速运行。
## PR 改动总结 **主要改动:** 将 `MatMulWriteFnSource()` 函数重构为三个更小的独立函数,减少了参数数量并简化了逻辑结构。这是一次代码重构优化,涉及 7 个文件,净增加 20 行代码。 **目的与价值:** 此次重构是为实现矩阵乘法(MatMul)算子的 `Split-K` 优化做准备。通过拆分函数降低了代码复杂度,提高了可维护性,为后续性能优化奠定基础。 **技术要点:** 主要修改集中在 `gemm_utils.cc/h`,将原本职责较重的单一函数拆解为更符合单一职责原则的多个函数。同时更新了所有调用方(matmul、gemm 及 Intel vendor 实现)以适配新的函数签名。 **WebGPU 影响:** 优化了 WebGPU 后端的矩阵运算代码结构,为未来在 WebGPU 上实现高性能的 Split-K 矩阵乘法算法创造了条件,有助于提升浏览器端深度学习推理性能。
## PR 主要改动总结 **1. 主要功能改动:** 在 OrtFactory 中添加了 CIG(Chromium Interop Graphics)上下文的创建和管理能力,新增了 Init 和 Deinit API,应用程序需在调用任何互操作或 ORT API 之前调用这些初始化接口。 **2. 解决的问题:** 解决了 Web 应用无法直接访问 D3D Command Queue 或 ORT 对象的限制问题。由于 Web 环境只能使用 WebNN 和 WebGPU 暴露的接口,此 PR 将互操作上下文的创建逻辑移到了 ORT EP(Execution Provider)代码层,避免了对底层图形 API 的直接依赖。 **3. 对 WebGPU 支持的影响:** 通过在 Chromium 层或 ORT 代码中创建互操作上下文,为 WebGPU 与其他执行提供器(如 TensorRT)的协同工作提供了性能优化基础,使得 Web 应用能够更好地利用硬件加速能力。 **4. 技术要点:** 主要修改集中在 C API 层(新增 99 行 API 定义)和 NV TensorRT RTX 提供器实现(新增测试代码 479 行),通过插件式 EP 工厂模式实现了跨平台的互操作上下文管理。
## PR 主要改动总结 **核心改动:** 这个 PR 从 WebGPU 执行提供程序(EP)的 `MatMul::ComputeInternal()` 函数中移除了所有处理 `bias`(偏置)相关的逻辑代码。 **解决的问题:** 由于 ONNX 的 `MatMul` 算子本身不支持 `bias` 作为输入参数,因此在实现中处理偏置的逻辑是冗余和不必要的。这次清理移除了 18 行代码,仅添加 3 行,简化了实现。 **对 WebGPU 支持的影响:** 这是一次代码清理优化,不影响功能正确性,反而使 WebGPU 后端的矩阵乘法实现更加精简和符合 ONNX 规范。 **技术要点:** 移除了 `has_bias` 相关的条件判断和处理分支,使代码逻辑更清晰,减少了不必要的复杂度。
## PR 主要改动总结 **核心改动:** 修复了 ONNX Runtime WebGPU 执行提供程序中 Split 算子对动态输出形状的处理错误。 **解决的问题:** - 当 Split 算子的输出形状在运行时动态计算时,C++ 层错误地向 JavaScript 层传递了零值的 splitSizes 数组 - 这导致下游算子(如 Conv)因接收到错误的输入形状(如 [1,0,22])而失败,报告通道数不匹配错误 **技术要点:** - C++ 侧在 `split.h` 中添加了 `has_dim_value()` 检查,避免在动态形状场景下错误使用 `dim_value()` 的零返回值 - 当检测到动态形状时,跳过传递 splitSizes 参数,让 JavaScript 层在运行时自行计算正确的分割尺寸 - TypeScript 侧(split.ts)增强了运行时形状计算逻辑,能够处理未预定义的分割尺寸情况 **对 WebGPU 的影响:** 显著提升了 WebGPU 后端对动态模型的支持能力,使包含动态 Split 操作的神经网络模型能够正确执行。
## PR 主要改动总结 **1. 核心功能:** 此 PR 为 ONNX Runtime 的 WebGPU 后端中的 `im2col` 核心添加了对任意 `input_channel` 大小的支持,通过引入 `vec1` 类型处理非 4 的倍数的输入通道数。 **2. 性能提升:** 解决了之前仅支持输入通道数为 4 的倍数的限制,使更多模型受益。在 YOLOv8n_pose 模型上,整体性能提升约 7%,对于输入通道数非 4 倍数的 Conv2D 算子性能提升达 50%。 **3. 技术实现:** 修改了 WGSL 着色器模板和 C++ 实现代码,通过动态选择向量化类型(vec1/vec2/vec4)来适配不同的输入通道配置,移除了之前对通道数必须是 4 的倍数的硬性限制。 **4. WebGPU 影响:** 增强了 WebGPU 后端对各种 CNN 模型的兼容性和性能表现,特别是对通道数配置不规则的模型提供了更好的支持。
## PR 主要改动总结 **核心改动:** 该 PR 通过在 `setup.py` 中添加自定义 Distribution 类,为所有 ONNX Runtime 变体包(包括 onnxruntime-webgpu)的 wheel 元数据注入 `Provides-Dist: onnxruntime` 字段,解决了现代 Python 依赖解析器(pip ≥20.3、uv、poetry 等)将变体包与基础包视为无关包而同时安装的问题。 **解决的问题:** 修复了依赖冲突问题 - 当项目同时依赖 `onnxruntime-gpu`(或其他变体)和间接依赖 `onnxruntime` 的包时,之前会错误地同时安装两个包,现在依赖解析器能正确识别变体包已提供基础包功能。 **对 WebGPU 的影响:** onnxruntime-webgpu 包现在会正确声明它提供了 onnxruntime 的功能,避免与基础包或其他变体包产生安装冲突。 **技术要点:** 通过 monkey-patch `setuptools.Distribution.write_pkg_file` 方法,在构建 wheel 时自动注入符合 PEP 566 规范的元数据,仅对非基础包生效,无需修改各变体包的单独配置。
## PR 主要改动总结 ### 核心功能 此 PR 为 ONNX Runtime 添加了**支持偏移量的张量拷贝功能**,允许在源和目标张量之间进行部分数据拷贝,而不仅限于完整张量拷贝。主要在 C API 层面新增了 `CopyTensorWithOffsets` 等方法,并在数据传输框架层进行了相应扩展。 ### 解决的问题 解决了原有张量拷贝机制无法精细控制拷贝范围的限制,新增了指定源/目标偏移量和拷贝大小的能力,使得内存操作更加灵活高效,避免了不必要的全量数据传输。 ### WebGPU 影响 针对 WebGPU Provider 进行了适配性改造,更新了 `buffer_manager` 和 `data_transfer` 模块,使其支持带偏移量的 GPU 缓冲区操作,增强了 WebGPU 后端在处理大型张量时的内存管理效率。 ### 技术要点 涉及 18 个文件的修改(新增 220 行,删除 40 行),核心改动集中在数据传输抽象层(`data_transfer.h/cc`)和 WebGPU 缓冲区管理模块,同时扩展了公开 C API 接口以支持外部调用。
## PR 主要改动总结 **1. 主要改动** 该 PR 从 GitHub Actions 的 lint 工作流中移除了对 `/js/` 文件夹的代码检查配置,删除了 20 行相关配置代码。 **2. 解决的问题** 由于 `/js/` 文件夹已被 `core/providers/webgpu` 替代,原有的针对 `/js/` 目录的 lint 检查已不再需要,此改动清理了过时的配置。 **3. 对 WebGPU 支持的影响** 这是 WebGPU 代码重构后的清理工作,反映了 WebGPU 实现已迁移到核心 provider 架构中,代码组织更加规范化。 **4. 技术要点** 纯粹的构建配置清理,移除冗余的 CI/CD 流程配置,不涉及功能代码变更。