ONNX Runtime WebGPU PR Monitor

Last Updated: 02/25/2026, 07:07 PM | Total: 127 PRs

Showing 1-10 of 18 PRs
Page 1 of 2
👤 guschmue📅 Created: 02/25/2026
🤖 AI 摘要

## PR 主要改动总结 **核心改动:** 本 PR 为 ONNX Runtime 的 WebGPU 执行提供程序添加了 Softplus 算子支持。 **解决的问题:** 此功能是为了支持 onnx-community/Falcon-H1-Tiny-90M-Instruct-ONNX 模型的推理需求,该模型需要 Softplus 激活函数。 **技术实现:** 修改涉及两个文件:在 `unary_elementwise_ops.cc` 中实现 Softplus 算子的具体逻辑(作为一元逐元素运算),并在 `webgpu_execution_provider.cc` 中注册该算子,使其能在 WebGPU 后端执行。 **影响:** 增强了 WebGPU 后端的算子覆盖率,使更多模型(特别是 Falcon 系列轻量级指令模型)能够在浏览器端通过 WebGPU 加速运行。

📁 Changed Files (2 files, 8 changes: +8/-0)
onnxruntime/core/providers/webgpu/math/unary_elementwise_ops.cc
onnxruntime/core/providers/webgpu/webgpu_execution_provider.cc
ep:WebGPU
👤 qjia7📅 Created: 02/25/2026
🤖 AI 摘要

## PR 主要改动总结 **核心改动:** 此 PR 重构了 `GraphCacheManager` 类的缓冲区管理逻辑,移除了待处理缓冲区队列(pending_buffers),简化了缓冲区的处理流程并确保存储桶正确初始化。 **解决的问题:** 优化了 WebGPU 缓冲区的生命周期管理,使缓冲区可以立即复用而无需等待 `OnRefresh()` 调用,减少了内存开销和代码复杂度。代码从 24 行精简到 11 行,删除了 13 行冗余逻辑。 **技术影响:** 提升了 ONNX Runtime WebGPU 后端的内存管理效率,通过移除中间缓冲队列实现了更直接的缓冲区回收机制,减少了内存占用峰值和等待延迟。 **关键优化点:** 将原本的异步缓冲区回收改为同步即时复用,消除了不必要的状态管理开销。

📁 Changed Files (1 files, 35 changes: +11/-24)
onnxruntime/core/providers/webgpu/buffer_manager.cc
👤 Jiawei-Shao📅 Created: 02/25/2026
🤖 AI 摘要

## PR 改动总结 **主要改动:** 将 `MatMulWriteFnSource()` 函数重构为三个更小的独立函数,减少了参数数量并简化了逻辑结构。这是一次代码重构优化,涉及 7 个文件,净增加 20 行代码。 **目的与价值:** 此次重构是为实现矩阵乘法(MatMul)算子的 `Split-K` 优化做准备。通过拆分函数降低了代码复杂度,提高了可维护性,为后续性能优化奠定基础。 **技术要点:** 主要修改集中在 `gemm_utils.cc/h`,将原本职责较重的单一函数拆解为更符合单一职责原则的多个函数。同时更新了所有调用方(matmul、gemm 及 Intel vendor 实现)以适配新的函数签名。 **WebGPU 影响:** 优化了 WebGPU 后端的矩阵运算代码结构,为未来在 WebGPU 上实现高性能的 Split-K 矩阵乘法算法创造了条件,有助于提升浏览器端深度学习推理性能。

📁 Changed Files (7 files, 142 changes: +81/-61)
onnxruntime/core/providers/webgpu/math/gemm_packed.cc
onnxruntime/core/providers/webgpu/math/gemm_utils.cc
onnxruntime/core/providers/webgpu/math/gemm_utils.h
onnxruntime/core/providers/webgpu/math/matmul.cc
onnxruntime/core/providers/webgpu/math/matmul_packed.cc
onnxruntime/core/providers/webgpu/vendor/intel/math/gemm.cc
onnxruntime/core/providers/webgpu/vendor/intel/math/matmul.cc
👤 fs-eire📅 Created: 02/18/2026
🤖 AI 摘要

## PR 主要改动总结 **1. 主要功能改动:** 此 PR 通过优化编译配置来减小 ONNX Runtime WebGPU 构建的 WASM 二进制文件体积。主要通过排除不常用的数据类型(uint16/int16、float8、float4、float64、稀疏张量、字符串)以及禁用机器学习算子(ml_ops)和生成类算子(generation_ops)来实现。 **2. 解决的问题:** 针对 ORT-web(ONNX Runtime Web)的二进制体积过大问题,通过精简不必要的特性来优化加载性能和带宽占用,使 WebGPU 版本更适合在浏览器环境中部署。 **3. 对 WebGPU 支持的影响:** 新增了专门的类型配置文件(reduced_types.config),并在 WebGPU 相关的构建脚本(build_webgpu.bat/sh、build_jsep.bat)和 CI 流程中集成这些优化标志,不影响核心 WebGPU 功能,但使构建产物更轻量化。 **4. 技术要点:** 通过编译时特性裁剪(feature pruning)而非运行时检测来减小体积,涉及构建系统的多个层面(本地构建脚本和 CI/CD 流水线),采用配置文件驱动的方式便于后续维护和调整。

📁 Changed Files (6 files, 72 changes: +65/-7)
.github/workflows/linux-wasm-ci-build-and-test-workflow.yml
js/build_jsep.bat
js/build_webgpu.bat
js/build_webgpu.sh
onnxruntime/wasm/reduced_types.config
tools/ci_build/github/azure-pipelines/templates/linux-wasm-ci.yml
👤 praneshgo📅 Created: 02/06/2026
🤖 AI 摘要

## PR 主要改动总结 **1. 主要功能改动:** 在 OrtFactory 中添加了 CIG(Chromium Interop Graphics)上下文的创建和管理能力,新增了 Init 和 Deinit API,应用程序需在调用任何互操作或 ORT API 之前调用这些初始化接口。 **2. 解决的问题:** 解决了 Web 应用无法直接访问 D3D Command Queue 或 ORT 对象的限制问题。由于 Web 环境只能使用 WebNN 和 WebGPU 暴露的接口,此 PR 将互操作上下文的创建逻辑移到了 ORT EP(Execution Provider)代码层,避免了对底层图形 API 的直接依赖。 **3. 对 WebGPU 支持的影响:** 通过在 Chromium 层或 ORT 代码中创建互操作上下文,为 WebGPU 与其他执行提供器(如 TensorRT)的协同工作提供了性能优化基础,使得 Web 应用能够更好地利用硬件加速能力。 **4. 技术要点:** 主要修改集中在 C API 层(新增 99 行 API 定义)和 NV TensorRT RTX 提供器实现(新增测试代码 479 行),通过插件式 EP 工厂模式实现了跨平台的互操作上下文管理。

📁 Changed Files (15 files, 957 changes: +955/-2)
cmake/CMakeLists.txt
include/onnxruntime/core/session/onnxruntime_c_api.h
include/onnxruntime/core/session/onnxruntime_ep_c_api.h
onnxruntime/core/providers/nv_tensorrt_rtx/nv_provider_factory.cc
onnxruntime/core/session/interop_api.cc
onnxruntime/core/session/interop_api.h
onnxruntime/core/session/ort_apis.h
onnxruntime/core/session/plugin_ep/ep_factory_internal.cc
onnxruntime/core/session/plugin_ep/ep_factory_internal.h
onnxruntime/core/session/plugin_ep/ep_factory_internal_impl.h
onnxruntime/core/session/plugin_ep/ep_factory_provider_bridge.h
onnxruntime/core/session/plugin_ep/forward_to_factory_impl.h
onnxruntime/test/providers/nv_tensorrt_rtx/nv_basic_ort_interop_test.cc
tools/ci_build/build.py
tools/ci_build/build_args.py
👤 Jiawei-Shao📅 Created: 01/30/2026
🤖 AI 摘要

## PR 主要改动总结 **核心改动:** 这个 PR 从 WebGPU 执行提供程序(EP)的 `MatMul::ComputeInternal()` 函数中移除了所有处理 `bias`(偏置)相关的逻辑代码。 **解决的问题:** 由于 ONNX 的 `MatMul` 算子本身不支持 `bias` 作为输入参数,因此在实现中处理偏置的逻辑是冗余和不必要的。这次清理移除了 18 行代码,仅添加 3 行,简化了实现。 **对 WebGPU 支持的影响:** 这是一次代码清理优化,不影响功能正确性,反而使 WebGPU 后端的矩阵乘法实现更加精简和符合 ONNX 规范。 **技术要点:** 移除了 `has_bias` 相关的条件判断和处理分支,使代码逻辑更清晰,减少了不必要的复杂度。

📁 Changed Files (1 files, 21 changes: +3/-18)
onnxruntime/core/providers/webgpu/math/matmul.cc
👤 jarrelscy📅 Created: 01/16/2026
🤖 AI 摘要

## PR 主要改动总结 **核心改动:** 修复了 ONNX Runtime WebGPU 执行提供程序中 Split 算子对动态输出形状的处理错误。 **解决的问题:** - 当 Split 算子的输出形状在运行时动态计算时,C++ 层错误地向 JavaScript 层传递了零值的 splitSizes 数组 - 这导致下游算子(如 Conv)因接收到错误的输入形状(如 [1,0,22])而失败,报告通道数不匹配错误 **技术要点:** - C++ 侧在 `split.h` 中添加了 `has_dim_value()` 检查,避免在动态形状场景下错误使用 `dim_value()` 的零返回值 - 当检测到动态形状时,跳过传递 splitSizes 参数,让 JavaScript 层在运行时自行计算正确的分割尺寸 - TypeScript 侧(split.ts)增强了运行时形状计算逻辑,能够处理未预定义的分割尺寸情况 **对 WebGPU 的影响:** 显著提升了 WebGPU 后端对动态模型的支持能力,使包含动态 Split 操作的神经网络模型能够正确执行。

📁 Changed Files (3 files, 149 changes: +131/-18)
js/web/lib/wasm/jsep/webgpu/ops/split.ts
js/web/test/data/ops/split.jsonc
onnxruntime/core/providers/js/operators/split.h
ep:WebGPU
👤 wenqinI📅 Created: 01/16/2026
🤖 AI 摘要

## PR 主要改动总结 **1. 核心功能:** 此 PR 为 ONNX Runtime 的 WebGPU 后端中的 `im2col` 核心添加了对任意 `input_channel` 大小的支持,通过引入 `vec1` 类型处理非 4 的倍数的输入通道数。 **2. 性能提升:** 解决了之前仅支持输入通道数为 4 的倍数的限制,使更多模型受益。在 YOLOv8n_pose 模型上,整体性能提升约 7%,对于输入通道数非 4 倍数的 Conv2D 算子性能提升达 50%。 **3. 技术实现:** 修改了 WGSL 着色器模板和 C++ 实现代码,通过动态选择向量化类型(vec1/vec2/vec4)来适配不同的输入通道配置,移除了之前对通道数必须是 4 的倍数的硬性限制。 **4. WebGPU 影响:** 增强了 WebGPU 后端对各种 CNN 模型的兼容性和性能表现,特别是对通道数配置不规则的模型提供了更好的支持。

📁 Changed Files (3 files, 59 changes: +38/-21)
onnxruntime/core/providers/webgpu/nn/im2col_matmul.cc
onnxruntime/core/providers/webgpu/nn/im2col_matmul.h
onnxruntime/core/providers/webgpu/nn/im2col_matmul.wgsl.template
👤 Copilot📅 Created: 01/16/2026
🤖 AI 摘要

## PR 主要改动总结 **核心改动:** 该 PR 通过在 `setup.py` 中添加自定义 Distribution 类,为所有 ONNX Runtime 变体包(包括 onnxruntime-webgpu)的 wheel 元数据注入 `Provides-Dist: onnxruntime` 字段,解决了现代 Python 依赖解析器(pip ≥20.3、uv、poetry 等)将变体包与基础包视为无关包而同时安装的问题。 **解决的问题:** 修复了依赖冲突问题 - 当项目同时依赖 `onnxruntime-gpu`(或其他变体)和间接依赖 `onnxruntime` 的包时,之前会错误地同时安装两个包,现在依赖解析器能正确识别变体包已提供基础包功能。 **对 WebGPU 的影响:** onnxruntime-webgpu 包现在会正确声明它提供了 onnxruntime 的功能,避免与基础包或其他变体包产生安装冲突。 **技术要点:** 通过 monkey-patch `setuptools.Distribution.write_pkg_file` 方法,在构建 wheel 时自动注入符合 PEP 566 规范的元数据,仅对非基础包生效,无需修改各变体包的单独配置。

📁 Changed Files (1 files, 67 changes: +67/-0)
setup.py
👤 qjia7📅 Created: 01/14/2026
🤖 AI 摘要

## PR 主要改动总结 ### 核心功能 此 PR 为 ONNX Runtime 添加了**支持偏移量的张量拷贝功能**,允许在源和目标张量之间进行部分数据拷贝,而不仅限于完整张量拷贝。主要在 C API 层面新增了 `CopyTensorWithOffsets` 等方法,并在数据传输框架层进行了相应扩展。 ### 解决的问题 解决了原有张量拷贝机制无法精细控制拷贝范围的限制,新增了指定源/目标偏移量和拷贝大小的能力,使得内存操作更加灵活高效,避免了不必要的全量数据传输。 ### WebGPU 影响 针对 WebGPU Provider 进行了适配性改造,更新了 `buffer_manager` 和 `data_transfer` 模块,使其支持带偏移量的 GPU 缓冲区操作,增强了 WebGPU 后端在处理大型张量时的内存管理效率。 ### 技术要点 涉及 18 个文件的修改(新增 220 行,删除 40 行),核心改动集中在数据传输抽象层(`data_transfer.h/cc`)和 WebGPU 缓冲区管理模块,同时扩展了公开 C API 接口以支持外部调用。

📁 Changed Files (18 files, 260 changes: +220/-40)
include/onnxruntime/core/session/onnxruntime_c_api.h
include/onnxruntime/core/session/onnxruntime_ep_c_api.h
onnxruntime/core/framework/data_transfer.cc
onnxruntime/core/framework/data_transfer.h
onnxruntime/core/framework/plugin_data_transfer.cc
onnxruntime/core/providers/webgpu/buffer_manager.cc
onnxruntime/core/providers/webgpu/buffer_manager.h
onnxruntime/core/providers/webgpu/data_transfer.cc
onnxruntime/core/providers/webgpu/data_transfer.h
onnxruntime/core/providers/webgpu/webgpu_provider_factory.cc
onnxruntime/core/session/onnxruntime_c_api.cc
onnxruntime/core/session/ort_apis.h
onnxruntime/test/autoep/library/example_plugin_ep/ep_data_transfer.cc
onnxruntime/test/autoep/library/example_plugin_ep/ep_data_transfer.h
onnxruntime/test/autoep/library/example_plugin_ep_kernel_registry/ep_data_transfer.cc
onnxruntime/test/autoep/library/example_plugin_ep_kernel_registry/ep_data_transfer.h
onnxruntime/test/autoep/library/example_plugin_ep_kernel_registry/kernels/utils.h
onnxruntime/test/shared_lib/test_data_copy.cc