Open Neural Network Exchangeのソースを表示

{{Infobox Software
| 名称 = Open Neural Network Exchange (ONNX)
| ロゴ = ONNX logo main.png
| 開発者 = 
| 開発元 = [[Facebook]], [[Microsoft]]
| 初版 = {{Start date and age|2017|9|7}}
| 最新版 = v1.17.0
| 最新版発表日 = {{Start date and age|2024|10|2}}<ref>{{cite web |url=https://github.com/onnx/onnx/releases |title=Releases · onnx/onnx |newspaper=Https: |date=  |author= |accessdate= January 20, 2025}}</ref><!-- 最新版（安定版）の発表日。{{Start date and age|年|月|日}} 等のテンプレートが便利 -->
| 最新評価版 = 
| 最新評価版発表日 = <!-- 最新評価版の発表日。{{Start date and age|年|月|日}} 等のテンプレートが便利 -->
| リポジトリ = {{github|onnx/onnx}}
| プログラミング言語 = 
| 対応OS = 
| 対応プラットフォーム = 
| 種別 = [[人工知能]] [[機械学習]]
| ライセンス = [[Apache License 2.0]]
| 公式サイト = {{url|https://onnx.ai/}}
| 現在 = 
}}
{{Infobox Software
| 名称 = ONNX Runtime
| ロゴ = <!-- ロゴ画像。[[ファイル:example.png|50px]]のようにウィキ構文で指定する -->
| スクリーンショット = <!-- スクリーンショット。[[ファイル:example.png|100px]]のようにウィキ構文で指定する -->
| 説明文 = <!-- スクリーンショットの説明文 -->
| 開発者 = <!-- 人物の名前 -->
| 開発元 = Microsoft<!-- 組織の名前 -->
| 初版 = {{Start date and age|2018|11|30}}<!-- 初版の発表日。{{Start date and age|年|月|日}} 等のテンプレートが便利 -->
| 最新版 = v1.20.1
| 最新版発表日 = {{Start date and age|2024|11|22}}<ref>{{cite web |url=https://github.com/microsoft/onnxruntime/releases |title=Releases · microsoft/onnxruntime |newspaper=Https: |date=  |author= |accessdate= January 20, 2025}}</ref><!-- 最新版（安定版）の発表日。{{Start date and age|年|月|日}} 等のテンプレートが便利 -->
| 最新評価版 = 
| 最新評価版発表日 = <!-- 最新評価版の発表日。{{Start date and age|年|月|日}} 等のテンプレートが便利 -->
| リポジトリ = {{github|microsoft/onnxruntime}}<!-- リポジトリのURL -->
| プログラミング言語 = [[Python]], [[C++]], [[C#]], [[C言語]], [[Java]], [[JavaScript]], [[Objective-C]], [[WinRT]]
| 対応OS = Windows, Linux, macOS, Android, iOS, ウェブブラウザ
| エンジン = <!-- ソフトが使用しているエンジン。ウェブブラウザにおけるレンタリングエンジン（Gecko、WebKit）など -->
| 対応プラットフォーム = 多数（本記事参照）<!-- CPUアーキテクチャなど -->
| サイズ = <!-- バイナリのサイズ -->
| 対応言語 = 
| サポート状況 = 
| 種別 = 
| ライセンス = [[MIT License]]
| 公式サイト = {{url|https://onnxruntime.ai/}}
| 前身 = <!-- 前身となったソフトウェアの名称 -->
| 後継 = <!-- 後継ソフトウェアの名称 -->
| 業種 = <!-- Industry -->
| 会員登録 = <!-- Registration -->
}}
'''Open Neural Network Exchange'''（略称：'''ONNX'''）とは、[[オープンソースソフトウェア|オープンソース]]で開発されている[[機械学習]]や[[人工知能]]のモデルを表現する為の代表的なフォーマットである<ref name=":02">{{Cite news |url=https://www.engadget.com/2017/10/11/microsoft-facebooks-ai-onxx-partners/ |title=Microsoft and Facebook's open AI ecosystem gains more support |newspaper=Engadget |accessdate=2017-10-11 |language=en-US }}</ref>。実行エンジンとして'''ONNX Runtime'''も開発されている。

== 概要 ==
機械学習、特に[[ニューラルネットワーク]]モデルは様々なフレームワーク上で学習され、また様々なハードウェア上で実行（推論）される。各環境に特化したモデルは他のフレームワーク・ハードウェアで利用できず相互運用性を欠いてしまう。また実装者は環境ごとにサポートをおこなう必要があり大きな労力を必要とする。

ONNXはモデルを記述する統一インターフェース（フォーマット）を提供し、これらの問題を解決する。各フレームワークは学習したモデルをONNX形式で出力する。各ハードウェアはONNX実行環境を提供することで、どのフレームワークで学習されたかを問わずモデル推論を実行する。このように相互運用可能なモデルフォーマットとしてONNXは開発されている。

2017年に開発が開始された。

== 開発背景 ==
以下の特性を補完する意図にて開発が進められた。

=== フレームワークの相互運用性 ===
開発工程や機械学習の高速処理、ネットワークの基本設計における柔軟性やモバイルデバイスでの推論などの特定の段階において、開発者が複数のフレームワークでのデータのやり取りを簡単に行えるようにする<ref name=":0">{{Cite news|url=https://www.microsoft.com/en-us/cognitive-toolkit/blog/2017/09/microsoft-facebook-create-open-ecosystem-ai-model-interoperability/|title=Microsoft and Facebook create open ecosystem for AI model interoperability - Microsoft Cognitive Toolkit|date=2017-09-07|newspaper=Microsoft Cognitive Toolkit|accessdate=2017-10-11|language=en-US}}</ref>。

=== 最適化の共有 ===
ハードウェアベンダーなどは、ONNXを対象に調整を行うことで、複数のフレームワークにおける[[ニューラルネットワーク]]のパフォーマンスを一度に改善することができる<ref name=":0">{{Cite news|url=https://www.microsoft.com/en-us/cognitive-toolkit/blog/2017/09/microsoft-facebook-create-open-ecosystem-ai-model-interoperability/|title=Microsoft and Facebook create open ecosystem for AI model interoperability - Microsoft Cognitive Toolkit|date=2017-09-07|newspaper=Microsoft Cognitive Toolkit|accessdate=2017-10-11|language=en-US}}</ref>。

== 沿革 ==
2017年9月に、[[Facebook]]と[[マイクロソフト|Microsoft]]は、PyTorchや[[Caffe|Caffe2]]などの[[機械学習]]フレームワーク間において相互運用を可能にする為の取り組みとして、このプロジェクトを始動した。その後、[[IBM]]、[[ファーウェイ|Huawei]]、[[インテル|Intel]]、[[アドバンスト・マイクロ・デバイセズ|AMD]]、[[ARMホールディングス|ARM]]、[[クアルコム|Qualcomm]]がこの取り組みに対して積極的な支援を表明した<ref name=":02">{{Cite news |url=https://www.engadget.com/2017/10/11/microsoft-facebooks-ai-onxx-partners/ |title=Microsoft and Facebook's open AI ecosystem gains more support |newspaper=Engadget |accessdate=2017-10-11 |language=en-US }}</ref>。

2017年10月に、Microsoftは[[Microsoft Cognitive Toolkit|Cognitive Toolkit]]およびProject Brainwaveプラットフォームにおいて、ONNXのサポートを発表した<ref name=":02">{{Cite news |url=https://www.engadget.com/2017/10/11/microsoft-facebooks-ai-onxx-partners/ |title=Microsoft and Facebook's open AI ecosystem gains more support |newspaper=Engadget |accessdate=2017-10-11 |language=en-US }}</ref>。

2019年11月、ONNXはLinux Foundation AIの卒業生プロジェクトとして承認された。 

== 構成 ==
ONNXは、推論（評価）に焦点を当て、拡張可能な計算グラフモデル、組み込み演算子、および標準[[データ型]]の定義を提供する<ref name=":0">{{Cite news|url=https://www.microsoft.com/en-us/cognitive-toolkit/blog/2017/09/microsoft-facebook-create-open-ecosystem-ai-model-interoperability/|title=Microsoft and Facebook create open ecosystem for AI model interoperability - Microsoft Cognitive Toolkit|date=2017-09-07|newspaper=Microsoft Cognitive Toolkit|accessdate=2017-10-11|language=en-US}}</ref>。

それぞれの[[データフロー]]グラフは、[[有向非巡回グラフ]]を形成するノードのリストになっている。ノードには入力と出力があり、各ノードが処理を呼び出すようになっている。メタデータはグラフを文書化する。組み込み演算子は、ONNXをサポートする各フレームワークで利用可能である<ref name=":0">{{Cite news|url=https://www.microsoft.com/en-us/cognitive-toolkit/blog/2017/09/microsoft-facebook-create-open-ecosystem-ai-model-interoperability/|title=Microsoft and Facebook create open ecosystem for AI model interoperability - Microsoft Cognitive Toolkit|date=2017-09-07|newspaper=Microsoft Cognitive Toolkit|accessdate=2017-10-11|language=en-US}}</ref>。

グラフは [[Protocol Buffers]] を使用して拡張子 .onnx のバイナリファイルとして保存可能である<ref>[https://github.com/onnx/onnx/blob/main/docs/IR.md onnx/IR.md at main onnx/onnx - GitHub]</ref>。このファイルは様々な機械学習のライブラリから読み書き可能である。

ONNX仕様は2つのサブ仕様、IRとOperatorからなる。この2つの仕様はそれぞれバージョニングされており、ONNX仕様のバージョンはこの2つのサブ仕様の特定版を指定したものとなっている。2021-12-22現在の最新バージョンは version 1.10.2 であり、これはIR v8とOperator v15-v2-v1 から成る<ref name=":1">[https://github.com/onnx/onnx/blob/main/docs/Versioning.md ''ONNX Versioning'']. onnx/onnx.</ref>。

=== ONNX IR ===
Open Neural Network Exchange Intermediate Representation (ONNX IR) はONNXの基本データ型と計算グラフを定義するサブ仕様である<ref>" 1. A definition of an extensible computation graph model. 2. Definitions of standard data types. #1 and #2 together make up the ONNX Intermediate Representation, or 'IR', specification" ''[https://github.com/onnx/onnx/blob/main/docs/IR.md Open Neural Network Exchange Intermediate Representation (ONNX IR) Specification]''. onnx/onnx</ref>。ONNX IRは計算グラフを構成する <code>Model</code>, <code>Graph</code>, <code>Node</code> 等の要素、入出力 <code>Tensor</code>, <code>Sequence</code>, <code>Map</code> およびデータ <code>FLOAT</code>, <code>INT8</code>, <code>BFLOAT16</code> 等の基本データ型を定義する。2021-12-22現在の最新バージョンは version 8 である<ref name=":1">[https://github.com/onnx/onnx/blob/main/docs/Versioning.md ''ONNX Versioning'']. onnx/onnx.</ref>。 

ONNX IRが定義する要素として以下が挙げられる。 

* <code>Graph</code>: 計算グラフを表現する要素。Graph入出力を指定する<code>input</code>/<code>initializer</code><ref>同名のGraph入力デフォルト値、あるいは定数Graph入力扱い "When an initializer has the same name as a graph input, it specifies a default value for that input. When an initializer has a name different from all graph inputs, it specifies a constant value." ''[https://github.com/onnx/onnx/blob/main/docs/IR.md Open Neural Network Exchange Intermediate Representation (ONNX IR) Specification]''. onnx/onnx. 2022-06-09閲覧.</ref><ref>"When an initializer has the same name as a graph input, it specifies a default value for that input." ''[https://github.com/onnx/onnx/blob/main/docs/IR.md Open Neural Network Exchange Intermediate Representation (ONNX IR) Specification]''. onnx/onnx. 2022-06-09閲覧.</ref>/<code>output</code>、計算ノード群を指定する<code>node</code>、メタデータを収納する<code>name</code>/<code>doc_string</code>/<code>value_info</code>、の属性をもつ。
* <code>Node</code>: 計算ノードを表現する要素。Node入出力を指定する<code>input</code>/<code>output</code>、演算子とそのパラメータを指定する<code>domain</code>/<code>op_type</code>/<code>attribute</code>、メタデータを収納する<code>name</code>/<code>doc_string</code>/<code>value_info</code>、の属性をもつ。

すなわち<code>Graph</code>に収納された各<code>Node</code>が入出力をもった演算 (例: Conv) になっており、Node/Graph入出力名に基づいてNode群がグラフ構造を取っている。

==== 拡張演算子 ====
ONNX IRはONNX Operatorで定義される標準演算子に追加して、独自の拡張演算子を受け入れられるように設計されている<ref>"An implementation MAY extend ONNX by adding operators expressing semantics beyond the standard set of operators" ''[https://github.com/onnx/onnx/blob/main/docs/IR.md Open Neural Network Exchange Intermediate Representation (ONNX IR) Specification]''. onnx/onnx</ref>。これによりONNXの "''Extensible/拡張可能''" 特性を実現している<ref>"Extensible computation graph model ... expressing semantics beyond the standard set of operators" ''[https://github.com/onnx/onnx/blob/main/docs/IR.md Open Neural Network Exchange Intermediate Representation (ONNX IR) Specification]''. onnx/onnx</ref>。拡張演算子セットを <code>Model</code> の <code>opset_import</code> 属性に指定することで実行エンジン側へ拡張演算子の利用を通知する仕組みである<ref>"The mechanism for this is adding operator sets to the <code>opset_import</code> property in a model that depends on the extension operators." ''[https://github.com/onnx/onnx/blob/main/docs/IR.md Open Neural Network Exchange Intermediate Representation (ONNX IR) Specification]''. onnx/onnx</ref>。ONNXを受け取った実行エンジンは <code>opset_import</code> を確認し、指定された演算子セット全てをサポートしていれば受け入れ、そうでなければ <code>Model</code> 全体を拒絶する<ref>"An implementation must support all operators in the set or reject the model." ''[https://github.com/onnx/onnx/blob/main/docs/IR.md Open Neural Network Exchange Intermediate Representation (ONNX IR) Specification]''. onnx/onnx</ref>。

=== ONNX Operator ===
ONNXのビルトイン演算子はサブ仕様 Operator specifications により定義される<ref>"Operator specifications that may be referenced by a given ONNX graph." [https://github.com/onnx/onnx/blob/main/docs/Versioning.md ''ONNX Versioning'']. onnx/onnx.</ref>。3種類の演算子セット（Opset）<code>ai.onnx</code>, <code>ai.onnx.ml</code>, <code>ai.onnx.training</code> が定義されており、<code>ai.onnx</code> がデフォルトである。2022年12月12日現在、<code>ai.onnx</code> の最新バージョンは version 18 である<ref name=":1">[https://github.com/onnx/onnx/blob/main/docs/Versioning.md ''ONNX Versioning'']. onnx/onnx.</ref>。 

例えばOpset <code>ai.onnx</code> v15ではRNN系演算子として <code>[https://github.com/onnx/onnx/blob/main/docs/Operators.md#RNN RNN]</code> 、<code>[https://github.com/onnx/onnx/blob/main/docs/Operators.md#LSTM LSTM]</code> 、<code>[https://github.com/onnx/onnx/blob/main/docs/Operators.md#GRU GRU]</code>  が定義されている。 

==== 量子化 ====
ONNXは入出力の量子化やそれに対する操作を演算子として持つ。<code>[https://github.com/onnx/onnx/blob/main/docs/Operators.md#QuantizeLinear QuantizeLinear]</code>はスケール・シフトパラメータに基づく線形量子化をおこなう<ref>"QuantizeLinear    The linear quantization operator. It consumes a high precision tensor, a scale, and a zero point  ... The quantization formula is y = saturate ((x / y_scale) + y_zero_point). ... For (x / y_scale), it's rounding to nearest ties to even." [https://github.com/onnx/onnx/blob/main/docs/Operators.md#QuantizeLinear ''Operator Schemas'']. ONNX. 2022-03-13閲覧.</ref>。<code>[https://github.com/onnx/onnx/blob/main/docs/Operators.md#dynamicquantizelinear DynamicQuantizeLinear]</code>は入力ベクトルのmin/maxに基づく動的uint8量子化をおこなう<ref>"DynamicQuantizeLinear    for Scale, Zero Point and FP32-<nowiki>></nowiki>8Bit convertion of FP32 Input data" [https://github.com/onnx/onnx/blob/main/docs/Operators.md#QuantizeLinear ''Operator Schemas'']. ONNX. 2022-03-13閲覧.</ref>。int8入力に対する演算には<code>[https://github.com/onnx/onnx/blob/main/docs/Operators.md#matmulinteger MatMulInteger]</code>、<code>[https://github.com/onnx/onnx/blob/main/docs/Operators.md#qlinearmatmul QLinearMatMul]</code>、<code>[https://github.com/onnx/onnx/blob/main/docs/Operators.md#convinteger ConvInteger]</code>、<code>[https://github.com/onnx/onnx/blob/main/docs/Operators.md#qlinearconv QLinearConv]</code>などがある。

== ONNX Runtime ==
ONNX Runtime (略称: ORT<ref>"ONNX Runtime (ORT)" ''[https://onnxruntime.ai/docs/ Welcome to ONNX Runtime (ORT)].'' ONNX Runtime.</ref>) は様々な環境におけるONNXモデルの推論・学習高速化を目的としたオープンソースプロジェクトである<ref>"ONNX Runtime is an open source project that is designed to accelerate machine learning across a wide range of frameworks, operating systems, and hardware platforms." [https://onnxruntime.ai/about.html ''About'']. ONNX Runtime.</ref>。フレームワーク・OS・ハードウェアを問わず単一のRuntime APIを介してONNXモデルを利用できる<ref>"It enables acceleration of machine learning inferencing across all of your deployment targets using a single set of <abbr>API</abbr>." [https://onnxruntime.ai/about.html ''About'']. ONNX Runtime.</ref>。またデプロイ環境に合わせた最適化を自動でおこなう<ref>"ONNX Runtime automatically parses through your model to identify optimization opportunities and provides access to the best hardware acceleration available." [https://onnxruntime.ai/about.html ''About'']. ONNX Runtime.</ref>。ONNX Runtimeは設計方針としてアクセラレータ・ランタイム抽象化とパフォーマンス最適化の両立を掲げており、ONNXモデルの自動分割と最適アクセラレータによるサブモデル実行によりこれを実現している<ref>"Design principles    ONNX Runtime abstracts custom accelerators and runtimes to maximize their benefits across an ONNX model. ... ONNX Runtime partitions the ONNX model graph into subgraphs that align with available custom accelerators and runtimes." [https://onnxruntime.ai/about.html ''About'']. ONNX Runtime.</ref>。

ONNX Runtimeがサポートする最適化には以下が挙げられる。

* [[ニューラルネットワーク#量子化|モデル量子化]]: 8-bit Model Quantization<ref>[https://onnxruntime.ai/docs/performance/quantization.html ''Quantize ONNX Models'']. ONNX Runtime.</ref>
* グラフ最適化<ref>[https://onnxruntime.ai/docs/performance/graph-optimizations.html ''Graph Optimizations in ONNX Runtime'']. ONNX Runtime.</ref>: ''Basic'' (不要ノード除去・一部のop fusions<ref>"Redundant node eliminations ... Semantics-preserving node fusions" ''[https://onnxruntime.ai/docs/performance/graph-optimizations.html Graph Optimizations in ONNX Runtime]''. ONNX Runtime.</ref>), ''Extended'' (op fusions<ref>"These optimizations include complex node fusions." ''[https://onnxruntime.ai/docs/performance/graph-optimizations.html Graph Optimizations in ONNX Runtime]''. ONNX Runtime.</ref>), ''Layout'' (NCHWc Optimizer<ref>"These optimizations change the data layout ... Optimizes the graph by using NCHWc layout instead of NCHW layout." ''[https://onnxruntime.ai/docs/performance/graph-optimizations.html Graph Optimizations in ONNX Runtime]''. ONNX Runtime.</ref>) の三段階

=== 対応デバイス ===
ONNX Runtime は共有ライブラリの Execution Providers によって多数のバックエンドをサポートしている<ref name="onnxr-eps">[https://onnxruntime.ai/docs/build/eps.html Build ONNX Runtime with Execution Providers] Microsoft</ref>。これにはIntel の OpenVINO バックエンド (onnxruntime-openvino) 及び oneDNN バックエンド、NVIDIAの CUDA バックエンド (onnxruntime-gpu) 及び TensorRT バックエンド (onnxruntime-gpu)、AMDの ROCm バックエンド及び MIGraphX バックエンド、Windows の [[DirectML]] バックエンド (onnxruntime-directmlなど)、[[macOS]] / [[iOS]] の CoreML バックエンド、[[Android (オペレーティングシステム)|Android]] の NNAPI バックエンド、[[Microsoft Azure]]向けの Azure バックエンドなどが存在する<ref>[https://onnxruntime.ai/ Optimize and Accelerate Machine Learning Inferencing and Training] Microsoft</ref><ref name="onnxr-eps"/>。

以下のデバイスがONNX Runtimeに対応している。<ref>{{Cite web |title=Execution Providers |author= |work=onnxruntime |date= |access-date=18 January 2025 |url= https://onnxruntime.ai/docs/execution-providers/}}</ref>
* CPU
** [[x86]], [[x86-64]], [[ARM32]], [[ARM64]], [[POWER (マイクロプロセッサ)|POWER]], [[RISC-V]]<ref>{{Cite web |title=Build for inferencing |author= |work=onnxruntime |date= |access-date=18 January 2025 |url= https://onnxruntime.ai/docs/build/inferencing.html}}</ref>
** Intel OpenVINO, Intel oneAPI Deep Neural Network Library - OpenVINOはIntelのCPU・GPU・NPUおよびARMのCPUに対応<ref>{{Cite web |title=System Requirements — OpenVINO™ documentationCopy to clipboardCopy to clipboard — Version(2024) |author= |work=docs.openvino.ai |date= |access-date=20 January 2025 |url= https://docs.openvino.ai/2024/about-openvino/release-notes-openvino/system-requirements.html}}</ref>
** Google XNNPACK - ARM, x86, [[WebAssembly]], RISC-VのCPUに対応
** Apache TVM（プレビュー）
* GPU
** [[NVIDIA CUDA]], TensorRT
** AMD ROCm, MIGraphX
** Intel OpenVINO
** Microsoft [[DirectML]]
** Apache TVM（プレビュー）
* エッジやモバイル（NPU）
** Intel OpenVINO - Intel Core Ultraなどに内蔵するNPUに対応
** Qualcomm QNN - QualcommのCPU・GPU・NPUに対応
** Microsoft DirectML - IntelやQualcommなどのNPUに対応<ref>{{Cite web |title=Introducing Neural Processor Unit (NPU) support in DirectML (developer preview) - DirectX Developer Blog |last=Pralle |first=Chad |work=DirectX Developer Blog |date= |access-date=24 January 2025 |url= https://devblogs.microsoft.com/directx/introducing-neural-processor-unit-npu-support-in-directml-developer-preview/}}</ref><ref>{{Cite web |title=DirectML expands NPU support to Copilot+ PCs and WebNN |last=Blog |first=Windows Developer |work=Windows Developer Blog |date= |access-date=24 January 2025 |url= https://blogs.windows.com/windowsdeveloper/2024/08/29/directml-expands-npu-support-to-copilot-pcs-and-webnn/}}</ref>
** Google XNNPACK
** Android Neural Networks API - ただしAndroid15よりNNAPI自体が非推奨<ref>{{cite web |url=https://developer.android.com/ndk/guides/neuralnetworks/migration-guide |title=NNAPI 移行ガイド |newspaper=Https: |date=  |author= |accessdate= January 18, 2025}}</ref>
** AMD Vitis AI（プレビュー） - AMD Ryzenなどに内蔵するNPUに対応<ref>{{Cite web |title=AMD - Vitis AI |author= |work=onnxruntime |date= |access-date=18 January 2025 |url= https://onnxruntime.ai/docs/execution-providers/Vitis-AI-ExecutionProvider.html}}</ref>
** Arm Compute Library, Arm NN（プレビュー） - ARMのCPU・GPU・NPUに対応
** Apple CoreML（プレビュー）
** Apache TVM（プレビュー）
** Hailo（プレビュー）<ref>{{cite web |url=https://github.com/hailo-ai/onnxruntime |title=hailo-ai/onnxruntime: ONNX Runtime: cross-platform, high performance ML inferencing and training accelerator |newspaper=Https: |date=  |author=Hailo |accessdate= January 18, 2025}}</ref>
* その他
** Rockchip NPU （プレビュー）
** AMD Vitis AI（プレビュー） - AMD Versal, Zynq, Alveo等に対応<ref>{{Cite web |title=Vitis AI — Vitis™ AI 3.5 documentation |author= |work=xilinx.github.io |date= |access-date=20 January 2025 |url= https://xilinx.github.io/Vitis-AI/3.5/html/index.html}}</ref>
** Huawei Compute Architecture for Neural Networks (CANN) （プレビュー）
** Microsoft Azure（プレビュー）

主要なデバイスとしては Google の [[テンサー・プロセッシング・ユニット|TPU]], Edge TPU、[[Amazon Web Services|AWS]] の Trainium, Inferentia が対応していない。Edge TPU は LiteRT のみだが、それ以外のデバイスは、[[JAX (ライブラリ)|JAX]]、[[TensorFlow]]、[[PyTorch]] に対応しているので、これらに変換することで動作し、AWS は Trainium, Inferentia は PyTorch 経由の動作を薦めている<ref>{{Cite web |title=ONNX FAQ — AWS Neuron Documentation |author= |work=awsdocs-neuron.readthedocs-hosted.com |date= |access-date=19 January 2025 |url= https://awsdocs-neuron.readthedocs-hosted.com/en/latest/general/faq/onnx-faq.html}}</ref>。

=== ONNX Runtime Web ===
ONNX Runtime Webはウェブブラウザを含めたJavaScript上で動作するONNX Rutime。Execution Providerとして、Web Neural Network (WebNN)、[[WebGPU]]、[[WebGL]]、[[WebAssembly]]が利用可能である。WebNNはONNXのようにニューラルネットワークのモデルを表現できるので、GPUやNPUなどのアクセラレーションが有効であれば、これが最速である。WindowsではWebNNから[[DirectML]]経由でGPUやNPUで実行される。<ref>{{Cite web |title=Web |author= |work=onnxruntime |date= |access-date=24 January 2025 |url= https://onnxruntime.ai/docs/tutorials/web/}}</ref><ref>{{cite web |url=https://learn.microsoft.com/en-us/windows/ai/directml/webnn-overview |title=WebNN Overview |newspaper=Financial Times |date=  August 20, 2024 |author= |accessdate= January 24, 2025}}</ref><ref>{{Cite web |title=Web Neural Network API |author= |work=w3.org |date= |access-date=24 January 2025 |url= https://www.w3.org/TR/webnn/}}</ref>

== ONNXモデル ==
=== ONNXへの変換 ===
ONNXのモデルはPythonスクリプトから生成したり（[[#例]]を参照）、他のフレームワークから変換したりすることで作ることができる。他のフレームワークからの変換には以下のような方法が存在する：
* ONNXMLTools<ref name="windows-ml-onnx">[https://learn.microsoft.com/ja-jp/windows/ai/windows-ml/get-onnx-model ONNX モデル] Microsoft</ref> - 様々なフレームワークからの変換を行う。
* [[PyTorch]]の[[PyTorch#TorchScript / ONNX出力|標準ONNXエクスポータ]] (torch<ref name="onnx-export">[https://onnxruntime.ai/docs/install/#install-onnx-to-export-the-model Install ONNX to export the model] Microsoft</ref>)
* tf2onnx - [[TensorFlow]]、LiteRT（旧称TensorFlow Lite）、[[Keras]]、TensorFlow.jsからの変換を行う<ref>{{cite web |url=https://github.com/onnx/tensorflow-onnx |title=onnx/tensorflow-onnx: Convert TensorFlow, Keras, Tensorflow.js and Tflite models to ONNX |newspaper=Https: |date=  |author= |accessdate= January 18, 2025}}</ref>
* sklearn-onnx (skl2onnx<ref name="onnx-export"/>) - [[scikit-learn]]からの変換を行う

=== ONNXからの変換 ===
* onnx2tf - [[TensorFlow]]、LiteRT（旧称TensorFlow Lite）、[[Keras]]への変換を行う<ref name="onnx2tf">{{cite web |url=https://github.com/PINTO0309/onnx2tf |title=PINTO0309/onnx2tf: Self-Created Tools to convert ONNX files (NCHW) to TensorFlow/TFLite/Keras format (NHWC). The purpose of this tool is to solve the massive Transpose extrapolation problem in onnx-tensorflow (onnx-tf). I don't need a Star, but give me a pull request. |newspaper=Https: |date=  |author= |accessdate= January 18, 2025}}</ref>
* onnx2pytorch<ref>{{cite web |url=https://github.com/Talmaj/onnx2pytorch |title=Talmaj/onnx2pytorch: Transform ONNX model to PyTorch representation |newspaper=Https: |date=  |author= |accessdate= January 18, 2025}}</ref>, onnx2torch<ref>{{cite web |url=https://github.com/ENOT-AutoDL/onnx2torch |title=ENOT-AutoDL/onnx2torch: Convert ONNX models to PyTorch. |newspaper=Https: |date=  |author= |accessdate= January 19, 2025}}</ref> - [[PyTorch]]への変換
* JAX ONNX Runtime - [[JAX (ライブラリ)|JAX]]への変換<ref name="jaxonnxruntime">{{cite web |url=https://github.com/google/jaxonnxruntime |title=google/jaxonnxruntime: A user-friendly tool chain that enables the seamless execution of ONNX models using JAX as the backend. |newspaper=Https: |date=  |author= |accessdate= January 19, 2025}}</ref>
*ONNX からNVIDIA GPU向けのTensorRTバイナリ (.trt) を生成するものとして NVIDIA の Polygraphy<ref name="nv-trt-guide"/> や trtexec も存在する<ref name="nv-trt-guide">[https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html NVIDIA Deep Learning TensorRT Documentation] NVIDIA</ref>。
*OONX を [[LLVM]] の MLIR によってコンパイルするための onnx-mlir も存在する<ref>[https://mlir.llvm.org/users/ Users of MLIR] LLVM Project</ref>。

=== モデル集 ===
ONNXのモデル集としては以下が存在する。
* ONNX Model Zoo<ref>{{cite web |url=https://github.com/onnx/models |title=onnx/models: A collection of pre-trained, state-of-the-art models in the ONNX format |newspaper=Https: |date=  |author= |accessdate= January 18, 2025}}</ref>

== 例 ==
[[線形回帰]]モデルの学習結果として <math>y = 2x + 3</math> が得られたとして、それを ONNX ファイルに保存する Python での実装例。
<syntaxhighlight lang="python">
import numpy as np
import onnx
from onnx import TensorProto, numpy_helper
from onnx.helper import make_model, make_node, make_graph, make_tensor_value_info

A = numpy_helper.from_array(np.array(2.0), "A")
B = numpy_helper.from_array(np.array(3.0), "B")
X = make_tensor_value_info("X", TensorProto.DOUBLE, [])
Y = make_tensor_value_info("Y", TensorProto.DOUBLE, [])

graph = make_graph([
	make_node("Mul", ["A", "X"], ["AX"]),
	make_node("Add", ["AX", "B"], ["Y"]),
], "Linear Regression", [X], [Y], [A, B])
onnx.save(make_model(graph), "2x_3.onnx")
</syntaxhighlight>

それを ONNX Runtime を使い実行する Python での実装例。
<syntaxhighlight lang="python">
import numpy as np
import onnxruntime as ort
ort_sess = ort.InferenceSession("2x_3.onnx")
y = ort_sess.run(None, {"X": np.array(4.0)})[0]
</syntaxhighlight>

== 脚注 ==
{{脚注ヘルプ}}

=== 出典 ===
{{Reflist}}

== 関連項目 ==
* [[:en:Neural Network Exchange Format|Neural Network Exchange Format]]
* [[:en:Comparison of deep learning software|Comparison of deep learning software]]

== 外部リンク ==
* [https://onnx.ai/ ONNX]
* [https://onnxruntime.ai/ ONNX Runtime]

{{ディープラーニングソフトウェア}}
[[Category:人工知能]]
[[Category:ファイルフォーマット]]
[[Category:応用機械学習]]