PyTorch Conference North America 2026 でコアセッション開催

TL;DR

PyTorch Conference North America 2026 では、コンパイラやランタイムの仕組み、分散通信、デバイス互換性、リリースエンジニアリング、CI（継続的インテグレーション）、観測機能、アクセラレータ統合、コントリビューター基盤など、Core PyTorch にまつわるセッションが多数開催されます。

#PyTorchCon NA における Core PyTorch のセッション概要

PyTorch Conference North America 2026 は、10 月 20 日と 21 日にカリフォルニア州サンノゼで開催され、オープンソースの AI ストック全体にわたる技術トークやワークショップ、ディスカッションが 2 日間にわたって行われます。

Core PyTorch プログラムでは、フレームワークの内部構造に迫ります。具体的には、コンパイラとランタイムの仕組み、分散通信、デバイス抽象化、ハードウェア統合、リリースエンジニアリング、CI、プロファイリング、互換性などが取り上げられます。以下のセッションでは、PyTorch の構築や拡張を形作る API、実装内容、パフォーマンス結果、そしてエンジニアリングのアプローチについて解説します。

会議の完全なスケジュールはこちらをご覧ください

チケット割引を受けるには、9 月 4 日までに PyTorch Conference North America 2026 の登録を完了してください。

リリースエンジニアリング、互換性、コントリビューター基盤

Relay and Reuse: The Dual Engine Behind PyTorch Out-of-Tree Release Readiness

Jiahao Chen（Huawei）、Jiahao Tan（Huawei）

10 月 20 日 午前 11:10–11:35 | LL21DEF | ブレイクアウトセッション

本セッションでは、外部のアクセラレータバックエンドが、デバイス非依存なテストの再利用とリポジトリ間 CI を活用して、PyTorch のリリースに追随する方法を解説します。スピーカーは、instantiate_device_type_tests と動的スキップにより、58 万件以上のコミュニティ製テストケースがそのまま再利用可能になると述べています。また、Cross-Repo CI Relay はマージ前に PyTorch の PR をアクセラレータ側のコードと照合して検証する仕組みです。

このアプローチにより、各アップストリーム更新から 30 日以内に外部バックエンドの安定したリリースが可能になります。

PyTorch とそのエコシステムの提供：現代的なリリースストーリー

Andrey Talman（Meta）

10 月 20 日 11:45–11:55 | LL21DEF | ライトニングトーク

本講演では、PyTorch のリリースエンジニアリングにおける 3 つの領域での変更を扱います。より高速で予測可能なリリースプロセスの実現です。また、Triton や vLLM を PyTorch のナイトリービルドに対して継続的に検証し、不具合が早期にアップストリームで表面化させる仕組みです。さらに、CI のトリアージを行い、ノイズと回帰を区別して修正草案を作成する AI エージェントの活用です。

セッションでは、エージェントがリリース作業を加速できる領域と、依然として人間の判断が必要な領域についても考察します。

PyTorch の互換性約束のスケーリング：外部バックエンド向けの階層型リポジトリ間 CI リレー

Subin George（Red Hat LLC）、Jewel K M（Red Hat）

10 月 20 日 12:00–12:10 | LL21DEF | ライトニングトーク

本セッションでは、Cross-Repository CI Relay（CRCR）について紹介します。CRCR は、マージ前に下流リポジトリへの互換性検証をリアルタイムで行うために、PyTorch の PR やプッシュイベントを転送する仕組みです。イベントの配信からマージ必須条件のブロックまでを含む 4 つの信頼レベルモデルに加え、中継・取り込み・可視化、そしてセキュリティアーキテクチャについても解説します。

登壇者によると、Ascend NPU と RISC-V バックエンドでの導入により、不具合検出にかかる時間を数日から数分に短縮できたと報告されています。

AI エージェントとの戦い：Claude を PyTorch CI・トリアージ・PR レビューへ

Driss Guessous（Meta）

10 月 20 日 12:35–12:45 | LL21DEF | ライトニングトーク

PyTorch のメンテナーは、AI エージェントによって作成された PR を増々多くレビューするようになっています。本セッションでは、@claude を用いて issues や PR に対応し、自動 issue トリアージを実現し、pytorch および meta-pytorch リポジトリ向けの再利用可能なオンボーディングを提供し、PR レビューのスキルを向上させ、CI と autorevert の調査を行うなど、Claude を PyTorch インフラに組み込んだ方法について取り上げます。

また、Bedrock/OIDC の設定、2 段階 GitHub Actions、ツールのホワイトリスト、リポジトリ固有のスキルについても説明します。最終的な目標は、メンテナーを代替するのではなく、彼らを支援することです。

ABI 安定した PyTorch C++ エクステンションエコシステムへの道筋

Sean McGovern（Red Hat）、Chris Leonard（Red Hat）、Jane Xu（Meta）

10 月 21 日 14:15–14:40 | LL21ABC | ブレイクアウトセッション

PyTorch の安定 ABI は、拡張機能に対してバージョンを超えたバイナリ互換性のある C インターフェースを提供します。これにより、再コンパイルせずに異なる PyTorch バージョン間でもターゲットを維持できます。本セッションでは、不安定な API 使用の特定とインベントリ作成、およびソース・トゥ・ソース変換の適用方法を紹介します。また、移行作業には LLM を活用したフォローアップ支援も可能です。

スピーカーは、vLLM や SGLang といったライブラリを対象に、そのプロセスを実演します。

コンパイラ、ランタイム、テンソル、そして観測性に関するワーク

サイズとストライドを超えて：デバイス対応のテンソルレイアウトで性能を解放する

Olivier Tardieu（IBM）、Matthew Arnold（IBM Research）

10 月 20 日 午後 4:20–4:30 | LL20AB | ライトニングトーク

PyTorch のテンソルはサイズ、ストライド、ストレージオフセットをエンコードしますが、スピーカーらはこれらのフィールドだけでは、現代のアクセラレータが要求するハードウェアレイアウトを捉えきれないと指摘します。本セッションでは、標準的な PyTorch テンソルのセマンティクスを維持しつつ、デバイス対応の専門化を実現するテンソルレイアウト拡張機能を紹介。これにはタイリングや NUMA 対応の配置が含まれます。

また、スピーカーらは torch.compile と Inductor がこれらの制御を活用し、ターゲットデバイスに合わせてレイアウトを適応させ、計算を調整する方法を実演します。

Cudagraph ワークロード向けの観測性ツール

Natalia Gimelshein（Meta）、Driss Guessous（Meta）

10 月 20 日 午後 4:20–4:30 | LL21DEF | ライトニングトーク

Cudagraph のワークロードは、プロファイリングやストリームの可視化、メモリの追跡を困難にする可能性があります。本セッションでは、グラフキャプチャ中に取得した情報を活用し、リプレイ時に収集されるランタイム情報を補強するための PyTorch ユーティリティについて解説します。

目指すのは、オーバーヘッドを抑えつつ、より詳細なパフォーマンスとメモリ監視を実現することです。特に、ほぼゼロのオーバーヘッドで常時監視を可能にする技術も含まれます。

Nested Graph Breaks: torch.compile におけるグラフブレイクのコスト削減

William Wen (Meta)

10 月 20 日 4:35–4:45 p.m. | LL20AB | Lightning Talk

従来、ネストされたグラフブレイクが発生すると、O(N) の重複したグラフブレイクや O(N) のグラフトレーシング、さらに O(N²) のフレームトレースが、関数呼び出しの深さが O(N) 層の場合に発生していました。

本セッションでは、Dynamo におけるネストされたグラフブレイクのサポートについて紹介します。これにより、重複したグラフブレイクとグラフトレーシングのコストをそれぞれ O(1) に削減し、フレームトレースは O(N) に抑えることに成功しました。発表者らは、キャプチャされるグラフのサイズ拡大、グラフブレイクの減少、Dynamo のトレース時間の短縮、そしてデバッグ性の向上を報告しています。

Static Tensor Shape Checking for PyTorch with Pyrefly

Steven Troxler (Meta Platforms), Avik Chaudhuri (Meta)

10 月 20 日 5:30–5:55 p.m. | LL20AB | Breakout Session

本セッションでは、Pyrefly タイプチェッカーにおける静的テンソル形状チェックについて紹介します。具体的には、インラインでのテンソル形状ヒントの指定や、実行前に形状の不整合を検出する機能などについて解説します。

本セッションでは、記号整数や Tensor・Dim 型、形状変換のための DSL（ドメイン固有言語）、LLM からビジョン、レコメンダー、強化学習まで 28 のモデルにわたる評価、そして Claude スキルを活用した AI 支援アノテーションについて取り上げます。

TorchInsights: 分散トレーニングとエージェント型研究のためのゼロ GPU メモリ・ランタイム推定

スピーカー：Sanket Jayant Purandare（Meta）、Aditya Venkataraman（Meta）

10 月 20 日 5:45–5:55 p.m. | LL21ABC | ライトニングトーク

TorchInsights は、GPU でワークロードを実行することなく、分散トレーニングにおけるメモリ使用量とランタイムを推定するツールです。フェイクテンソルとフェイク実行を活用することで、ピークメモリの内訳を分析したり、トレーニング設定をスweep して並列化プランをランク付けしたり、Perfetto トレースを基にマルチストリームの GPU 実行をシミュレーションしたりできます。

このツールはプラグイン可能なコストモデルを採用しており、実際の GPU リソースを消費する前に AI エージェントによる自動研究のための低コストな評価ループとしても機能します。

パラメータ化された動的形状 CUDA Graphs

スピーカー：Elias Ellison（Meta）、Daniel Galvez（NVIDIA）

10 月 21 日 11:45 a.m.–12:10 p.m. | LL21ABC | ブレイクアウトセッション

動的ワークロードでは、CUDA Graphs を利用するためにパディングやオンデバイス形状の追加、記録の繰り返し、あるいは大規模なモデル変更が必要になる場合があります。本セッションでは、パラメータ化された CUDA Graphs と torch.compile のシンボリックトレーシングおよびガードインフラストラクチャを組み合わせることで、動的な形状にわたって単一の CUDA Graph をキャプチャーし、再パラメータ化する手法を紹介します。

スピーカーらは、推論サービングにおけるパフォーマンス向上とコールドスタート時間の短縮という成果を発表します。

PyTorch コアにおけるネイティブ DSL オペレーター

スピーカー：Simon Layton（Meta）

10 月 21 日 午後 2:50–3:15 | LL21ABC | ブレイクアウトセッション

DSL（ドメイン固有言語）で記述されたカーネルは、これまで PyTorch コアから外れた存在でした。本講演では、DSL で記述した演算子を PyTorch コアのファーストクラス・シチズンとして取り込み、ディスパッチやテストに統合する取り組みについて紹介します。

この取り組みの目的は、新しい演算子のサポート、高度に最適化された実装の実現、そして特定の性能低下（パフォーマンス・クリフ）に対するターゲットを絞った修正機能の提供です。

Backed から Unbacked へ：PyTorch における信頼性が高く予測可能で制御可能な動的形状

Laith Sakka (Meta)

10 月 21 日 午後 4:20–4:45 | LL21ABC | ブレイクアウトセッション

Backed（バックド）の動的形状は、シンボリックなサイズに例入力によるヒントとガードを組み合わせることで、再コンパイルを可能にします。しかし、vLLM やエクスポート、事前コンパイル、JIT デプロイなどを含むワークフローでは、動的形状の再コンパイルが許容されないケースがあります。本セッションでは、動的形状に対する暗黙的なガードを禁止する「Unbacked（アンバックド）形状」について紹介します。

内容としては、データ依存エラーや分岐処理への対応、TorchBench や vLLM における Backed 形状との性能差の解消に向けた取り組み、そしてコンパイル済みアーティファクト全体での形状制約とディスパッチに関する API について解説します。

torch.compile の高速化：新しい FakeTensor

Angel Li (Meta)

10 月 21 日 午後 4:55–5:05 | LL21ABC | ライトニングトーク

FakeTensor は、Dynamo と Inductor が FX グラフを構築する際に使用されます。本発表では、FakeTensor の伝播が torch.compile のトレーシング時間の要因の一つであることを指摘します。

スピーカーによると、FakeTensor の伝播には Dynamo 全体のトレーシング時間の約 20% が費やされており、Python 製の FakeTensor を使った場合の aten.mm は約 225 マイクロ秒かかります。一方、C++ で実装された FakeTensor では同操作が 30 倍高速化されています。本発表では、新しい C++ FakeTensor の設計思想、性能ベンチマークの結果、そして torch.compile エコシステムとの統合について解説します。

PyTorch における軽量 FX トレーシング

Richard Zou（Meta）、Yidi Wu（Meta Inc.）

10 月 21 日 5:10–5:20 | LL21ABC | ライトニングトーク

Dynamo は Python のバイトコードをトレースしますが、グラフ分割でフォールバックすることがあります。しかしスピーカーらは、ユーザーが完全なグラフを必要とするユースケースにおいて Dynamo が重すぎるというフィードバックを受けていると指摘しています。

本発表では、機能的に純粋な PyTorch コードを対象とした、make_fx をベースにした軽量 FX トレーサーを紹介します。API の概要、その保証事項、Dynamo との違い、そして他の API との連携方法について解説します。

分散通信とデバイス移植性

PyTorch 一般化：「一度記述すればどこでも実行」への道

Yu Guangye（Intel）、Eikan Wang（Intel）

10 月 20 日 12:20–12:30 | LL21DEF | ライトニングトーク

本発表では、PyTorch の API、ランタイムインターフェース、テストインフラストラクチャを特定のバックエンドに依存しないようにする取り組みについて紹介します。スピーカーらは、Autocast、Inductor、グラフキャプチャとリプレイ間でのモデルレベルの API 統一、デバイス・ストリーム・イベント・乱数生成（RNG）・メモリ管理のための torch.accelerator、そして分散処理、Dynamo、Inductor、ATen オペレータなど全体を網羅するテストインフラストラクチャに焦点を当てます。

本セッションの目的は、インツリーおよびアウトオブツリーのバックエンド間で、ユーザーと開発者にとって一貫した体験を提供することです。

PyTorch における分散通信の将来：耐障害性、RDMA、拡張性を支える新 API

トリスタン・ライス氏（Meta）、カピル・シャルマ氏（Meta）

10 月 20 日 4:20–4:45 | LL21ABC | ブレイクアウトセッション

本講演では、耐障害性、ワンサイド RDMA、コレッティブフック、バックエンドの拡張性、およびバックエンドインターフェースを実現する新 API を紹介します。具体的には、ランク障害発生後にプロセスグループをライブで再構成できる torch.distributed.reconfigure() や、ワンサイドの put/get 操作を可能にする Window API、コレッティブ処理に組み込めるフック、そして entry_points を介して登録可能な pip インストール対応バックエンドなどが例として挙げられます。

登壇者によると、これらの機能は TorchComms で孵化され、現在は torch.distributed へアップストリーム化されているとのことです。

rocSHMEM：AMD GPU 向け PyTorch の対称メモリ

プラチ・グプタ氏（AMD）

10 月 20 日 4:35–4:45 | LL21DEF | ライトニングトーク

PyTorch の対称メモリ機能は、デバイスカーネル内からの通信を可能にします。本セッションでは、この機能を AMD GPU へ拡張する rocSHMEM について解説します。抽象化によると、rocSHMEM はすでにアップストリームの PyTorch に組み込まれています。

セッション内容には、Triton から呼び出せる rocSHMEM プリミティブ、NVSHMEM と共有されるバックエンド非依存レイヤーの背後にある AMD 固有のデバイスビットコードリンクおよび HIP モジュール初期化、そして代表的な Mixture-of-Experts ワークロードにおける RCCL ホスト駆動型 all-to-all との比較が含まれます。

XCCL：TorchComms を用いた Intel GPU 上での Exascale スケール対応 PyTorch コレッティブ

パナギオティス・カウディス（Intel）、タニマ・デイ（Intel Corporation）

10 月 20 日 5:10–5:20 | LL21ABC | ライトニングトーク

XCCL は、Intel の oneCCL ライブラリを基盤としたインツリーバックエンドを通じて、TorchComms にネイティブの Intel GPU サポートを追加します。

登壇者らは、Argonne 国立研究所の Aurora システム上で TorchTitan やその他の AI ワークロードを実行した際、数千ノードにわたるスケーリング効率が 90% を超えたことを報告しています。本セッションでは、ストリーム順序付き非同期実行モデルや、PyTorch の集合演算セマンティクスと oneCCL の違い、CI（継続的インテグレーション）、Intel ハードウェア上でのテスト、そして NCCL や RCCL との比較についても取り上げられます。

NCCL 拡張機能の紹介：現代 AI 向けの通信パターン

スレラム・ポトリー（NVIDIA）、アルテム・ポリャコフ（NVIDIA）

10 月 21 日 4:55–5:20 | 210AE | ブレイクアウトセッション

NCCL ドメイン拡張機能は、新興の通信パターンに対応するために NCCL Device APIs を基盤に構築された専用ライブラリです。本セッションでは、Mixture-of-Experts のディスパッチと結合を担う「NCCL-EP」と、分離したデバイスメッシュ間でのゼロコピー再分割を実現する「NCCL-M2N」を紹介します。

登壇者らは、設計思想や API、性能結果について解説します。具体的には、強化学習のロールアウトにおいて CPU を介さずに、トレーニング中の重みスナップショットを推論レプリカへ転送するために NCCL-M2N を活用した事例についても触れます。

アクセラレータ統合とハードウェア対応ツール

IBM Spyre アクセラレータの統合

デビッド・グローブ（IBM）、アントニ・ヴィロス・イ・マルティン（IBM Research）、アベリー・ブランチャード（IBM Research）

10 月 20 日 4:55–5:20 | LL21DEF | ブレイクアウトセッション

Torch-Spyre は、IBM Spyre アクセラレータ向けに OpenReg と Inductor バックエンドを備えた PyTorch PrivateUse1 デバイスを提供するオープンソースプロジェクトです。

本セッションでは、2026 年に Torch-Spyre が達成した機能強化とパフォーマンス向上の現状、そして PyTorch への貢献について解説します。また、デバイス固有のテンソルレイアウトやスクラッチパッド最適化されたタイリングについても取り上げ、アップストリームの PyTorch との統合に重点を置きます。

TorchTPU: Google TPUs でネイティブに動作する PyTorch

Claudio Basile (Google)

10 月 21 日 午前 11:10–11:35 | LL21ABC | ブレイクアウトセッション

本セッションでは、Google TPU のためのネイティブな PyTorch バックエンドである TorchTPU を紹介します。ATen から StableHLO への変換と「DeferAndFuse」実行を特徴とする eager-first スタック、大規模ワークロード向けの XLA スタック、バウンドド・ダイナミズム（有界な動的性）、そして vLLM や TorchTitan との統合について解説します。

TorchTPU はすでにプライベートプレビューパートナーとの本番環境での利用実績があり、オープンソースモデルへの移行を進めています。公開 GitHub リポジトリのリリースも間近です。

torch.profiler からハードウェアサイクルへ：AWS Trainium 向け実践的プロファイリングガイド

Esha Lakhotia (AWS Annapurna Labs)、Pinak Panigrahi (Amazon)

10 月 21 日 午後 12:20–12:45 | LL21ABC | ブレイクアウトセッション

本セッションでは、コード変更や専用ツールの追加なしに、CPU のディスパッチからランタイムのオーケストレーション、そしてデバイス上のハードウェア実行に至るまで、AWS Trainium で torch.profiler API を活用する方法を実践的に紹介します。

スピーカーは、モデルの遅いコンポーネントをコンパイル済みオペレーションや Python ソースコードまでトレースし、サイクルレベルのデバイスタイムラインを用いてボトルネックを特定します。さらに AI を活用した分析により、パフォーマンス上の課題を見つけ出し、解決策を提案します。

プログラム全体はこちら

これらのセッションは、10 月 20 日と 21 日に開催される Core PyTorch プログラムの一部です。トレーニング、推論、アプリケーション、カーネルエンジニアリング、責任ある AI などに関する追加のセッションを含む、PyTorch Conference North America の完全なプログラムはこちらでご覧ください。

会議スケジュールをすべて確認する

PyTorch Conference North America 2026 に登録する