PyTorch Conference NA 2026 で vLLM が KV キャッシュや分散推論などを発表

TL;DR

PyTorch Conference North America 2026 では、KV キャッシュ管理や分散型推論、ハードウェアの移植性、カーネル最適化、PyTorch との統合、Mixture-of-Experts（MoE）推論、アテンション機構、そして本番環境での運用など、vLLM を取り上げたセッションが多数開催されます。

#PyTorchCon NA における vLLM

PyTorch Conference North America 2026 は、10 月 20 日と 21 日にカリフォルニア州サンノゼで開催され、技術講演やライブデモ、ライトニングトーク、スポンサーセッション、基調講演に加え、vLLM を特集した Birds of a Feather（BoF）ディスカッションも予定されています。

プログラム全体を通じて、vLLM は推論アーキテクチャや KV キャッシュの活用、ハードウェアの移植性、カーネルとパフォーマンスの最適化、PyTorch との統合に関するセッションで取り上げられます。また、MoE 推論、アテンション機構、本番環境への展開、広範なアプリケーションスタック、オープンソースへの貢献などについても議論されます。

会議スケジュールの詳細はこちら

PyTorch Conference North America 2026 の登録はこちら

推論アーキテクチャ、KV キャッシュ、そして本番環境での推論

vLLM におけるアテンションの仕組み：開発者向けガイド

Lucas Wilkinson（Red Hat）、Matthew Bonanni（Red Hat）

10 月 20 日 午前 11:45–12:10 | LL20AB | ブレイクアウトセッション

本セッションでは、スライディングウィンドウやスパース性、圧縮、線形変種、ハイブリッドアテンションなど、モデルが採用する多様なアプローチに対応し、vLLM がどのようにアテンションを表現・提供・最適化しているかを解説します。

登壇者は、アテンションバックエンド、KV キャッシュコネクタ、ハイブリッドメモリアロケータについて解説します。また、vLLM のアテンション抽象化の最近の大規模改修についても取り上げます。何が変更され、新しい設計がどのようにして新興アーキテクチャをより容易かつクリーンにサポートできるようになったのかを明らかにします。

vLLM における分散型 LLM サービングのための最先端 KV 転送

Nicolò Lucchesi (Mistral AI)、Sunita Nadampalli (Amazon)、Zhanqiu Hu (Red Hat)

10 月 20 日 午後 2:15–2:40 | LL20CD | ブレイクアウトセッション

本セッションでは、prefill と decode の間で KV キャッシュを転送するための vLLM の分散型サービングスタックの最新動向を取り上げます。話題には、異種テンソル並列性を活用したハイブリッドモデル転送、双方向 KV 転送、KV Push コネクタ、および信頼性向上のための KV キャッシュリースが含まれます。

登壇者によると、KV Push は最初のトークン生成までの時間を短縮します。また、Nemotron モデルでは、分散型 prefille/decode の構成が、あらゆる並列度レベルにおいて単一サーバーでの同時実行よりもパレート最適であることが示されています。

vLLM におけるネイティブ階層化 KV キャッシュオフローディング：ストレージオフロードから分散型サービングへ

Or Ozeri (IBM)

10 月 20 日 午後 2:50–3:15 | LL20CD | ブレイクアウトセッション

本講演では、外部依存関係を持たずに vLLM のメインストリームに統合されたばかりの、ネイティブな階層化 KV キャッシュオフローディングフレームワークを紹介します。

このフレームワークは、CPU メモリを経由して転送をルーティングするユニバーサルなトランスポートハブとして機能します。GPU 転送のオーバーヘッドを最小限に抑えつつ、I/O を CPU バッファで集約し、専用の転送 API に依存しません。さらに、ハードウェアやアテンションバックエンド、並列化スキーム、モデルアーキテクチャを問わず、KV キャッシュメモリのレイアウトにも依存しない設計となっています。

LMCache: LLM プロンプトキャッシュのためのクラスター全体で利用可能なオープンソースソリューション

Kuntai Du 氏 (Tensormesh, Inc.)

10 月 20日 3時40分〜3時50分 | LL20CD | ライトニングトーク

LMCache は、vLLM、SGLang、TensorRT-LLM といった推論エンジンや、Mooncake、Redis、AWS S3 などのストレージシステム全体でプロンプトキャッシュを実現します。

本セッションでは、Kubernetes 環境での LMCache デプロイに関するチュートリアルと、そのプロンプトキャッシングアプローチの背後にある技術・研究内容について解説します。

vLLM の KV キャッシュ管理：モデル固有要件への対応

Mengqing Cao 氏 (Huawei)

10 月 20日 5時30分〜5時40分 | LL20CD | ライトニングトーク

本セッションでは、MLA、SWA、Eagle、DeepSeek-V4 など、モデルアーキテクチャによって異なる KV キャッシュの要件について取り上げます。

デフォルトプランナーを基盤としつつ、仕様グループ化やブロックサイズ導出、キャッシュテンソルの作成、max_model_len の調整など、各要件に応じたモデル固有のプランナーを組み合わせた「モデルカスタマイズ型 KV キャッシュプランナー」を提案します。

vLLM における弾力的なエキスパート並列処理

Itay Alroy 氏 (NVIDIA)

10 月 21日 2時50分〜3時15分 | LL20CD | ブレイクアウトセッション

Elastic Expert Parallelism を活用すれば、vLLM のデプロイ環境でランタイム中にワーカーの追加・削除が可能になり、最小限のサービス中断で専門家（エキスパート）を新しいワーカーセットに再分配できます。

本セッションでは、通信設定の再構成や CUDA Graph の再キャプチャ、EP Load Balancer を介したエキスパートの再バランス化、新規 GPU への重み転送、モデル順次実行との調整について解説します。また、NIXL EP がライブトラフィック下でのスケールアップ・ダウン操作を可能にする仕組みや、障害検知・報告・復旧のプロセスについても取り上げます。

多段階パイプラインにおける自己回帰ステージ向けのプレフィックスキャッシング

Ricardo Noriega（Red Hat）、Alex Brooks（Red Hat）

10 月 21 日 4:20–4:45 | LL20AB | ブレイクアウトセッション

本講演では、vLLM-Omni のステージ出力に対する自動プレフィックスキャッシングについて探ります。これは vLLM のプレフィックスキャッシング機能を多段階モデルに拡張しつつ、GPU メモリコストを最小限に抑えるアプローチです。

この手法は、外部の CPU テンソルキャッシュと vLLM 独自のブロック管理を連携させます。また、スピーカーらは手動設定なしで vLLM-Omni がキャッシュ可能なテンソルを動的に発見する方法についても説明します。

ハードウェア移植性とアクセラレータバックエンド

スポンサー：Google Cloud TPUs 上で TorchTPU を活用したオープンソース LLM サービングの統一

Rob Mulla（Google）

10 月 20 日 10:40–10:50 | コミュニティエキスポ | デモシアター

この 10 分間のデモでは、Cloud TPUs 上の PyTorch モデル向けに TorchTPU が提供するネイティブかつ高パフォーマンスなコンパイルパスを紹介します。

デモでは、vLLM や SGLang といった推論エンジンにとって TorchTPU が統一バックエンドとして機能する様子が強調されます。これにより、最小限のコード修正でこれらのサービングエンジンを通じてモデル展開が可能になります。

スポンサー提供：PyTorch エコシステムが Trainium でネイティブに動作

Maen Suleiman（Amazon Web Services）

10 月 20 日 午前 10:55–11:05 | コミュニティエキスポ | デモシアター

本ライブデモでは、TorchNeuron を介した Trainium 上の PyTorch ワークフローをカバーします。具体的には、TorchTitan や Hugging Face Transformers v5 を用いたトレーニング、vLLM-Neuron によるサービング、Neuron Explorer によるプロファイリング、そして NKI カーネルを直接 PyTorch コードに追加する手法を紹介します。

また、セッションでは Neuron Agentic Development もデモンストレーションされます。これはカーネルの作成と最適化を支援する AI 活用ツールです。

1 つのモデル定義で多数のアクセラレーター：フォークなしで vLLM をハードウェア間でスケーリング

Thomas Parnell（IBM）、Richard Zou（Meta）

10 月 20 日 午後 4:20–4:45 | LL20CD | ブレイクアウトセッション

本講演では、vLLM 向けのハードウェア非依存なモデル定義を提案します。これはモデルロジックとハードウェア実行パスを分離するアプローチで、フォークやプラットフォームごとのメンテナンスを行わずに、同じモデル定義を複数のアクセラレーター上で実行できるようにします。

この設計は、torch.compile との互換性、明確に定義された拡張フック、そしてハードウェア固有のパスからの隔離に基づいています。スピーカーたちは、このアプローチが Intel Gaudi/HPU や IBM Spyre に対して、ハードウェア固有のモデル記述コードなしでサポートされる様子を実演します。

AI アクセラレーター間を横断するポータブルな PyTorch：Eager モードから vLLM までの Triton オペレータスタック

北京人工知能研究院のリン・ヨンファ（Yonghua Lin）氏によるセッション「FlagOS の紹介」

10 月 20 日 午後 4:55–5:20 | LL20CD | ブレイクアウトセッション

本セッションでは、PyTorch 向けに Triton ベースの演算子・コンパイラ・ランタイム層を統合したオープンソースシステムスタック「FlagOS」について紹介します。

FlagGems は、PyTorch のイーグルモード演算子および LLM に不可欠なカーネルを Triton で実装しています。この演算子層は、vllm-plugin-fl というマルチバックエンドプラグンを介して vLLM と接続されます。

発表者らは、FlagOS を 20 種類以上の AI チップとアーキテクチャでテストした結果、Qwen3.5、MiniMax-M3、MiniCPM-5、DeepSeek-V4 といったモデルの Day-0 アダプテーションを可能にしたと報告しています。また、従来のベンダー提供版との比較において、推論性能が 5–40% 向上したという結果も示されています。

vLLM と OpenVINO を活用した Arm 上での効率的な MoE LLM 推論

富士通インド研究所のアビシェク・ジャイン（Abhishek Jain）氏と N マージド・カーン（N Maajid Khan）氏によるライトニングトーク

10 月 20 日 午後 4:55–5:05 | LL21ABC | ライトニングトーク

本発表では、Arm CPU 向けに最適化された vLLM と OpenVINO の推論スタックについて紹介します。具体的には、SVE 対応の SDPA やページドアテンション（Paged Attention）、U8 KV キャッシュ量子化、演算子融合、KleidiAI の統合、および 8 ビット・4 ビット推論向けの最適化されたスレッド処理などが含まれます。

Mixture-of-Experts (MoE) モデルについては、動的なトークンとエキスパートの選択を行列乗算と組み合わせた「NUMA 対応 GatherMatMul 演算子」を紹介しています。AWS Graviton3e でのベンチマークでは、GPTOSS や Llama モデルにおいてスループットが約 2 倍に向上したことが示されています。

IBM Spyre アクセラレータの統合

デビッド・グローブ氏（IBM）、アントニ・ヴィロス・イ・マルティン氏（IBM リサーチ）、アヴェリー・ブランチャード氏（IBM リサーチ）

10 月 20 日 4:55–5:20 | LL21DEF | ブレイクアウトセッション

Torch-Spyre は、IBM Spyre アクセラレータ向けに OpenReg と Inductor バックエンドを備えた PyTorch PrivateUse1 デバイスを提供するオープンソースプロジェクトです。

発表者によると、IBM Spyre アクセラレータは now、PyTorch 統合を通じて Hugging Face や vLLM から数千のモデルを実行できるようになりました。本セッションでは、2026 年に実施された Torch-Spyre の現状、機能強化とパフォーマンス向上、PyTorch への貢献、デバイス固有のテンソルレイアウト、スクラッチパッド最適化されたタイリングについて解説します。

基調講演：エージェント時代のワークロードの代替可能性

ビル・ジア氏（Google Cloud）

10 月 21 日 9:15–9:25 | グランドボールルーム | 基調講演

この基調講演では TorchTPU を活用し、モデル開発からトレーニング、そして vLLM や SGLang を介したサービス提供に至るまでの PyTorch ワークフローを紹介します。

また、GPU から TPU へのワークロード移行におけるエージェント型ワークフローの実演や、量子化（quantization）、カスタムカーネル生成、シャーディング戦略といったパフォーマンス最適化タスクでの活用事例についても探ります。

TPU 上でのネイティブ LLM サービング：SGLang と vLLM

コリン・テイラー氏（Meta）、チー・ジョウ氏（Google）、アンジェラ・イェイ氏（Meta）

10 月 21 日 2:15–2:40 | LL20CD | ブレイクアウトセッション

本セッションでは、PyTorch ネイティブの TPU バックエンドを通じて SGLang と vLLM が TPU 上で動作する様子を紹介します。これにより、各サービングエンジンが持つスケジューラーやバッチ処理システム、OpenAI 互換 API、そして torch.compile ワークフローをそのまま維持したままの実現が可能です。

登壇者は、torch.compile の TPU 向け変換（lowering）、Pallas アテンション、テンソルおよびエキスパート並列化、Mixture-of-Experts (MoE) の実行、Qwen3-Coder-480B などの大規模 MoE モデル向けの FP8 活用、マルチモーダルエンコーダー、prefill/decode の非同期化（disaggregation）、そしてスペキュレーティブデコーディングについて解説します。登壇者によると、両プラットフォームは本セッションでオープンソース化されることが発表されます。

カーネルとパフォーマンス最適化

CUTLASS Python を用いた高速度 GPU カーネル開発

マイケル・ゴールドファブ（NVIDIA）、ゲラ・オゼン（NVIDIA）

10 月 20 日 12:20–12:45 | 210BF | ブレイクアウトセッション

本講演では、CUTLASS CuTe DSL の新たな Python フォーカス機能を紹介します。登壇者によると、この機能は FlashAttention 4、TRT-LLM、vLLM、FlashInfer といったプロジェクトにおいて、高性能な GPU カーネルの実現に貢献しています。

セッションでは、CuTe DSL の拡張機能、低レベルハードウェア命令への直接アクセスを可能にする CUTLASS Python プリミティブ、そして非同期プリミティブの静的検証を行うゼロコストのメタプログラミングフレームワークである「Resource and Task Scheduler」について解説します。

fastsafetensors による LLM サービングの起動高速化

吉村健（IBM）

10 月 20 日 3:25–3:35 | LL20CD | ライトニングトーク

本講演では、vLLM を含む PyTorch 推論システムにおける safetensors チェックポイントの読み込みを加速するオープンソースライブラリ「fastsafetensors」について紹介します。

fastsafetensors は、テンソルごとのコピーを排除し、断片化された I/O を統合してホストでのステージングをスキップします。発表者によると、モデルの読み込み速度が 4.8 倍から 7.5 倍に向上し、NVMe の読み取りスループットは最大 28 GB/s に達しました。

本セッションでは、並列読み込み、3FS 統合、ROCm サポート、ランタイムで CUDA/ROCm を検出するユニバーサル Wheel、Windows DirectStorage の検討、統一メモリサポートなどへの貢献についても取り上げます。

スポンサー提供：Quantization Showdown: PyTorch Inference Optimization

Markell Rawls 氏（Red Hat）

10 月 20 日 4:10–4:20 | コミュニティエキスポ | デモシアター

このライブデモでは、LLM Compressor や vLLM などのツールを用いた量子化と推測的デコーディングを検証します。

本セッションは、実運用環境でのパフォーマンス、コスト、品質のトレードオフを明らかにするため、負荷条件下でこれらの手法を徹底的にテストします。

数週間から一夜明けまで：エージェントパイプラインによる自律的な Day-0 カーネルブリングアップ

Xiaogang Gu 氏（Intel）、Qun Yang 氏（Intel）

10 月 20 日 5:30–5:40 | 210BF | ライトニングトーク

本セッションでは、GPU カーネル最適化のためのパイプライン駆動型自律システムを紹介します。このシステムでは、プロファイリング、分析、コード生成、検証、修正、ベンチマーク、評価といった各工程を、専門のエージェントが独立したコンテキストで担当します。

実際の vLLM 推論ワークロードを用いた結果、カーネルのブリングアップと最適化サイクルを数週間から、一晩放置して実行するだけで完了できるレベルまで短縮することに成功しました。

Intel GPU 上で Triton カーネルを活用し vLLM を高速化する

Whitney Tsang 氏（Intel）、Artur Fierka 氏（Intel）

10 月 21 日 12:20–12:30 | 会場 210BF | ライトニングトーク

本セッションでは、Intel GPU 上で動作する vLLM のための Triton カーネルについて解説し、推論ワークロードにおいて SYCL を上回る可能性のある領域を探ります。

登壇者は、統一アテンション（unified attention）、融合 MoE（fused MoE）、バッチ処理された MoE、オートチューニング、テンソル記述子指向のカーネル構造、そして融合の機会について焦点を当てます。さらに、これらの技術選択が vLLM のエンドツーエンドのスループットとレイテンシにどう影響し、どこで SYCL が依然として競争力を持つのかについても議論します。

HiFloat: PyTorch エコシステムにおける超低精度トレーニングと推論の民主化

登壇者：Yun Zhao（Huawei）、Haonan Zhang（Huawei）

10 月 21 日 14:50–15:00 | 会場 LL20AB | ライトニングトーク

本セッションでは、HiFloat8 と HiFloat4 を紹介し、DeepSpeed や vLLM 内での HiFloat による加速された LLM ワークフローを実演します。

実装には PyTorch カスタムオペレーション、Triton ベースのカーネル、そして torch.compile が用いられています。発表されるベンチマークでは、HiF8 は FP16 と同等の最終損失値を達成しつつ、GEMM 処理で 1.5 倍から 1.7 倍の高速化を実現したと報告されています。

Portable Paged Attention: Triton から Helion へ

登壇者：Burkhard Ringlein（IBM Research）

10 月 21 日 15:25–15:50 | 会場 210BF | ブレイクアウトセッション

本セッションでは、Paged Attention の Triton と Helion による実装を比較し、vLLM 向けの実験的な Helion アテンションバックエンドについて発表します。

登壇者は、2 つの実装の違いについて解説し、同等のパフォーマンスを達成するために必要なアルゴリズムの変更点、そして Helion によって可能になった最適化事項を取り上げます。初期の結果では、実験的な Helion バックエンドがレイテンシを最大 50% 削減し、Triton と比較してエンドツーエンドのスループットを最大 10% 向上させることが示されています。

PyTorch の統合と互換性

PyTorch とそのエコシステムのリリース：モダンなリリースストーリー

Andrey Talman（Meta）

10 月 20 日 午前 11:45–11:55 | LL21DEF | ライトニングトーク

本セッションでは、PyTorch のリリースエンジニアリングにおける変更点について取り上げます。具体的には、リリースブランチを切り取る前にエコシステム内の不具合を上流で検出できるよう、Triton や vLLM を PyTorch のナイトリービルドに対して継続的に検証する仕組みについて解説します。

また、より迅速かつ予測可能なリリースプロセスの確立や、AI エージェントを活用した CI 対応についても触れます。具体的には、ノイズと回帰（レグレッション）を区別し、修正パッチのドラフトを作成する役割を AI に担わせつつ、最終的な判断は人間が行うという運用体制について説明します。

スポンサーセッション：PyTorch と vLLM を活用したエンタープライズ向けエージェント推論の実用化

Joseph Groenenboom（Red Hat）、Tyler Michael Smith（Red Hat）

10 月 20 日 午後 3:25–3:50 | LL21ABC | スポンサーセッション

本セッションでは、エンタープライズ向け推論システムが求める信頼性、観測可能性、KV キャッシュ管理、そして並列処理要件について検討します。

登壇者は、コアとなる PyTorch のビルドインフラから、ツール呼び出しや長文コンテキスト、多回対話型チャットに対応するモデルサービングの改善まで、PyTorch や vLLM、その他のファウンデーションプロジェクト、そして広範なエコシステム全体にわたる上流への貢献事例を紹介します。

PyTorch C++ エクステンションエコシステムの ABI 安定化への道

Sean McGovern (Red Hat), Chris Leonard (Red Hat), Jane Xu (Meta)

10 月 21 日 14:15–14:40 | LL21ABC | ブレイクアウトセッション

PyTorch の安定 ABI は、再コンパイルを行わずに PyTorch のバージョンを超えてエクステンションがターゲットできるバイナリ互換な C インターフェースを提供します。

本セッションでは、不安定な API 使用の特定とインベントリ作成、そして LLM を活用したソース・トゥ・ソース変換を適用するためのツールを紹介します。スピーカーは、vLLM や SGLang などのライブラリを対象に、そのプロセスを実演します。

バックされた形状から非バックされた形状へ：PyTorch における明確で予測可能、かつ制御可能な動的形状

Laith Sakka (Meta)

10 月 21 日 16:20–16:45 | LL21ABC | ブレイクアウトセッション

本講演では、vLLM、export、事前コンパイルを含む明示的なグラフキャプチャワークフローにおける非バックされた動的形状、および動的形状の再コンパイルが許されない JIT デプロイメントについて解説します。

セッションでは、データ依存エラーと分岐処理、TorchBench や vLLM におけるバックされた形状とのパフォーマンスギャップを埋めるための取り組み、そしてコンパイル済みアーティファクト全体での形状制約やディスパッチに関する API についても取り上げます。

vLLM のより広範な応用とインフラストラクチャ

現代のビジョンランゲージモデルの理解

Aastha Jhunjhunwala (NVIDIA), Mark Moyou (NVIDIA)

10 月 20 日 12:20–12:45 | LL20AB | ブレイクアウトセッション

本セッションでは、5 つのオープンソースビジョン・ランゲージモデルアーキテクチャを分解し、画像トークン化、ビジョンと言語の融合、トレーニングと推論の違い、ファインチューニング、マルチ GPU 学習について解説します。

プロダクション環境でのサービス提供においては、画像トークンの成長、KV キャッシュの負荷、スループット、そして vLLM を含むツールの役割について議論します。

後援：ハードウェア対応 AI: PyTorch でクラウドからエッジまでエージェントシステムを構築する

Kavya Sri Chennoju (Arm)

10 月 20 日 12:20–12:45 | LL20CD | スポンサーセッション

本セッションでは、モデル開発に PyTorch を、オンデバイス推論に ExecuTorch を、スケーラブルな LLM サービス提供に vLLM を、そして異種ハードウェアとの連携に Arm Device Connect を活用した、クラウドからエッジまでのワークフローを紹介します。

ライブデモでは、ファウンデーションモデルがタスクについて推論し、エッジモデルを呼び出し、生センサーデータを取得し、物理デバイスを協調制御する様子を実演します。

GPU の稼働率向上：fsspec を活用した PyTorch 用高速ストレージ

Ankita Luthra (Google)、Trinadh Kotturu (Google)

10 月 20 日 3:40–3:50 | LL21DEF | ライトニングトーク

本発表では、Google の Colossus ステートフルプロトコルを fsspec を介して PyTorch に統合し、ストレージ層への永続的な gRPC ストリームを利用する「Rapid Storage」について紹介します。

スピーカーらは、ランダムな読み書きのレイテンシが 1 ミリ秒未満、データアクセス速度が 20 倍向上、集約スループットが 6 TB/s、ランダム I/O のテールレイテンシが 10 分の 1 に低下したと報告しています。この統合は gcsfs を通じて実現され、vLLM が他のデータおよび AI フレームワークと共に fsspec エコシステム全体に組み込まれています。

スポンサー提供：プロンプトから物理アクションへ——PyTorch と ExecuTorch を活用したライブ・ハードウェア対応 AI デモ

スピーカー：Kavya Sri Chennoju 氏（Arm）

日時：10 月 20 日 午後 3:55–4:05 | コミュニティエキスポ | デモシアター

このライブデモでは、PyTorch、ExecuTorch、vLLM、そして Arm Device Connect を組み合わせたワークフローを披露します。クラウドからエッジ、埋め込みデバイスまでを跨ぐ統合を実現するものです。

自然言語によるリクエストから始まり、大規模言語モデルがタスクの推論を行い、利用可能なデバイスを特定。その後、エッジ AI モデルを呼び出し、生体センサーデータの取得を行い、統一されたプログラミングモデルを通じてハードウェア全体を制御します。

PyTorch から本番環境へ：物理制約付き生成モデルを ONNX、Ray、vLLM でサービングする

スピーカー：Arun Sharma 氏（ミネソタ大学）

日時：10 月 21 日 午後 2:50–3:15 | セッション会場 210AE | ブレイクアウトセッション

本セッションでは、物理制約付きの生成ダウンスケールモデルを PyTorch でのトレーニングからサービングスタックへ移行するプロセスを追跡します。

トピックには、torch.onnx と AOTInductor を通じたモデルのエクスポート、レクチファイドフローサンプリング、推論時の物理制約の適用、そして Ray Train を用いたスケーリングのためのレシピが含まれます。サービングパスでは、Rust 製の ONNX Runtime、Go 製の Temporal、そしてダウンスケラーをツールとして呼び出す vLLM エージェントが組み合わされています。

vLLM コミュニティと貢献活動

止まらない推論 OSS に貢献する：vLLM、llm-d、そして変化する標的について

Maroon Ayoub（Red Hat）、Nili Guy（IBM）

10 月 21 日 午前 10:35–11:05 | コミュニティエキスポ | Birds of a Feather（BoF）セッション

本日の BoF セッションは、vLLM や llm-d など、急速に進化する推論プロジェクトへの貢献方法に焦点を当てます。

コントリビューター、メンテナー、そして将来のコントリビューターが、最初のプルリクエストをマージさせるためのアプローチや、新規コントリビューターのオンボーディング手法、各プロジェクトチャンネルにおける技術的な意思決定の追跡方法、また企業横断型のオープンソース開発への参加方法などについて議論します。

詳細プログラムはこちらをご覧ください。

本セッションでは、vLLM に直接焦点を当てたトークと、vLLM がサービングスタックや実装、ハードウェア統合、最適化の一部として位置づけられるより広範なセッションの両方が含まれます。