SafetensorsがPyTorch Foundationに参加

記事に戻る SafetensorsがPyTorch Foundationに参加 Upvote 9 ![](https://cdn-avatars.huggingface.co/v1/production/uploads/5dd96eb166059660ed1ee413/NQtzmrDdbG0H8qkZvRyGk.jpeg) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/5e3aec01f55e2b62848a5217/PMKS0NNB4MJQlTSFzh918.jpeg) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/1617264212503-603d25b75f9d390ab190b777.jpeg) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/1666977434736-617bc8d1000dbbbf7c225eed.png) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/6258561f4d4291e8e63d8ae6/EYjinEYAcbtm_dL5QmmRi.png) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/6317233cc92fd6fee317e030/cJHSvvimr1kqgQfHOjO5n.png) 本日、SafetensorsがDeepSpeed、Helion、Ray、vLLM、そしてPyTorch自体と共に、Linux Foundation傘下のファウンデーション・ホスト・プロジェクトとしてPyTorch Foundationに参加したことを発表します。 経緯 Safetensorsは、任意のコードを実行できない**モデル重み**を保存・共有する方法という具体的な必要性から生まれたHugging Faceプロジェクトとして始まりました。当時エコシステムを支配していた**pickle**ベースのフォーマットでは、悪意のあるコードを実行する非常に現実的なリスクがありました。これはMLがまだ発展途上だった頃は許容できるリスクでしたが、オープンなモデル共有がMLコミュニティの活動の中心となるにつれ、受け入れられないものとなるでしょう。 私たちが構築したフォーマットは意図的にシンプルです：**テンソル**の**メタデータ**を記述する100MBのハードリミットを持つ**JSON**ヘッダーと、その後に続く生のテンソルデータです。ディスクからテンソルを直接マッピングする**ゼロコピーローディング**。**チェックポイント**全体を**デシリアライズ**することなく個々の重みを読み込める**レイジーローディング**です。 私たちが完全には予想していなかったのは、これがどれほど広く採用されるかでした。今日、Safetensorsは**Hugging Face Hub**やその他におけるモデル配布のデフォルトフォーマットであり、MLのあらゆるモダリティにわたる数万のモデルで使用されています。**オープンソース**MLコミュニティがモデルを共有するための標準的な方法となっています。 PyTorch Foundationを選んだ理由 私たちはSafetensorsが真にコミュニティに属することを望んでいます。このプロジェクトは常にオープンソースでしたが、コード貢献はその進化の一部に過ぎません。より多くの企業や貢献者をプロジェクトの**ガバナンス**に加えることで、その進歩が、プロジェクトの上に構築するコミュニティ全体の広がりを反映することを確実にします。PyTorch Foundationへの参加は、Safetensorsがベンダーニュートラルな拠点を得たことを意味します。商標、リポジトリ、プロジェクトのガバナンスは、単一の企業ではなくLinux Foundationに委ねられます。Hugging Faceの2人のコアメンテナーであるLucとDanielは、**テクニカルステアリングコミッティ**に留まり、引き続き日々のプロジェクトをリードしますが、Safetensorsは今や正式にそれに依存するコミュニティのものとなりました。 私たちは、すべての貢献者が既存のものの上に構築できるときに安全性が最もよく保証されると信じています。この原則は、今やプロジェクトのガバナンス自体に組み込まれています。 ユーザーと貢献者にとっての意味 大多数のユーザーにとって、何も変わりません。フォーマットは同じ、**API**は同じ、Hubとの統合も同じで、破壊的変更はありません。現在Safetensorsフォーマットで保存されているモデルは、今までと全く同じように動作し続けます。 貢献者にとって、メンテナーになるための道筋は正式に文書化され、コミュニティの誰にでも開かれています。プロジェクトのガバナンスは、リポジトリ内のGOVERNANCE.mdとMAINTAINERS.mdに記載されています。Safetensors上に構築する組織にとって、Linux Foundation下の中立的なガバナンスは、完全にコミュニティ主導の安定した長期的基盤を提供します。 今後の展開 Safetensorsはエコシステム全体に採用された確立されたプロジェクトですが、私たちはまだそのごく初期段階にあると確信しています。 私たちはPyTorchチームと協力し、Safetensorsが**torch**モデルの**シリアライゼーションシステム**としてPyTorchコア内部で使用されるように取り組んでいます。 今後数ヶ月で大きな成長が見込まれ、その次の章にとってPyTorch Foundation以上の拠点は考えられません。今後のロードマップには、デバイスを意識したロードとセーブが含まれており、テンソルが不必要なCPUステージングを経ずに、**CUDA**、**ROCm**、その他の**アクセラレーター**に直接ロードできるようになります。 また、**Tensor Parallel**と**Pipeline Parallel**ローディングのためのファーストクラス**API**を構築しており、各**ランク**またはパイプラインステージが必要な重みのみをロードします。そして、エコシステムの**量子化**の状況が進化し続ける中、**FP8**、**GPTQ**や**AWQ**のようなブロック量子化フォーマット、**サブバイト整数型**のサポートを正式化していきます。 これらはエコシステム全体が解決に関わる問題であり、PyTorch Foundation内にいることは、他のホストプロジェクトと並行ではなく協力してこれらに取り組めることを意味します。 Safetensorsはオープンソースであり、バグ報告やドキュメンテーションから新機能やガバナンスへの参加まで、あらゆるレベルでの貢献を歓迎します。 GitHub: github.com/huggingface/safetensors ドキュメンテーション: huggingface.co/docs/safetensors PyTorch Foundation: pytorch.org/foundation もしあなたがSafetensors上に構築する開発者、研究者、または組織であり、その方向性の決定にもっと深く関与したいのであれば、イシューを開く、議論を始める、またはメンテナーに直接連絡してください。このプロジェクトは常に、それを使用するコミュニティに属してきました。ガバナンスも今やそのことを反映しているのです。

SafetensorsがPyTorch Foundationに参加

背景や根拠まで確認しますか？

調べる

選ぶ

サイト