ページを読み込み中…
ページを読み込み中…
6件の記事
Tencent Hunyuan の HPC-Ops が SGLang に統合され、Hy3 モデルの TPOT 最大 48.8% 削減が期待される。
LMSYS は SpecForge の主要アップデートとして、推論と学習の分離や新アルゴリズムサポートを発表し、Open SpecBundle ドラフトモデル案も示した。
Cloudflare は Workers AI で Kimi K シリーズと GLM を GPU 上で効率的に実行し、メモリ制約下での事前処理とデコードの分離により大規模モデルの高速・安全な提供を実現した。
SGLang チームは、エージェントワークフローを再利用可能な SKILL.md ファイルやベンチマーク契約、レビューループ、本番環境のデバッグプレイブックに変換する方法を明らかにした。これにより、実行・テスト・レビュー可能な手順的エンジニアリング知識としてのエージェント価値が強調された。
TLDR AI は、大規模言語モデルの強化学習後学習を容易に構築・再現・運用するためのフレームワーク「Miles」を紹介した。このツールは、分散システム化が進む大規模 LLM 向けに、トレーニングの構成可能性と拡張性を高めつつ、研究者やインフラチームがコアトレーナーをカスタマイズできる設計となっている。
Shepherd Model Gateway（SMG）は、大規模な大規模言語モデル（LLM）展開向けの高パフォーマンスなモデルルーティングゲートウェイです。同ツールは、ワーカーライフサイクル管理を一元化し、HTTP/gRPC/OpenAI 互換バックエンド間でトラフィックを分散させます。また、履歴保存や MCP ツール、プライバシー重視のワークフローに対する企業レベルの制御を提供します。