ページを読み込み中…
ページを読み込み中…
69件の記事
ParasailがシリーズAで3200万ドルを調達し、モデルとコンピューティングの分断化された未来を示唆した。
NVIDIAが、アルゴリズム取引向けに市場イベントへの応答時間を短縮する技術を開発した。高速電子市場に対応するため、遅延に敏感な企業向けに推論遅延を一桁マイクロ秒レベルに低減するソリューションを提供する。
NVIDIAは、ハードウェア・ソフトウェア・モデルの共同設計により、AIファクトリーの最高スループットと最低トークンコストを提供するプラットフォームを発表した。
AIチップ新興企業RebellionsがIPO前ラウンドで4億ドルを調達し、評価額は23億ドルに達した。同社はAI推論専用チップを設計しており、NVIDIAの支配に挑戦する存在となっている。
Multiverse Computingは、OpenAIやMetaなどの主要AIラボのモデルを圧縮した後、圧縮モデルの能力を示すアプリと、より広く利用可能にするAPIを両方リリースした。
著者が、LLMの推論効率化に重要なKVキャッシュの概念と、スクラッチでの実装方法を解説している。