#distributed systems のAIニュース

合計容量1EB超、異なる歴史を持つHDFSをどうつなぐか：LINEヤフーのデータ基盤間連携で直面した課題と設計判断

TiDB や AlloyDB の大規模テーブルを BigQuery に高速同期するための工夫

メルカリのデータインジェストチームは、数百億件に達する大規模データベースからデータウェアハウスへの継続的な同期において、速度・安全性・一貫性を確保する手法について解説している。

Workflow SDK、実行中のキャンセル機能をサポートへ

Vercel が公開した Workflow SDK のベータ版が、標準的な AbortController と AbortSignal API をワークフローおよびステップの境界全体で利用可能にし、実行中の操作を柔軟にキャンセルできるようになった。

TRL でデルタ重み同期を実装：トリリオンパラメータをハブバケットで管理

TRL は非同期強化学習において、変更されたモデルパラメータのみを送信する「デルタ重み同期」手法を導入し、データ転送量をギガバイトからメガバイトに削減した。また、Hugging Face Hub のバケット機能を活用して学習器と推論エンジンの通信を分離し、帯域幅の大幅な節約を実現した。

Google、信頼性の高い分散型エージェント実行環境「Agent Executor」を発表

Google は、長期にわたるエージェントワークフローの信頼性と効率を高めるためのオープンソースランタイム標準「Agent Executor」を発表した。同製品は、永続的な実行や安全な隔離機能を提供し、Kubernetes Engine と連携して大規模展開時の計算リソース効率を最適化する。

Temporalによるナレッジ更新の同時実行制御