#データレイク のAIニュース

メタ、大規模AIモデルのストレージ設計指針を公開

メタは過去数年間のモデル能力とデータセットサイズの指数関数的成長に伴い、信頼性が高く高速なストレージアクセスがAI革新の速度と計算コストに不可欠であると指摘し、大規模スケールでのAIストレージ設計指針を明らかにした。

AI時代にどのようなデータが企業の資産になるのか

Amazon QuickSight に S3 Tables を導入し、データレイクを AI 対応分析へ

AWS は、データ可視化と自然言語対話機能を備えた分析サービス「Amazon QuickSight」に、新しいデータソース「S3 Tables」を追加した。これにより、組織は専門知識がなくてもデータレイク上のデータを直接活用し、AI を駆使した意思決定を加速できる。

UberがIngestionNextを発表：ストリーミング優先のデータレイクで遅延と計算量を25%削減

Uberがストリーミング優先のデータレイク取り込みプラットフォーム「IngestionNext」を発表した。Kafka、Flink、Apache Hudiを基盤とし、データ遅延を数時間から数分に短縮し、計算使用量を25%削減する。数千のデータセットをサポートし、グローバルな分析、実験、機械学習ワークロードを高速化する。

Uberのハイブリッドクラウドデータ：エンジニアが極大規模レプリケーションの課題を解決

UberのHiveSyncチームは、ハイブリッドクラウドとオンプレミスデータレーク間のマルチペタバイトレプリケーションを処理するため、Hadoop Distcpを最適化した。タスク並列化、小規模転送用Uberジョブ、可観測性向上により、レプリケーション容量を5倍に拡大し、オンプレミスからクラウドへのシームレスな移行を実現した。