#data engineering のAIニュース

Snowflake-managed Iceberg table の COPY LOAD_MODE = ADD_FILES_COPY の仕様をドキュメントと実測から理解する

ソフトウェアエンジニアとして SQL をテストする：単体テスト、CI/CD、データ品質の自動化

この記事は、ソフトウェアエンジニアが SQL コードに対して単体テストや CI/CD パイプラインを導入し、データ品質を自動化する方法について解説しています。

AI駆動データエンジニアリングの発表

Dagster Universityが、AIコーディングエージェントを活用してプロダクションレディのELTパイプラインを構築する方法を教えるコースを提供している。これによりデータエンジニアの作業方法が変化している。

Olmix：大規模言語モデル開発におけるデータ混合フレームワーク

AI2は、LLM開発の全過程で多様なデータ（ウェブテキスト、コード等）を効果的に混合するための「Olmix」フレームワークを発表した。この技術報告書とコードは、モデル学習におけるデータ品質と多様性の最適化を支援する。

1ペタバイトのデータセットで機械学習する / WebDataset入門

大規模データセットでの機械学習では、ネットワーク帯域やディスクI/Oがボトルネックとなる。本記事では、学習側での効率的なデータ処理方法について解説する。

Hadoop / Spark Conference Japan 2019での講演

データエンジニアの廣瀬氏が、クラウドネイティブなデータ処理に関する講演をHadoop/Sparkカンファレンスで行った。