#dagster のAIニュース
12件の記事
AI駆動データエンジニアリングの発表
Dagster Universityが、AIコーディングエージェントを活用してプロダクションレディのELTパイプラインを構築する方法を教えるコースを提供している。これによりデータエンジニアの作業方法が変化している。
Dagster OSSからDagster+への移行時期
Dagster社が、チームの成長に伴いDagster OSSの運用負担が増えるため、データ製品開発に集中するためにDagster+への移行時期を説明している。
DagsterとMetaxyによるMLパイプラインのサンプルレベルバージョン管理
Metaxyを使用して、Dagster上でサンプルレベルの粒度を持つマルチモーダルデータパイプラインを構築する方法を紹介します。
Dagster + Snowflake: Cortexによる本番AIパイプラインの構築
SnowflakeがAI計算を、Dagsterがオーケストレーションと運用パターンを担当し、AI実験を信頼性の高い本番パイプラインに変換します。
あなたのGTMデータ、ついに解きほぐされる
Compassがマーケティングツールに直接接続し、CSV出力やデータチーム待ちなしでSlack内でパイプラインや広告費、営業会話について質問可能に。
尊厳あるPython：LLMエージェントを改善する10のルール
現代のLLMは原則ではなくパターンを生成する。尊厳あるPythonはエージェントに意図を与え、コードを明示的で一貫性があり注意深く設計されるようにする。
チェスを通じたモデル行動の評価
AIモデルにチェスを繰り返し対局させ、リスク対応や長期目標への対応を観察することで、静的評価では見えない行動パターンを明らかにする方法を提案。
データ品質を全段階で確保する方法：コスト発生前に問題を捕捉する実践ガイド
データ品質を全段階で確保するフレームワークを提供し、早期に問題を発見し、信頼を維持し、実際に機能するプラットフォームを構築する方法を解説します。
同期だけでは不十分な場合
Dagsterがカスタム非同期エグゼキュータを導入し、実行方法を変更せずに高並列ファンアウトや非同期ネイティブライブラリの段階的導入を可能にした。
Nanochatのオーケストレーション：モデルのデプロイ
RunPodが、訓練済みのAIモデルを高速で信頼性の高いエンドポイントとしてデプロイする方法を解説する。Dagsterによるオーケストレーションと自動更新を組み合わせたガイドを提供する。
データインジェスションパターン：Push、Pull、Pollの使い分け（実例付き）
Dagster社が、データインジェスションパターン（Push、Pull、Poll）の選択に関する実践ガイドを公開した。同社は、信頼性と保守性の高いパイプライン構築を支援する実例コードを提供している。
Nanochatのオーケストレーション：トークナイザーの構築
Dagsterを用いたデータ取り込みの構造化、テキストコーパスの準備、モデルの世界理解を形作るトークナイザーの構築方法を説明している。