MLエンジニアがKubernetesを学ぶべき理由

もしコースを探してここに訪れたのであれば、以下のセクションへお進みください：データサイエンティスト向け K8s。 Kubernetes（略称：K8s）は、クラウド上でコンテナ化されたアプリケーションをデプロイおよび管理するためのオープンソースシステムです。現代の Web アプリケーションのうち、K8s 上でデプロイされる割合は年々増加しています。もしあなたが機械学習エンジニアであれば、モデルのトレーニング、監視、オーケストレーションに使用するインフラストラクチャが K8s 上にデプロイされているか、あるいはあなたのモデルを利用する下流アプリケーションが K8s で稼働している可能性が高まっています。ただし、K8s は学習が難しい複雑なシステムでもあります。 Chip Huyen の意見には理論上は同意します。データサイエンティストが K8s を学ぶ必要はないはずです。しかし、現実には：学ぶべきではないとしても、実際に学んでおくことは非常に有益です！私はしばしばインフラストラクチャの制約に直面しており、そのインフラストラクチャが Kubernetes 上でホストされるケースが増えていると感じています。 例えば、クラウドプロバイダーのコンソールへのアクセス権限を rarely 与えられることが多く、代わりにすでにいくつかのデータツールがインストールされた K8s クラスターへのアクセス権限しか得られません。何か問題が発生した際、K8s について十分な知識があれば、その問題をデバッグするのに役立ちます。また、基本的な概念に精通しておくことで、チームとのインフラストラクチャに関する議論をより生産的なものにできます。 Vicki Boykis も、この技術を学ぶための投資は価値があると考えています1： ![](course_img/20221212131043.png) 以下に、機械学習エンジニアが K8s を学ぶことが良いアイデアである理由をいくつか挙げます2。 ホスト型データ/ML ツールが常に選択肢とは限らない ![](course_img/bellman.png) 科学者を案内するロボットコンシェルジュ 大規模クラウドプロバイダーは、自社の ML インフラストラクチャをホスト型ソリューションとして提供しています3。しかし、これらの提供物と機械学習チームのニーズの間には、しばしばギャップが存在します。例えば、私は以下のようなツールが、ホスト型ソリューションに併設または代替として導入されているのを目にしたことがあります： オープンソースだけでは不十分な場合、サードパーティベンダーは喜んで自社のソフトウェアをあなたのクラウド上にインストールしてくれます。しかし、これを実現するには、基本的なインフラストラクチャのスキルが必要となるケースが多々あります。これらのスキルは Kubernetes と重なる部分が多いです。ご自身が直接インフラストラクチャをデプロイする責任を負わない場合でも、仕組みの基本を理解しておくことは、基本的なデバッグやトラブルシューティングを行う上で役立ちます。例えば、ログや API/HTTPS エンドポイントの場所を知っていれば、多くのケースで作業が円滑に進むようになります。 誰かが救いに来てくれるわけではない ![](course_img/superhero.png) 機械学習のプロフェッショナルとしての最初の経験として、作業を開始するために必要なツールが揃っていないという状況に直面することがよくあります。これは非常にフラストレーションを感じるもので、適切なツールなしで進捗を出すのは難しいからです。この経験は通常、以下のような会話へと発展します： ML エンジニア：ACME 社への参加を楽しみにしています！予測モデルを使ってマーケティング支出の最適化を任されました。しかし、効率的に業務を行うために必要な基本的なインフラストラクチャやツールが不足しているのが課題です。 マネージャー：混乱しています。必要なツールをインストールできないのですか？それがあなたの役割ではないですか？あなたが解決してくれるものだと思っていました。 ML エンジニア：いいえ、インフラのセットアップやデプロイの方法は知りません。それには特別なインフラ担当者または DevOps 担当者が必要です。 マネージャー：投資対効果（ROI）が不明確な状態で追加リソースを要求するのは難しいでしょう。まず ML プロジェクトを実行して価値を示し、その後でインフラへの投資を検討しましょうか？ ML エンジニア：より迅速に実験を行い、概念実証（PoC）を開発するために最低限のツールが必要です。また、チームとの協力を改善するのに役立つツールも必要です… 私の経験では、DevOps チームは慢性的な人員不足と過重労働に悩まされています。セキュリティ上の懸念から、企業向けソフトウェアを自分で Kubernetes 上でデプロイするのは通常推奨されませんが、基本的なスキルを持っていれば、DevOps の同僚たちの負担を劇的に軽減し、彼らがあなたを支援しやすくすることができます。 Kubernetes（K8s）はインフラの問題に対する万能薬ではありません。組織の制約や既存のソフトウェアスタックの範囲内で運用する必要があります。4 しかし、その人気が高まるにつれて、この技術を学ぶことがますます有益になる可能性が高まっています。 ML 研究は過密化しています。SWE（ソフトウェアエンジニアリング）スキルで競争しましょう。 ![](course_img/crowd.png) 科学者で溢れかえった部屋 データサイエンティストとして他と差別化を図る最良の方法の一つは、あなたのスキルです。従来の教育では最新の機械学習（ML）技術の習得に重点が置かれる傾向があります。しかし、最先端の ML 研究は非常に競争が激しく、すでに過密な領域となっています。 私の経験則では、多くのチームが直面しているボトルネックは、最先端の ML 技術に関する知識の欠如ではなく、モデルを実運用化するためのソフトウェアエンジニアリングスキルやパートナーシップの不足です。ツールやインフラストラクチャを構築する方法を学ぶ時間を少し取れば、あなたはチームにとって不可欠な存在となるでしょう。 さらに重要なのは、機械学習をビジネス課題に結びつけるために、モデルをサービスやアプリケーションにデプロイし統合することが極めて重要だということです。Kubernetes（K8s）を学ぶことは、この目的を達成する助けとなります。 あなたの会社はすでに Kubernetes を運用しているはずです ![](course_img/meeting.png) インフラストラクチャを担当する人物と握手をする科学者 Python がデータサイエンスの共通言語であるように、Kubernetes（K8s）もクラウドインフラストラクチャの共通言語になりつつあります。CNCF による 2021 年の調査によると、組織の 96% が Kubernetes を使用しているか、評価中であると回答しています。さらに、Stack Overflow の 2022 年開発者調査では、Docker と Kubernetes がそれぞれ「最も愛され、欲しいツール」の第 1 位と第 2 位にランクインしました。これは、Kubernetes（K8s）が定着する強い指標です。 Kubernetes（K8s）に関する基本的な習熟度は、多くの組織において望むツールのサポートを得る可能性を劇的に高めます。Kubernetes（K8s）の習熟度が高まると、以下の確率が向上します： あなたの DevOps の同僚たちは、あなたがデプロイしたいツールに慣れ親しんでいると感じるでしょう アプリケーション管理者と共通の言語で対話できるようになります インフラのサポートをしてくれる人材を引きつける可能性が高まります これらの要因により、データサイエンスの経験がないソフトウェアエンジニアが「良いアイデア」と考えるものではなく、あなたが現在いる場所に合わせて提供されるツールを手に入れる可能性が格段に高まります（私はこれが頻繁に起こるのを何度も見てきました！）。 しかし、それはやりすぎではないでしょうか？ ![](course_img/orange.png) チェーンソーでオレンジを切る 素早く立ち上げたりプロトタイプを作成したりしたいシンプルなアプリケーションの場合、K8s はやりすぎです。むしろ、多くの企業で見られる環境内で作業する際に K8s の知識が有用であると主張しています。例えば、データ製品を単一の VM でホストすることは、本番ソフトウェアをデプロイしたい場合、しばしば不十分です。多くの企業では、Kubernetes しか含まない舗装されたパス（paved paths）のみで構成されるインフラにより、そのようなことができないように制限されていることもあります。 本番ソフトウェアをデプロイしていなくても、必要なツールをデプロイする際に K8s は非常に貴重な役割を果たすことができます。多くの場合、K8s を使用することでタスクが容易になります。大企業はコストとセキュリティを管理するためのガードレールを作成するために必然的にリソースを投資してきました。これらのガードレールはますます Kubernetes パターン（Kubernetes patterns）を中心に構築されています。これらの概念を理解することは、自社のクラウドスタックの制約内で運用するのを容易にします。 あなたは専門家である必要はありません ![](course_img/student.png) 図書館の机に座っている学生 K8s は複雑ですが、データサイエンティストとして大きな価値を引き出すために、専門家になる必要はありません。データサイエンティストが K8s の管理者になることを提案しているわけではありません。K8s 管理は非常に手間のかかるタスクであり、それ自体が一つの役割として成立するほど重要です。残念ながら、K8s に関する教育資料のほとんどは管理者向けに焦点を当てており、多くのデータサイエンティストが必要とするところには過剰対応となっています。 データサイエンティストのような人々が、管理者向けの無関係な資料を読み漁ることなく Kubernetes を学ぶための良いリソースをまだ見つけていません。そこで、私と私の同僚たちは、データサイエンティストを意識した無料コースの作成を検討しています。これが興味深いと思われる場合は、こちらから登録してください。 ヴィッキーは派手な新技術に感銘を受けるタイプではなく、実用的なアプローチで仕事を完遂する人物です。彼女が K8s を学ぶべきだと言うなら、あなたは耳を傾けるべきです!↩︎ この記事の各サブセクションには、画像キャプションと非常に似たプロンプトを使用して Stable Diffusion で生成された画像が含まれています。↩︎ これらのシステムは、AWS の Sagemaker、Azure の AzureML、GCP の VertexAI です。↩︎ 一部の組織では K8s を回避するソリューションを構築しています。例えば、BigHat は AWS SageMaker と Lambda を組み合わせたソリューションやその他のホスト型ソリューションを使用しています。そのため、そのような例で無理に K8s へ移行しようとすることは間違いかもしれません。可能であれば、自社の既存の技術スタックを活用するように努めるべきです!↩︎ ML インフラストラクチャを専門とする友人のミハル・ヤストレンブスキは、私に次のような色鮮逸なエピソードを教えてくれました：「データサイエンティストが K8s を学ぶべきではない」と言うのを聞くと、「DevOps が Airflow を学ぶ必要がある」と言っているように聞こえます。↩︎ 具体的に関連する K8s の概念としては、名前空間（namespaces）、ラベル（labels）、および RBAC（ロールベースアクセス制御）があります。↩︎

MLエンジニアがKubernetesを学ぶべき理由

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト