ClaudeにCUDAカーネルを構築させ、オープンモデルを教え込むことに成功！

教師モデル (Opus) がスキルを生成します テストケース (Opus) はタスクの説明から自動生成されます 生徒モデル (ローカル) はスキルあり・なしで評価されます スキルリフトは改善度を測定します 既存のスキルを`upskill eval`に渡す場合 ```json { "cases": [ { "input": "H100をターゲットとしたCUDAカーネルのbuild.tomlを作成せよ", "expected": {"contains": "9.0"} }, { "input": "適切なインクルードを含む基本的なCUDAカーネルのテンプレートを書け", "expected": {"contains": "cuda_runtime.h"} } ] } ``` また、スキルが異なるモデル間でどのように機能するかをテストできます: ``` upskill eval ./skills/kernel-builder-cuda-kernels/ --model haiku --model kimi --runs 5 ``` 2つのモデル、3つのテストケース、モデルあたり5回の実行でkernel-builder-cuda-kernelsを評価中 haiku 合格率: 4/5 (80%) 平均アサーション: 2.8/3 sonnet 合格率: 5/5 (100%) 平均アサーション: 3.0/3 ┏━━━━━━━━┳━━━━━━━━━━━┳━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━┓ ┃ Model ┃ Pass Rate ┃ Avg Assertions ┃ Avg Tokens ┃ ┡━━━━━━━━╇━━━━━━━━━━━╇━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━┩ │ haiku │ 4/5 │ 2.8/3 │ 1250 │ │ kimi │ 5/5 │ 3.0/3 │ 1890 │ └────────┴───────────┴────────────────┴────────────┘ これはコストパフォーマンスの最適点を見つけるのに役立ちます: おそらくスキルを適用したHaikuがあなたのユースケースには十分であり、大幅なAPIコストを節約できます。 私たちは、`upskill`が強力なモデルから安価なモデルへドメイン知識を転送する検証済みスキルを作成できることを示しました。kernel-builderスキルは可能性のほんの一例です。 試すべきこと: * 内部ツールのスキルを生成する * コードベースのスキルライブラリを構築する * 暗黙知を捕捉する * モデル間でベンチマークする このアプローチは、詳細なプロンプトを繰り返し書く必要があるような専門的なタスクであれば何にでも機能します。スキルは、Agent Skills仕様をサポートするClaude Code、Cursor、その他のツール間で移植可能です。 Agent Skills仕様 HuggingFace kernel-builder ![](https://cdn-avatars.huggingface.co/v1/production/uploads/62d648291fa3e4e7ae3fa6e8/oatOwf8Xqe5eDbCSuYqCd.png) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/6141a88b3a0ec78603c9e784/DJsxSmWV39M33JFheLobC.jpeg) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/1617264212503-603d25b75f9d390ab190b777.jpeg)

ClaudeにCUDAカーネルを構築させ、オープンモデルを教え込むことに成功！

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト