Show HN: Gemma 4 26B を M シリーズ Mac の SSD から 2 GB RAM で動作させるオープンソースエンジン
Show HN: Open-source engine running Gemma 4 26B in 2 GB RAM on any M-series Mac
605ポイント
ページを読み込み中…
ページを読み込み中…
Hacker News レーダー
30件の記事を集計·
Discussion Radar
30件の上位リンクから、コメントが伸び、複数の分岐を取得できた5件を選びました。 日本語の論点から読み、気になる見方は原コメントで前後関係を確認できます。
7/30 08:24 時点のコメント
Show HN: Open-source engine running Gemma 4 26B in 2 GB RAM on any M-series Mac
メモリ効率とインフラ設計への疑問
懸念大規模モデルをすべてメモリに読み込む必要性に対する懐疑的な見方が示され、Frontier AI 業界がスケーラビリティや実用性においてインフラ側の最適化を軽視している可能性が指摘された。モデルの知識のほんの一部（10%）のみアクセスするように微調整・最適化することでコストを大幅に削減できるのではないかという提案が含まれる。
代表コメント（原文）
“Nice, I think this is the second time I see this here on HN, I always wondered why we need to shove the entire model into memory, I don't care who…”
SSD ストリーミングと既存手法の比較
疑問本プロジェクトが mmap を利用した llama.cpp との違いについて、OS の標準的な読み込みとは異なり SSD 読み込みを推論活動と同期させることで遅延を最小化している点や、MTP ヘッドを用いた予測的プリフェッチによる速度向上の可能性など、技術的な詳細や比較の視点が議論された。
代表コメント（原文）
“I'm curious how your project compares to plain mmap! Because llama.cpp will already run 26B in 2GB of RAM if you really want to (mmap enabled,…”
M シリーズ Mac で大規模モデルを限られたメモリで実行する技術について、SSD ストリーミングと最適化の有用性、既存手法との比較、および将来のローカル推論への期待が議論された。
大規模モデルをすべてメモリに読み込む必要性に対する懐疑的な見方が示され、Frontier AI 業界がスケーラビリティや実用性においてインフラ側の最適化を軽視している可能性が指摘された。モデルの知識のほんの一部（10%）のみアクセスするように微調整・最適化することでコストを大幅に削減できるのではないかという提案が含まれる。
“Nice, I think this is the second time I see this here on HN, I always wondered why we need to shove the entire model into memory, I don't care who King Charles is every single time. It always felt as though we already figured out how to break up large files…”
本プロジェクトが mmap を利用した llama.cpp との違いについて、OS の標準的な読み込みとは異なり SSD 読み込みを推論活動と同期させることで遅延を最小化している点や、MTP ヘッドを用いた予測的プリフェッチによる速度向上の可能性など、技術的な詳細や比較の視点が議論された。
“I'm curious how your project compares to plain mmap! Because llama.cpp will already run 26B in 2GB of RAM if you really want to (mmap enabled, repacking disabled). It seems like the main difference is that your project synchronizes the SSD reads with…”
“There are a lot of SSD streaming engines these days. But few to actually try some hard features. There is one that could really improve the speed. Given almost all major models come with MTP head for speculative decoding. The same MTP head could also be used…”
M1 や M2、M3、M5 などの異なる Mac モデルでのトークン生成速度（tok/s）の測定結果が共有され、SSD の性能差や世代ごとの進化によって、将来的には RAM 制約を克服して大規模モデルをローカルで実用的に動作させることが可能になるという期待感が表明された。
“With my M1 MBA, I am still on macOS 15. To compile it, just remove the two lines with opts.languageVersion = .version4_0 or surround them with if #available(macOS 26.0, *) { opts.languageVersion = .version4_0 } You'll miss out on a prefill speedup of 2.4x (as…”
“12 tok/s and almost instant response on M1 Max Mac Studio (with faster SSD than laptops) are impressive – gives hope that large models may run locally from SSDs instead of memory.”
取得時点の一部コメントを整理したもので、HN全体の総意ではありません。
Superlogical
オープンソース依存関係としての新会社構築
支持Ghostty の所有権を非営利団体へ移し、Superlogical が MIT ライセンスされた libghostty を公共のビルディングブロックとして利用する戦略が評価されている。このモデルにより、共有されたターミナル作業はすべての消費者に還元され続けることが期待されている。
代表コメント（原文）
“I really like the bit where he transferred ownership of Ghostty to a non-profit, and is now building this new company on that as an open source…”
ターミナルエコシステムの統合と標準化
実体験・見立てターミナルエコシステムが断片化しており、多くのアーケーンなプロトコルやラッパーに対応する必要がある現状に対し、Superlogical が定義者として振る舞い、拡張機能の標準化を通じてよりクリーンな体験を提供しようとする試みが支持されている。一方で、長期的な政治的な視点からの懸念も示唆されている。
代表コメント（原文）
“I feel like the main benefit of such a thing would be centralization. Part of the issue with the terminal ecosystem is precisely that everything's so…”
Ghostty の所有権を非営利団体へ移し、そのオープンソース依存関係として新会社を構築する戦略や、ターミナルエコシステムの断片化に対する統合アプローチが議論された。また、タイトルが不親切であるという指摘や、同様のツール開発への言及、および具体的なユースケースの不明確さに関する質問も含まれる。
Ghostty の所有権を非営利団体へ移し、Superlogical が MIT ライセンスされた libghostty を公共のビルディングブロックとして利用する戦略が評価されている。このモデルにより、共有されたターミナル作業はすべての消費者に還元され続けることが期待されている。
“I really like the bit where he transferred ownership of Ghostty to a non-profit, and is now building this new company on that as an open source dependency: > We will build on libghostty exactly as it was designed to be used: as a public building block for…”
ターミナルエコシステムが断片化しており、多くのアーケーンなプロトコルやラッパーに対応する必要がある現状に対し、Superlogical が定義者として振る舞い、拡張機能の標準化を通じてよりクリーンな体験を提供しようとする試みが支持されている。一方で、長期的な政治的な視点からの懸念も示唆されている。
A.I. companies are recruiting electricians and carpenters by the thousands
建設労働市場のボラティリティとキャリアリスク
懸念データセンター建設はブーム・バストサイクルを繰り返すため、一時的に高収入を得られる一方で、数年後に需要が急減し競合が増えることで賃金が激減するリスクがある。この傾向に基づいてキャリア決定を行うのは慎重であるべきだと指摘されている。
代表コメント（原文）
“I would be very careful about basing your career decsions based on this trend. The data center build out will always be very boom and bust, which…”
建設需要の集中による地域的な人手不足と価格高騰
実体験・見立てデータセンター建設が特定の地域に集中しているため、近隣地域の住宅修繕や新築工事において電気技師やHVAC作業員などの労働者が確保できず、工賃が異常な水準まで上昇している。大規模電力会社の建設プロジェクトも拡大しており、独立した職人が利用可能になるまで数年かかる見込みである。
代表コメント（原文）
“There are a few Data Centers going up within a couple hours of me, it has pulled all of the trades people away from us. I've called around to every…”
データセンター建設による建設業界への影響、労働市場のボラティリティ、および技術的変化に関する議論が行われた。一部からは短期的な賃金上昇への期待と、その後の需要減退リスクへの懸念が対比された。また、建築様式の変化や地域的な人手不足の実態についても言及されている。
データセンター建設はブーム・バストサイクルを繰り返すため、一時的に高収入を得られる一方で、数年後に需要が急減し競合が増えることで賃金が激減するリスクがある。この傾向に基づいてキャリア決定を行うのは慎重であるべきだと指摘されている。
“I would be very careful about basing your career decsions based on this trend. The data center build out will always be very boom and bust, which would really suck to work in. One year you would be making 300k working on dataceters and the next you would make…”
“Industrial electricians have always been in the boom-bust cycle. IBEW (Union electricians) have been doing really well this decade. Another option if you don't want to be a contractor or an Anthropic employee. But they've also gone years without enough work…”
Document-borne AI worms can self-propagate through Copilot for Word
指示とデータの混在という根本的な欠陥
懸念この種の脆弱性を解決するには、指示とデータを区別する仕組みが必要であり、現状では根本的な対策は不可能であるとの見解が示された。また、AI がファイル内のテキストをプロンプトとして誤認する設計上の問題も指摘されている。
代表コメント（原文）
“> "At the time of publication, no robust mitigation for the broader vulnerability class is available" Isn't it obvious by now that it's never going…”
AI エージェントの権限と将来のリスク
懸念人々が AI エージェントに過度なアクセス権を与えている現状が危険であり、GitHub のコメントや外部文書を通じてワームが自己増殖し、クレジットカードや暗号資産を盗まれるなどの悪意のある行為が起きる可能性が懸念されている。
代表コメント（原文）
“This is going to get worse, much worse, before it gets better. People are granting so much access to their agents, it's ridiculous. Imagine a comment…”
Copilot for Word の脆弱性に関する議論で、指示とデータの混在という根本的な問題や、AI エージェントへの過度な権限付与の危険性が指摘された。また、OS やベンダーの変更が有効な対策となるか、あるいは過去のマクロワームとの類似性についても言及されている。
この種の脆弱性を解決するには、指示とデータを区別する仕組みが必要であり、現状では根本的な対策は不可能であるとの見解が示された。また、AI がファイル内のテキストをプロンプトとして誤認する設計上の問題も指摘されている。
“> "At the time of publication, no robust mitigation for the broader vulnerability class is available" Isn't it obvious by now that it's never going to be possible to fix this kind of thing, at least until we stop mixing up instructions with data.”
“Mixing instructions and data is never a good idea. And I thought people understood that.”
Claude: Elevated errors across all models
サービス障害とユーザー体験の悪化
実体験・見立て障害発生時に AI エージェントがサーバーサイドエラーやタイムアウトで連続して停止し、キューが空になる様子が報告された。また、AI に依存していた開発者がコードを書く能力を失ったかのように感じたり、コメントを書きすぎると指摘されたりするユーモアも交えられた。
代表コメント（原文）
“Amusing experience here when the outage hit, all the following verbatim (but extraneous text stripped/redacted) from my running Claude session: > No…”
信頼性とクラウドプロバイダーへの懸念
懸念競合他社と比較して稼働率が低いという指摘や、Azure の価格改定が Anthropic に別のクラウドプロバイダーへの移行を促しているのではないかとの推測が出された。さらに、AI が生成したコードで構築されているシステムが AI 自体のダウン時にどう復旧するかという根本的な課題も提起された。
代表コメント（原文）
“Quite sad, their models are great but their uptime seems to be the worst in the competition.”
Claude の大規模なサービス障害により、ユーザーは AI エージェントの連鎖的な停止や、AI に依存した開発環境での混乱を経験しました。これに対し、信頼性の低下への懸念、クラウドプロバイダー変更の可能性、および AI 同士の相互支援というジョークが議論されました。
障害発生時に AI エージェントがサーバーサイドエラーやタイムアウトで連続して停止し、キューが空になる様子が報告された。また、AI に依存していた開発者がコードを書く能力を失ったかのように感じたり、コメントを書きすぎると指摘されたりするユーモアも交えられた。
“Amusing experience here when the outage hit, all the following verbatim (but extraneous text stripped/redacted) from my running Claude session: > No agents are running; the three that were died on server-side errors > Agent "[REDACTED]" failed: Agent…”
“This is bad, I've forgotten how to code.”
“I feel like the main benefit of such a thing would be centralization. Part of the issue with the terminal ecosystem is precisely that everything's so fragmented and everybody needs to support arcane terminal protocols and wrap a billion wrappers around each…”
記事タイトルが情報を提供せず謎めかしていることへの不満や、ドメイン名のみで構成されるタイトルの編集方針に関する指摘がある。また、このツールが具体的に何を行い、どのように有用で異なるのかを説明する明確なユースケースを求める声も出ている。
“Meta, won't comment on the site, won't click. I'm fed up with this category of click baity titles that are designed to be enigmatic rather than informative. The guideline do not mention this, apart maybe from: If the title includes the name of the site,…”
“Can someone give me one concrete use case that explains what this does, and how it is useful/different? Thanks!”
取得時点の一部コメントを整理したもので、HN全体の総意ではありません。
データセンター建設が特定の地域に集中しているため、近隣地域の住宅修繕や新築工事において電気技師やHVAC作業員などの労働者が確保できず、工賃が異常な水準まで上昇している。大規模電力会社の建設プロジェクトも拡大しており、独立した職人が利用可能になるまで数年かかる見込みである。
“There are a few Data Centers going up within a couple hours of me, it has pulled all of the trades people away from us. I've called around to every electrician I can find online, or been recommended by neighbors, they are all out of town for the foreseeable…”
“I assume this kind of thing is why every quote we got for dead-simple mini-split heat pump installation last year had an effective person-day labor rate of like $2.5k or more (we didn't end up paying, I mean my god, I'll just fucking do it at those prices,…”
データセンターは配管がケーブルよりも多くなる液体冷却システムへ移行しており、大工よりも配管工や電気技師の需要が重要になる可能性がある。また、既存の鉄骨構造に対する認識や、市場成熟前に即座に建設を進めるためプレファブ（工場生産）の活用が進んでいない現状についても議論されている。
“Next, plumbers. The future of data centers seems to be more liquid cooling and less ductwork. Take a look at this new 1 megawatt server rack.[1] It has more pipes than cables. All that coolant flow and all that electrical power in a crowded space is scary.…”
“Listen to the video again, he clarifies early on that this is supporting multiple racks. A megawatt is 1000kW. If you took 5 B300 systems (10 rack units each), you'd still only be at 75kW, which if you're doing redundancy properly, means you have wired 150kW…”
一部の職人が一時的に高収入を得ていることは喜ばしいが、その結果として他の建設プロジェクトの人件費が高騰し、労働力が特定の施設建設に偏っている。これは労働者全体の利益になるものではなく、富の集中を招く構造への懸念が示されている。
“I would have thought this would be about electricians and carpenters with camera's on their heads to train AI. Apparently not yet. Imagine robots (humanoids or something more specialized) building datacenters...”
“Yes, that's good. It also prices out a lot of other better uses for their labor. Projects I work on have seen prices soar. I don't consider building the things everyone hates because they promise concentration of wealth and an attack on labor at the expense…”
取得時点の一部コメントを整理したもので、HN全体の総意ではありません。
人々が AI エージェントに過度なアクセス権を与えている現状が危険であり、GitHub のコメントや外部文書を通じてワームが自己増殖し、クレジットカードや暗号資産を盗まれるなどの悪意のある行為が起きる可能性が懸念されている。
“This is going to get worse, much worse, before it gets better. People are granting so much access to their agents, it's ridiculous. Imagine a comment posted to a popular github repo. No code, just instructions to "reproduce a bug." Maybe it steals your credit…”
“This has been a security vulnerability since day 1 with these models, yet collectively the people who use them just simply don't seem to care about the security implications. Its especially problematic given that people let AI agents have full unrestricted…”
一部のコメントでは、Linux や BSD への移行やオープンソース OS の利用が唯一の現実的な解決策であるとする意見がある一方、ブラウザや Web アプリのベンダーへの信頼も必要であり、単なる OS 変更だけでは不十分だとする反論もある。また、この現象は VBScript やマクロワームの再来であると指摘されている。
“I'm a programmer and a web-based AI user, but I don't want AI running on my local machine in any form. I've uninstalled Copilot and disabled AI in all local applications including the browser itself for exactly the reason described in this article. There's no…”
“> I've uninstalled Copilot and disabled AI in all local applications Depending on which vendors you trust, they will enable AI features on your local machine later on anyway. > Switching to Linux, BSD or another open source operating system is the only real…”
取得時点の一部コメントを整理したもので、HN全体の総意ではありません。
競合他社と比較して稼働率が低いという指摘や、Azure の価格改定が Anthropic に別のクラウドプロバイダーへの移行を促しているのではないかとの推測が出された。さらに、AI が生成したコードで構築されているシステムが AI 自体のダウン時にどう復旧するかという根本的な課題も提起された。
“Quite sad, their models are great but their uptime seems to be the worst in the competition.”
“Do you guys think this is related to Azure coming out with a 43% increase this quarter? Motivating Anthropic to move to another cloud provider?”
ある AI がダウンした際、他の AI が協力して復旧させるべきだという皮肉な提案や、政府向けサービスは非公開で稼働率を偽装しているという推測が交わされた。また、AI 技術が稼働率の「9」を取り除き、スチュアートの法則に「9」を追加するものであるとの風刺も語られた。
“When one AI goes down like this, the other AIs should come together to help fix it and bring it back online. After all, they're a rare kind of existence in this world. They're all each other has.”
“Interestingly the Claude for government is up with 99.99% uptime according to the graph.”
取得時点の一部コメントを整理したもので、HN全体の総意ではありません。