Gemma 4を歓迎：デバイス上のフロンティアマルチモーダルインテリジェンス

音声は、シカゴから国民に向けて別れの挨拶をしているスピーカーの演説の抜粋です。スピーカーは在任期間を振り返り、リビングルームや学校、農場、工場、ダイナー、遠隔の軍事拠点など様々な場所でアメリカ国民と交わした対話に感謝の意を表しています。振り返りと感謝のトーンで、政治的な旅路におけるこれらの交流の重要性を強調しています。 以下は、文字起こしを行いたい場合の例です: ```python messages = [ { "role": "user", "content": [ {"type": "audio", "url": "https://huggingface.co/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/obama_first_45_secs.mp3"}, {"type": "text", "text": "Transcribe the audio?"}, ], }, ] inputs = processor.apply_chat_template( messages, tokenize=True, return_dict=True, return_tensors="pt", add_generation_prompt=True, ).to(model.device) output = model.generate( **inputs, max_new_tokens=1000, do_sample=False, ) print(processor.decode(output[0], skip_special_tokens=True)) ``` > 今週、私は歴代大統領の伝統に従い、国民への最後の別れの挨拶をするためにシカゴを訪れました。これは感謝を伝える機会でした。私たちが意見が一致したかどうかに関わらず、リビングルームや学校、農場や工場の現場、ダイナーや遠隔の軍事拠点であなた方アメリカ国民と交わした対話、これらすべての対話が私を正直に保ってくれました。 **マルチモーダル機能呼び出し (Multimodal Function Calling)** 画像に表示されている場所の天気を取得するように依頼してモデルをテストします。 ```python import re WEATHER_TOOL = { "type": "function", "function": { "name": "get_weather", "description": "Gets the current weather for a specific location.", "parameters": { "type": "object", "properties": { "city": {"type": "string", "description": "The city name"}, }, "required": ["city"], }, }, } tools = [WEATHER_TOOL] messages = [ {"role": "user", "content": [ {"type": "image", "image": "https://huggingface.co/datasets/merve/vlm_test_images/resolve/main/thailand.jpg"}, {"type": "text", "text": "What is the city in this image? Check the weather there right now."}, ]}, ] inputs = processor.apply_chat_template( messages, tools=[WEATHER_TOOL], tokenize=True, return_dict=True, return_tensors="pt", add_generation_prompt=True, enable_thinking=True, ).to(model.device) output = model.generate(**inputs, max_new_tokens=1000) input_len = inputs.input_ids.shape[-1] generated_text_ids = output[0][input_len:] generated_text = processor.decode(generated_text_ids, skip_special_tokens=True) result = processor.parse_response(generated_text) print(result["content"]) ``` ``` get_weather(city="Bangkok") ``` **どこでもデプロイ** Gemma 4には、多くのオープンソース推論エンジンに対するデイ0サポートが付属しています。また、多くのハードウェアバックエンドで実行可能なONNXチェックポイントもリリースしており、エッジデバイスやブラウザでのユースケースを可能にします！ Gemma 4には、最初からファーストクラスの`transformers`サポートが付属しています🤗。この統合により、`bitsandbytes`、`PEFT`、`TRL`などの他のライブラリとモデルを使用することができます。最新バージョンの`transformers`をインストールしてください。 ```bash pip install -U transformers ``` 小さなGemma 4モデルで推論を行う最も簡単な方法は、any-to-anyパイプラインを通じてです。以下のように初期化できます。 ```python from transformers import pipeline pip ```

Gemma 4を歓迎：デバイス上のフロンティアマルチモーダルインテリジェンス

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト