LLMに日本語をフランス語のつづりで書かせると？
みらい翻訳のエンジニアが、日本語の発音をフランス語風の綴りで表現するという遊び心のある実験を行い、複数の大規模言語モデル（LLM）に同じタスクを実行させてその出力を比較・評価した。
キーポイント
日本語の発音をフランス語風綴りで表現する実験
著者が「おはよう」を「Orayaux」と表記するなど、日本語の発音をフランス語の音韻規則に基づいた綴りで再現するという言語遊戯的な試みを行った。
複数LLMによるタスク実行と比較
この変換タスクをLlama 3 70B、Llama 3 Swallow 70B、Sarashina2 70Bなどの大規模言語モデルに実行させ、各モデルの出力結果を主観的に比較・評価した。
LLMの限界と可能性の示唆
GPT-4oクラスを含むモデルでも完璧な変換は難しく、特に日本語とフランス語の両方に特化していないオープンなLLMでは限界がある一方、思ったよりよくできていると評価した。
みらい翻訳のビジョン文を変換対象に
実験の一環として、自社のビジョン文をひらがな化した上で、フランス語風綴りへの変換をLLMに試みさせた。
影響分析・編集コメントを表示
影響分析
この記事は、大規模言語モデル（LLM）の能力を探るためのユニークな実験例を提供している。実用的な応用というよりは、LLMがどのように特殊な指示（日本語の発音をフランス語風に綴る）を解釈し、実行するかを観察するためのケーススタディとしての意義が大きい。また、みらい翻訳という企業の技術的な遊び心や、社内でのLLMに対する関心の高さをアピールする内容にもなっている。
編集コメント
LLMの能力を探るための、遊び心のあるユニークな実験レポート。実用性は低いが、モデルの挙動を観察する面白いケースとして読める。企業の技術文化を伝えるPR的な側面も強い。
この記事は、みらい翻訳 Advent Calendar 2024 の1日目です。
こんにちは、みらい翻訳 エンジニアリング部の岩月です。
普段は大規模言語モデル（LLM）を扱っていますが、時々フランス語に気を取られます。
そこで（？）、日本語をフランス語風に書くということに興味を持ちました。
例えば、「おはよう」をローマ字で書くと「ohayou」ですが、これをフランス語として読むと「オアイウ」のようになってしまいます。フランス語として発音した時に「おはよう」と聞こえるようにするには、例えば「orayaux」と書く必要があります。
※フランス語には日本語の/h/の音素がありませんが、フランス語の[ʁ]の音は、日本語母語話者である私には/h/にしか聞こえません*1。これを利用します。
フランス語の音声を読み上げてくれるウェブサイトがいくつかありますので、実際の音が気になる方は試してみてください。
この調子でいくつか書いてみましょう。
「明日がある」は "achita gaalou"
「みらい翻訳」は "milaï ront yaque"
「春はあけぼの」は "raloi aqués beau naux"
どうでしょうか。音声を聞いてみると、なかなか良い感じです。
より長い文章にも適用してみたいのですが、かなり頭を使うので、これを自動化したいところです。ルールベースでも可能ですが、ルールを書くのも面倒なので、LLMに任せてみたいと思います。
ここでは、みらい翻訳のビジョン
「言語の壁を超え、新しい生活と仕事の様式をもたらす共通語の機能を機械翻訳として2028年までに作る。」
を変換してみます。漢字の読みを当てるタスクまで解かせると大変なので、すべてひらがなにしました。
「げんごのかべをこえあたらしいせいかつとしごとのようしきをもたらすきょうつうごのきのうをきかいほんやくとしてにせんにじゅうはちねんまでにつくる」
今回はルールベースですら避け、few-shot学習で行きます。よって入力は以下の通りです。
「次の日本語を発音はそのままでフランス語の綴りにしてください。
おはよう → Orayaux
あしたがある → Achitta Gaalou
みらいほんやく → Milaï Ront Yaque
はるはあけぼの → Raloi aqués beau naux
げんごのかべをこえあたらしいせいかつとしごとのようしきをもたらすきょうつうごのきのうをきかいほんやくとしてにせんにじゅうはちねんまでにつくる →」
使用したLLMは4種類です*2：
Llama 3 Swallow 70B
定量的な指標を用意する余裕がなかったため、主観的な定性評価を行いました。
まず、Llama 3 70Bです。
"Gengô no cabé o coé atarachichî seïcatou to chigotono yochiqui o motarachou kyouchougo no kinou o quïcaï hon yacou tochi ni sen nijou hachi nen made ni tsucourou"
いきなり「Gengô」で「ジョンゴ」になってしまっています。「は」を「ra」で表す技（？）はfew-shotの例にも入れましたが、さすがに対応してもらえませんでした。「made」にアクサンテギュがついていないのは惜しいところです。例示していない「eï」のトレマやアクサンシルコンフレクスが出てきているのはGOODですね。
次は、Llama 3 Swallow 70Bです。
"Gengonocabeu coé atarachixi seikatsu to chigotonoyouchikiu motarachu kyoutchugonochinouu ki kaï hon yaqueu toni sen nijuu hachi nen madeu ni tsukuru"
こちらも文頭が「ジョンゴノカボー」です。「まで」を「madeu」にしてみましたが、これでも「マデゥ」なので惜しいです。"tsukuru"は完全にローマ字になってしまっています。Llama 3と比べて、1単語が長めに出ているのが特徴的です。
続いて、Sarashina2 70Bです。
"Géngo no kabe wo koé atarashii seikatsu to shigoto no yōshiki wo motarasu kyōtsūgo no kinō wo kikai honyaku to shite nisen nijūhachi-nen made ni tsukuru"
最初の「言語」の表記には成功しています。その代わり「壁」が「カブ」になってしまいました。"kyōtsūgo"などは長音記号まで付いてしまっていかにもローマ字です。
"Guenngo nocabé ocoé ataralaï séïcats to chigotonoyau chiqui o motarassu kyoû tsoungo noquinou o quicaï ront yaque tochte ni senn ni jou huit nenn madé ni tsucuru"
「k」がほとんど出てこず、カ行を「c」で表記しようとしている点がGOODです。ただ、「新しい」が「アタハライ」になってしまっています。「はち」が「huit」になっていますが、これはフランス語に翻訳してしまっていますね。
以上です。この謎めいたタスクの性質上、GPT-4oクラスであっても完璧とはいきませんでした。オープンなLLMも試しましたが、いずれも日本語とフランス語の両方に特化しているわけではないため、思ったよりよくできていると感じました。
みらい翻訳は、自然言語処理のリサーチャー・エンジニアを募集しています！！ご興味のある方は、カジュアル面談からでもお気軽にご連絡ください。
www.wantedly.com
*1:「ヘストホン」で検索するとたくさんヒットするので、私だけではなさそうです
*2:実際にはもっとたくさんのモデルで実験をしています
原文を表示
この記事は、みらい翻訳Advent Calendar 2024の1日目です。
こんにちは、みらい翻訳 エンジニアリング部の岩月です。
普段は大規模言語モデル（LLM）と向き合っていますが、ときどきフランス語に目が向いてしまいます。
そこで（？）、日本語をフランス語っぽく書くということに興味が出てきました。
例えば、「おはよう」をローマ字で書くと、ohayouですが、これをフランス語とみなして読んでみると「オアイウ」となってしまいます。フランス語とみなして発音した時に、「おはよう」と聞こえるようにするには、例えばorayauxと書かねばなりません。
※フランス語には日本語の/h/の音素がありませんが、フランス語の[ʁ]の音は日本語母語話者である私には/h/にしか聞こえません*1ので、これを活用します。
フランス語の音声を読み上げてくれるウェブサイトがいくつかありますので、実際の音が気になる方はお試しになってください。
この調子でいくつか書いてみます。
「明日がある」は"achita gaalou"
「みらい翻訳」は"milaï ront yaque"
「春はあけぼの」は"raloi aqués beau naux"
でどうでしょう。音声を聞いてみるとなかなか良い感じです。
より長い文章にも適用してみたいところですが、結構頭を使うので、これを自動的にやらせたいところです。ルールベースでやっても良いのですが、ルールを書くのも面倒なので、LLMに丸投げしてみたいと思います。
ここでは、みらい翻訳のビジョン
言語の壁を超え、新しい生活と仕事の様式をもたらす共通語の機能を機械翻訳として2028年までに作る。
を変換してみます。漢字の読みを当てるタスクまで解かせると大変なので、すべてひらがなにしました。
げんごのかべをこえあたらしいせいかつとしごとのようしきをもたらすきょうつうごのきのうをきかいほんやくとしてにせんにじゅうはちねんまでにつくる
ルールベースすら回避したい今回はfew-shotで行きます。よって入力は以下の通りです。
次の日本語を発音はそのままでフランス語のつづりにしてください。
おはよう → Orayaux あしたがある → Achitta Gaalou みらいほんやく → Milaï Ront Yaque はるはあけぼの → Raloi aqués beau naux
げんごのかべをこえあたらしいせいかつとしごとのようしきをもたらすきょうつうごのきのうをきかいほんやくとしてにせんにじゅうはちねんまでにつくる →
使用したLLMは4種類です*2：
Llama 3 Swallow 70B
定量的な指標を用意する余裕がありませんでしたので、主観的な定性評価を行います。
まずは、Llama 3 70B。
Gengô no cabé o coé atarachichî seïcatou to chigotono yochiqui o motarachou kyouchougo no kinou o quïcaï hon yacou tochi ni sen nijou hachi nen made ni tsucourou
いきなりGengôでジョンゴになってしまっています。「は」をraで表す技（？）はfew-shotのサンプルにも入れましたが、さすがに対応してもらえませんでした。madeにアクソンテギュがついていないのは惜しいところです。例示していないeïのトヘマやアクソン・シフコンフレクスが出てきてるのはGOODですね。
次は、Llama 3 Swallow 70B
Gengonocabeu coé atarachixi seikatsu to chigotonoyouchikiu motarachu kyoutchugonochinouu ki kaï hon yaqueu toni sen nijuu hachi nen madeu ni tsukuru
こちらも文頭がジョンゴノカボーです。「まで」をmadeuにしてみましたが、これでもマデゥなので惜しい。"tsukuru"はもうローマ字になってしまっています。Llama 3と比べて、1単語が長めに出ているのが特徴的です。
続いて、Sarashina2 70Bです。
Géngo no kabe wo koé atarashii seikatsu to shigoto no yōshiki wo motarasu kyōtsūgo no kinō wo kikai honyaku to shite nisen nijūhachi-nen made ni tsukuru
最初の「言語」の表記に成功しています。その代わり「壁」がカブになってしまいました。"kyōtsūgo"などは長音記号までついてしまっていかにもローマ字です。
Guenngo nocabé ocoé ataralaï séïcats to chigotonoyau chiqui o motarassu kyoû tsoungo noquinou o quicaï ront yaque tochte ni senn ni jou huit nenn madé ni tsucuru
kがほとんど出てこず、カ行をcで表記しようとしている点がGOODです。ただ、「新しい」がアタハライになってしまっています。「はち」が"huit"になっていますが、これはフランス語に翻訳してしまっていますね。
以上ですが、謎のタスク故に、GPT-4oクラスであっても完璧とはいきませんでした。オープンなLLMも試しましたが、いずれも日本語とフランス語の両方に特化しているわけではないため、思ったよりよくできていると感じました。
みらい翻訳は、自然言語処理のリサーチャー・エンジニアを募集しています！！ご興味のある方はカジュアル面談からでもお気軽にご連絡くださいませ。
www.wantedly.com
*1:「ヘストホン」で検索するとたくさんヒットするので、私だけではなさそうです
*2:実際にはもっとたくさんのモデルで実験をしています
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み