LLMに日本語をフランス語のつづりで書かせると？

この記事は、みらい翻訳 Advent Calendar 2024 の1日目です。

こんにちは、みらい翻訳 エンジニアリング部の岩月です。

普段は大規模言語モデル（LLM）を扱っていますが、時々フランス語に気を取られます。

そこで（？）、日本語をフランス語風に書くということに興味を持ちました。

例えば、「おはよう」をローマ字で書くと「ohayou」ですが、これをフランス語として読むと「オアイウ」のようになってしまいます。フランス語として発音した時に「おはよう」と聞こえるようにするには、例えば「orayaux」と書く必要があります。

※フランス語には日本語の/h/の音素がありませんが、フランス語の[ʁ]の音は、日本語母語話者である私には/h/にしか聞こえません*1。これを利用します。

フランス語の音声を読み上げてくれるウェブサイトがいくつかありますので、実際の音が気になる方は試してみてください。

この調子でいくつか書いてみましょう。

「明日がある」は "achita gaalou"

「みらい翻訳」は "milaï ront yaque"

「春はあけぼの」は "raloi aqués beau naux"

どうでしょうか。音声を聞いてみると、なかなか良い感じです。

より長い文章にも適用してみたいのですが、かなり頭を使うので、これを自動化したいところです。ルールベースでも可能ですが、ルールを書くのも面倒なので、LLMに任せてみたいと思います。

ここでは、みらい翻訳のビジョン

「言語の壁を超え、新しい生活と仕事の様式をもたらす共通語の機能を機械翻訳として2028年までに作る。」

を変換してみます。漢字の読みを当てるタスクまで解かせると大変なので、すべてひらがなにしました。

「げんごのかべをこえあたらしいせいかつとしごとのようしきをもたらすきょうつうごのきのうをきかいほんやくとしてにせんにじゅうはちねんまでにつくる」

今回はルールベースですら避け、few-shot学習で行きます。よって入力は以下の通りです。

「次の日本語を発音はそのままでフランス語の綴りにしてください。

おはよう → Orayaux

あしたがある → Achitta Gaalou

みらいほんやく → Milaï Ront Yaque

はるはあけぼの → Raloi aqués beau naux

げんごのかべをこえあたらしいせいかつとしごとのようしきをもたらすきょうつうごのきのうをきかいほんやくとしてにせんにじゅうはちねんまでにつくる →」

使用したLLMは4種類です*2：

Llama 3 Swallow 70B

定量的な指標を用意する余裕がなかったため、主観的な定性評価を行いました。

まず、Llama 3 70Bです。

"Gengô no cabé o coé atarachichî seïcatou to chigotono yochiqui o motarachou kyouchougo no kinou o quïcaï hon yacou tochi ni sen nijou hachi nen made ni tsucourou"

いきなり「Gengô」で「ジョンゴ」になってしまっています。「は」を「ra」で表す技（？）はfew-shotの例にも入れましたが、さすがに対応してもらえませんでした。「made」にアクサンテギュがついていないのは惜しいところです。例示していない「eï」のトレマやアクサンシルコンフレクスが出てきているのはGOODですね。

次は、Llama 3 Swallow 70Bです。

"Gengonocabeu coé atarachixi seikatsu to chigotonoyouchikiu motarachu kyoutchugonochinouu ki kaï hon yaqueu toni sen nijuu hachi nen madeu ni tsukuru"

こちらも文頭が「ジョンゴノカボー」です。「まで」を「madeu」にしてみましたが、これでも「マデゥ」なので惜しいです。"tsukuru"は完全にローマ字になってしまっています。Llama 3と比べて、1単語が長めに出ているのが特徴的です。

続いて、Sarashina2 70Bです。

"Géngo no kabe wo koé atarashii seikatsu to shigoto no yōshiki wo motarasu kyōtsūgo no kinō wo kikai honyaku to shite nisen nijūhachi-nen made ni tsukuru"

最初の「言語」の表記には成功しています。その代わり「壁」が「カブ」になってしまいました。"kyōtsūgo"などは長音記号まで付いてしまっていかにもローマ字です。

"Guenngo nocabé ocoé ataralaï séïcats to chigotonoyau chiqui o motarassu kyoû tsoungo noquinou o quicaï ront yaque tochte ni senn ni jou huit nenn madé ni tsucuru"

「k」がほとんど出てこず、カ行を「c」で表記しようとしている点がGOODです。ただ、「新しい」が「アタハライ」になってしまっています。「はち」が「huit」になっていますが、これはフランス語に翻訳してしまっていますね。

以上です。この謎めいたタスクの性質上、GPT-4oクラスであっても完璧とはいきませんでした。オープンなLLMも試しましたが、いずれも日本語とフランス語の両方に特化しているわけではないため、思ったよりよくできていると感じました。

みらい翻訳は、自然言語処理のリサーチャー・エンジニアを募集しています！！ご興味のある方は、カジュアル面談からでもお気軽にご連絡ください。

www.wantedly.com

*1:「ヘストホン」で検索するとたくさんヒットするので、私だけではなさそうです

*2:実際にはもっとたくさんのモデルで実験をしています