LASSIC Media らしくメディア

スマートフォンで撮った書類の写真をAIに見せて、「ここに何が書いてある？」と尋ねたら、きちんと読み取って答えてくれた——。近ごろのAIは、文章だけでなく、画像や音声もあわせて扱えるようになってきました。こうした、複数の種類の情報を一度に扱えるAIを「マルチモーダルAI」と呼びます。業務で扱う情報は、文章も、写真も、音声も入り混じっているのが実際のところです。それらをまとめて扱えるとなれば、活用の幅は大きく広がります。

名前は耳慣れないかもしれませんが、考え方はシンプルです。本記事では、AIの業務活用を検討する情報システム部門や事業部門の担当者に向けて、マルチモーダルAIとは何か、単一の種類だけを扱うAIとどう違うのか、どんな場面で役立つのか、そして外注の勘所を整理します。

マルチモーダルAIとは——複数の情報をまとめて扱う

マルチモーダルAIとは、文章・画像・音声・動画といった、複数の種類の情報を一度に扱えるAIを指します。ここでいう「モダリティ」とは、情報の種類のことです。文章、画像、音声——それぞれが一つのモダリティにあたります。従来のAIの多くは、このうちどれか一つだけを担当していました。文章を読むAI、画像を見分けるAI、音声を聞き取るAI、といった具合です。マルチモーダルAIは、これらを横断し、組み合わせて扱えるのが特徴です。

たとえば、一枚の写真を見せながら「これは何をしている場面ですか」と文章で問いかけると、画像と質問の両方を踏まえて答えを返す。図やグラフの入った資料を渡せば、レイアウトも文字も一緒に読み解く。こうした、人が自然にやっている「見て、聞いて、読んで、総合して理解する」に近いことを、AIができるようになってきたわけです。業務で扱う情報は、文章だけ、画像だけと切り分けられないことがほとんどです。だからこそ、複数をまとめて扱えるマルチモーダルAIには、実務での可能性があります。

単一モダリティのAIとの違い

マルチモーダルAIの特徴は、一種類の情報だけを扱う「単一モダリティ」のAIと比べると、はっきりします。全体像を図にまとめました。

単一モダリティのAIは、一つの種類の情報に特化しています。たとえば、書類から文字だけを抜き出すAI-OCR、音声を文字に起こす音声認識、写真に何が写っているかを見分ける画像認識——いずれも、担当する情報の種類は一つです。これらは、その一種類の処理に磨きをかけている点に強みがあります。一方、マルチモーダルAIは、複数の種類を横断してまとめて扱います。文字だけ、音声だけではなく、「この画像のこの部分について、この文章で問われている」というように、種類をまたいで意味をとらえられるのが違いです。どちらが優れているという話ではありません。一種類の処理を手堅くこなしたいなら単一モダリティが向きますし、複数の情報を突き合わせて判断したいならマルチモーダルが生きます。用途に応じて選ぶものだと捉えてください。

業務での使いどころ

マルチモーダルAIは、複数の情報が入り混じる業務の場面で持ち味を発揮します。代表的な使いどころを整理しました。

一つ目は、書類の読み取りです。図やグラフ、写真の入った資料は、文字を抜き出すだけでは意味がつかめません。レイアウトも含めてまとめて読み解けると、報告書や申請書の処理がはかどります。二つ目は、現場の点検です。設備の写真と、その状態を書いた報告文を突き合わせ、気になる箇所を洗い出すといった使い方が考えられます。三つ目は、問い合わせ対応です。利用者が送ってきた画面のスクリーンショットと、困りごとを書いた文章の両方を踏まえれば、状況に即した回答をしやすくなります。いずれも、複数の情報を別々に処理するのではなく、まとめて扱えることが利点につながっています。

導入で気をつけたいこと

マルチモーダルAIは可能性の広い技術ですが、導入にあたっては、あらかじめ見込んでおきたい点があります。踏まえておくと、費用や運用の見立てがしやすくなります。

まず、扱うデータ量が増えるぶん、費用がかさみやすいことです。画像や音声は、文章に比べて情報の量が多く、AIが処理する際の負荷も大きくなります。多くのサービスでは、処理した情報の量に応じて費用がかかるため、画像を大量に扱えば、そのぶん費用は積み上がるのです。ここでいう情報の量は、トークンという単位で数えられることが多く、画像もこのトークンを消費します。次に、機微な情報の扱いです。画像や音声には、顔や声、書類の中身といった、取り扱いに配慮が要る情報が含まれがちです。どこにデータを預け、どう管理するのかを、あらかじめ定めておく必要があります。こうした点を見込んだうえで、どのモダリティを組み合わせるのかを決めていくことになります。

つまずきやすい難所

マルチモーダルAIには、過度な期待を避けるためにも、知っておきたい難所があります。

一つ目は、複数を扱えれば正確になる、と思い込むことです。扱う情報の種類が増えても、もっともらしく見えて誤るハルシネーションがなくなるわけではありません。画像の読み取りを誤ったり、文脈を取り違えたりすることは起こり得ます。二つ目は、すべての場面で使うべきだと考えることです。一種類の処理で足りるなら、特化した単一モダリティのAIのほうが、手堅く費用も抑えられることがあります。何でもマルチモーダルにすればよいわけではありません。三つ目は、入力する情報の質への油断です。ぼやけた写真や聞き取りにくい音声からは、よい結果は得られにくいものです。人が見ても分かりにくい情報は、AIにとっても難しい、と考えておきましょう。四つ目は、費用の見立ての甘さです。前述のとおり、画像や音声は費用がかさみやすいため、扱う量を見込まないまま始めると、想定を超えることがあります。

外注時に確認しておきたい点

マルチモーダルAIの活用を外部に委託する場合は、次の点をすり合わせておくと、認識のずれを防ぎやすくなります。まず、そもそも複数のモダリティが要る用途なのか、という見極めです。文字だけ、音声だけで目的を果たせるなら、特化した単一モダリティのAIのほうが向くこともあります。どの情報を、なぜ組み合わせる必要があるのかを、はっきりさせておきたいところです。ここが曖昧なままだと、必要以上に複雑で高価な仕組みになりかねません。

次に、扱うデータと費用の見立てです。どんな画像や音声を、どれくらいの量で扱う見込みかを踏まえて、費用の目安を一緒に立てておくと見通しが立ちます。あわせて、機微な情報の管理方針も欠かせません。画像や音声をどこで処理し、どう保管するのか——取り扱いのルールまで含めて設計してもらえると、あとの不安が減るはずです。加えて、マルチモーダルにしても誤りは残る前提で、人の確認をどこに挟むかも決めておくと、任せたあとのつまずきを抑えやすくなります。

まとめ：マルチモーダルAIで押さえる3つの視点

マルチモーダルAIは、複数の種類の情報をまとめて扱えることで、業務活用の幅を広げる技術です。押さえておきたい視点は3つに整理できます。第一に、マルチモーダルAIは文章・画像・音声など複数のモダリティを横断して扱えるものであり、一種類に特化した従来のAIとは、そこが違うこと。第二に、書類の読み取りや現場の点検、問い合わせ対応など、複数の情報が入り混じる場面で持ち味を発揮すること。第三に、扱うデータ量が増えて費用がかさみやすく、機微な情報への配慮も要るため、複数のモダリティが本当に必要かを見極めることです。この3点を踏まえておけば、「とりあえずマルチモーダルに」という飛びつきを避け、用途に見合った活用を選びやすくなります。設計や費用の見極めに迷いがあれば、外部の手を借りるのも一つの選択肢です。

よくある質問

著者：テレリモ総研編集部　鈴木 亮佑

ご不明な点はお問い合わせフォームからもご連絡いただけます。

1. *1　参考：IBM「What is multimodal AI?」（https://www.ibm.com/think/topics/multimodal-ai）。マルチモーダルAIの一般的な解説の参考として。

Tweet