まず、3つは同じ軸の分類ではありません。LLMとSLMが分けているのはモデルの規模、VLMが指しているのは扱う情報の種類（画像と言語）です。小型のVLMもあるので、3つは互いに重なります。 [4] SmolVLM: Redefining small and efficient multimodal models
Large Language Model
大規模言語モデル
大量のデータで学習し、文章の生成・要約・翻訳などを行うモデルです。GPT-3の研究は、同じモデルが少数の例示から複数の言語タスクに対応できることを示しました。文章作成や幅広い言語業務を検討する際の出発点になります。
[1] Language Models are Few-Shot LearnersVision-Language Model
視覚言語モデル
画像と文章を組み合わせて処理するモデルです。たとえば画像について質問したり、図表の内容を言葉で説明したりします。LLaVAは、画像を処理する仕組みと言語モデルを接続した代表的な研究例です。
[2] Visual Instruction TuningSmall Language Model
小規模言語モデル
比較的小さな言語モデルを指します。Phi-3-miniの研究は、スマートフォンでも動かせるモデルの例を示しました。限られた計算資源や端末内処理を検討するときの候補になります。ただし小型なら精度も速さも足りる、とは言えません。
[3] Phi-3 Technical Report業務では、どう使い分けるか。
以下は、Asymmetraが考える活用の出発点です。実際の適性は、対象データと求める品質によって変わります。
LLM：言葉を扱う業務
議事録の要約、提案書のたたき台、問い合わせの分類など。出力を実務で使う前に、固有名詞や数値、根拠を確認する工程を設けます。
VLM：画像と言葉をつなぐ業務
帳票や画面の内容を読み取り、文章で整理する用途に向きます。小さい文字や複雑な表では誤読もあるため、実際の画像で評価します。
SLM：範囲を絞った業務
定型的な分類や抽出などを、限られた計算資源で処理する候補です。ただし小型なら精度も速さも足りる、とは言えません。だからモデルと実行環境の組み合わせを実機で確かめます。
社内の知識を使うには、検索の設計も必要。
モデルを大きくするだけで、社内文書の内容が回答に反映されるわけではありません。RAG（検索拡張生成）は、関連する文書を検索し、その情報を生成時の手がかりとして使う手法です。Asymmetraは、モデルの選定だけでは業務で使える品質に届かないと考えています。あわせて、文書の更新、閲覧権限、参照元の提示、答えられないときの扱いまで設計します。
参考：Lewis et al., Retrieval-Augmented Generation (2020)事業では、必要な品質から逆算する。
Asymmetraは、モデルの大きさで決めません。実際の業務データで、品質・応答時間・運用費用を並べて比べます。難しい処理と定型処理でモデルを使い分ければ、必要な品質を保ったまま資源の使い方を軽くできます。以下は、その検証を始めるための整理です。
| やりたいこと | 検討の出発点 | 確かめること |
|---|---|---|
| 幅広い文章生成・要約 | LLMを起点に検証 | 出力品質と確認工数 |
| 画像・図表を含む業務 | VLMを起点に検証 | 画像の読み取り精度 |
| 用途を絞った端末内処理 | SLMを候補に検証 | 端末性能と必要な精度 |