まず、3つは同じ軸の分類ではありません。LLMとSLMは主にモデルの規模、VLMは画像と言語という扱う情報の種類を表します。小型のVLMもあり、相互に排他的な分類ではありません。 [4] SmolVLM: Redefining small and efficient multimodal models
Large Language Model
大規模言語モデル
大量のデータで学習し、文章の生成・要約・翻訳などを行うモデルです。GPT-3の研究は、同じモデルが少数の例示から複数の言語タスクに対応できることを示しました。文章作成や幅広い言語業務を検討する際の出発点になります。
[1] Language Models are Few-Shot LearnersVision-Language Model
視覚言語モデル
画像と文章を組み合わせて処理するモデルです。たとえば画像について質問したり、図表の内容を言葉で説明したりします。LLaVAは、画像を処理する仕組みと言語モデルを接続した代表的な研究例です。
[2] Visual Instruction TuningSmall Language Model
小規模言語モデル
比較的小さな言語モデルを指します。Phi-3-miniの研究は、スマートフォンでも動かせるモデルの例を示しました。限られた計算資源や端末内処理を検討するときに候補になりますが、精度・速度・費用はモデルと利用環境に依存します。
[3] Phi-3 Technical Report業務では、どう使い分けるか。
以下は、Asymmetraが考える活用の出発点です。実際の適性は、対象データと求める品質によって変わります。
LLM：言葉を扱う業務
議事録の要約、提案書のたたき台、問い合わせの分類など。出力を実務で使う前に、固有名詞や数値、根拠を確認する工程を設けます。
VLM：画像と言葉をつなぐ業務
帳票や画面の内容を読み取り、文章で整理する用途が考えられます。小さい文字や複雑な表では誤読もあるため、実際の画像で評価します。
SLM：範囲を絞った業務
定型的な分類や抽出などを、限られた計算資源で処理する候補です。小型なら必ず十分な精度や高速性が得られるわけではなく、モデルと実行環境の組み合わせを確かめます。
社内の知識を使うには、検索の設計も必要。
モデルを大きくするだけで、社内文書の内容が回答に反映されるわけではありません。RAG（検索拡張生成）は、関連する文書を検索し、その情報を生成時の手がかりとして使う手法です。Asymmetraは、モデルの選定と併せて、文書の更新、閲覧権限、参照元の提示、回答できない場合の扱いまで設計することが、業務で使える品質につながると考えます。
参考：Lewis et al., Retrieval-Augmented Generation (2020)事業では、必要な品質から逆算する。
Asymmetraは、モデルの大きさだけで選ばず、実際の業務データで品質・応答時間・運用費用を比較することが大切だと考えます。難しい処理と定型処理でモデルを使い分ければ、必要な品質を保ちながら、資源の使い方を改善できる可能性があります。以下は、その検証を始めるための整理です。
| やりたいこと | 検討の出発点 | 確かめること |
|---|---|---|
| 幅広い文章生成・要約 | LLMを起点に検証 | 出力品質と確認工数 |
| 画像・図表を含む業務 | VLMを起点に検証 | 画像の読み取り精度 |
| 用途を絞った端末内処理 | SLMを候補に検証 | 端末性能と必要な精度 |