国産の大規模言語モデル（Large Language Model：LLM）の多くは、米OpenAI（オープンAI）の「GPT」をはじめとする海外勢と比べてパラメーター数が小さいのが特徴だ。ただしパラメーター数が小さいと、同じように学習した「大きいLLM」のように汎用的に言語を解釈することは難しい。一方で当然ながら、顧客企業の業務にきちんと役立つような、的確なフィードバックができるLLMでなければ採用してもらえない。
そこで国産の「小さいLLM」が採る戦略が、適用対象とする領域の絞り込みだ。領域を絞ったうえで、業界や業務内容ごとに「LLMをカスタマイズして提供する」（NTTサービスイノベーション総合研究所／人間情報研究所の宮崎昇主幹研究員）。NEC、NTT両社のLLMサービス戦略を解説する。
例えばNTTの「tsuzumi」は、適用対象の1つとしてメディカル領域に注目。商用提供前ながら、2024年2月までの実証で既に電子カルテ情報の構造化を通じてカルテ情報を活用できるようにする成果を上げている。顧客サポート領域でも、コンタクトセンターの電話対応後に記録を残すといった業務の効率を高める成果を上げた。
基盤モデルに「横付け」し、出力を調整
LLMを業界・業務ごとに「カスタマイズ」するといっても、ここでいうカスタマイズは従来のシステム構築におけるそれとは異なるという。
NTTがLLMのカスタマイズに使う技術が「アダプター」だ。基盤となるLLMに対して、業界や業務内容に特化した小さいモデル（アダプター）を合体させて出力を調整する。宮崎主幹研究員はtsuzumiの利用方法について「アダプターを用いたtsuzumiの使い方を2パターン想定している」と話す。tsuzumiを実際に利用する際のイメージは以下の通りだ。
1つ目は、tsuzumiとアダプターをまとめてコピーするパターンだ。まずは顧客Aに、アダプターを付けていない、いわば「プレーン」な状態のtsuzumiを使ってもらう。この状態で業務に利用できればそのままtsuzumiを使ってもらう。仮にプレーンなtsuzumiからの出力に対し顧客Aが不満であれば、tsuzumiにアダプターを合体し出力を調整する。
他方、別の顧客Bから顧客Aと似た用途でtsuzumiの引き合いがあった場合、プレーンなtsuzumiや顧客Aに提供したアダプター付きtsuzumiをコピーした上で、必要に応じて顧客B向けのアダプターをさらに追加する。
2つ目は、あらかじめ1つのtsuzumiの上で複数のアダプターを提供しておくパターンだ。様々な顧客がtsuzumiに対して異なる要望を持っていても、提供されている複数のアダプターを顧客ごとに使い分ければそれぞれの顧客の用途に対応できる。これを実現できれば、「tsuzumiを動かすチップ自体は1枚のGPUで済む」（宮崎主幹研究員）という。
NTTのアダプター技術は、一般にLoRA（Low-Rank Adaptation）と呼ばれる技術だ。事前学習済みのLLMに小型のモデルを「横付け」することで出力を調整する。出力を調整する際基盤となるLLM自体のパラメーターは更新する必要がないため、ファインチューニングと比べて必要となる計算量が少なくて済むのが特徴だ。