週刊Life is beautiful ２０２３年８月８日号： LLMの業務への応用、LK-99

今週のざっくばらん LLMの業務への応用 OpenAIのGPTの代表される、LLM(Large Language Model：大規模言語モデル)と呼ばれる人工知能が、実際の業務に使えることが明らかになって以来、より良いLLMを作ろうという試みから、LLMを活用したさまざまなアプリケーションを作ろうという試みまで、さまざまなレベルでの研究・開発が、世界中で激しい勢いで進んでいます。 LLMを活用したアプリケーションとしては、OpenAIのChatGPTが最も多くの人々に使われており、このメルマガの読者の中でも触ったことがある人も多いと思いますが、ChatGPTそのものは、あくまで「汎用的なチャットシステム」であり、文章の要約や、文章の生成には優れていますが、本格的な業務への応用となると、まだまだ不十分な点もあり、ここから先の進化が重要です。 こう言ってしまうと、(人工知能の開発に関わるエンジニアや研究者ではない)一般の人たちは、ChatGPT、もしくは、そのライバルたちの進化を待てば良い、と誤解してしまうかも知れませんが、それは間違いです。 人工知能は、これから、世の中のあらゆる業務で使われるようになりますが、その際には、ChatGPTのような汎用のチャットシステムではなく、特定の業種でビジネスを行うのに必要な知識（ドメイン・ノリッジ）を持ち、かつ、その企業だけが持っているデータにも精通した人工知能が必要なのです。 例えば、サケ・マス類の養殖、捕獲、加工、流通を行っている水産会社を考えてみます。そこで本格的な業務をするのであれば、サケ・マス類に関する基本的な知識加工業務に関する深い知識サケ・マス養殖に関する深い知識サケ・マス漁法及び、それに関わる各国の規制に関する知識流通量と市場価格の推移各国の消費量の推移サケ・マス業務に関わる様々な企業に関する様々なデータ料理店・鮮魚店・スーパーなど末端のビジネスに関するデータ各国の消費者が好むサケ・マス料理に関する知識 を持っている必要があるし、それに加えて、その水産会社だけが抱えている、所有・契約している船の過去の成績所有・契約している養殖場の過去の成績取引先に関する詳しい情報その会社が結んでいる様々な契約の内容過去の失敗事例・成功事例従業員・契約社員・コンサルタントなどに関する詳しい情報 なども把握している必要があります。 人間であれば、この手の知識は、業務を通じて何年もかけて取得していくものだし、必要に応じて調べれば十分なものもありますが、人工知能を導入するのであれば、即戦力であることが期待されるし、莫大なデータを記憶しており、必要に応じて、瞬時に引き出してくる能力が必要です。 ChatGPT、もしくは、その後ろにあるGPTには、膨大な知識が詰まっているとは言え、あくまで汎用的な人工知能であるため、この水産業社で業務をするのに必要な知識を持っているわけではありません。人工知能を実際の業務で使うには、この手のサケ・マス事業に関わる様々なデータ（ドメイン・ノリッジ）を何らかの形で「覚えさせる」必要があるのです。 人工知能にドメイン・ノリッジを与える方法は複数ありますが、大きく分けると、以下の３つになります。LLMモデルをゼロから構築学習済みのLLMモデルのファイン・チューニング（微調整）プロンプト・エンジニアリング １つ目のLLMモデルの構築は、技術的にも難しいし、何よりも機械学習の過程に莫大なコストがかかります。モデルそのものは、MetaのLlama2のようにオープンソース化されたものがあるので、その中で適切なものを選べば十分ですが、ちゃんとしたLLMとして使えるようにするには、業務用のデータだけでなく、言葉や一般教養を学習させるための膨大なデータを教育データとして与える必要があります。幸いなことに、データに関しても、オープンなものが沢山あるのでそれが使えますが、学習プロセスには莫大な計算資源が必要であるため、数千万円から数億円の出費（モデルの大きさ、データの量によって大きく異なります）を覚悟しなければなりません。 このアプローチで作られたもので良く知られているのは、経済・金融情報サービスの会社Bloombergが作ったBloombergGPTです。 BloombergGPTは、3,639億トークンの経済・金融データに（ここでは、トークンの数＝単語の数と考えていただいて結構です）、3,450億トークンの一般教養データを合わせた、約7,000億トークンで学習した500億（50 billion）のパラメータを持つLLMで、一般的なLLMとしても高い能力を持ちつつ、経済・金融系の質問に答えられるように作られた、業務用のLLMです。Bloombergは、開発コストを公開していませんが、機械学習プロセスだけで、少なくとも数億円は使ったと見られています。 この手法は、非常にコストが高いので、BloombergのようにLLMそのものをサービスとして提供して利益を上げる場合には使える手法ですが、上で例として取り上げた、サケ・マス事業社が採用できるようなものではありません。 ２番目の手法は、既に基本的な言語や一般教養に関してトレーニング済みのLLMに、業務用のデータを与えて学習させル、ファイン・チューニングと呼ばれる手法です。 ファイン・チューニングには、大きく分けて二つの方法があり、一つ目は、モデルのパラメータ全てをアップデートするフル・ファイン・チューニングと呼ばれる手法で、もう一つは、よりパラメータ数の少ないニューラルネットワークを作り、そちらのパラメータだけをアップデートする、Parameter efficient fine-tuning(PEFT)と呼ばれる手法です。 フル・ファイン・チューニングの方は、LLMが持つパラメータ全てをアップデートするため、パラメータ数の多いLLMで行う場合には、莫大なコストがかかるのが欠点です。さらに、パラメータ全体をアップデートするため、ファイン・チューニングの結果、それまで答えられていた質問にまともに答えられなくなってしまう、「Catastrophic failure」という障害を起こしてしまうリスクがあります。 PEFTは、はるかに少ないパラメータだけをアップデートするため、コストは大幅に安いし、ベースとなるLLMのパラメータは変更しないので、「Catastrophic failure」も起こりません。PEFTについてより深く勉強したい人は、LoRA: Low-Rank Adaptation of Large Language Modelsという論文を読むことをお勧めします。PEFTを実現する手法の一つである LoRA について詳しく解説しています。 ３番目の手法は、LLMは汎用なものをそのまま使い、LLMに与えるプロンプトの中に、業務に特化したデータを必要に応じて引っ張って来て与える手法です。以前に、このメルマガで解説した、Embedding Databaseを使って質問文と関連する文章を見つけてきて、それをプロンプトの中に含めて、LLMに応えさせる手法が、これに相当します。 この手法は、最初の二つの手法と比べて容易に実装ができるため、幅広く使われている手法ですが、LLMそのものが業務に特化した知識を持っている訳ではない上に、プロンプトとして与えることが出来る文字数も限られているため、必ずしも期待する能力を発揮してくれないケースがあるので注意が必要です。 上の水産会社のケースであれば、手っ取り早く低コストでLLMを使ってみたいのであれば、３番目の手法で十分ですが、本腰を入れて、LLMを使って業務の効率化や改善を行いたいのであれば、LoRA(もしくはそれに相当するもの)を使ったPEFTにより、水産業務に必要な知識を持ったLLMを作る必要があると私は思います。 ちなみに、LLMは、文章を読みこなしてそれを知識として蓄えることは得意ですが、必ずしも大量の数字を丸暗記できる訳ではないので注意してください。 例えば、サケ・マスの種類別の漁獲量の推移、だとか、各国のサケ・マス加工食品の消費量の推移、のようなデータは、LLMに覚えさせるのではなく、データのある場所だけをLLMに覚えさせる、もしくはプロンプトで与えることにより、（先週紹介した）code interpreterのような仕組みを使って、LLMを使ってデータ解析をする、方が理にかなっています。 長くなってしまいましたが、LLMを業務で使う際には、例えシステムの構築を外部の業者に頼むにしても、最低限でもここに書いてあることぐらいを理解した上でないと、良いシステムを作ってもらうことも、システムを使いこなすことも出来ないので、是非とも理解するように努めてください。 この知識を持たずに、ITゼネコンにシステムの構築を依頼してしまうと、莫大な開発費だけを支払って、使い物にならない、もしくは、すぐに陳腐化してしまうシステムを作られてしまいます。「DX特需」の次には「AI特需」が来ることはほぼ確実で、そこでも、マイナンバー・システムのような事例が多発する可能性は十分にあります。 合鴨（アイガモ）うんちく たまたまテレビに「合鴨」の話が出ていたので、調べたところ、これまでいくつか誤解していたこと・知らなかったことが学べました。 「合鴨」が「鴨」と「何か」の合の子であることは知っていましたが、その「何か」をちゃんと考えたことはありませんでした。「合鴨」は、鴨の血が入っているからこそ、「野生的な味」がすると言われていますが、一体全体、何と比べて野生的なのでしょうか？ ちなみに、子供の頃に、大人（誰だったか覚えていませんが、多分、叔父だと思います）に、「鴨の肉はそのままだと固くて臭くて食べられないので、レストランに出てくる鴨の肉は、鶏との合の子だ」と教わったことがありますが、子供なりに「その情報は間違いではないか」と疑ってもいましたが、その真相も、判明しました。