_{（フィーチャーイメージはMidjourney 5.1で生成しましたょ）}

こんにちは、シバタアキラです。私ごとですが、先日はWeights & Biasesの日本展開に関してプレスリリースを打たせて頂きました。今やお昼のワイドショーでも取り上げられるようになったChatGPTの開発にも使われているAI開発ツールの日本展開とあり、高い注目度で取り上げて頂きました。

LLM（巨大言語モデル）をこれからどのようにビジネスに活かしていくのかということには多くの企業がすばやく反応しており、W&Bでも自社製品について詳しく答えてくれるWandbotをコミュニティーDiscordで公開したり、ドキュメンテーションの多言語化をChatGPTにやらせたり、社内活用が活発に推奨されています。また、製品面でも、プロンプトを使った新しいパラダイムにおけるアプリケーション開発支援のために、LangChain開発内容の自動とラッキイングやプロンプト結果の評価などを含むプロンプト開発スイートを発表しています。

商用利用における巨大言語モデルの使い方

LLMの将来性は社内導入にとどまらず、顧客向け製品やサービスへの活用にも高い可能性があります。一歩引いて考えた時に、LLMの使い方は3つに分類する事ができます。

1. 基盤モデルをそのまま使う
2. 学習済み基盤モデルをカスタマイズする
3. 自社もしくは外部支援を受けてLLMをゼロから構築する

自社の戦略として、どのアプローチが良いのかを決めるためには、さまざまな前提を考慮する必要があります。後述するホワイトペーパーにおいてもこの点を掘り下げています。特に企業での利用において、データの秘匿性やプライバシーなどを考えると、ChatGPTのような外部サービスに対して自社データを送信することには重大なリスクを伴います。先日サムスンでも従業員のChatGPT利用を禁止したというニュースが出ていましたし、現時点ではかなりLLM活用に積極的な本邦においても、これから多くの企業がこのようなルールづくりを行うと考えられます。

また、OpenAIのサム・アルトマンは、「巨大なAIモデル開発の時代はすでに終わっている」と述べ、これよりも巨大なモデルを作っても更なる進歩は得られない、という前提から、GPT-5の開発は行なっていないという驚きの発言をしていました。また、リード・ホフマンとのインタビューで印象的だったのは、これから最も価値が生まれるのは、基盤モデルを特定の業界・用途にカスタマイズするための開発だという話で、私も同意見です。

非常に興味深いのが、ゴールデンウィーク中にGoogleからリークしたとされるドキュメント「私たちに競合優位性はないが、OpenAIにもない」というドキュメントです。OpenAIのモデルも、Googleのモデルも今のところ他のモデルよりもわずかに優位性を保っているが、その構築に使われた技術的革新はオープンな研究の中で行われててきたもので、オープンソースのモデルが追いつくのは時間の問題だと主張しています。このような考え方に基けば、LLMをスクラッチで開発することはできなくても、各企業が自社のオリジナルデータを上手く基盤モデルの追加学習に使うことで、独自の価値を生み出せる素地が整いつつあると考えられます。

ChatGPTが突然現れたと感じる方もいるようですが、その実現は機械学習研究がこれまでパブリックドメインで脈々と発達させてきた技術に基づいています。特に2020年ごろから明らかになってきたこととして、巨大なAIモデルははデータ量、モデルの複雑さ、計算量の三つの要素をバランスよく増加によって高性能化することが示されており、いずれもここ数年の中で増加し続けています。

この中には、2017年に発表されたトランスフォーマーアーキテクチャーや、データ量・計算量・モデルの複雑性の関係を示唆するスケーリング法則、一つのGPUに付属するメモリーには収まらないモデルの並列学習方法、学習済みモデルの振る舞いをチューニングするための技術など、多岐にわたる技術発展が含まれます。また、これらのノウハウは学習済み基盤モデルをチューニング（カスタマイズ）することにもとても有益な情報です。

ホワイトペーパー「LLMをゼロからトレーニング
するためのベストプラクティス」

Weights ＆ Biasesでは、これまで明文化されないことも多かった開発ノウハウも含め、4月に無料のホワイトペーパーをリリースしていました。W&B Japanでは、これまでの研究・開発活動の多くが米国に集約されていることから、国内における開発ノウハウの蓄積が急務と考え、このホワイトペーパーの日本語化を急ぎ、この度リリースする事ができました：プレスリリースはこちら

このホワイトペーパーではLLMの開発に関連する技術的課題を幅広くカバーし、考慮すべきトレードオフを検証するとともに、 その過程で起こりうる落とし穴を指摘します。LLMをスクラッチで (ゼロから) トレーニングする際のキーとなるステップや考慮すべき点について、網羅的に説明するとともに、事前学習済みの既存モデルを利用する上でも有益な情報を関連研究を参照しながら、非専門家にもわかりやすく説明しています。

基盤モデル＋チューニングのアプローチはどんな企業でも実現可能に

前述のサムアルトマンのコメントはさておき、LLMモデルはオープン、クローズソース双方で急激な発展を続けています。Google, Meta, OpenAIという三強プレーヤーが中心となっている一方で、Bloombergは3月にBLOOMというオープンソースモデルに基づき、金融業界に特化したデータを追加学習させる形でBloombergGPTというカスタマイズモデルを構築しています。

BLOOMは現在「真に」オープンソースなモデルの中では特に優れているモデルとされていますが、2023にMetaが発表したモデルLLaMaが、現行のオープンソース開発の注目を浴びています。2月末に発表されたこのモデルは、当初コードのみをオープンソースとし、学習済みモデルは許諾を受けた研究機関だけに公開されていました。ところがわずか一週間ほどでこのモデルは誰でもダウンロードできるtorrentファイルで4chanに公開されてしまったのです。Google, Meta, OpenAIという3巨塔の中で唯一手元で動かせる最先端モデルとなったLLaMaを使って、以降オープンソースコミュニティーやアカデミアでは活発な研究開発が行われています。

特に重要な成果の一つは学習後のモデルのアウトプットをさまざまなタスクに順応させるためのインストラクション・チューニングという手法を、半自動的にGPT3.5モデルを使って学習用データを生成する形で実現したself-instructという手法を使ったAlpacaモデルです（スタンフォード大学の研究結果）。AI同士で囲碁をささせることでさらに強いAIを構築する事ができるのに似た手法です。さらにその後の研究で、こういったチューニングのためのデータセットのオープン化や、チューニングに必要な計算コストの減少により、完全にオープンなスタックで、数百ドル規模の学習で、ChatGPTと遜色のないアウトプットを返すとされるKoalaというモデルも発表されています（バークリー大学の研究成果）。

このような基盤モデル＋チューニングの開発アプローチは、今後企業でのLLM利用を実現する上で非常に重要になると考えていています。基盤モデルのチューニングはデータ量にもよりますが、比較的限られた計算リソースでも成立させられる手法が確立されつつあり、またその学習方法もさまざまな手法が発表されています。オープンソースモデルをベースに脅威的なスピードで追加学習の手法が生み出されたのは画像生成モデルStability AIが発表された時にまとめた記事でも紹介しました。またこのような手法の最前線を紹介するためにStability AIのエンジニアのMakoto ShingさんとW&Bの山本祐也さんを呼んで、月末にミートアップも予定しています。

基盤モデル＋チューニングによるモデル開発を念頭に、データの収集、モデル開発手法の習得、計算リソースの確保、開発・実装ワークフローの確立など、さまざまな課題が出てきます。また、一歩引くと、このような技術を「正しく」使う（「アラインメント」という言葉が最近使われるようになった）ことは用途によっては倫理的な懸念も包含する複雑な問題に発展しうるため、深層学習研究の真の第一人者であるジェフリー・ヒントン氏が、「今後企業に属さず自由に警鐘を鳴らす事ができるように」、今週Googleを退社したというニュースは私も重大に受け止めました。

終わりに

10年分ぐらいの技術革新が一気に押し寄せたようなここ数ヶ月の変化を通じて、私たちが考えていかないといけないことは膨大にありますが、私もこの変化を形作っていく当事者として、今後も発信を続けていきたいと思います。

最後に宣伝ですが、明日からはじまるAI Expo 2023春ではWeights & Biases Japanもブースを出展予定です。W&Bの最新機能のデモや、前述のホワイトペーパーの印刷版の配布などをご用意してお待ちしていますので、ぜひ遊びにきてください。