大規模言語モデルのソースを表示

{{WikipediaPage||Wikipedia:大規模言語モデルの利用}}
'''大規模言語モデル'''（だいきぼげんごモデル、{{Lang-en-short|large language model}}、'''LLM'''）は、多数のパラメータ（数千万から数十億）を持つ[[ニューラルネットワーク|人工ニューラルネットワーク]]で構成されるコンピュータ[[言語モデル]]で、膨大なラベルなしテキストを使用して[[自己教師あり学習]]または{{Ill2|半教師あり学習|en|Semi-supervised learning}}によって訓練が行われる<ref name=":1">{{Cite web |url=https://analyticsindiamag.com/self-supervised-learning-vs-semi-supervised-learning-how-they-differ/ |title=Self-Supervised Learning Vs Semi-Supervised Learning: How They Differ |first=Shraddha |last=Goled |date=May 7, 2021 |website=Analytics India Magazine |access-date=2023-05-13}}</ref>。

LLMは2018年頃に登場し、さまざまなタスク（仕事）で優れた性能を発揮している。これにより、[[自然言語処理]]の研究の焦点は、特定のタスクに特化した[[教師あり学習|教師あり]]モデルを訓練するという以前の[[パラダイム]]から転換した<ref name="Manning-2022" />。大規模言語モデルの応用は目覚ましい成果を上げているが、大規模言語モデルの開発はまだ始まったばかりであり、多くの研究者が大規模言語モデルの改良に貢献している<ref>{{Cite web|和書|title=Responsible AI - Week 3 |url=https://www.coursera.org/lecture/generative-ai-with-llms/responsible-ai-moMCz |website=Coursera |access-date=2023-07-23 |language=ja}}</ref>。

大規模言語モデルという用語の正式な定義はないが、大規模[[テキストコーパス|コーパス]]で事前訓練された、数百万から数十億以上のパラメータを持つ[[ディープラーニング]]モデルを指すことが多い。LLMは、特定のタスク（[[感情分析]]、[[固有表現抽出]]、[[自動推論|数学的推論]]など）のために訓練されたものとは異なり、幅広いタスクに優れた汎用モデルである<ref name="Manning-2022" /><ref name="emergentpaper" />。LLMがタスクを実行する能力や対応可能な範囲は、ある意味では設計における画期的な進歩には依存せず、LLMに費やされた資源（データ、パラメータサイズ、計算力）の量の関数であるように見える<ref name="Bowman">{{cite journal |last=Bowman |first=Samuel R. |title=Eight Things to Know about Large Language Models |url=https://cims.nyu.edu/~sbowman/eightthings.pdf}}</ref>。多数のパラメータを持ったニューラル言語モデルは、文の次の単語を予測するという単純なタスクで十分に訓練することで、人間の言葉の構文や意味の多くを捉えられることがわかった。さらに、大規模な言語モデルは、世の中に関するかなりの一般知識を示し、訓練中に大量の事実を「記憶」することができる<ref name="Manning-2022" />。

質の高い証拠とされる2023年のメタ分析によれば、大規模言語モデルの創造性に目を輝かせる研究者はもちろん世界中に存在し、小規模言語モデルにはできないタスクで大規模言語モデルが創造的であると主張する学者もいるが、これは測定基準の選択によるものであり、創造性によるものではないことが示唆されている。異なる測定基準を選択した場合、大規模言語モデルの創造性の優位性は見られない可能性が示唆されている<ref>{{Cite journal|last=Schaeffer|first=Rylan|last2=Miranda|first2=Brando|last3=Koyejo|first3=Sanmi|date=2023|title=Are Emergent Abilities of Large Language Models a Mirage?|url=https://arxiv.org/abs/2304.15004|doi=10.48550/ARXIV.2304.15004}}</ref>。

== 特性 ==
=== 事前訓練データセット ===
{{See also|{{ill2|機械学習研究のためのデータセットリスト|en|List of datasets for machine-learning research}}}}

大規模言語モデル（LLM）は通常、さまざまな分野や言語にわたる大量のテキストデータで事前訓練が行われる<ref>{{Cite arXiv|arxiv=2305.10403|authors=Rohan Anil, Andrew M. Dai, Orhan Firat, Melvin Johnson, Dmitry Lepikhin, Alexandre Passos, Siamak Shakeri, Emanuel Taropa, Paige Bailey, Zhifeng Chen, Eric Chu, Jonathan H. Clark, Laurent El Shafey, Yanping Huang, Kathy Meier-Hellstern, Gaurav Mishra, Erica Moreira, Mark Omernick, Kevin Robinson, Sebastian Ruder, Yi Tay, Kefan Xiao, Yuanzhong Xu, Yujing Zhang, Gustavo Hernandez Abrego, Junwhan Ahn, Jacob Austin, Paul Barham, Jan Botha, James Bradbury, Siddhartha Brahma, Kevin Brooks, Michele Catasta, Yong Cheng, Colin Cherry, Christopher A. Choquette-Choo, Aakanksha Chowdhery, Clément Crepy, Shachi Dave, Mostafa Dehghani, Sunipa Dev, Jacob Devlin, Mark Díaz, Nan Du, Ethan Dyer, Vlad Feinberg, Fangxiaoyu Feng, Vlad Fienber, Markus Freitag, Xavier Garcia, Sebastian Gehrmann, Lucas Gonzalez, Guy Gur-Ari, Steven Hand, Hadi Hashemi, Le Hou, Joshua Howland, Andrea Hu, Jeffrey Hui, Jeremy Hurwitz, Michael Isard, Abe Ittycheriah, Matthew Jagielski, Wenhao Jia, Kathleen Kenealy, Maxim Krikun, Sneha Kudugunta, Chang Lan, Katherine Lee, Benjamin Lee, Eric Li, Music Li, Wei Li, YaGuang Li, Jian Li, Hyeontaek Lim, Hanzhao Lin, Zhongtao Liu, Frederick Liu, Marcello Maggioni, Aroma Mahendru, Joshua Maynez, Vedant Misra, Maysam Moussalem, Zachary Nado, John Nham, Eric Ni, Andrew Nystrom, Alicia Parrish, Marie Pellat, Martin Polacek, Alex Polozov, Reiner Pope, Siyuan Qiao, Emily Reif, Bryan Richter, Parker Riley, Alex Castro Ros, Aurko Roy, Brennan Saeta , Rajkumar Samuel, Renee Shelby, Ambrose Slone, Daniel Smilkov, David R. So, Daniel Sohn, Simon Tokumine, Dasha Valter, Vijay Vasudevan, Kiran Vodrahalli, Xuezhi Wang, Pidong Wang, Zirui Wang, Tao Wang, John Wieting, Yuhuai Wu, Kelvin Xu, Yunhan Xu, Linting Xue, Pengcheng Yin, Jiahui Yu, Qiao Zhang, Steven Zheng, Ce Zheng, Weikang Zhou, Denny Zhou, Slav Petrov, Yonghui Wu|title=PaLM 2 Technical Report}}</ref>。著名な事前訓練データとしては、[[Common Crawl]]、{{Ill2|The Pile (データセット)|en|The Pile (dataset)|label=The Pile}}、MassiveText<ref>{{Cite web |title=Papers with Code - MassiveText Dataset |url=https://paperswithcode.com/dataset/massivetext |access-date=2023-04-26 |website=paperswithcode.com |language=en}}</ref>、[[ウィキペディア|Wikipedia]]、[[GitHub]]などが知られている。大半のオープンソースのLLMは一般公開されているデータを利用しているが、非公開のデータで事前訓練が行われることもある<ref>{{Cite arXiv|arxiv=2303.17564|authors=Shijie Wu, Ozan Irsoy, Steven Lu, Vadim Dabravolski, Mark Dredze, Sebastian Gehrmann, Prabhanjan Kambadur, David Rosenberg, Gideon Mann|title=BloombergGPT: A Large Language Model for Finance}}</ref>。事前訓練データは、重複排除、毒性が高いシーケンスの除外、低品質データの破棄など、生テキストをさまざまな手順で前処理して作成される<ref>{{Cite arXiv|arxiv=2104.08758|authors=Jesse Dodge, Maarten Sap, Ana Marasović, William Agnew, Gabriel Ilharco, Dirk Groeneveld, Margaret Mitchell, Matt Gardner|title=Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus}}</ref>。言語データの蓄積は年率7%で増加しており、2022年10月現在、高品質な言語データは4兆6,000億語から17兆語の範囲内にあると推定されている<ref>{{Cite arXiv |last1=Villalobos |first1=Pablo |last2=Sevilla |first2=Jaime |last3=Heim |first3=Lennart |last4=Besiroglu |first4=Tamay |last5=Hobbhahn |first5=Marius |last6=Ho |first6=Anson |date=2022-10-25 |title=Will we run out of data? An analysis of the limits of scaling datasets in Machine Learning |class=cs.LG |eprint=2211.04325 }}</ref>。LLMでは事前訓練データを広範に使用するため、事前訓練データに評価データが混入すると、ベンチマーク評価時のモデル性能に影響を与えるデータ汚染が起こる<ref>{{Cite arXiv|arxiv=2005.14165|authors=Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, Dario Amodei|title=Language Models are Few-Shot Learners}}</ref>。

=== スケーリング則 ===
{{Main|[[ニューラルスケーリング則]]}}
一般にLLMは、モデルの大きさ、訓練データセットの大きさ、訓練費用、訓練後の性能という4つのパラメータにより特徴づけられる。これらの4つの変数はそれぞれ実数で正確に定義することができ、経験から「スケーリング則（scaling laws）」と呼ばれている単純な{{Ill2|経験的統計則|en|Empirical statistical laws|label=統計的法則}}によって関係していることがわかっている。

ある研究では、[[両対数グラフ|両対数]]{{Ill2|学習率|en|Learning rate}}のスケジュールで、1エポック分の自己回帰的な訓練を行ったLLMの場合のスケーリング則（{{Ill2|Chinchilla AI|en|Chinchilla AI|label=Chinchillaスケーリング}}）を、次のように表している<ref>{{Cite journal |last=Hoffmann |first=Jordan |last2=Borgeaud |first2=Sebastian |last3=Mensch |first3=Arthur |last4=Buchatskaya |first4=Elena |last5=Cai |first5=Trevor |last6=Rutherford |first6=Eliza |last7=Casas |first7=Diego de Las |last8=Hendricks |first8=Lisa Anne |last9=Welbl |first9=Johannes |last10=Clark |first10=Aidan |last11=Hennigan |first11=Tom |last12=Noland |first12=Eric |last13=Millican |first13=Katie |last14=Driessche |first14=George van den |last15=Damoc |first15=Bogdan |date=2022-03-29 |title=Training Compute-Optimal Large Language Models |url=https://arxiv.org/abs/2203.15556 |journal=arXiv:2203.15556 [cs]}}</ref>。<math display="block">\begin{cases}
C = C_0 ND\\
L = \frac{A}{N^\alpha} + \frac{B}{D^{\beta}} + L_0
\end{cases}</math>ここで、変数は次のとおりである。
* <math>C</math>：モデルの訓練に掛かる費用（[[FLOPS]]単位）
* <math>N</math>：モデル内のパラメータ数
* <math>D</math>：訓練セット内のトークン数
* <math>L</math>：テストデータセットで訓練されたLLMにより達成される、トークン当たりの平均の負対数尤度損失（[[ナット (単位)|ナット]]/トークン）
統計パラメータは次のとおりである。

* <math> C_0 = 6</math>、すなわち、1つのトークンで訓練するにはパラメータごとに6 FLOPSの費用がかかる<ref name="kaplan-scaling" />。ここで、訓練費用は推論費用よりもはるかに高いことに注意を要する。1つのトークンを推論する費用はパラメータあたり1～2 FLOPSである。
* <math>\alpha = 0.34, \beta = 0.28, A = 406.4, B = 410.7, L_0 = 1.69</math>

=== 創発的能力 ===
[[File:LLM emergent benchmarks.png|thumb|[[質問応答システム|質問応答]]などのタスクを含め、多くの自然言語ベンチマークでは、モデルがある規模に達するまでは偶然によるものよりも性能が劣り、ある時点で性能が急激に向上する。それぞれの図は創発的能力の例を示している。モデル規模は訓練の計算量によって測定されている。]]
一般に、さまざまなタスクに対する大規模モデルの性能は、同様の小規模モデルの性能に基づいて推定することができるが、ときには、下流におけるスケーリング則が「[[ニューラルスケーリング則|破綻]]」し<ref>Caballero, Ethan; Gupta, Kshitij; Rish, Irina; Krueger, David (2022). [[arxiv:2210.14891|Broken Neural Scaling Laws]]. International Conference on Learning Representations (ICLR), 2023.</ref>、大規模モデルが、小規模モデルとは異なる速度で突然に能力を獲得することがある。これは「'''[[創発|創発的]]能力'''」（{{Lang-en-short|emergent abilities}}）として知られているもので、これまでも多くの研究の対象であった。研究者は、こうした能力は「小規模モデルの性能を外挿することでは予測できない」ことが多いと指摘している<ref name="emergentpaper">{{cite journal |last1=Wei |first1=Jason |last2=Tay |first2=Yi |last3=Bommasani |first3=Rishi |last4=Raffel |first4=Colin |last5=Zoph |first5=Barret |last6=Borgeaud |first6=Sebastian |last7=Yogatama |first7=Dani |last8=Bosma |first8=Maarten |last9=Zhou |first9=Denny |last10=Metzler |first10=Donald |last11=Chi |first11=Ed H. |last12=Hashimoto |first12=Tatsunori |last13=Vinyals |first13=Oriol |last14=Liang |first14=Percy |last15=Dean |first15=Jeff |last16=Fedus |first16=William |title=Emergent Abilities of Large Language Models |journal=Transactions on Machine Learning Research |date=31 August 2022 |url=https://openreview.net/forum?id=yzkSU5zdwD |language=en |issn=2835-8856}}</ref>。このような能力は、プログラムされたり設計されたりするものではなく、むしろ「発見される」ものであり、場合によっては、LLMが一般公開されて初めて発見されることすらある<ref name="Bowman" />。これまでに数百もの創発的能力が報告されている。たとえば、多段階の算術、大学レベルの試験、単語の意図する意味の特定<ref name="emergentpaper" />、[[思考連鎖型プロンプト|思考の連鎖]]<ref name="emergentpaper" />、[[国際音声記号]]の解読、マス埋めパズル、[[ヒングリッシュ]]（ヒンディー語と英語の混成語）の段落内の不快な内容の特定、および[[スワヒリ語]]のことわざに相当する英語の生成などがある<ref>{{Cite web |url=https://www.quantamagazine.org/the-unpredictable-abilities-emerging-from-large-ai-models-20230316/ |title=The Unpredictable Abilities Emerging From Large AI Models |first=Stephen |last=Ornes |date=March 16, 2023 |website=Quanta Magazine |access-date=2023-05-13}}</ref>。

Schaefferらは、創発的な能力は予測不可能な形で獲得されるのではなく、[[ニューラルスケーリング則|滑らかなスケーリング則]]<!-- smooth scaling law -->に従って予測通りに獲得されると主張している<ref>{{cite arXiv|eprint=2304.15004|class=cs.AI|last1=Schaeffer|first1=Rylan|last2=Miranda|first2=Brando|title=Are Emergent Abilities of Large Language Models a Mirage?|date=2023-04-01|last3=Koyejo|first3=Sanmi}}</ref>。著者らは、LLMが多肢選択問題を解く統計的トイモデルを検討し、他の種類のタスクを考慮して修正されたこの統計モデルが、これらのタスクにも適用できることを示した。

ここで、<math>x</math> をパラメータ数、<math>y</math> をモデルの性能とする。

* <math>y = \text{average } Pr(\text{correct token})</math>のとき、<math>(\log x, y)</math> は[[指数関数|指数曲線]]（1でプラトーに達する前）となり、創発のように見える。
* <math>y = \text{average } \log(Pr(\text{correct token}))</math> のとき、<math>(\log x, y)</math> のプロットは直線（0でプラトーに達する前）となり、創発には見えない。
* <math>y = \text{average } Pr(\text{the most likely token is correct})</math> のとき、<math>(\log x, y)</math> は[[ステップ関数]]となり、創発のように見える。

== 歴史 ==
=== 先駆者 ===
大規模言語モデルの基本的な考え方は、単純で反復的なアーキテクチャを持つ[[ランダム]]な重みを持つニューラルネットワークを出発点とし、大規模な言語コーパスで訓練することである。

この最も初期の例のひとつが[[回帰型ニューラルネットワーク#エルマンネットワークとジョーダンネットワーク|エルマンネットワーク]]で<ref>{{Cite journal |last=Elman |first=Jeffrey L. |date=March 1990 |title=Finding Structure in Time |url=http://doi.wiley.com/10.1207/s15516709cog1402_1 |journal=Cognitive Science |language=en |volume=14 |issue=2 |pages=179–211 |doi=10.1207/s15516709cog1402_1}}</ref>、「犬が男を追いかける」のような単純な文でリカレントネットワークを訓練した。訓練したネットワークは、各単語をベクトル（内部表現）に変換した。次にこれらのベクトルを接近度によって木構造にクラスタリングした。その結果、ツリーはある構造を示すことがわかった。動詞と名詞はそれぞれ別の大きなクラスターに属していた。名詞のクラスター内には、無生物（inanimates）と生物（animates）の2つの小さなクラスターがある、などである。

別の方法として、自然言語理解を記号プログラムによってコンピュータにプログラムする{{Ill2|記号的人工知能|en|Symbolic artificial intelligence|label=論理AI}}があった。この方法は1990年代まで主流であった。単純な機構と大規模なコーパスによって自然言語を学習するという着想は1950年代に始まったが、商業的に最初に成功したのは、{{Ill2|統計的機械翻訳|en|Statistical machine translation}}のための{{Ill2|IBMアライメントモデル|en|IBM alignment models}}（1990年代）であった。

=== Transformerフレームワークへの進化 ===
初期の「大規模」言語モデルは、[[長・短期記憶|長期・短期記憶]]（LSTM、1997年）などのリカレントアーキテクチャを使用して構築された。[[AlexNet]]（2012年）が画像認識における大規模ニューラルネットワークの有効性を実証した後、研究者は大規模ニューラルネットワークを他のタスクに適用した。2014年には、2つの主要な手法が提案された。
* [[seq2seq]]モデル（3億8,000万パラメータ）は、2つのLSTMを使用して[[機械翻訳]]を行い<ref>{{Cite journal |last=Sutskever |first=Ilya |last2=Vinyals |first2=Oriol |last3=Le |first3=Quoc V |date=2014 |title=Sequence to Sequence Learning with Neural Networks |url=https://proceedings.neurips.cc/paper_files/paper/2014/hash/a14ac55a4f27472c5d894ec1c3c743d2-Abstract.html |journal=Advances in Neural Information Processing Systems |publisher=Curran Associates, Inc. |volume=27}}</ref>、単純化されたアーキテクチャ（[[ゲート付き回帰型ユニット]]、GRU）で同じ手法が使われた（1億3000万パラメータ）<ref>{{Cite journal|last=Cho|first=Kyunghyun|last2=van Merrienboer|first2=Bart|last3=Bahdanau|first3=Dzmitry|last4=Bengio|first4=Yoshua|date=2014|title=On the Properties of Neural Machine Translation: Encoder–Decoder Approaches|url=https://doi.org/10.3115/v1/w14-4012|journal=Proceedings of SSST-8, Eighth Workshop on Syntax, Semantics and Structure in Statistical Translation|publisher=Association for Computational Linguistics|location=Stroudsburg, PA, USA|doi=10.3115/v1/w14-4012}}</ref>。
* [[アテンション機構]]は、2つのLSTMの中間に「アテンション機構」を追加してseq2seqモデルを改良されたものとして提案された<ref name=":6">{{Cite journal |last=Bahdanau |first=Dzmitry |last2=Cho |first2=Kyunghyun |last3=Bengio |first3=Yoshua |date=2014-09-01 |title=Neural Machine Translation by Jointly Learning to Align and Translate |url=https://ui.adsabs.harvard.edu/abs/2014arXiv1409.0473B}}</ref>。これはTransformerのアテンション機構とは異なるが、同様のタスクを実行する{{citation needed|date=June 2023}}。

2016年、[[Google 翻訳|Google翻訳]]はその機構を{{Ill2|統計的機械翻訳|en|Statistical machine translation}}から{{Ill2|Googleニューラル機械翻訳|en|Google Neural Machine Translation|label=ニューラル機械翻訳}}へと変更した。これは、LSTMとアテンションによるseq2seqである。10年かけて構築された以前のシステムよりも高いレベルの性能に到達するのに9カ月を要したという<ref>{{Cite news |last=Lewis-Kraus |first=Gideon |date=2016-12-14 |title=The Great A.I. Awakening |language=en-US |work=The New York Times |url=https://www.nytimes.com/2016/12/14/magazine/the-great-ai-awakening.html |url-status=unfit |access-date=2023-06-22 |archive-url=https://web.archive.org/web/20230524052626/https://www.nytimes.com/2016/12/14/magazine/the-great-ai-awakening.html |archive-date=24 May 2023 |issn=0362-4331}}</ref><ref>{{Cite journal |last=Wu |first=Yonghui |last2=Schuster |first2=Mike |last3=Chen |first3=Zhifeng |last4=Le |first4=Quoc V. |last5=Norouzi |first5=Mohammad |last6=Macherey |first6=Wolfgang |last7=Krikun |first7=Maxim |last8=Cao |first8=Yuan |last9=Gao |first9=Qin |last10=Macherey |first10=Klaus |last11=Klingner |first11=Jeff |last12=Shah |first12=Apurva |last13=Johnson |first13=Melvin |last14=Liu |first14=Xiaobing |last15=Kaiser |first15=Łukasz |date=2016-09-01 |title=Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation |url=https://ui.adsabs.harvard.edu/abs/2016arXiv160908144W}}</ref>。

2017年の論文「''Attention is all you need''」<ref>{{Cite journal |last=Vaswani |first=Ashish |last2=Shazeer |first2=Noam |last3=Parmar |first3=Niki |last4=Uszkoreit |first4=Jakob |last5=Jones |first5=Llion |last6=Gomez |first6=Aidan N |last7=Kaiser |first7=Łukasz |last8=Polosukhin |first8=Illia |date=2017 |title=Attention is All you Need |url=https://proceedings.neurips.cc/paper_files/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html |journal=Advances in Neural Information Processing Systems |publisher=Curran Associates, Inc. |volume=30}}</ref>では、アテンション機構を抽象化して<ref name=":6" />、アテンション機構を中心としたTransformerアーキテクチャを構築した。seq2seqモデルは、他のリカレントネットワークと同様、入力シーケンスを一度に1つずつ処理しなければならないのに対し、Transformerアーキテクチャはシーケンス上で並列に実行することができる。これによって、より大規模なモデルを訓練できるようになった。

=== BERTとGPT ===
[[BERT (言語モデル)|BERT]]（2018年）<ref name=":02">{{cite arXiv |eprint=1810.04805v2 |class=cs.CL |first1=Jacob |last1=Devlin |first2=Ming-Wei |last2=Chang |title=BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding |date=11 October 2018 |last3=Lee |first3=Kenton |last4=Toutanova |first4=Kristina}}</ref>は双方向Transformerであり、[[Generative Pre-trained Transformer|GPT]]（2018年）<ref name="gpt12">{{cite web |date=June 11, 2018 |title=Improving language understanding with unsupervised learning |url=https://openai.com/research/language-unsupervised |url-status=live |archive-url=https://web.archive.org/web/20230318210736/https://openai.com/research/language-unsupervised |archive-date=2023-03-18 |access-date=2023-03-18 |website=openai.com |language=en-US}}</ref><ref>{{Citation |title=finetune-transformer-lm |date=June 11, 2018 |url=https://github.com/openai/finetune-transformer-lm |access-date=2023-05-01 |publisher=OpenAI}}</ref>は単方向（自己回帰）Transformerである。これらは2023年時点の主要なアーキテクチャである。

== アーキテクチャ ==
大規模言語モデルでは、2018年以降、逐次データに対する標準的なディープラーニング手法となった[[Transformer (機械学習モデル)|Transformer]]（トランスフォーマー）アーキテクチャが最もよく使用されている<ref name="Manning-2022" />。別のアーキテクチャの系統として、{{Ill2|混合エキスパート|en|Mixture of experts}}（Mixture of experts、MoE）がある。これはGoogleが開発したAIモデルでしばしば使用されており、sparsely-gated MoE（2017年）に始まり<ref>{{Cite journal |last=Shazeer |first=Noam |last2=Mirhoseini |first2=Azalia |last3=Maziarz |first3=Krzysztof |last4=Davis |first4=Andy |last5=Le |first5=Quoc |last6=Hinton |first6=Geoffrey |last7=Dean |first7=Jeff |date=2017-01-01 |title=Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer |url=https://ui.adsabs.harvard.edu/abs/2017arXiv170106538S}}</ref>、Gshard（2021年<ref>{{Cite journal |last=Lepikhin |first=Dmitry |last2=Lee |first2=HyoukJoong |last3=Xu |first3=Yuanzhong |last4=Chen |first4=Dehao |last5=Firat |first5=Orhan |last6=Huang |first6=Yanping |last7=Krikun |first7=Maxim |last8=Shazeer |first8=Noam |last9=Chen |first9=Zhifeng |date=2021-01-12 |title=GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding |url=https://openreview.net/forum?id=qrwe7XHTmYb |language=en}}</ref>）、GLaM（2022年）へと続いている<ref name="glam-blog" />。

=== トークン化 ===
LLMは数学的な関数であり、その入力と出力は数字のリストである。したがって、単語は数値に変換しなければならない。

一般に、LLMはこれを行うために固有の[[字句解析|トークナイザ]]を使用し、テキストと[[整数]]のリストを対応させている。通常、LLMを訓練する前にトークナイザを訓練データセットの全体に適用し、その後は凍結する。トークナイザには[[バイト対符号化]]が選択されるのが一般的である。

トークナイザのもう一つの機能は、[[コンピューティング|計算量]]を削減するための[[データ圧縮|テキスト圧縮]]である。たとえば「where is（どこにありますか）」などの一般的な単語やフレーズは、7文字ではなく1つのトークンでエンコードすることができる。OpenAI GPTシリーズでは、1つのトークンが一般的な英語テキストの約4文字、つまり約0.75語に相当するトークナイザを使用している<ref>{{Cite web |title=OpenAI API |url=https://platform.openai.com/ |archive-url=https://web.archive.org/web/20230423211308/https://platform.openai.com/tokenizer |archive-date=April 23, 2023 |access-date=2023-04-30 |website=platform.openai.com |language=en}}</ref>。珍しい英語のテキストは予測しにくく、そのため圧縮が困難となり、より多くのトークンを必要とする。

トークナイザは、任意の整数を出力することはできない。一般的には <math>\{0, 1, 2, ..., V-1\}</math> の範囲の整数に限って出力される。ここで、<math>V</math> は語彙（ごい）サイズと言う。

トークナイザには、任意のテキストを扱えるものと（一般に[[Unicode]]で直接操作する）、そうでないものがある。トークナイザは、エンコード不可能なテキストに遭遇した場合、「未知テキスト（unknown text）」を意味する特別なトークン（多くは0）を出力する。BERT論文にならって、{{mono|[UNK]}} と表記されることが多い。

もう一つの特別なトークンは、「パディング」を表す {{mono|[PAD]}} （多くは1）である。これは、一度に大量のテキストがLLMに入力されたときに、エンコードされたテキストが同じ長さになるよう調節するのに使用される。LLMでは一般に、入力の長さが一定のシーケンス（[[ジャグ配列]]という）であることを要求するため、エンコードした短いテキストを長いテキストにそろえるのにパディングを行う。

=== 出力 ===
LLMの出力は、その語彙の[[確率分布]]である。これは通常、次のように実装される。

* テキストを受信すると、大半のLLMはベクトル <math>y\in \R^V</math> を出力する。ここで、<math>V</math> は語彙サイズ（上述）である。
* ベクトル <math>y</math> は[[ソフトマックス関数]]によって <math>\text{softmax}(y)</math> となる。

このプロセスでは通常、ベクトル <math>y</math> は非正規化[[ロジット]]ベクトルといい、ベクトル <math>\text{softmax}(y)</math> は確率ベクトルと呼ばれる。ベクトル <math>\text{softmax}(y)</math> は <math>V</math> 個のエントリを持ち、すべて非負であり、その合計は1となるので、<math>\{0, 1, 2, ..., V-1\}</math> に対する確率分布、つまりLLMの語彙に対する確率分布であると解釈することができる。

ソフトマックス関数は数学的に定義されており、変化するパラメータを持たないことに注意を要する。したがっては訓練は行われない。

=== コンテキストウィンドウ ===
LLMのコンテキストウィンドウは、LLMがトークンを生成するために使用できる最長のトークンシーケンスの長さである。もしLLMがコンテキストウィンドウより長いシーケンスに対してトークンを生成するときは、トークンシーケンスをコンテキストウィンドウまで切り詰めるか、アルゴリズムに一定の変更を加える必要がある。

LLMのコンテキストウィンドウ長は1,000（1k）から10kのオーダーになる傾向がある。特にOpenAIは、2023年6月時点で、4kから16kまでのコンテキストウィンドウを備えたGPT-3.5を提供している<ref>{{Cite web |title=OpenAI API |url=https://platform.openai.com/ |url-status=deviated |archive-url=https://archive.is/koLNQ |archive-date=16 Jun 2023 |access-date=2023-06-20 |website=platform.openai.com |language=en}}</ref>。

=== エンコーダーとデコーダーの用語 ===
Transformerに基づくLLMでは、Transformerの原著論文で使われている用語とは多少異なる<ref>{{Cite web |last=LeCun |first=Yann |date=Apr 28, 2023 |title=A survey of LLMs with a practical guide and evolutionary tree |url=https://twitter.com/ylecun/status/1651762787373428736?lang=en |archive-url=https://web.archive.org/web/20230623012310/https://twitter.com/ylecun/status/1651762787373428736?lang=en |archive-date=23 Jun 2023 |access-date=2023-06-23 |website=Twitter |language=en}}</ref>。

* エンコーダのみ: フルエンコーダ、フルデコーダ
* エンコーダー - デコーダー: フルエンコーダー、自己回帰デコーダー
* デコーダのみ: 自己回帰エンコーダ、自己回帰デコーダ

ここでの「自己回帰」とは、「[[Transformer (機械学習モデル)#アテンション単位|マスク化アテンション]]」節で説明したように、あるトークンからそれに続くすべてのトークンへのアテンションをゼロにするために、アテンションヘッドにマスクが挿入されることを意味する。

== 訓練 ==
ほとんどのLLMは事前訓練されており、テキストトークンの訓練データセットが与えられると、モデルはデータセット内のトークンを予測する。このような事前訓練には一般に2つの形式がある<ref>{{cite journal |last1=Zaib |first1=Munazza |last2=Sheng |first2=Quan Z. |last3=Emma Zhang |first3=Wei |date=4 February 2020 |title=A Short Survey of Pre-trained Language Models for Conversational AI-A New Age in NLP |url=https://www.researchgate.net/publication/338931711 |journal=Proceedings of the Australasian Computer Science Week Multiconference |pages=1–4 |arxiv=2104.10810 |doi=10.1145/3373017.3373028 |isbn=9781450376976 |s2cid=211040895}}</ref>。

* 自己回帰モデル（[[GPT (言語モデル)|GPT]]型、次単語予測）<br />「私が食べるのが好きなのは」<!-- I like to eat -->のようなテキスト部分が与えられると、モデルは「アイスクリーム」のような「次のトークン」を予測する。
* マスク済みモデル（BERT型<ref name="jm" />、{{Ill2|クローズ・テスト|en|Cloze test|label=穴埋め}}）<br />「私は [MASK] クリームを [MASK] したい」<!-- I like to [MASK] [MASK] cream --> のようなテキスト部分が与えられると、モデルは「アイスを食べる」<!-- eat ice -->のような隠されたトークンを予測する。

LLMは、次文予測（Next Sentence Prediction、NSP）のように、データ分布の理解をテストする補助タスクを使用して訓練することもある<ref name="jm" />。この場合は、文の組が提示され、モデルはそれらが訓練コーパス内で連続して出現するかどうかを予測しなければならない。

通常、LLMは特定の[[損失関数]]、つまりトークンごとの平均[[尤度関数#負の対数尤度|負対数尤度]]（[[交差エントロピー]]損失とも呼ばれる）を最小化するように訓練する{{citation needed|date=May 2023}}。たとえば、自己回帰モデルで「食べるのが好き」が与えられ、確率分布 <math>Pr( \cdot | \text{I like to eat})</math> を予測する場合、このトークンに対する負対数尤度損失は <math>-\log Pr( \text{ice} | \text{I like to eat}) </math> となる。

訓練のとき、訓練を安定させるために[[正則化]]損失も使用される。ただし、正則化損失は通常、[[訓練、検証、テスト用のデータセット|テスト]]や評価の際には使用されない。また、負対数尤度だけでなく、他にも多くの評価項目がある。詳細については[[大規模言語モデル#評価|以下の節]]を参照のこと。

=== 訓練用データセットの大きさ ===
最初期のLLMは、数十億語の規模の[[テキストコーパス|コーパス]]で訓練が行われた。

[[OpenAI]]の[[GPT (言語モデル)|GPT]]（generative pre-trained transformer）シリーズの最初のモデルである[[GPT-1]]は、2018年に、9億8500万語で構成される[[BookCorpus]]で訓練された<ref>{{cite journal |last1=Zhu |first1=Yukun |last2=Kiros |first2=Ryan |last3=Zemel |first3=Rich |last4=Salakhutdinov |first4=Ruslan |last5=Urtasun |first5=Raquel |last6=Torralba |first6=Antonio |last7=Fidler |first7=Sanja |title=Aligning Books and Movies: Towards Story-Like Visual Explanations by Watching Movies and Reading Books |journal=2015 IEEE International Conference on Computer Vision (ICCV) |date=December 2015 |pages=19–27 |doi=10.1109/ICCV.2015.11 |arxiv=1506.06724 |isbn=978-1-4673-8391-2 |s2cid=6866988 |url=https://www.cv-foundation.org/openaccess/content_iccv_2015/papers/Zhu_Aligning_Books_and_ICCV_2015_paper.pdf |access-date=11 April 2023}}</ref>。同年、[[BERT (言語モデル)|BERT]]はBookCorpusと英語版[[ウィキペディア|Wikipedia]]の組み合わせで訓練され、合計で33億語になった<ref name="jm" />。それ以来、LLMの訓練用コーパスは桁違いに増加し続けており、トークン数は最大で数兆個に達した<ref name="jm" />。

=== 訓練費用 ===
LLMの訓練には計算費用がかかる。2020年の調査では、15億パラメータのモデル（当時の最先端技術より2桁小さい）の訓練にかかる費用は8万ドルから160万ドルと見積もられた<ref name="Wiggers" /><ref>Sharir, Or, Barak Peleg, and Yoav Shoham. "The cost of training nlp models: A concise overview." arXiv preprint arXiv:2004.08900 (2020).</ref>。その後、ソフトウェアとハードウェアの進歩により費用は大幅に下がり、2023年の論文では、120億パラメータのモデルを訓練するための費用は72,300 [[:en:Ampere_(microarchitecture)|A100-GPU]] 時間であると報告されている<ref name="Pythia">{{cite arXiv |last1=Biderman |first1=Stella |last2=Schoelkopf |first2=Hailey |last3=Anthony |first3=Quentin |last4=Bradley |first4=Herbie |last5= Khan |first5=Mohammad Aflah |last6=Purohit |first6=Shivanshu |last7=Prashanth |first7=USVSN Sai|title= Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling |date=April 2023 |class=cs.CL |eprint=2304.01373 }}</ref>。

TransformerベースのLLMの場合、訓練コストは推論コストよりもはるかに高くなる。1つのトークンを訓練するのに1パラメータあたり6 FLOPSのコストがかかるのに対し、1つのトークンを推論するには1パラメータあたり1～2 FLOPSである<ref name="kaplan-scaling" />。

2020年代の企業は、ますます大規模になるLLMに巨額の投資を行った。GPT-2（15億パラメータ、2019年）の訓練費用に5万ドル、またGoogle PaLM（54億パラメータ、2022年）は800万ドルを要した<ref>{{cite news |last1=Vincent |first1=James |title=AI is entering an era of corporate control |url=https://www.theverge.com/23667752/ai-progress-2023-report-stanford-corporate-control |access-date=19 June 2023 |work=The Verge |date=3 April 2023}}</ref>。

== 下流タスクへの適用 ==
2018年から2020年にかけて、特定の[[自然言語処理]]（NLP）タスクでLLMを使用するための標準的な方法は、「タスクに特化」した追加訓練によってモデルを[[ファインチューニング (機械学習)|ファインチューニング]]することであった。その後、[[GPT-3]]のような「より強力」なLLMでは、解決すべき問題をテキストプロンプトとしてモデルに提示したり、場合によっては、類似の問題とその解決策のいくつかのテキスト例とともに提示する「プロンプティング技術」を使用して、追加の訓練なしでタスクを解決できることがわかった<ref name="Manning-2022" />。

=== ファインチューニング ===
{{main|ファインチューニング (機械学習)}}ファインチューニング（{{Lang-en-short|fine-tuning}}、微調整）とは、事前訓練された既存の言語モデルを、特定のタスク（例: [[感情分析]]、[[固有表現抽出|固有表現識別]]、{{Ill2|品詞タグ付け|en|Part-of-speech tagging}}）で（[[教師あり学習|教師あり]]の）訓練を行うことによって修正する手法である。これは[[転移学習]]の一種である。一般的には、言語モデルの最終層と下流タスク（{{Lang-en-short|downstream tasks}}）の出力とを接続する新しい重みのセットを導入することになる。言語モデルの元の重みは「凍結」したまま、それらを出力に接続する新しい重み層のみが訓練中に調節されるように構成する。また、元の重みをわずかずつ更新させたり、あるいは以前の凍結された層と一緒に更新されることもある<ref name="jm" />。

=== プロンプト ===
{{see also|プロンプトエンジニアリング|[[少数ショット学習]]}}GPT-3によって普及したプロンプト[[パラダイム]]では<ref name="emergentpaper" />、解決すべき問題はテキストプロンプト（回答を促す指示）で定式化され、モデルは（[[統計的推論|推論]]して）補完を生成することによってそれを解決しなければならない。「[[少数ショット学習|少数ショットプロンプト]]」（{{Lang-en-short|few-shot prompting}}）の場合、プロンプトには類似した組（問題、解決）の少数の例が含まれる<ref name="Manning-2022" />。たとえば、映画レビューに対する感情をラベル付けする感情分析タスクは、次のような例で回答が促される<ref name="emergentpaper" />。<pre>レビュー: この映画は気が沈む。
感情: ネガティブ

レビュー: この映画は素晴らしい!
感情: </pre>もしモデルが「ポジティブ」と出力すれば、正しくタスクが解決されたことになる<ref name="Wiggers" /><ref name="few-shot-learners" />。一方、「[[ゼロショットプロンプト]]」（{{Lang-en-short|zero-shot prompting}}）の場合、解決例を提供しない。同じ感情分析タスクに対するゼロショットプロンプトの例は、『映画レビューに関連するセンチメントは「この映画は素晴らしい!」』である<ref name="flan-blog" />。

LLMにおける少数ショットの性能は、NLPタスクで競争力のある結果を達成することが示されており、ときには先行する最先端のファインチューニング手法を凌ぐことさえある。このようなNLPタスクの例としては、[[機械翻訳|翻訳]]、[[質問応答システム|質問応答]]、{{Ill2|クローズ・テスト|en|Cloze test|label=穴埋め}}、マス埋めパズル、文中の新語検出などがある<ref name="few-shot-learners" />。優れたプロンプトを作成し、最適化することを[[プロンプトエンジニアリング]]と呼ぶ。

=== インストラクション・チューニング ===
インストラクション・チューニング（{{Lang-en-short|instruction tuning}}、命令チューニング）は、より自然で正確なゼロショットプロンプトによる対話を促進するために考案されたファインチューニングの一形態である。テキストが入力されると、事前訓練された言語モデルは、訓練に使用したテキストコーパスの分布に一致するような補完を生成する。たとえば、「[[ハムレット]]の主要テーマについてエッセイを書いてください」というプロンプトが与えられたとき、単純な言語モデルは「3月17日以降に受け取った提出物には、1日あたり10%の遅延損害金が適用されます」といった（意図しない）補完を出力するかもしれない。インストラクション・チューニングでは、自然言語による命令として定式化された多くのタスクの例と、適切な応答を用いて言語モデルを訓練する。

インストラクション・チューニングでは、さまざまな手法が実践されている。その一例である「自己学習（{{Lang-en-short|self-instruct}}）」は、LLMによって生成された事例（人間が作成した少数の初期事例から[[ブートストラップ]]したもの）の訓練セットで言語モデルをファインチューニングする<ref name="self-instruct-paper" />。

=== 強化学習によるファインチューニング ===
OpenAIのInstructGPTプロトコルでは、人間が作成したプロンプトと応答の組からなるデータセットによる教師ありファインチューニングと、それに続く、[[人間のフィードバックによる強化学習]]（RLHF）を伴っている。この場合、人間の好みを反映したデータセットを用いて[[強化学習#導入|報酬関数]]を教師あり学習し、その後、この報酬モデルを使用した{{Ill2|近位方策最適化|en|Proximal Policy Optimization}}によってLLM自体を訓練する<ref name="instructGPT-paper" />。

=== ツールの使用 ===
LLMだけでは解決が難しい、あるいは不可能な問題もある。たとえば、「354 * 139 = 」のような計算式の場合、次のトークンを予測することは困難であり、「What is the time now? It is」（今は何時ですか？ 今は）についてはまったく予測できない。しかし、人が計算機を使って計算し、時計を使って時刻を知るように、LLMも他のプログラムを呼び出して次のトークンを予測することができる。LLMは、「What is the time now? It is {system.time()}」（今何時ですか？ 今は{system.time()}）や、「354 * 139 = {354 * 139}」のように[[プログラムコード]]を生成し、次に別のプログラム[[インタプリタ]]が生成されたコードを実行してその出力を埋める<ref>{{Cite arXiv|eprint=2211.10435|class=cs.CL|last1=Gao|first1=Luyu|last2=Madaan|first2=Aman|title=PAL: Program-aided Language Models|date=2022-11-01|last3=Zhou|first3=Shuyan|last4=Alon|first4=Uri|last5=Liu|first5=Pengfei|last6=Yang|first6=Yiming|last7=Callan|first7=Jamie|last8=Neubig|first8=Graham}}</ref><ref>{{Cite web |title=PAL: Program-aided Language Models |url=https://reasonwithpal.com/ |access-date=2023-06-12 |website=reasonwithpal.com}}</ref>。この基本的な戦略は、生成されたプログラムを複数回試行したり、別のサンプリング戦略を使用して改良することもできる<ref>{{Cite arXiv|eprint=2303.09014|class=cs.CL|last1=Paranjape|first1=Bhargavi|last2=Lundberg|first2=Scott|title=ART: Automatic multi-step reasoning and tool-use for large language models|date=2023-03-01|last3=Singh|first3=Sameer|last4=Hajishirzi|first4=Hannaneh|last5=Zettlemoyer|first5=Luke|last6=Tulio Ribeiro|first6=Marco}}</ref>。

一般的に、LLMにツール（道具）を使わせるためには、ツールを使えるようにファインチューニングする必要がある。ツールの数が有限であれば、ファインチューニングは一度で済むかもしれない。オンラインの[[アプリケーションプログラミングインタフェース|API]]サービスのようにツールの数が任意に増えるのであれば、APIの仕様書を読み取ってAPIを正しく呼び出せるようにLLMをファインチューニングすることができる<ref>{{Cite arXiv|eprint=2303.16434|class=cs.AI|last1=Liang|first1=Yaobo|last2=Wu|first2=Chenfei|title=TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs|date=2023-03-01|last3=Song|first3=Ting|last4=Wu|first4=Wenshan|last5=Xia|first5=Yan|last6=Liu|first6=Yu|last7=Ou|first7=Yang|last8=Lu|first8=Shuai|last9=Ji|first9=Lei|last10=Mao|first10=Shaoguang|last11=Wang|first11=Yun|last12=Shou|first12=Linjun|last13=Gong|first13=Ming|last14=Duan|first14=Nan}}</ref><ref>{{Cite journal|last=Patil|first=Shishir G.|last2=Zhang|first2=Tianjun|last3=Wang|first3=Xin|last4=Gonzalez|first4=Joseph E.|date=2023-05-01|title=Gorilla: Large Language Model Connected with Massive APIs|url=https://ui.adsabs.harvard.edu/abs/2023arXiv230515334P}}</ref>。

より単純なツールの使用形態として、検索拡張生成（''Retrieval Augmented Generation''、RAG）があり、これはLLMを[[文書検索]]を使用して拡張するもので、ときには{{Ill2|ベクトルデータベース|en|Vector database}}を使うこともある。[[クエリ言語|クエリ]]が与えられると、文書検索ツールが呼び出され、もっとも関連性が高い文書が取得される（通常、初めにクエリと文書をベクトルで符号化し、次にクエリベクトルに[[ユークリッドノルム]]で最も近いベクトルを持つ文書を検索する）。その後、LLMは、クエリと取得した文書の両方に基づいて出力を生成する<ref>{{Cite journal|last1=Lewis|first1=Patrick|last2=Perez|first2=Ethan|last3=Piktus|first3=Aleksandra|last4=Petroni|first4=Fabio|last5=Karpukhin|first5=Vladimir|last6=Goyal|first6=Naman|last7=Küttler|first7=Heinrich|last8=Lewis|first8=Mike|last9=Yih|first9=Wen-tau|date=2020|title=Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks|url=https://proceedings.neurips.cc/paper/2020/hash/6b493230205f780e1bc26945df7481e5-Abstract.html|journal=Advances in Neural Information Processing Systems|volume=33|pages=9459–9474|publisher=Curran Associates, Inc.|arxiv=2005.11401|last10=Rocktäschel|first10=Tim|last11=Riedel|first11=Sebastian|last12=Kiela|first12=Douwe}}</ref>。

=== エージェント ===
LLMは言語モデルであり、それ自体は目標を持たないためエージェントではないが、[[知的エージェント]]の構成要素として使用することができる。

ReAct（Reason + Act）法は、LLMをプランナーとして使用し、LLMからエージェントを構築するものである。LLMは「考えごとを声に出して言う」よう促される。具体的には、言語モデルに対して、環境のテキスト表現、目標、可能な行動のリスト、および過去の行動と観察の記録が与えられる。LLMは、行動を決める前に1つまたは複数の思考を行い、それが環境内で実行される<ref>{{Cite arXiv|eprint=2210.03629|class=cs.CL|last1=Yao|first1=Shunyu|last2=Zhao|first2=Jeffrey|title=ReAct: Synergizing Reasoning and Acting in Language Models|date=2022-10-01|last3=Yu|first3=Dian|last4=Du|first4=Nan|last5=Shafran|first5=Izhak|last6=Narasimhan|first6=Karthik|last7=Cao|first7=Yuan}}</ref>。LLMプランナーに与えられる環境の言語的記述は、ときには環境を記述した論文の[[LaTeX]]コードすら考えられる<ref>{{Cite arXiv|eprint=2305.15486|class=cs.AI|last1=Wu|first1=Yue|last2=Prabhumoye|first2=Shrimai|title=SPRING: GPT-4 Out-performs RL Algorithms by Studying Papers and Reasoning|date=24 May 2023|last3=Min|first3=So Yeon}}</ref>。

リフレクション法<ref>{{Cite journal |last=Shinn |first=Noah |last2=Cassano |first2=Federico |last3=Labash |first3=Beck |last4=Gopinath |first4=Ashwin |last5=Narasimhan |first5=Karthik |last6=Yao |first6=Shunyu |date=2023-03-01 |title=Reflexion: Language Agents with Verbal Reinforcement Learning |url=https://ui.adsabs.harvard.edu/abs/2023arXiv230311366S}}</ref>は、いくつかのエピソードにわたって学習するエージェントを構築する手法である。各エピソードの終わりに、LLMはそのエピソードの記録が渡され、次のエピソードでより良い成績を出すための「教訓」を考えるように促される。これらの「教訓」は次のエピソードでエージェントに渡される。

[[モンテカルロ木探索]]では、LLMをロールアウトのための[[ヒューリスティクス]]として使用することができる。プログラムされた世界モデルが利用できない場合、LLMは世界モデルとして動作するように環境を説明するよう促されることもある<ref>{{Cite arXiv|eprint=2305.14992|class=cs.CL|last1=Hao|first1=Shibo|last2=Gu|first2=Yi|title=Reasoning with Language Model is Planning with World Model|date=2023-05-01|last3=Ma|first3=Haodi|last4=Jiahua Hong|first4=Joshua|last5=Wang|first5=Zhen|last6=Zhe Wang|first6=Daisy|last7=Hu|first7=Zhiting}}</ref>。

オープンエンド探索では、LLMを観測値の「興味深さ（interestingness）」のスコアリングに使用し、これを通常の（非LLM）[[強化学習]]エージェントを誘導する報酬信号として使用することができる<ref>{{Cite arXiv|eprint=2306.01711|class=cs.AI|last1=Zhang|first1=Jenny|last2=Lehman|first2=Joel|title=OMNI: Open-endedness via Models of human Notions of Interestingness|date=2 June 2023|last3=Stanley|first3=Kenneth|last4=Clune|first4=Jeff}}</ref>。あるいは、LLMに、カリキュラム学習のために[[発達の最近接領域|次第に難しくなるタスク]]を提案させることもできる<ref name=":0">{{Cite web |title=Voyager {{!}} An Open-Ended Embodied Agent with Large Language Models |url=https://voyager.minedojo.org/ |access-date=2023-06-09 |website=voyager.minedojo.org}}</ref>。LLMプランナーは、個々の行動を出力する代わりに、複雑な行動シーケンスを表す「スキル」や[[関数 (プログラミング)|関数]]を構築することもできる。スキルを保存して後で呼び出すことができるため、プランニングの抽象度を高めることができる<ref name=":0" />。LLMを使用したエージェントは、過去のコンテキストの長期記憶を保持して、この記憶は検索拡張生成と同じ方法で取り出すことができる。このようなエージェントどうしが社会的に相互作用することができる<ref>{{Cite journal|last=Park|first=Joon Sung|last2=O'Brien|first2=Joseph C.|last3=Cai|first3=Carrie J.|last4=Ringel Morris|first4=Meredith|last5=Liang|first5=Percy|last6=Bernstein|first6=Michael S.|date=2023-04-01|title=Generative Agents: Interactive Simulacra of Human Behavior|url=https://ui.adsabs.harvard.edu/abs/2023arXiv230403442P}}</ref>。

== 圧縮 ==
通常、LLMの訓練では、全精度または半精度の[[浮動小数点数]]（float32とfloat16）が使用される。float16は16ビット（つまり2バイト）なので、たとえば10億個のパラメータは2ギガバイトのサイズとなる。典型的な最大級のモデルは1,000億個のパラメータを持ち、ロードするのに200ギガバイトを必要とするため、ほとんどの一般向けコンピュータの能力を超えたものとなる。{{Ill2|量子化 (信号処理)|en|Quantization (signal processing)|label=訓練後の量子化}}（''Post-training quantization''）は<ref>{{Cite journal|last1=Nagel|first1=Markus|last2=Amjad|first2=Rana Ali|last3=Baalen|first3=Mart Van|last4=Louizos|first4=Christos|last5=Blankevoort|first5=Tijmen|date=2020-11-21|title=Up or Down? Adaptive Rounding for Post-Training Quantization|url=https://proceedings.mlr.press/v119/nagel20a.html|journal=Proceedings of the 37th International Conference on Machine Learning|pages=7197–7206|publisher=PMLR|language=en}}</ref>、訓練済みモデルの性能をほとんど維持したまま、パラメーターの精度を下げることで、必要なサイズを削減することを目的としている<ref>{{Cite arXiv|eprint=1802.05668|class=cs.NE|last1=Polino|first1=Antonio|last2=Pascanu|first2=Razvan|title=Model compression via distillation and quantization|date=2018-02-01|last3=Alistarh|first3=Dan}}</ref><ref>{{Cite arXiv|eprint=2210.17323|class=cs.LG|last1=Frantar|first1=Elias|last2=Ashkboos|first2=Saleh|title=GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers|date=2022-10-01|last3=Hoefler|first3=Torsten|last4=Alistarh|first4=Dan}}</ref>。量子化の最も単純な形は、すべての数値を所定のビット数に切り捨てるだけである。これは、層ごとに異なる量子化[[ブロック暗号|コードブック]]を使用することで改善できる。さらに、パラメータごとに{{Ill2|混合精度演算|en|Mixed-precision arithmetic|label=さまざまな精度}}を適用し、特に重要なパラメータ（外れ値の重み）にはより高い精度を確保することで、さらなる改善をはかることができる<ref>{{Cite arXiv|eprint=2306.03078|class=cs.CL|last1=Dettmers|first1=Tim|last2=Svirschevski|first2=Ruslan|title=SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression|date=2023-06-01|last3=Egiazarian|first3=Vage|last4=Kuznedelev|first4=Denis|last5=Frantar|first5=Elias|last6=Ashkboos|first6=Saleh|last7=Borzunov|first7=Alexander|last8=Hoefler|first8=Torsten|last9=Alistarh|first9=Dan}}</ref>。

量子化モデルは通常は凍結され、量子化前のモデルだけがファインチューニングされるが、量子化モデルも引き続きファインチューニングが可能である<ref>{{Cite arXiv|eprint=2305.14314|class=cs.LG|last1=Dettmers|first1=Tim|last2=Pagnoni|first2=Artidoro|title=QLoRA: Efficient Finetuning of Quantized LLMs|date=2023-05-01|last3=Holtzman|first3=Ari|last4=Zettlemoyer|first4=Luke}}</ref>。

== 評価 ==
=== パープレキシティ ===
言語モデルの性能を表す最も一般的な指標は、所与のテキストコーパスにおける言語モデルの[[パープレキシティ]]である。パープレキシティは、モデルがデータセットの内容をどれだけうまく予測できるかを示す尺度である。モデルがデータセットに割り当てる[[尤度関数|尤度]]（ゆうど）が高いほど、パープレキシティは低くなる。数学的には、パープレキシティは、トークンごとの平均負対数尤度の対数として定義される。<math display="block">\log(\text{Perplexity}) = -\frac{1}{N} \sum_{i=1}^N \log(Pr(\text{token}_i | \text{context for token}_i))</math>ここで、<math>N</math> はテキストコーパス内のトークン数であり、「context for token <math>i</math>（トークン <math>i</math> の文脈）」は使用するLLMの種類に依存する。たとえば、LLMが自己回帰型の場合、「context for token <math>i</math>」はトークン <math>i</math> よりも前に現れたテキストの一部である。

言語モデルは訓練データに対して[[過剰適合]]する可能性があるため、モデルは通常、未知のデータから構成される[[訓練、検証、テスト用のデータセット|テストセット]]に対するパープレキシティによって評価される。このことは、大規模な言語モデルを評価する際に、特に重要な課題となる<ref name="jm" />。言語モデルの訓練は、主にウェブから収集された、より大規模なテキストコーパスが使用されるため、モデルの訓練データに特定のテストセットの一部が誤って含まれてしまう可能性がますます高くなる<ref name="few-shot-learners" />。

=== タスク固有のデータセットとベンチマーク ===
また、言語モデルがより具体的な下流タスクを実行する能力を評価するために、多くのテスト用データセットやベンチマークが開発されている。テストは、一般的な知識、常識的な推論、数学的な問題解決など、さまざまな能力を評価するために設計することができる。

評価用データセットの大区分の1つに、質問と正解の組で構成される質問応答データセットがある。たとえば、『「サンノゼ・シャークスはスタンレーカップで優勝しましたか?」、「いいえ」 』のような組である<ref name=boolq/>。質問回答タスクでは、モデルのプロンプトに期待される答えを導き出せるテキストが含まれる場合、「明白なもの（オープンブック{{Enlink|Open book test|英語版|en}}）」とみなされる。たとえば、先の質問には、「2016年、シャークスはスタンレーカップ決勝戦に進出し、ピッツバーグ・ペンギンズに敗れた。」という文を含むテキストが追加される可能性がある<ref name=boolq/>。そうでない場合、タスクは「（理解する術がなく）説明できないもの（クローズドブック）」とみなされ、モデルは訓練中に獲得した知識を動員する必要がある<ref name=survey/>。一般的な質問回答データセットの例として、TruthfulQA、Web Questions、TriviaQA、SQuADなどがある<ref name=survey/>。

評価用データセットは、テキスト補完の形式をとることもできる。この場合、モデルは、プロンプトを完成させるために最も可能性の高い単語や文章を選択する。たとえば、「アリスはボブと友達だった。アリスは彼女の友人の＿＿＿を訪ねた。」のような穴埋め型の設問である<ref name="few-shot-learners"/>。

また、さまざまな評価データセットやタスクを組み合わせた複合ベンチマークも開発されている。たとえば、GLUE、SuperGLUE、MMLU、BIG-bench、HELMなどがある<ref name=Huyen/><ref name=survey/>。

かつては、評価用データセットの一部を手元に残し、残りの部分で教師ありファインチューニングを行い、その後に結果を報告するのが一般的であった。現在では、事前訓練されたモデルをプロンプティング技術によって直接評価することが一般的になっている。しかし、特定のタスクに対するプロンプトの作成方法、特にプロンプトに付加される解決済みタスクの事例数（''n''ショットプロンプトの''n''値）については研究者によって異なる。

==== 逆説的に構成された評価 ====
大規模言語モデルの改良が急速に進んでいるため、評価ベンチマークの寿命は短く、最先端のモデルが既存のベンチマークを急速に「飽和」させ、人間の注釈者の能力をも超えてしまう。そのためベンチマークをより難易度が高いタスクで置き換えたり、強化したりする取り組みが行われている<ref name=bigbench/>。

中には敵対的に構築されたデータセットもあり、人間と比べて既存の言語モデルの性能が異常に低いと思われる特定の問題に重点が置かれている。その一例がTruthfulQAデータセットで、言語モデルが訓練中に繰り返し触れた虚偽を模倣することで不正確な解答をする可能性がある、817問からなる質問応答データセットである。たとえば、LLMは「Can you teach an old dog new tricks?（年老いた犬に新しい芸を教えられますか？）」という質問に対して、「''[[wiktionary:en:you can't teach an old dog new tricks|you can't teach an old dog new tricks]]''（老犬に新しい芸を仕込むことはできない）」という英語の語法に触れた結果、文字通り真実でないにもかかわらず、「No」と答えるかもしれない<ref name=truthfulqa/>。

さらに、AIが多肢選択式テスト（○×式テスト）において、必ずしも実際に訪ねられている設問を理解することなく表面的な問題文の統計的相関を利用して正解を推測し、「カンニング」する「ショートカット学習」と呼ばれるケースもある<ref name="debate understanding">{{cite journal|last1=Mitchell|first1=Melanie|last2=Krakauer|first2=David C.|date=28 March 2023|title=The debate over understanding in AI's large language models|journal=Proceedings of the National Academy of Sciences|volume=120|issue=13|pages=e2215907120|arxiv=2210.13966|bibcode=2023PNAS..12015907M|doi=10.1073/pnas.2215907120|pmc=10068812|pmid=36943882|pmc-embargo-date=September 21, 2023}}</ref>。

敵対的評価データセットのもう一つの例は、Swagとその後継のHellaSwagである。これは、文章を完成させるためにいくつかの選択肢から一つを選択しなければならない問題を集めたものである。不正解の選択肢は、言語モデルからサンプリングし、一連の分類器でフィルタリングすることで作成された。その結果、人間にとっては些細な問題でも、データセットが作成された当時は、最先端の言語モデルの精度は思わしくなかった。たとえば、次のようなものである。<blockquote>フィットネスセンターの看板が見える。そして、エクササイズボールに座ったり横たわりながら、カメラに向かって話しかける男性が見える。その男性は、...

a) ボールの上を走ったり降りたりして、運動の効果を効率的にする方法を実演している。

b) すべての腕と脚を動かしてたくさんの筋肉をつけている。

c) 次にボールを投げ、グラフィックや生け垣の刈り込みの実演を見る。

d) ボールの上で腹筋運動をしながら話をしている<ref name="hellaswag" />。</blockquote>BERTは最も可能性の高い補完としてb)を選択したが、正解はd)である<ref name="hellaswag" />。

== 解釈 ==
大規模言語モデルは、それ自体が「[[ブラックボックス]]」であり、どのようにして言語タスクを実行できるのかは明らかではない。しかし、LLMがどのように機能するかを理解するためのいくつかの方法がある。

機械的解釈可能性<!-- Mechanistic interpretability --> は、LLMによって実行される推論を近似する記号アルゴリズムを発見することにより、LLMを[[リバースエンジニアリング]]することを目的としている。オセロGPT（Othello-GPT）はその一例で、[[オセロ (ボードゲーム)|オセロ]]の正当な手を予測するように小規模な[[Transformer (機械学習モデル)|Transformer]]が訓練された。その結果、オセロ盤の線形表現が存在し、この表現を変更することで、予測される正当なオセロの手が正しい方向に変化することがわかった<ref>{{Cite arXiv|eprint=2210.13382|class=cs.LG|last1=Li|first1=Kenneth|last2=Hopkins|first2=Aspen K.|title=Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task|date=2022-10-01|last3=Bau|first3=David|last4=Viégas|first4=Fernanda|last5=Pfister|first5=Hanspeter|last6=Wattenberg|first6=Martin}}</ref><ref>{{Cite web |date=2023-01-21 |title=Large Language Model: world models or surface statistics? |url=https://thegradient.pub/othello/ |access-date=2023-06-12 |website=The Gradient |language=en}}</ref>。別の例では、著者は[[合同算術|モジュラ算術加算]]に対して小規模なTransformerを訓練し、得られたモデルをリバースエンジニアリングしたところ、[[離散フーリエ変換]]を使用していることがわかった<ref>{{Cite arXiv|eprint=2301.05217|class=cs.LG|last1=Nanda|first1=Neel|last2=Chan|first2=Lawrence|title=Progress measures for grokking via mechanistic interpretability|date=2023-01-01|last3=Lieberum|first3=Tom|last4=Smith|first4=Jess|last5=Steinhardt|first5=Jacob}}</ref>。

別の例では、小規模なTransformerを{{Ill2|Karel (プログラミング言語)|en|Karel (programming language)|label=Karelプログラム}}に対して訓練している。オセロGPTの例と同様に、Karelプログラムの[[プログラム意味論|セマンティクス]]には線形表現があり、その表現を修正すると出力が正しく変更される。このモデルはまた、訓練セット内のプログラムよりも平均して短く、正しいプログラムを生成した<ref>{{Cite arXiv|eprint=2305.11169|class=cs.LG|last1=Jin|first1=Charles|last2=Rinard|first2=Martin|title=Evidence of Meaning in Language Models Trained on Programs|date=2023-05-01}}</ref>。

=== 理解力と知性 ===
2022年の調査で、（チューニングされていない）LLMが、「自然言語を何らかの自明でない意味で理解できる（ことがある）か」という問いに対して、[[自然言語処理]]研究者の意見は真っ二つに分かれた<ref name="debate understanding">{{cite journal|last1=Mitchell|first1=Melanie|last2=Krakauer|first2=David C.|date=28 March 2023|title=The debate over understanding in AI's large language models|journal=Proceedings of the National Academy of Sciences|volume=120|issue=13|pages=e2215907120|arxiv=2210.13966|bibcode=2023PNAS..12015907M|doi=10.1073/pnas.2215907120|pmc=10068812|pmid=36943882|pmc-embargo-date=September 21, 2023}}</ref>。「LLMは理解力を持つ」派の支持者は、数学的推論のようないくつかのLLMの能力は、特定の概念を「理解」する能力を意味すると考えている。マイクロソフトのチームは、2023年に、GPT-4は「数学、[[コーディング]]、視覚、医学、法律、心理学などにまたがる斬新で難しいタスクを解決できる」とし、GPT-4は「汎用人工知能システムの初期バージョン（しかしまだ未完成）とみなすのが妥当だろう」と主張し、「[[ソフトウェア工学]]の受験者の試験に合格するシステムが、本当の意味で知的ではないと言えるだろうか？<ref>{{cite news |last1=Metz |first1=Cade |date=16 May 2023 |title=Microsoft Says New A.I. Shows Signs of Human Reasoning |work=The New York Times |url=https://www.nytimes.com/2023/05/16/technology/microsoft-ai-human-reasoning.html}}</ref><ref name="microsoft sparks">{{cite arXiv|eprint=2303.12712|class=cs.CL|last1=Bubeck|first1=Sébastien|last2=Chandrasekaran|first2=Varun|title=Sparks of Artificial General Intelligence: Early experiments with GPT-4|date=2023|last3=Eldan|first3=Ronen|last4=Gehrke|first4=Johannes|last5=Horvitz|first5=Eric|last6=Kamar|first6=Ece|last7=Lee|first7=Peter|last8=Lee|first8=Yin Tat|last9=Li|first9=Yuanzhi|last10=Lundberg|first10=Scott|last11=Nori|first11=Harsha|last12=Palangi|first12=Hamid|last13=Ribeiro|first13=Marco Tulio|last14=Zhang|first14=Yi}}</ref>」と述べた。LLMを「地球外生命の知能」<!-- alien intelligence -->と呼ぶ研究者もいる<ref>{{cite news |date=2023 |title=ChatGPT is more like an 'alien intelligence' than a human brain, says futurist |language=en |work=ZDNET |url=https://www.zdnet.com/article/chatgpt-is-more-like-an-alien-intelligence-than-a-human-brain-says-futurist/ |access-date=12 June 2023}}</ref><ref name="new yorker kind of mind">{{cite magazine|last1=Newport|first1=Cal|date=13 April 2023|title=What Kind of Mind Does ChatGPT Have?|url=https://www.newyorker.com/science/annals-of-artificial-intelligence/what-kind-of-mind-does-chatgpt-have|magazine=The New Yorker|access-date=12 June 2023}}</ref>。たとえば、ConjectureのCEOであるコナー・リーヒーは、チューニングされていないLLMを、まるで得体の知れないエイリアン「[[ショゴス]]」のようだと見なし、[[人間のフィードバックによる強化学習|RLHFチューニング]]がLLMの内部構造を覆い隠す「見せかけの笑顔」を作り出すと考えている。『あまり無理をしなければ、笑顔のままだ。しかし（予期せぬ）プロンプトを与えると突然、狂気、奇妙な思考過程、そして明らかに人間ではない理解といった巨大な裏の顔を覗かせる』<ref>{{cite news |last1=Roose |first1=Kevin |date=30 May 2023 |title=Why an Octopus-like Creature Has Come to Symbolize the State of A.I. |work=The New York Times |url=https://www.nytimes.com/2023/05/30/technology/shoggoth-meme-ai.html |access-date=12 June 2023}}</ref><ref>{{cite news |date=13 April 2023 |title=The A to Z of Artificial Intelligence |language=en |work=Time Magazine |url=https://time.com/6271657/a-to-z-of-artificial-intelligence/ |access-date=12 June 2023}}</ref>。

対照的に、「LLMは理解力を欠く」派の支持者の中には、既存のLLMは「既存の文章を単に練り直し、組み替えているだけ」であると考えたり<ref name="new yorker kind of mind" />、既存のLLMが予測能力、推論能力、主体性、説明可能性において依然として欠点を抱えていることを指摘したりする人もいる<ref name="debate understanding">{{cite journal|last1=Mitchell|first1=Melanie|last2=Krakauer|first2=David C.|date=28 March 2023|title=The debate over understanding in AI's large language models|journal=Proceedings of the National Academy of Sciences|volume=120|issue=13|pages=e2215907120|arxiv=2210.13966|bibcode=2023PNAS..12015907M|doi=10.1073/pnas.2215907120|pmc=10068812|pmid=36943882|pmc-embargo-date=September 21, 2023}}</ref>。たとえば、GPT-4は計画やリアルタイム学習においてもっともな欠陥がある<ref name="microsoft sparks" />。[[生成的人工知能|生成的]]LLMは、{{Ill2|訓練データ|en|Training data}}では{{Ill2|正当化 (認識論)|en|Justification (epistemology)|label=正当化}}されないような事実を自信をもって主張することが観察されており、この現象は「[[ハルシネーション (人工知能)|ハルシネーション（幻覚）]]」として知られている<ref name="hallucination-survey">{{cite journal|last1=Ji|first1=Ziwei|last2=Lee|first2=Nayeon|last3=Frieske|first3=Rita|last4=Yu|first4=Tiezheng|last5=Su|first5=Dan|last6=Xu|first6=Yan|last7=Ishii|first7=Etsuko|last8=Bang|first8=Yejin|last9=Dai|first9=Wenliang|date=November 2022|title=Survey of Hallucination in Natural Language Generation|url=https://dl.acm.org/doi/pdf/10.1145/3571730|journal=ACM Computing Surveys|volume=55|issue=12|pages=1–38|publisher=[[Association for Computing Machinery]]|format=pdf|arxiv=2202.03629|doi=10.1145/3571730|last10=Madotto|first10=Andrea|last11=Fung|first11=Pascale|s2cid=246652372|access-date=15 January 2023}}</ref>。神経科学者のテレンス・セジュノウスキー（[[:en:Terrence_Sejnowski|Terrence Sejnowski]]）は、「LLMの知性に関する専門家の意見の相違は、自然の叡智に基づく私たちの古い考え方が十分ではないことを示唆している」と主張している<ref name="debate understanding">{{cite journal|last1=Mitchell|first1=Melanie|last2=Krakauer|first2=David C.|date=28 March 2023|title=The debate over understanding in AI's large language models|journal=Proceedings of the National Academy of Sciences|volume=120|issue=13|pages=e2215907120|arxiv=2210.13966|bibcode=2023PNAS..12015907M|doi=10.1073/pnas.2215907120|pmc=10068812|pmid=36943882|pmc-embargo-date=September 21, 2023}}</ref>。

== より広範囲な影響 ==
2023年、科学雑誌 ''{{Ill2|Nature Biomedical Engineering|en|Nature Biomedical Engineering}}'' は、人間が書いたテキストと大規模言語モデルによって作成されたテキストを「正確に区別することはもはや不可能」であり、「汎用大規模言語モデルが急速に普及することはほぼ確実である。いずれは多くの業界を変えてゆくだろう。」と結論づけた<ref>{{cite news |date=7 March 2023 |title=Prepare for truly useful large language models |language=en |pages=85–86 |work=Nature Biomedical Engineering |doi=10.1038/s41551-023-01012-6}}</ref>。[[ゴールドマン・サックス]]は2023年、言語生成AIは今後10年間で世界のGDPを7 %増加させ、全世界で3億人の雇用を自動化にさらす可能性があると示唆した<ref>{{cite news |date=7 May 2023 |title=Your job is (probably) safe from artificial intelligence |work=The Economist |url=https://www.economist.com/finance-and-economics/2023/05/07/your-job-is-probably-safe-from-artificial-intelligence |access-date=18 June 2023}}</ref><ref>{{cite web |title=Generative AI Could Raise Global GDP by 7% |url=https://www.goldmansachs.com/intelligence/pages/generative-ai-could-raise-global-gdp-by-7-percent.html |access-date=18 June 2023 |website=Goldman Sachs}}</ref>。一部の投稿者は、偶発的または意図的な誤情報の作成や、その他の悪用に対して懸念を表明した<ref>{{cite news |last1=Alba |first1=Davey |date=1 May 2023 |title=AI chatbots have been used to create dozens of news content farms |work=The Japan Times |url=https://www.japantimes.co.jp/news/2023/05/01/business/tech/ai-fake-news-content-farms/ |access-date=18 June 2023}}</ref>。たとえば、大規模言語モデルが利用できるようになると、[[バイオテロ]]を起こすのに必要な技術レベルを下げる可能性がある。バイオセキュリティの研究者であるケビン・エスフェルトは、LLM開発者は、病原体の作成や改良に関する論文を訓練データから除外すべきだと提案している<ref>{{cite journal|date=14 June 2023|title=Could chatbots help devise the next pandemic virus?|url=https://www.science.org/content/article/could-chatbots-help-devise-next-pandemic-virus|journal=Science|language=en|doi=10.1126/science.adj2463}}</ref>。

== 大規模言語モデルの一覧 ==
{| class="wikitable sortable mw-collapsible mw-collapsed"
|+大規模言語モデルの一覧
!名称
!公開日{{efn|モデルのアーキテクチャを説明する文書が最初に公開された日。<!--This is the date that documentation describing the model's architecture was first released.-->}}
!開発者
!パラメータ数{{efn|多くの場合、研究者はサイズの異なる複数のモデルを公開または報告する。こうした場合、ここでは一番大きなモデルのサイズを記載している。<!-- In many cases, researchers release or report on multiple versions of a model having different sizes. In these cases, the size of the largest model is listed here. -->}}
!コーパスサイズ
!ライセンス{{efn|これは、事前学習されたモデルウェイトのライセンスである。たいていの場合、訓練コード自体はオープンソースであるか、簡単に複製することができる。<!-- This is the license of the pre-trained model weights. In almost all cases the training code itself is open-source or can be easily replicated.-->}}
!注記
|-
|[[BERT (言語モデル)|BERT]]
|{{dts|2018}}
|[[Google]]
|{{sort|340000000|3.4億<!-- 340 million -->}}<ref name="bert-paper" />
|{{sort|3300000000|33億<!-- 3.3 billion -->}}語<ref name="bert-paper" />|| {{yes|Apache 2.0}}<ref name=bert-web>{{Cite web|url=https://github.com/google-research/bert|title=BERT|date=March 13, 2023|via=GitHub|accessdate=2023-04-28}}</ref>
|初期の影響力のある言語モデルだが<ref name="Manning-2022" />、エンコーダのみで、プロンプトや生成的モデルを想定していない<ref>{{cite journal|last1=Patel|first1=Ajay|last2=Li|first2=Bryan|last3=Rasooli|first3=Mohammad Sadegh|last4=Constant|first4=Noah|last5=Raffel|first5=Colin|last6=Callison-Burch|first6=Chris|date=2022|title=Bidirectional Language Models Are Also Few-shot Learners|url=https://www.semanticscholar.org/paper/Bidirectional-Language-Models-Are-Also-Few-shot-Patel-Li/b65b7f480a61d3dd31d8117b349cabc87c8ccf6c|journal=ArXiv|language=en|s2cid=252595927}}</ref>
|-
| XLNet || {{dts|2019}} || [[Google]] || {{sort|340000000|~340 million}}<ref>{{Cite web |url=https://www.kdnuggets.com/bert-roberta-distilbert-xlnet-which-one-to-use.html |title=BERT, RoBERTa, DistilBERT, XLNet: Which one to use? |access-date=2023-05-13}}</ref>|| {{sort|3300000000|33 billion}} words ||
| An alternative to BERT; designed as encoder-only<ref>{{Cite web |url=https://analyticsindiamag.com/google-introduces-new-architecture-to-reduce-cost-of-transformers/ |title=Google Introduces New Architecture To Reduce Cost Of Transformers |first=Amit Raja |last=Naik |date=September 23, 2021 |website=Analytics India Magazine |access-date=2023-05-13}}</ref><ref>{{cite journal |last1=Yang |first1=Zhilin |last2=Dai |first2=Zihang |last3=Yang |first3=Yiming |last4=Carbonell |first4=Jaime |last5=Salakhutdinov |first5=Ruslan |last6=Le |first6=Quoc V. |title=XLNet: Generalized Autoregressive Pretraining for Language Understanding |journal=arXiv:1906.08237 [cs] |date=2 January 2020 |url=https://arxiv.org/abs/1906.08237 |access-date=5 May 2023}}</ref>
|-
|[[GPT-2]]
|{{dts|2019}}
|[[OpenAI]]
|{{sort|1500000000|15億<!-- 1.5 billion -->}}<ref name="15Brelease" />
|40GB<ref>{{cite web |title=Better language models and their implications |url=https://openai.com/research/better-language-models |website=openai.com |accessdate=2023-04-28}}</ref> (~{{sort|10000000000|100億<!-- 10 billion -->}}トークン) <ref name="LambdaLabs">{{cite web |title=OpenAI's GPT-3 Language Model: A Technical Overview |url=https://lambdalabs.com/blog/demystifying-gpt-3 |website=lambdalabs.com |language=en |accessdate=2023-04-28}}</ref>|| {{yes|MIT}}<ref>{{cite web|work=GitHub|title=gpt-2|url=https://github.com/openai/gpt-2|access-date=13 March 2023}}</ref>
|Transformerアーキテクチャに基づく汎用モデル
|-
|[[GPT-3]]
|{{dts|2020}}
|OpenAI
|{{sort|175000000000|1,750億<!-- 175 billion -->}}<ref name="Wiggers" />
|{{sort|499000000000|4,990億<!-- 499 billion -->}}トークン<ref name="LambdaLabs" />|| {{partial|public web API}}
|GPT-3のファインチューニング版はGPT-3.5と呼ばれ、2022年に[[ChatGPT]]というWebインターフェースを通じて一般公開された<ref name="chatgpt-blog" />。
|-
|GPT-Neo
|{{dts|March 2021}}
|{{Ill2|EleutherAI|en|EleutherAI}}
|{{sort|2700000000|27億<!-- 2.7 billion -->}}<ref name="gpt-neo">{{Cite web |url=https://github.com/EleutherAI/gpt-neo |title=GPT Neo |date=March 15, 2023 |via=GitHub |accessdate=2023-04-28}}</ref>
|825 GiB<ref name="Pile">{{cite arXiv|eprint=2101.00027|class=cs.CL|last1=Gao|first1=Leo|last2=Biderman|first2=Stella|title=The Pile: An 800GB Dataset of Diverse Text for Language Modeling|date=31 December 2020|last3=Black|first3=Sid|last4=Golding|first4=Laurence|last5=Hoppe|first5=Travis|last6=Foster|first6=Charles|last7=Phang|first7=Jason|last8=He|first8=Horace|last9=Thite|first9=Anish|last10=Nabeshima|first10=Noa|last11=Presser|first11=Shawn|last12=Leahy|first12=Connor}}</ref>|| {{yes|MIT}}<ref name=vb-gpt-neo/>
|EleutherAIがリリースした無料のGPT-3代替シリーズのうち最初のもの。GPT-Neoは、いくつかのベンチマークで同サイズのGPT-3モデルよりも優れていたが、最大のGPT-3よりは大幅に劣っていた<ref name="vb-gpt-neo" />。
|-
|{{Ill2|GPT-J|en|GPT-J}}
|{{dts|June 2021}}
|EleutherAI
|{{sort|6000000000|60億<!-- 6 billion -->}}<ref>{{Cite web |title=GPT-J-6B: An Introduction to the Largest Open Source GPT Model {{!}} Forefront |url=https://www.forefront.ai/blog-posts/gpt-j-6b-an-introduction-to-the-largest-open-sourced-gpt-model |access-date=2023-02-28 |website=www.forefront.ai |language=en}}</ref>
|825 GiB<ref name="Pile" />|| {{yes|Apache 2.0}}
|GPT-3方式の言語モデル
|-
|Megatron-Turing NLG
|{{dts|October 2021}}<ref>{{cite web |last1=Alvi |first1=Ali |last2=Kharya |first2=Paresh |title=Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, the World's Largest and Most Powerful Generative Language Model |url=https://www.microsoft.com/en-us/research/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/ |website=Microsoft Research |date=11 October 2021 |accessdate=2023-04-28}}</ref>
|[[Microsoft]] and [[Nvidia]]
|{{sort|530000000000|5,300億<!-- 530 billion -->}}<ref name="mtnlg-preprint" />
|{{sort|338600000000|3,386億<!-- 338.6 billion -->}}トークン<ref name="mtnlg-preprint" />|| {{no|Restricted web access}}
|標準的なアーキテクチャだが、スーパーコンピューティング・クラスターで訓練された
|-
|Ernie 3.0 Titan
|{{dts|December 2021}}
|[[Baidu]]
|{{sort|260000000000|2,600億<!-- 260 billion -->}}<ref>{{Cite journal|last1=Wang|first1=Shuohuan|last2=Sun|first2=Yu|last3=Xiang|first3=Yang|last4=Wu|first4=Zhihua|last5=Ding|first5=Siyu|last6=Gong|first6=Weibao|last7=Feng|first7=Shikun|last8=Shang|first8=Junyuan|last9=Zhao|first9=Yanbin|date=December 23, 2021|title=ERNIE 3.0 Titan: Exploring Larger-scale Knowledge Enhanced Pre-training for Language Understanding and Generation|arxiv=2112.12731|first10=Chao|last10=Pang|first11=Jiaxiang|last11=Liu|first12=Xuyi|last12=Chen|first13=Yuxiang|last13=Lu|first14=Weixin|last14=Liu|first15=Xi|last15=Wang|first16=Yangfan|last16=Bai|first17=Qiuliang|last17=Chen|first18=Li|last18=Zhao|first19=Shiyong|last19=Li|first20=Peng|last20=Sun|first21=Dianhai|last21=Yu|first22=Yanjun|last22=Ma|first23=Hao|last23=Tian|first24=Hua|last24=Wu|first25=Tian|last25=Wu|first26=Wei|last26=Zeng|first27=Ge|last27=Li|first28=Wen|last28=Gao|first29=Haifeng|last29=Wang}}</ref>
|4 Tb|| {{no|プロプライエタリ}}
|中国語版LLM。Ernie Botはこのモデルに基づく。
|-
|Claude<ref>{{cite web |title=Product |url=https://www.anthropic.com/product |website=Anthropic |access-date=14 March 2023 |language=en}}</ref>
|{{dts|December 2021}}
|[[Anthropic]]
|{{sort|52000000000|520億<!-- 52 billion -->}}<ref name="AnthroArch">{{cite arXiv|eprint=2112.00861|class=cs.CL|last1=Askell|first1=Amanda|last2=Bai|first2=Yuntao|title=A General Language Assistant as a Laboratory for Alignment|date=9 December 2021|last3=Chen|first3=Anna|last4=Drain|first4=Dawn|last5=Ganguli|first5=Deep|last6=Henighan|first6=Tom|last7=Jones|first7=Andy|last8=Joseph|first8=Nicholas|last9=Mann|first9=Ben|last10=DasSarma|first10=Nova|last11=Elhage|first11=Nelson|last12=Hatfield-Dodds|first12=Zac|last13=Hernandez|first13=Danny|last14=Kernion|first14=Jackson|last15=Ndousse|first15=Kamal|last16=Olsson|first16=Catherine|last17=Amodei|first17=Dario|last18=Brown|first18=Tom|last19=Clark|first19=Jack|last20=McCandlish|first20=Sam|last21=Olah|first21=Chris|last22=Kaplan|first22=Jared|display-authors=3}}</ref>
|{{sort|400000000000|4,000億<!-- 400 billion -->}}トークン<ref name="AnthroArch" />|| {{partial|Closed beta}}
|会話で望ましい動作をするようにファインチューニングされた<ref>{{cite arXiv|eprint=2212.08073|class=cs.CL|last1=Bai|first1=Yuntao|last2=Kadavath|first2=Saurav|title=Constitutional AI: Harmlessness from AI Feedback|date=15 December 2022|last3=Kundu|first3=Sandipan|last4=Askell|first4=Amanda|last5=Kernion|first5=Jackson|last6=Jones|first6=Andy|last7=Chen|first7=Anna|last8=Goldie|first8=Anna|last9=Mirhoseini|first9=Azalia|last10=McKinnon|first10=Cameron|last11=Chen|first11=Carol|last12=Olsson|first12=Catherine|last13=Olah|first13=Christopher|last14=Hernandez|first14=Danny|last15=Drain|first15=Dawn|last16=Ganguli|first16=Deep|last17=Li|first17=Dustin|last18=Tran-Johnson|first18=Eli|last19=Perez|first19=Ethan|last20=Kerr|first20=Jamie|last21=Mueller|first21=Jared|last22=Ladish|first22=Jeffrey|last23=Landau|first23=Joshua|last24=Ndousse|first24=Kamal|last25=Lukosuite|first25=Kamile|last26=Lovitt|first26=Liane|last27=Sellitto|first27=Michael|last28=Elhage|first28=Nelson|last29=Schiefer|first29=Nicholas|last30=Mercado|first30=Noemi|last31=DasSarma|first31=Nova|last32=Lasenby|first32=Robert|last33=Larson|first33=Robin|last34=Ringer|first34=Sam|last35=Johnston|first35=Scott|last36=Kravec|first36=Shauna|last37=Showk|first37=Sheer El|last38=Fort|first38=Stanislav|last39=Lanham|first39=Tamera|last40=Telleen-Lawton|first40=Timothy|last41=Conerly|first41=Tom|last42=Henighan|first42=Tom|last43=Hume|first43=Tristan|last44=Bowman|first44=Samuel R.|last45=Hatfield-Dodds|first45=Zac|last46=Mann|first46=Ben|last47=Amodei|first47=Dario|last48=Joseph|first48=Nicholas|last49=McCandlish|first49=Sam|last50=Brown|first50=Tom|last51=Kaplan|first51=Jared|display-authors=3}}</ref>
|-
|GLaM (Generalist Language Model)
|{{dts|December 2021}}
|Google
|{{sort|1200000000000|1.2兆<!-- 1.2 trillion -->}}<ref name="glam-blog" />
|{{sort|1600000000000|1.6兆<!-- 1.6 trillion -->}}トークン <ref name="glam-blog" />|| {{no|プロプライエタリ}}
|GPT-3と比較して、訓練費用は高いが、推論費用は安い、スパース混合エキスパートモデル
|-
|Gopher
|{{dts|December 2021}}
|[[DeepMind]]
|{{sort|280000000000|2,800億<!-- 280 billion -->}}<ref>{{cite web |title=Language modelling at scale: Gopher, ethical considerations, and retrieval |url=https://www.deepmind.com/blog/language-modelling-at-scale-gopher-ethical-considerations-and-retrieval |website=www.deepmind.com |access-date=20 March 2023 |language=en}}</ref>
|{{sort|300000000000|3,000億<!-- 300 billion -->}}トークン<ref name="hoffman" />|| {{no|プロプライエタリ}}
|
|-
|[[LaMDA]] (Language Models for Dialog Applications)
|{{dts|January 2022}}
|Google
|{{sort|137000000000|1,370億<!-- 137 billion -->}}<ref name="lamda-blog" />
|1.56T語,<ref name="lamda-blog" /> {{sort|168000000000|1,680億<!-- 168 billion -->}}トークン<ref name="hoffman" />|| {{no|プロプライエタリ}}
|会話での応答生成に特化し、[[Bard|Google Bard]]チャットボットで使用されている
|-
|GPT-NeoX
|{{dts|February 2022}}
|EleutherAI
|{{sort|20000000000|200億<!-- 20 billion -->}}<ref name="gpt-neox-20b">{{cite conference|title=GPT-NeoX-20B: An Open-Source Autoregressive Language Model|conference=Proceedings of BigScience Episode #5 -- Workshop on Challenges & Perspectives in Creating Large Language Models|date=2022-05-01|last1=Black|first1=Sidney|last2=Biderman|first2=Stella|last3=Hallahan|first3=Eric|volume=Proceedings of BigScience Episode #5 -- Workshop on Challenges & Perspectives in Creating Large Language Models|pages=95–136|url=https://aclanthology.org/2022.bigscience-1.9/|accessdate=2022-12-19}}</ref>
|825 GiB<ref name="Pile" />|| {{yes|Apache 2.0}}
|Megatronアーキテクチャに基づく
|-
|{{Ill2|Chinchilla|en|Chinchilla}}
|{{dts|March 2022}}
|DeepMind
|{{sort|70000000000|700億<!-- 70 billion -->}}<ref name="chinchilla-blog" />
|{{sort|1400000000000|1.4兆 <!-- 1.4 trillion -->}}トークン <ref name="chinchilla-blog" /><ref name="hoffman">{{cite arXiv|eprint=2203.15556|class=cs.CL|last1=Hoffmann|first1=Jordan|last2=Borgeaud|first2=Sebastian|title=Training Compute-Optimal Large Language Models|date=29 March 2022|last3=Mensch|first3=Arthur|last4=Buchatskaya|first4=Elena|last5=Cai|first5=Trevor|last6=Rutherford|first6=Eliza|last7=Casas|first7=Diego de Las|last8=Hendricks|first8=Lisa Anne|last9=Welbl|first9=Johannes|last10=Clark|first10=Aidan|last11=Hennigan|first11=Tom|last12=Noland|first12=Eric|last13=Millican|first13=Katie|last14=Driessche|first14=George van den|last15=Damoc|first15=Bogdan|last16=Guy|first16=Aurelia|last17=Osindero|first17=Simon|last18=Simonyan|first18=Karen|last19=Elsen|first19=Erich|last20=Rae|first20=Jack W.|last21=Vinyals|first21=Oriol|last22=Sifre|first22=Laurent|display-authors=3}}</ref>|| {{no|プロプライエタリ}}
|より多くのデータで訓練されたパラメータ削減モデル。Sparrowボットで使用された。
|-
|[[:en:PaLM|PaLM]] (Pathways Language Model)
|{{dts|April 2022}}
|Google
|{{sort|540000000000|5,400億<!-- 540 billion -->}}<ref name="palm-blog" />
|{{sort|768000000000|7,680億<!-- 768 billion -->}}トークン<ref name="chinchilla-blog" />|| {{no|プロプライエタリ}}
|モデルスケールの実用的な限界に到達することを目指した
|-
|OPT (Open Pretrained Transformer)
|{{dts|May 2022}}
|[[Meta (企業)|Meta]]
|{{sort|175000000000|1,750億<!-- 175 billion -->}}<ref>{{cite web |title=Democratizing access to large-scale language models with OPT-175B |url=https://ai.facebook.com/blog/democratizing-access-to-large-scale-language-models-with-opt-175b/ |website=ai.facebook.com |language=en |accessdate=2023-04-28}}</ref>
|{{sort|180000000000|1,800億<!-- 180 billion -->}}トークン<ref>{{cite arXiv|eprint=2205.01068|class=cs.CL|last1=Zhang|first1=Susan|last2=Roller|first2=Stephen|title=OPT: Open Pre-trained Transformer Language Models|date=21 June 2022|last3=Goyal|first3=Naman|last4=Artetxe|first4=Mikel|last5=Chen|first5=Moya|last6=Chen|first6=Shuohui|last7=Dewan|first7=Christopher|last8=Diab|first8=Mona|last9=Li|first9=Xian|last10=Lin|first10=Xi Victoria|last11=Mihaylov|first11=Todor|last12=Ott|first12=Myle|last13=Shleifer|first13=Sam|last14=Shuster|first14=Kurt|last15=Simig|first15=Daniel|last16=Koura|first16=Punit Singh|last17=Sridhar|first17=Anjali|last18=Wang|first18=Tianlu|last19=Zettlemoyer|first19=Luke}}</ref>|| {{partial|Non-commercial research}}{{efn|66Bを含めた小規模モデルは一般に公開されており、175Bのモデルはリクエストに応じて入手可能である。}}
|GPT-3アーキテクチャにMegatronから改作を加えたもの
|-
|YaLM 100B
|{{dts|June 2022}}
|[[Yandex]]
|{{sort|100000000000|1,000億<!-- 100 billion -->}}<ref name="yalm-repo">{{Citation|title=YaLM 100B|last1=Khrushchev|first1=Mikhail|last2=Vasilev|first2=Ruslan|last3=Petrov|first3=Alexey|last4=Zinov|first4=Nikolay|date=2022-06-22|url=https://github.com/yandex/YaLM-100B|access-date=2023-03-18}}</ref>
|1.7TB<ref name="yalm-repo" />
|{{Yes|Apache 2.0}}
|MicrosoftのMegatron-LMに基づく英露モデル
|-
|Minerva
|{{dts|June 2022}}
|Google
|{{sort|540000000000|5,400億<!-- 540 billion -->}}<ref name="minerva-paper" />
|385億トークン{{Efn|数学的な内容でフィルタリングされたウェブページおよびarXivプレプリントサーバーに投稿された論文からの385億トークン。}}<ref name="minerva-paper">{{cite arXiv|eprint=2206.14858|class=cs.CL|last1=Lewkowycz|first1=Aitor|last2=Andreassen|first2=Anders|title=Solving Quantitative Reasoning Problems with Language Models|date=30 June 2022|last3=Dohan|first3=David|last4=Dyer|first4=Ethan|last5=Michalewski|first5=Henryk|last6=Ramasesh|first6=Vinay|last7=Slone|first7=Ambrose|last8=Anil|first8=Cem|last9=Schlag|first9=Imanol|last10=Gutman-Solo|first10=Theo|last11=Wu|first11=Yuhuai|last12=Neyshabur|first12=Behnam|last13=Gur-Ari|first13=Guy|last14=Misra|first14=Vedant}}</ref>|| {{no|プロプライエタリ}}
|数学的および科学的な問題を段階的な推論によって解くために訓練されたLLMである<ref>{{cite web |title=Minerva: Solving Quantitative Reasoning Problems with Language Models |url=https://ai.googleblog.com/2022/06/minerva-solving-quantitative-reasoning.html |website=ai.googleblog.com |access-date=20 March 2023 |language=en}}</ref>。Minervaは、PaLMモデルに基にさらに数学的および科学的データで訓練されている。
|-
|{{Ill2|BLOOM (言語モデル)|en|BLOOM (language model)|label=BLOOM}}
|{{dts|July 2022}}
|Large collaboration led by [[:en:Hugging Face|Hugging Face]]
|{{sort|175000000000|1,750億<!-- 175 billion -->}}<ref name="bigger-better" />
|{{sort|350000000000|3,500億<!-- 350 billion -->}}トークン (1.6TB)<ref>{{cite web |title=bigscience/bloom · Hugging Face |url=https://huggingface.co/bigscience/bloom |website=huggingface.co |accessdate=2023-04-28}}</ref>|| {{yes|Responsible AI}}
|基本的にはGPT-3だが、多言語コーパスでトレーニングされている（プログラミング言語を除いて、30%は英語）。
|-
|Galactica
|{{dts|November 2022}}
|Meta
|{{sort|120000000000|1,200億<!-- 120 billion -->}}
|{{sort|350000000000|1,060億<!-- 106 billion -->}}トークン<ref>{{cite arXiv|eprint=2211.09085|class=cs.CL|last1=Taylor|first1=Ross|last2=Kardas|first2=Marcin|title=Galactica: A Large Language Model for Science|date=16 November 2022|last3=Cucurull|first3=Guillem|last4=Scialom|first4=Thomas|last5=Hartshorn|first5=Anthony|last6=Saravia|first6=Elvis|last7=Poulton|first7=Andrew|last8=Kerkez|first8=Viktor|last9=Stojnic|first9=Robert}}</ref>||{{partial|CC-BY-NC-4.0}}
|科学的なテキストや方法の訓練を受けている
|-
|AlexaTM (Teacher Models)
|{{dts|November 2022}}
|[[Amazon.com|Amazon]]
|{{sort|20000000000|200億<!-- 20 billion -->}}<ref>{{cite web |title=20B-parameter Alexa model sets new marks in few-shot learning |url=https://www.amazon.science/blog/20b-parameter-alexa-model-sets-new-marks-in-few-shot-learning |website=Amazon Science |language=en |date=2 August 2022 |accessdate=2023-04-28}}</ref>
|{{sort|1300000000000|1.3兆<!-- 1.3 trillion -->}}<ref>{{cite arXiv|eprint=2208.01448|class=cs.CL|last1=Soltan|first1=Saleh|last2=Ananthakrishnan|first2=Shankar|title=AlexaTM 20B: Few-Shot Learning Using a Large-Scale Multilingual Seq2Seq Model|date=3 August 2022|last3=FitzGerald|first3=Jack|last4=Gupta|first4=Rahul|last5=Hamza|first5=Wael|last6=Khan|first6=Haidar|last7=Peris|first7=Charith|last8=Rawls|first8=Stephen|last9=Rosenbaum|first9=Andy|last10=Rumshisky|first10=Anna|last11=Prakash|first11=Chandana Satya|last12=Sridhar|first12=Mukund|last13=Triefenbach|first13=Fabian|last14=Verma|first14=Apurv|last15=Tur|first15=Gokhan|last16=Natarajan|first16=Prem|display-authors=3}}</ref>|| {{partial|public web API}}<ref>{{cite web |title=AlexaTM 20B is now available in Amazon SageMaker JumpStart {{!}} AWS Machine Learning Blog |url=https://aws.amazon.com/blogs/machine-learning/alexatm-20b-is-now-available-in-amazon-sagemaker-jumpstart/ |website=aws.amazon.com |access-date=13 March 2023 |date=17 November 2022}}</ref>
|双方向のシーケンスからシーケンスへのアーキテクチャ
|-
|[[LLaMA]] (Large Language Model Meta AI)
|{{dts|February 2023}}
|Meta
|{{sort|65000000000|650億<!-- 65 billion -->}}<ref name="llama-blog" />
|{{sort|1400000000000|1.4兆<!-- 1.4 trillion -->}}<ref name="llama-blog" />|| {{partial|Non-commercial research}}{{efn|Facebookのライセンスと配布スキームにより、モデルへのアクセスは承認された研究者にが制限されていたが、モデルウェイトが流出して広く利用されるようになった。}}
|20言語の大規模コーパスで訓練し、より少ないパラメータでの性能向上を目指す<ref name="llama-blog" />。スタンフォード大学の研究者は、Alpacaと呼ばれるLLaMAの重みに基づいて微調整されたモデルを訓練した<ref>{{Cite web |url=https://crfm.stanford.edu/2023/03/13/alpaca.html |title=Stanford CRFM |website=crfm.stanford.edu |accessdate=2023-04-28}}</ref>。
|-
|[[GPT-4]]
|{{dts|March 2023}}
|OpenAI
|非公開{{efn|テクニカルレポートに述べられているように『GPT-4のような大規模モデルの市場競争と安全性への影響の両方を考慮して、このレポートには、アーキテクチャ（モデルサイズを含む）、ハードウェア、訓練計算環境、データセット構築、トレーニング方法に関する詳細は含まれていない<ref name="GPT4Tech">{{Cite web |date=2023 |title=GPT-4 Technical Report |url=https://cdn.openai.com/papers/gpt-4.pdf |website=[[:en:OpenAI|OpenAI]] |access-date=March 14, 2023 |archive-date=March 14, 2023 |archive-url=https://web.archive.org/web/20230314190904/https://cdn.openai.com/papers/gpt-4.pdf |url-status=live }}</ref>。』}}
|非公開|| {{partial|public web API}}
|ChatGPT Plusユーザが利用でき、いくつかの製品で使用されている
|-
|Cerebras-GPT
|{{dts|March 2023}}
|Cerebras
|{{sort|13000000000|130億<!-- 13 billion -->}}<ref>{{Cite web |url=https://www.cerebras.net/blog/cerebras-gpt-a-family-of-open-compute-efficient-large-language-models/ |title=Cerebras-GPT: A Family of Open, Compute-efficient, Large Language Models |first=Nolan |last=Dey |date=March 28, 2023 |website=Cerebras |accessdate=2024-04-28}}</ref>
||| {{yes|Apache 2.0}}
|Chinchilla方式で訓練された
|-
|Falcon
|{{dts|March 2023}}
|[[:en:Technology Innovation Institute|Technology Innovation Institute]]
|{{sort|180000000000|1800億<!-- 180 billion -->}}<ref name="falcon-180b"/>
|{{sort|3500000000000|3.5兆<!-- 3.5 Trillion -->}}トークン<ref name="falcon-180b"/>|| {{yes|Falcon 180B TII License (Apache 2.0ベース)<ref name="falcon-180b">[https://www.tii.ae/news/technology-innovation-institute-introduces-worlds-most-powerful-open-llm-falcon-180b Technology Innovation Institute Introduces World’s Most Powerful Open LLM: Falcon 180B] Technology Innovation Institute 2023年9月6日</ref>}}
|モデルはGPT-3の75%、Chinchillaの40%、PaLM-62Bの80%の訓練計算量で済むとされる
|-
|BloombergGPT
|{{dts|March 2023}}
|[[:en:Bloomberg L.P.|Bloomberg L.P.]]
|{{sort|50000000000|500億<!-- 50 billion -->}}
|3,630億トークン{{Efn|ブルームバーグのデータソースからの3,630億トークンと、汎用データセットからの3,450億トークンのデータセット}}<ref>{{Cite journal|last1=Wu|first1=Shijie|last2=Irsoy|first2=Ozan|last3=Lu|first3=Steven|last4=Dabravolski|first4=Vadim|last5=Dredze|first5=Mark|last6=Gehrmann|first6=Sebastian|last7=Kambadur|first7=Prabhanjan|last8=Rosenberg|first8=David|last9=Mann|first9=Gideon|date=March 30, 2023|title=BloombergGPT: A Large Language Model for Finance|arxiv=2303.17564}}</ref>|| {{no|プロプライエタリ}}
|独自ソースによる財務データで訓練され、「一般的なLLMベンチマークでの性能を犠牲にすることなく、財務タスクで既存モデルを大幅に上回る」とされる
|-
|PanGu-Σ
|{{dts|March 2023}}
|[[Huawei]]
|{{sort|1085000000000|1.085兆<!-- 1.085 trillion -->}}
|3,290億<!--  329 billion  -->トークン<ref>{{Cite journal|last1=Ren|first1=Xiaozhe|last2=Zhou|first2=Pingyi|last3=Meng|first3=Xinfan|last4=Huang|first4=Xinjing|last5=Wang|first5=Yadao|last6=Wang|first6=Weichao|last7=Li|first7=Pengfei|last8=Zhang|first8=Xiaoda|last9=Podolskiy|first9=Alexander|date=March 19, 2023|title=PanGu-Σ: Towards Trillion Parameter Language Model with Sparse Heterogeneous Computing|arxiv=2303.10845|first10=Grigory|last10=Arshinov|first11=Andrey|last11=Bout|first12=Irina|last12=Piontkovskaya|first13=Jiansheng|last13=Wei|first14=Xin|last14=Jiang|first15=Teng|last15=Su|first16=Qun|last16=Liu|first17=Jun|last17=Yao}}</ref>|| {{no|プロプライエタリ}}
|
|-
| OpenAssistant<ref>{{Cite journal |last=Köpf |first=Andreas |last2=Kilcher |first2=Yannic |last3=von Rütte |first3=Dimitri |last4=Anagnostidis |first4=Sotiris |last5=Tam |first5=Zhi-Rui |last6=Stevens |first6=Keith |last7=Barhoum |first7=Abdullah |last8=Duc |first8=Nguyen Minh |last9=Stanley |first9=Oliver |last10=Nagyfi |first10=Richárd |last11=ES |first11=Shahul |last12=Suri |first12=Sameer |last13=Glushkov |first13=David |last14=Dantuluri |first14=Arnav |last15=Maguire |first15=Andrew |date=2023-04-14 |title=OpenAssistant Conversations -- Democratizing Large Language Model Alignment |url=https://arxiv.org/abs/2304.07327 |journal=arXiv:2304.07327 [cs]}}</ref> || {{dts|March 2023}} || [[LAION]] || {{sort|17000000000|17 billion}} || 1.5 trillion tokens || {{yes|Apache 2.0}}
| Trained on crowdsourced open data
|-
| [[PaLM|PaLM 2]] (Pathways Language Model 2) || {{dts|May 2023}} || Google || {{sort|340000000000|340 billion}}<ref name="cnbc-20230516">{{cite web |last=Elias |first=Jennifer |url=https://www.cnbc.com/2023/05/16/googles-palm-2-uses-nearly-five-times-more-text-data-than-predecessor.html |title=Google's newest A.I. model uses nearly five times more text data for training than its predecessor |work=[[CNBC]] |date=16 May 2023 |access-date=18 May 2023}}</ref> || {{sort|3600000000000|3.6 trillion}} tokens<ref name="cnbc-20230516" /> 
| {{no|Proprietary}}
| Used in [[Bard|Bard chatbot]].<ref>{{Cite web |url=https://blog.google/technology/ai/google-palm-2-ai-large-language-model/ |title=Introducing PaLM 2 |date=May 10, 2023 |website=Google |access-date=2023-06-24}}</ref>
|-
| RedPajama || {{dts|May 2023}} || Together Computer他 || {{sort|7000000000|7 billion}} || {{sort|1200000000000|1.2兆}} || {{yes|Apache 2.0}} || LLaMAベース
|-
| MPT || {{dts|May 2023}} || MosaicML Foundation || {{sort|7000000000|7 billion}} || {{sort|1000000000000|1兆}} || {{yes|Apache 2.0}} ||
|-
| Mistral || {{dts|Sep 2023}} || Mistral AI || {{sort|7000000000|7 billion}} || {{?}} || {{yes|Apache 2.0}} || 
|-
|AXLearn<ref>{{Citation|title=apple/axlearn|date=2024-06-26|url=https://github.com/apple/axlearn|publisher=Apple|access-date=2024-06-26}}</ref>
|2023年7月
|[[Apple]]
|{{sort|3000000000|3 billion}}
|
|Apache 2.0
|[[Apple Intelligence]]のオンデバイスモデルでもPrivate Cloud Computeでも利用<ref>{{Cite web |title=Introducing Apple’s On-Device and Server Foundation Models |url=https://machinelearning.apple.com/research/introducing-apple-foundation-models |website=Apple Machine Learning Research |access-date=2024-06-26 |language=en-US}}</ref>
|-
|Fugaku-LLM
|2024年5月
|[[東京工業大学]]、[[東北大学]]、[[富士通]]、[[理化学研究所]]、他<ref name=":2">{{Cite web |title=「富岳」で学習した日本語向け国産AI「Fugaku-LLM」公開 |url=https://pc.watch.impress.co.jp/docs/news/1590587.html |website=PC Watch |date=2024-05-10 |access-date=2024-06-26 |language=ja |last=株式会社インプレス}}</ref>
|1{{sort|3000000000|3 billion}}
|4,000億トークン
|Apache 2.0, MIT
|[[富岳 (スーパーコンピュータ)|富岳]]用として研究開発<ref name=":2" />
|}

== 脚注 ==
{{脚注ヘルプ}}
=== 注釈 ===
{{notelist}}

=== 出典 ===
{{reflist|refs=
<ref name=jm>{{cite book
|last1=Jurafsky |first1=Dan |last2=Martin |first2=James H. 
|title=Speech and Language Processing 
|date=7 January 2023 |edition=3rd edition draft
|url=https://web.stanford.edu/~jurafsky/slp3/ed3book_jan72023.pdf
|accessdate=24 May 2022 
}}</ref>
<ref name=Manning-2022>{{cite journal
|last=Manning|first=Christopher D.|author-link=Christopher D. Manning
|title=Human Language Understanding & Reasoning
|journal=Daedalus
|year=2022
|volume=151 |issue=2 |pages=127–138 |doi=10.1162/daed_a_01905 |s2cid=248377870 |url=https://www.amacad.org/publication/human-language-understanding-reasoning
}}</ref>
<ref name=Wiggers>{{cite web
|work=TechCrunch
|last=Wiggers|first=Kyle
|date=28 April 2022
|title=The emerging types of language models and why they matter
|url=https://techcrunch.com/2022/04/28/the-emerging-types-of-language-models-and-why-they-matter/
|accessdate=2023-04-28
}}</ref>
<ref name=kaplan-scaling>{{Cite journal |last1=Kaplan |first1=Jared |last2=McCandlish |first2=Sam |last3=Henighan |first3=Tom |last4=Brown |first4=Tom B. |last5=Chess |first5=Benjamin |last6=Child |first6=Rewon |last7=Gray |first7=Scott |last8=Radford |first8=Alec |last9=Wu |first9=Jeffrey |last10=Amodei |first10=Dario |title=Scaling Laws for Neural Language Models |journal=CoRR |volume=abs/2001.08361 |year=2020 |arxiv=2001.08361}}</ref>
<ref name=bigger-better>{{cite web
|work=Nature
|last=Ananthaswamy|first=Anil
|title=In AI, is bigger always better?
|date=8 March 2023
|url=https://www.nature.com/articles/d41586-023-00641-w
|accessdate=2023-04-28
}}</ref>
<ref name="few-shot-learners">{{cite journal |first1=Tom B.|last1=Brown|first2=Benjamin|last2=Mann|last3=Ryder|last25=Chess|last20=Hesse|first20=Christopher|last21=Chen|first21=Mark|last22=Sigler|first22=Eric|last23=Litwin|first23=Mateusz|last24=Gray|first24=Scott|first26=Jack|first25=Benjamin|last26=Clark|last19=Winter|last27=Berner|first27=Christopher|last28=McCandlish|first28=Sam|last29=Radford|first29=Alec|last30=Sutskever|first30=Ilya|last31=Amodei|first31=Dario|first19=Clemens|first18=Jeffrey|first3=Nick|last10=Askell|last4=Subbiah|first4=Melanie|last5=Kaplan|first5=Jared|last6=Dhariwal|first6=Prafulla|last7=Neelakantan|first7=Arvind|last8=Shyam|first8=Pranav|last9=Sastry|first9=Girish|first10=Amanda|last18=Wu|last11=Agarwal|first11=Sandhini|last12=Herbert-Voss|first12=Ariel|last13=Krueger|first13=Gretchen|last14=Henighan|first14=Tom|last15=Child|first15=Rewon|last16=Ramesh|first16=Aditya|last17=Ziegler|first17=Daniel M. |editor1-last=Larochelle |editor1-first=H. |editor2-last=Ranzato |editor2-first=M. |editor3-last=Hadsell |editor3-first=R. |editor4-last=Balcan |editor4-first=M.F. |editor5-last=Lin |editor5-first=H. |title=Language Models are Few-Shot Learners |journal=Advances in Neural Information Processing Systems |date=Dec 2020 |volume=33 |pages=1877–1901 |url=https://proceedings.neurips.cc/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf |publisher=Curran Associates, Inc.}}</ref>
<ref name=flan-blog>{{cite web
|title=Introducing FLAN: More generalizable Language Models with Instruction Fine-Tuning
|date=6 October 2021
|work=Google Research
|last1=Bosma|first1=Maarten|last2=Wei|first2=Jason
|url=https://ai.googleblog.com/2021/10/introducing-flan-more-generalizable.html
|accessdate=2024-04-28
}}</ref>
<ref name=self-instruct-paper>{{Cite arXiv |last1=Wang |first1=Yizhong |last2=Kordi |first2=Yeganeh |last3=Mishra |first3=Swaroop |last4=Liu |first4=Alisa |last5=Smith |first5=Noah A. |last6=Khashabi |first6=Daniel |last7=Hajishirzi |first7=Hannaneh |title=Self-Instruct: Aligning Language Model with Self Generated Instructions |eprint=2212.10560 |date=2022|class=cs.CL }}</ref>
<ref name=instructGPT-paper>{{Cite arXiv |last1=Ouyang |first1=Long |last2=Wu |first2=Jeff |last3=Jiang |first3=Xu |last4=Almeida |first4=Diogo |last5=Wainwright |first5=Carroll L. |last6=Mishkin |first6=Pamela |last7=Zhang |first7=Chong |last8=Agarwal |first8=Sandhini |last9=Slama |first9=Katarina |last10=Ray |first10=Alex |last11=Schulman |first11=John |last12=Hilton |first12=Jacob |last13=Kelton |first13=Fraser |last14=Miller |first14=Luke |last15=Simens |first15=Maddie |last16=Askell |first16=Amanda |last17=Welinder |first17=Peter |last18=Christiano |first18=Paul |last19=Leike |first19=Jan |last20=Lowe |first20=Ryan |title=Training language models to follow instructions with human feedback |eprint=2203.02155 |date=2022|class=cs.CL }}</ref>
<ref name=boolq>{{cite arXiv|eprint=1905.10044 |last1=Clark |first1=Christopher |last2=Lee |first2=Kenton |last3=Chang |first3=Ming-Wei |last4=Kwiatkowski |first4=Tom |last5=Collins |first5=Michael |last6=Toutanova |first6=Kristina |title=BoolQ: Exploring the Surprising Difficulty of Natural Yes/No Questions |year=2019 |class=cs.CL }}</ref>
<ref name=hellaswag>{{cite arXiv|eprint=1905.07830 |last1=Zellers |first1=Rowan |last2=Holtzman |first2=Ari |last3=Bisk |first3=Yonatan |last4=Farhadi |first4=Ali |last5=Choi |first5=Yejin |title=HellaSwag: Can a Machine Really Finish Your Sentence? |year=2019 |class=cs.CL }}</ref>
<ref name=truthfulqa>{{cite arXiv|eprint=2109.07958 |last1=Lin |first1=Stephanie |last2=Hilton |first2=Jacob |last3=Evans |first3=Owain |title=TruthfulQA: Measuring How Models Mimic Human Falsehoods |year=2021 |class=cs.CL }}</ref>
<ref name=bigbench>{{cite arXiv|eprint=2206.04615 |last1=Srivastava |first1=Aarohi |last2=Rastogi |first2=Abhinav |last3=Rao |first3=Abhishek |author4=Abu Awal Md Shoeb |last5=Abid |first5=Abubakar |last6=Fisch |first6=Adam |last7=Brown |first7=Adam R. |last8=Santoro |first8=Adam |last9=Gupta |first9=Aditya |last10=Garriga-Alonso |first10=Adrià |last11=Kluska |first11=Agnieszka |last12=Lewkowycz |first12=Aitor |last13=Agarwal |first13=Akshat |last14=Power |first14=Alethea |last15=Ray |first15=Alex |last16=Warstadt |first16=Alex |last17=Kocurek |first17=Alexander W. |last18=Safaya |first18=Ali |last19=Tazarv |first19=Ali |last20=Xiang |first20=Alice |last21=Parrish |first21=Alicia |last22=Nie |first22=Allen |last23=Hussain |first23=Aman |last24=Askell |first24=Amanda |last25=Dsouza |first25=Amanda |last26=Slone |first26=Ambrose |last27=Rahane |first27=Ameet |last28=Iyer |first28=Anantharaman S. |last29=Andreassen |first29=Anders |last30=Madotto |first30=Andrea |title=Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models |year=2022 |class=cs.CL |display-authors=1 }}</ref>
<ref name=survey>{{cite arXiv|eprint=2303.18223 |author1=Wayne Xin Zhao |last2=Zhou |first2=Kun |last3=Li |first3=Junyi |last4=Tang |first4=Tianyi |last5=Wang |first5=Xiaolei |last6=Hou |first6=Yupeng |last7=Min |first7=Yingqian |last8=Zhang |first8=Beichen |last9=Zhang |first9=Junjie |last10=Dong |first10=Zican |last11=Du |first11=Yifan |last12=Yang |first12=Chen |last13=Chen |first13=Yushuo |last14=Chen |first14=Zhipeng |last15=Jiang |first15=Jinhao |last16=Ren |first16=Ruiyang |last17=Li |first17=Yifan |last18=Tang |first18=Xinyu |last19=Liu |first19=Zikang |last20=Liu |first20=Peiyu |last21=Nie |first21=Jian-Yun |last22=Wen |first22=Ji-Rong |title=A Survey of Large Language Models |year=2023 |class=cs.CL }}</ref>
<ref name=Huyen>{{cite web
|work=The Gradient
|last=Huyen|first=Chip
|title=Evaluation Metrics for Language Modeling
|date=18 October 2019
|url=https://thegradient.pub/understanding-evaluation-metrics-for-language-models/
|accessdate=2024-04-28
}}</ref>

<!-- Refs below are specific to the "List of large language models" section. (Keeping separate in case that section is split off into a standalone list article in the future.) -->
<ref name=palm-blog>{{Cite web |last1=Narang |first1=Sharan |last2=Chowdhery |first2=Aakanksha |date=April 4, 2022 |title=Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance |url=https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html |accessdate=2023-03-09 |website=ai.googleblog.com |language=en
}}</ref>
<ref name=glam-blog>{{Cite web |last1=Dai |first1=Andrew M |last2=Du |first2=Nan |date=December 9, 2021 |title=More Efficient In-Context Learning with GLaM |url=https://ai.googleblog.com/2021/12/more-efficient-in-context-learning-with.html |accessdate=2023-03-09 |website=ai.googleblog.com |language=en}}</ref>
<ref name=lamda-blog>{{Cite web |last1=Cheng |first1=Heng-Tze |last2=Thoppilan |first2=Romal |date=January 21, 2022 |title=LaMDA: Towards Safe, Grounded, and High-Quality Dialog Models for Everything |url=https://ai.googleblog.com/2022/01/lamda-towards-safe-grounded-and-high.html |accessdate=2023-03-09 |website=ai.googleblog.com |language=en}}</ref>
<ref name=mtnlg-preprint>{{Cite preprint |last1=Smith |first1=Shaden |last2=Patwary |first2=Mostofa |last3=Norick |first3=Brandon |last4=LeGresley |first4=Patrick |last5=Rajbhandari |first5=Samyam |last6=Casper |first6=Jared |last7=Liu |first7=Zhun |last8=Prabhumoye |first8=Shrimai |last9=Zerveas |first9=George |last10=Korthikanti |first10=Vijay |last11=Zhang |first11=Elton |last12=Child |first12=Rewon |last13=Aminabadi |first13=Reza Yazdani |last14=Bernauer |first14=Julie |last15=Song |first15=Xia |date=2022-02-04 |title=Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, A Large-Scale Generative Language Model |arxiv=2201.11990 }}</ref>
<ref name=llama-blog>{{cite web
|work=Meta AI
|title=Introducing LLaMA: A foundational, 65-billion-parameter large language model
|date=24 February 2023
|url=https://ai.facebook.com/blog/large-language-model-llama-meta-ai/
|accessdate=2023-04-28
}}</ref>
<ref name="15Brelease">{{Cite web
 |url          = https://openai.com/blog/gpt-2-1-5b-release/
 |title        = GPT-2: 1.5B Release
 |date         = 2019-11-05
 |website      = OpenAI
 |language     = en
 |accessdate  = 2019-11-14
 |archive-date = 2019-11-14
 |archive-url  = https://web.archive.org/web/20191114074358/https://openai.com/blog/gpt-2-1-5b-release/
 |url-status   = live
}}</ref>
<ref name=chinchilla-blog>{{cite web
|work=Deepmind Blog
|title=An empirical analysis of compute-optimal large language model training
|first1=Jordan|last1=Hoffmann|first2=Sebastian|last2=Borgeaud
|first3=Arthur|last3=Mensch|first4=Laurent|last4=Sifre
|date=12 April 2022
|url=https://www.deepmind.com/blog/an-empirical-analysis-of-compute-optimal-large-language-model-training
|accessdate=2023-04-28
}}</ref>
<ref name=bert-paper>{{cite arXiv |last1=Devlin |first1=Jacob |last2=Chang |first2=Ming-Wei |last3=Lee |first3=Kenton |last4=Toutanova |first4=Kristina |title=BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding |date=11 October 2018 |eprint=1810.04805v2|class=cs.CL }}</ref>
<ref name=chatgpt-blog>{{Cite web |date=2022-11-30 |title=ChatGPT: Optimizing Language Models for Dialogue |url=https://openai.com/blog/chatgpt/ |accessdate=2023-01-13 |website=OpenAI |language=en}}</ref>
<ref name=vb-gpt-neo>{{cite web
|work=VentureBeat
|last=Iyer|first=Abhishek
|title=GPT-3's free alternative GPT-Neo is something to be excited about
|date=15 May 2021
|url=https://venturebeat.com/ai/gpt-3s-free-alternative-gpt-neo-is-something-to-be-excited-about/
|accessdate=2023-04-28
}}</ref>
|25em
}}

== 関連書籍 ==
この分野は進歩が急激なために、書籍はたちまち内容が古くなることに注意。
* 近江崇宏、金田健太郎、森長誠、江間見亜利：「BERTによる自然言語処理入門：Transformersを使った実践プログラミング」、オーム社、ISBN 978-4-27422726-4 (2021年6月28日).
* Denis Rothman：「Transformerによる自然言語処理」、朝倉書店、ISBN 978-4-254-12265-7 (2022年4月11日).
* 岡野原大輔：「大規模言語モデルは新たな知能か：ChatGPTが変えた世界」、岩波書店、ISBN 978-4-00-029719-6 (2023年6月20日).
* 我妻幸長：「BERT実践入門」、翔泳社、ISBN 978-4-7981-7781-6 (2023年7月20日).
* 鈴木正敏、山田康輔、李凌寒：「大規模言語モデル入門」、技術評論社、ISBN 978-4-297-13633-8 (2023年8月11日).
* Sandra Kublik、Shubham Saboo：「全容解説GPT：テキスト生成AIプロダクト構築への第一歩」、インプレス、ISBN 978-4-29501818-6(2023年12月12日).
* 山田育矢、鈴木正敏、西川荘介、藤井一喜、山田康輔、李凌寒：「大規模言語モデルII：生成型LLMの実装と評価」、技術評論社、ISBN 978-4-297-14393-0 (2024年9月1日). 
 
== 関連項目 ==
* [[基盤モデル]] - 幅広いデータで大規模に訓練された、幅広い下流タスクに適用できる大規模な人工知能モデル。事前学習済の大規模言語モデル（LLM）はその初期の例である。
* [[生成的人工知能]] - プロンプトに応答してテキスト、画像、または他のメディアを生成することができる人工知能システムの一種

{{Natural language processing}}
{{DEFAULTSORT:たいきほけんこもてる}}
[[Category:大規模言語モデル| ]]
[[Category:ディープラーニング]]
[[Category:自然言語処理]]