言語モデルのソースを表示

{{専門的|date=2023-02}}
'''言語モデル'''（げんごモデル、{{Lang-en-short|language model}}）は、単語列に対する[[確率分布]]を表わすものである<ref>{{cite book |last1=Jurafsky |first1=Dan |last2=Martin |first2=James H. |title=Speech and Language Processing |date=2021 |edition=3rd |url=https://web.stanford.edu/~jurafsky/slp3/ |access-date=24 May 2022 |chapter=N-gram Language Models}}</ref>。

== 解説 ==
言語モデルは、長さが{{mvar|m}}個の単語列が与えられたとき、その単語列全体に対しての確率 <math>P(w_1,\ldots,w_m)</math> を与える。この確率分布は、1つまたは複数の言語の[[テキストコーパス]]を使用して、言語モデルを訓練することによって得られる。しかし、言語は無限に有効な文を表現することができるため{{Efn|{{ill2|デジタル無限性|en|Digital infinity}}の特徴}}、言語モデリングは、訓練データでは遭遇しないような言語的に有効な単語列にゼロでない確率を割り当てることが課題となる。この問題を克服するために、[[マルコフ性|マルコフ仮定]]や、[[回帰型ニューラルネットワーク]]あるいは[[Transformer (機械学習モデル)|トランスフォーマー]]（transformer）などのニューラルアーキテクチャなど、さまざまなモデリング方法が考案されている。

言語モデルは、[[計算言語学]]におけるさまざまな問題に役立っている。当初は、低確率で無意味な単語列を予測を防ぐために[[音声認識]]<ref>Kuhn, Roland, and Renato De Mori (1990). [https://www.researchgate.net/profile/Roland_Kuhn2/publication/3191800_Cache-based_natural_language_model_for_speech_recognition/links/004635184ee5b2c24f000000.pdf "A cache-based natural language model for speech recognition"]. ''IEEE transactions on pattern analysis and machine intelligence'' 12.6: 570–583.</ref>での使用から始まった。現在では、[[機械翻訳]]（翻訳候補の順位付け）<ref name="Semantic parsing as machine translation" />や、より人間に近いテキストを生成する[[自然言語生成]]、{{Ill2|品詞タグ付け|en|Part-of-speech tagging}}、[[構文解析]]<ref name="Semantic parsing as machine translation">Andreas, Jacob, Andreas Vlachos, and Stephen Clark (2013). [https://www.aclweb.org/anthology/P13-2009 "Semantic parsing as machine translation"]. Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers).</ref>、[[光学文字認識]]、[[手書き文字認識]]<ref>Pham, Vu, et al (2014). [https://arxiv.org/abs/1312.4569 "Dropout improves recurrent neural networks for handwriting recognition"]. 14th International Conference on Frontiers in Handwriting Recognition. IEEE.</ref>、{{Ill2|文法誘導|en|Grammar induction}}<ref>Htut, Phu Mon, Kyunghyun Cho, and Samuel R. Bowman (2018). [https://arxiv.org/pdf/1808.10000.pdf?source=post_page--------------------------- "Grammar induction with neural language models: An unusual replication"]. {{arXiv|1808.10000}}.</ref>、[[情報検索]]<ref name="ponte1998">{{cite conference |first1=Jay M. |last1=Ponte |first2= W. Bruce |last2=Croft | title= A language modeling approach to information retrieval |conference=Proceedings of the 21st ACM SIGIR Conference |year=1998 |publisher=ACM |place=Melbourne, Australia | pages = 275–281| doi=10.1145/290941.291008}}</ref><ref name="hiemstra1998">{{cite conference | first=Djoerd | last=Hiemstra | year = 1998 | title = A linguistically motivated probabilistically model of information retrieval | conference = Proceedings of the 2nd European conference on Research and Advanced Technology for Digital Libraries | publisher = LNCS, Springer | pages=569–584 | doi= 10.1007/3-540-49653-X_34}}</ref>など、幅広い用途に利用されている。

情報検索においては、{{Ill2|クエリ尤度モデル|en|Query likelihood model}}において言語モデルが用いられる。この方法では、コレクション内のすべての[[文書]]に、個別の言語モデルが関連付けられている。そして各文書は、その文書の言語モデル <math>M_d</math> に対するクエリ <math>Q</math> の確率 <math>P(Q\mid M_d)</math> に基づいて順位付けされる。この目的のため一般に、{{Ill2|Unigram|en|Unigram|label=ユニグラム（unigram）}}言語モデルが利用される。

2018年以降、[[大規模言語モデル]]（LLM）が登場し、大きな発展がみられた。これらのモデルは、数十億個の学習可能なパラメータを持つ[[ニューラルネットワーク|ディープ・ニューラルネットワーク]]で構成され、ラベルなしテキストの膨大なデータセットで訓練される。LLMは、さまざまな[[自然言語処理]]タスクで目覚ましい成果を示し、研究の焦点が汎用的なLLMの使用へと移り変わっていた<ref name="Manning-2022" />。

2024年初頭、専門家はすでに、言語モデル開発の焦点は大規模な言語モデルから小規模なモデルへと移行し<ref>{{Cite web |title=Hopes for 2024 from Anastasis Germanidis, Sara Hooker, Percy Liang, Sasha Luccioni, Pelonomi Moiloa, Kevin Scott |url=https://www.deeplearning.ai/the-batch/issue-229/ |website=Hopes for 2024 from Anastasis Germanidis, Sara Hooker, Percy Liang, Sasha Luccioni, Pelonomi Moiloa, Kevin Scott |date=2023-12-27 |access-date=2025-01-13 |language=en}}</ref>、2025年におけるMITのブレークスルー技術の第3位は小規模な言語モデルであり、言語モデルは大規模から小規模へと進展している<ref>{{Cite web |title=10 Breakthrough Technologies 2025 |url=https://www.technologyreview.com/2025/01/03/1109178/10-breakthrough-technologies-2025/#small-language-models |website=MIT Technology Review |access-date=2025-01-13 |language=en}}</ref>。

== モデルの種類 ==

=== ''n''-gramモデル ===
{{Main|{{ill2|n-gram言語モデル|en|n-gram language model}}}}

n-gram言語モデルは、[[マルコフ過程]]に基づいて単語列をモデル化するものである。このモデルでは、単語列内の次の単語の確率が、先行する単語の固定サイズのウィンドウにのみ依存すると仮定することで単純化する。たとえば、bigramモデルは先行する1つの単語のみを考慮し、trigramモデルは先行する2つの単語を考慮し、n-gramモデルは先行するn-1単語を文脈として考慮する<ref name="jm" />。

たとえば、bigram言語モデルは、「''I saw the red house''（赤い家が見えた）」という文の確率を次のようにモデル化する。<math display="block">P(\text{I, saw, the, red, house}) \approx P(\text{I}\mid\langle s\rangle) P(\text{saw}\mid \text{I}) P(\text{the}\mid\text{saw}) P(\text{red}\mid\text{the}) P(\text{house}\mid\text{red}) P(\langle /s\rangle\mid \text{house})</math>ここで、<math>\langle s\rangle</math> と <math>\langle /s\rangle</math> は文の開始と終了を示す特別なトークンである。

これらの条件付き確率は、[[テキストコーパス]]の一部分の頻度カウントに基づいて推定することができる。たとえば、<math>P(\text{saw}\mid \text{I})</math> は、コーパス内での単語「''I''」に続いて「''saw''」が出現する割合として単純に推定できる。スパース性の問題（たとえば、コーパス内で「''red house''」というbigramの出現数がゼロの場合）は、特に大きなコンテキストウィンドウを使用する場合に、{{Ill2|平滑化 (統計)|en|Smoothing|label=平滑化}}手法によって基本的なマルコフモデルを修正する必要がある<ref name="jm" />。

=== 指数関数モデル ===
[[最大エントロピー原理|最大エントロピー]]言語モデルでは、単語とn-gramの履歴との関係を符号化する特徴関数を使用する。言語モデルは次の式で表される。<math display="block"> P(w_m \mid w_1,\ldots,w_{m-1}) = \frac{1}{Z(w_1,\ldots,w_{m-1})} \exp (a^T f(w_1,\ldots,w_m))</math>ここで、<math>Z(w_1,\ldots,w_{m-1})</math> は[[分配函数 (数学)|分配関数]]、<math>a</math> はパラメータベクトル、<math>f(w_1,\ldots,w_m)</math> は特徴関数である。最も単純な形では、特徴関数は特定のn-gramの存在を示す指標にすぎない。モデルの最適なのために、<math>a</math> の事前分布を利用するか、何らかの形で正則化を行うことが有効である。指数関数型の言語モデルの一つの例として、対数双線形モデルがある。

=== ニューラルネットワーク ===
ニューラル言語モデルは、連続空間言語モデル（''continuous space language models''）とも呼ばれ、単語の連続的な表現または[[単語の埋め込み|埋め込み]]を使用して予測を行う<ref>{{cite web |last1=Karpathy |first1=Andrej |title=The Unreasonable Effectiveness of Recurrent Neural Networks |url=https://karpathy.github.io/2015/05/21/rnn-effectiveness/ |access-date=2018-09-01}}</ref>。これらのモデルでは、[[ニューラルネットワーク]]が使用されている。

連続空間の埋め込みは、言語モデリングにおける「次元の呪い」{{Efn|[[次元の呪い]]: 言語モデルがより大規模なテキストで訓練されるにつれて、固有の単語（語彙）の数が指数関数的に増加すること。{{ill2|Heaps' law|en|Heaps' law}}を参照。}}を軽減するために有効な手法である。訓練に用いるテキストの大きさ応じて語彙に含まれる固有の単語数も増える。このため、単語列の可能な組みわせ数が[[指数関数的成長|指数関数的]]に増加することにより、データ疎性の問題が発生する。そのため、確率を適切に推定するためには統計が必要となる。この問題を回避するため、[[ニューラルネットワーク]]では単語の表現を分散させる手法をとり、ネットワーク内の重みの非線形な組み合わせとして表現する<ref name="bengio">{{cite encyclopedia|title=Neural net language models|first=Yoshua|last=Bengio|year=2008|encyclopedia=[[:en:Scholarpedia|Scholarpedia]]|volume=3|issue=1|page=3881|url=http://www.scholarpedia.org/article/Neural_net_language_models|doi=10.4249/scholarpedia.3881|bibcode=2008SchpJ...3.3881B|doi-access=free}}</ref>。また、ニューラルネットは言語関数を近似していると捉えることもできる。この目的に使用できるニューラルネットのアーキテクチャには、[[順伝播型ニューラルネットワーク|順伝播型]]と[[回帰型ニューラルネットワーク|回帰型]]の2種類がある。前者は単純であるが、後者の方がより一般的である[[Wikipedia:EJ|<sup>[要解説]</sup>]]{{citation needed|date=December 2017}}。

ニューラルネット言語モデルは一般に、語彙 <math>V</math> のすべての単語 <math>t</math> について確率分布<math display="block">P(w_t \mid \mathrm{context}) \, \forall t \in V</math>を予測することを目的とした{{Ill2|確率的分類|en|Probabilistic classification|label=確率的分類器}}として構築・訓練される。
すなわち、ネットワークは、与えられた言語的コンテキストに基づいて、語彙の確率分布を予測するように訓練される。これは、[[バックプロパゲーション]]を用いた[[確率的勾配降下法]]などの標準的なニューラルネットワークの学習アルゴリズムによって行われる{{r|bengio}}。コンテキストは、先行する単語の固定サイズのウィンドウとすることができ、ネットワークは先行する {{mvar|k}} 個の単語を表す[[特徴量|特徴ベクトル]]から<math display="block">P(w_t \mid w_{t-k}, \dots, w_{t-1})</math>を予測する{{r|bengio}}。もう一つの選択肢として、「過去」と「未来」の単語を特徴として使用し<ref name=":0" />、推定確率を<math display="block">P(w_t \mid w_{t-k}, \dots, w_{t-1}, w_{t+1}, \dots, w_{t+k}).</math>とする、{{Ill2|Bag-of-wordsモデル|en|Bag-of-words model|label=バッグ・オブ・ワードモデル}}（bag-of-words model）と呼ばれるモデルもある。文脈中の単語の特徴ベクトルを連続演算で連結すると、このモデルは連続バッグ・オブ・ワード（Continuous bag-of-words、CBOW）アーキテクチャと呼ばれる<ref name="mikolov">{{cite arXiv |first1=Tomas |last1=Mikolov |first2=Kai |last2=Chen |first3=Greg |last3=Corrado |first4=Jeffrey |last4=Dean |eprint=1301.3781 |title=Efficient estimation of word representations in vector space |year=2013|class=cs.CL }}</ref>。

第3の選択肢は、{{仮リンク|n-gram#Skip-gram|en|n-gram|label=skip-gram}}と呼ばれる言語モデルである<ref name="compositionality">{{cite conference |title=Distributed Representations of Words and Phrases and their Compositionality |last1=Mikolov |first1=Tomas |last2=Sutskever |first2=Ilya |last3=Chen |first3=Kai |last4=Corrado irst4=Greg S. |last5=Dean |first5=Jeff |conference=[[:en:Advances in Neural Information Processing Systems|Advances in Neural Information Processing Systems]] |pages=3111–3119 |year=2013 |url=http://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf}}</ref>。これは先の問題を逆にして、与えられた単語から、文脈を出力するようにニューラルネットワークを訓練させるもので、CBOWよりも訓練に時間がかかるが、わずかに良い性能を得ることができる{{r|mikolov}}。その目標は、訓練用の単語列 <math>w_1, w_2, w_3, \dots, w_T</math> が与えられたとき、平均対数確率<math display="block">\frac{1}{T}\sum_{t=1}^T \sum_{-k \leq j \leq k, j \neq 0} \log P(w_{t+j} \mid w_t)</math>を最大化することである。ここで訓練文脈の大きさ {{mvar|k}} は、中央の単語 <math>w_t</math> の関数とすることができる。skip-gramモデルとbag-of-wordsモデルは、[[word2vec]]プログラムの基礎をなしている<ref>{{cite web |url=https://gigaom.com/2013/08/16/were-on-the-cusp-of-deep-learning-for-the-masses-you-can-thank-google-later/ |title=We're on the cusp of deep learning for the masses. You can thank Google later |last=Harris |first=Derrick |date=16 August 2013 |website=Gigaom |access-date=2015-06-22}}</ref>。
ニューラルネット言語モデルを使用する際に良く行われるのが、実際の確率を計算するのではなく、ネットワークの「隠れ層」に符号化された分散表現を単語の表現として利用するものである。各単語は「[[単語の埋め込み|単語埋め込み]]」と呼ばれる {{mvar|n}} 次元の実数ベクトルが割り当てられる。ここで {{mvar|n}} は、出力層より前の層の大きさである。特徴的なのは、skip-gramモデルの表現が、単語間の意味的関係を[[線型結合]]としてモデル化し、それにより{{Ill2|構成性原理|en|Principle of compositionality|label=構成性}}の形式を捉えることである。たとえば、このようなモデルでは、単語 {{mvar|w}} をその {{mvar|n}} 次元ベクトル表現に対応付ける関数 {{mvar|v}} があるとき、<math display="block">v(\mathrm{king}) - v(\mathrm{male}) + v(\mathrm{female}) \approx v(\mathrm{queen})</math>という式が成立し、ここで ≈ は正確には右辺が左辺の値の[[最近傍探索|最近傍]]として定義される{{r|mikolov}}{{r|compositionality}}。

=== その他 ===
位置言語モデル（positional language model）は<ref>{{cite conference|first1=Yuanhua |last1=Lv |first2=ChengXiang |last2=Zhai |url=http://times.cs.uiuc.edu/czhai/pub/sigir09-PLM.pdf |title=Positional Language Models for Information Retrieval in |book-title=Proceedings |conference= 32nd international ACM SIGIR conference on Research and development in information retrieval (SIGIR) |year=2009}}</ref>、テキスト内で特定の単語が、すぐに隣接していなくても、近くに出現する確率を評価するものである。同様に、bag-of-conceptsモデルは<ref>{{Cite book|url={{google books |plainurl=y |id=NrtcLwEACAAJ}}|title=Sentic Computing: Techniques, Tools, and Applications|last1=Cambria|first1=Erik|last2=Hussain|first2=Amir|date=2012-07-28|publisher=Springer Netherlands|isbn=978-94-007-5069-2|language=en}}</ref>、「今日、私はとても素敵なクリスマスプレゼントをたくさん買った」のような情報量の多い文章でも、''buy_christmas_present'' のような複数単語表現に関連付けて、そのセマンティクス（意味）を利用するものである。

手話のモデリングにおいては、ニューラルネットワークで一定の成功をあげているが<ref>{{cite journal |last1=Mocialov |first1=Boris |last2=Hastie |first2=Helen |last3=Turner |first3=Graham |title=Transfer Learning for British Sign Language Modelling |journal=Proceedings of the Fifth Workshop on NLP for Similar Languages, Varieties and Dialects (VarDial 2018) |date=August 2018 |pages=101–110 |arxiv=2006.02144 |url=https://www.aclweb.org/anthology/W18-3911/ |access-date=14 March 2020}}</ref>、他の技術が必要であることを研究者は認識している。

Generative Spoken Language Model (GSLM) は音声を入力とした言語モデルである<ref>Facebook AI. (2021). ''[https://ai.facebook.com/blog/textless-nlp-generating-expressive-speech-from-raw-audio Textless NLP: Generating expressive speech from raw audio]''.</ref><ref>Lakhotia, et al. (2021). ''[[arxiv:2102.01192|Generative Spoken Language Modeling from Raw Audio]]''.</ref><ref>Polyak, et al. (2021). ''[[arxiv:2104.00355|Speech Resynthesis from Discrete Disentangled Self-Supervised Representations]]''.</ref><ref>Kharitonov, et al. (2021). ''[[arxiv:2109.03264|Text-Free Prosody-Aware Generative Spoken Language Modeling]]''.</ref>。文字列を入力として一切利用しない。音声は言語情報以外にパラ言語情報・非言語情報を含んでいるため、音声を入力とするGSLMが獲得する[[特徴量|表現]]にはこれらの情報もコードされていると期待される<ref>"by having access to the full expressivity of oral language, models should incorporate nuances and intonations" Facebook AI. (2021). ''[https://ai.facebook.com/blog/textless-nlp-generating-expressive-speech-from-raw-audio Textless NLP: Generating expressive speech from raw audio]''.</ref>。

== 評価とベンチマーク ==
言語モデルの品質は、通常、典型的な言語指向タスクを反映した、人間が作成したサンプルベンチマークとの比較によって評価される。あまり確立されていないが、言語モデルに固有の特性を調べたり、2つのモデルを比較する品質テストの方法もある。言語モデルは通常は動的であり、訓練で遭遇したデータから学習することを目的としているため、提案されたモデルの中には、学習曲線を調べることによって、学習速度を評価するものもある<ref>{{Citation|last1=Karlgren|first1=Jussi|last2=Schutze|first2=Hinrich|chapter=Evaluating Learning Language Representations|date=2015|pages=254–260|publisher=Springer International Publishing|isbn=9783319642055|doi=10.1007/978-3-319-64206-2_8|title=International Conference of the Cross-Language Evaluation Forum|series=Lecture Notes in Computer Science}}</ref>。

言語処理システムを評価するために、いくつかのデータセットが開発されており、次のようなものがある<ref name=":0">{{cite arXiv|last1=Devlin|first1=Jacob|last2=Chang|first2=Ming-Wei|last3=Lee|first3=Kenton|last4=Toutanova|first4=Kristina|date=2018-10-10|title=BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding|eprint=1810.04805|class=cs.CL}}</ref>。
* 言語学的許容性コーパス（Corpus of Linguistic Acceptability、CoLA）<ref>{{Cite web|url=https://nyu-mll.github.io/CoLA/|title=The Corpus of Linguistic Acceptability (CoLA)|website=nyu-mll.github.io|access-date=2019-02-25}}</ref>
* GLUEベンチマーク（GLUE benchmark）<ref>{{Cite web|url=https://gluebenchmark.com/|title=GLUE Benchmark|website=gluebenchmark.com|language=en|access-date=2019-02-25}}</ref>
* マイクロソフトリサーチ・パラフレーズコーパス（Microsoft Research Paraphrase Corpus、MRPC）<ref>{{Cite web|url=https://www.microsoft.com/en-us/download/details.aspx?id=52398|title=Microsoft Research Paraphrase Corpus|website=Microsoft Download Center|language=en-us|access-date=2019-02-25}}</ref>
* 多ジャンル自然言語推論（Multi-Genre Natural Language Inference、MultiNLI）
* 質問自然言語推論（Question Natural Language Inference、QNLI）
* Quora質問ペア（Quora Question Pairs、QQP）<ref>{{Citation|last=Aghaebrahimian|first=Ahmad|chapter=Quora Question Answer Dataset|date=2017|pages=66–73|publisher=Springer International Publishing|isbn=9783319642055|doi=10.1007/978-3-319-64206-2_8|title=Text, Speech, and Dialogue|volume=10415|series=Lecture Notes in Computer Science}}</ref>
* テキスト含意認識（Recognizing Textual Entailment、RTE）<ref>{{Cite web|url=http://l2r.cs.uiuc.edu/~danr/Teaching/CS546-12/TeChapter.pdf|title=Recognizing Textual Entailment|last1=Sammons, V.G.Vinod Vydiswaran, Dan Roth|first1=Mark|last2=Vydiswaran|first2=V.G.|access-date=February 24, 2019|last3=Roth|first3=Dan}}</ref>
* テキスト意味的類似度ベンチマーク（Semantic Textual Similarity Benchmark、STS）
* スタンフォード質問応答データセット（Stanford Question Answering Dataset、SQuAD）<ref>{{Cite web|url=https://rajpurkar.github.io/SQuAD-explorer/|title=The Stanford Question Answering Dataset|website=rajpurkar.github.io|access-date=2019-02-25}}</ref>
* スタンフォードセンチメント[[ツリーバンク]]（Stanford Sentiment Treebank、SST<ref>{{Cite web|url=https://nlp.stanford.edu/sentiment/treebank.html|title=Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank|website=nlp.stanford.edu|access-date=2019-02-25}}</ref>）
* Winograd NLI（WNLI）
* BoolQ, PIQA, SIQA, HellaSwag, WinoGrande, ARC, OpenBookQA, NaturalQuestions, TriviaQA, RACE, MMLU (Measuring Massive Multitask Language Understanding), BIG-bench hard, GSM8k, RealToxicityPrompts, WinoGender, CrowS-Pairs.<ref>{{Citation| last = Hendrycks| first = Dan| title = Measuring Massive Multitask Language Understanding| accessdate = 2023-03-15| date = 2023-03-14| url = https://github.com/hendrycks/test}}</ref> ([https://github.com/facebookresearch/llama/blob/main/MODEL_CARD.md LLaMa Benchmark])

== 批評 ==
[[GPT (言語モデル)|GPT]]（Generative pre-trained transformer）のような現代の言語モデルは、特定のタスクにおいて人間に匹敵する能力を発揮するが、[[認知モデル]]としての妥当性は不確かになっている。たとえば、回帰型ニューラルネットワークの場合、人間が学習しないパターンを学習したり、人間が学習するパターンを学習できずに失敗することが知られている<ref>{{Cite book|last1=Hornstein|first1=Norbert|url=https://books.google.com/books?id=XoxsDwAAQBAJ&dq=adger+%22goldilocks%22&pg=PA153|title=Syntactic Structures after 60 Years: The Impact of the Chomskyan Revolution in Linguistics|last2=Lasnik|first2=Howard|last3=Patel-Grosz|first3=Pritty|last4=Yang|first4=Charles|date=2018-01-09|publisher=Walter de Gruyter GmbH & Co KG|isbn=978-1-5015-0692-5|language=en}}</ref>。

== 参考項目 ==
{{div col|colwidth=18em}}
* {{ill2|キャッシュ言語モデル|en|Cache language model|label=}} - 確率分布によって特定の単語列に確率を割り当てる統計的な言語モデル
* {{Ill2|深層言語処理|en|Deep linguistic processing}} - 理論的・記述的言語学における主に理論的な統語論／意味論を用いた言語モデル
* {{Ill2|Factored language model|en|Factored language model}} - 各単語をk個の因子のベクトルと見なした言語モデル
* [[GPT (言語モデル)|生成的事前学習トランスフォーマー]]（Generative pre-trained transformers、GPT）- 事前学習と転位学習を組み合わせたニューラル言語モデルの一種
* {{Ill2|Katzバックオフモデル|en|Katz's back-off model}}- 生成的なn-gram言語モデルをの一種
* [[言語技術]] - コンピュータ機器が人間のテキストや音声を扱う方法を研究する学問領域
* [[統計モデル]] - 標本データの生成に関する統計的仮定を具現化した数学モデル
* [[人工知能の倫理]] - 人工知能システムに特化した技術倫理の一分野
{{div col end}}


== 備考 ==
{{notelist}}

== 脚注 ==
{{Reflist|refs=
<ref name=Manning-2022>{{cite journal
|last=Manning|first=Christopher D.|author-link=Christopher D. Manning
|title=Human Language Understanding & Reasoning
|journal=Daedalus
|year=2022
|url=https://www.amacad.org/publication/human-language-understanding-reasoning
}}</ref>
<ref name=jm>{{cite book
|last1=Jurafsky |first1=Dan |last2=Martin |first2=James H. 
|title=Speech and Language Processing 
|date=7 January 2023 |edition=3rd edition draft
|url=https://web.stanford.edu/~jurafsky/slp3/ed3book_jan72023.pdf
|access-date=24 May 2022 
|chapter=N-gram Language Models
}}</ref>
}}

== 推薦文献 ==
{{refbegin}}
* {{cite conference | authors = J M Ponte and W B Croft | citeseerx=10.1.1.117.4237 | title = A Language Modeling Approach to Information Retrieval | book-title=Research and Development in Information Retrieval | year=1998 | pages=275–281 }}
* {{cite conference | authors = F Song and W B Croft | citeseerx=10.1.1.21.6467 |title=A General Language Model for Information Retrieval | book-title=Research and Development in Information Retrieval |year=1999 | pages=279–280 }}
* {{cite techreport |first=Stanley |last=Chen |author2=Joshua Goodman |title=An Empirical Study of Smoothing Techniques for Language Modeling |institution=Harvard University |year=1998  |citeseerx=10.1.1.131.5458 }}
{{refend}}

{{Natural language processing}}

{{DEFAULTSORT:けんこもてる}}
[[Category:自然言語処理]]
[[Category:種類別のモデル]]
[[Category:確率分布]]
[[Category:言語モデル|*]]