Tf-idfのソースを表示

{{小文字}}
<!-- [[en:tf-idf]] (oldid=1071253989)より翻訳。 -->
[[情報検索]]の分野において、'''tf–idf''' (または、 '''TF*IDF'''、'''TFIDF'''、'''TF–IDF'''、'''Tf–idf''')は、'''term frequency–inverse document frequency'''の略であり、[[コーパス]]や収集された[[文書]]群において、ある[[単語]]がいかに重要なのかを反映させることを意図した[[統計量]]（[[数値]]）である<ref>{{Cite book |last1= Rajaraman |first1=A. |last2= Ullman |first2= J.D. |doi= 10.1017/CBO9781139058452.002 |chapter= Data Mining |title= Mining of Massive Datasets |pages= 1–17 |year= 2011 |isbn= 978-1-139-05845-2 |chapter-url= http://i.stanford.edu/~ullman/mmds/ch1.pdf}}</ref>。また、tf-idfは情報検索や、[[テキストマイニング]]、{{仮リンク|ユーザーモデリング|en|user modeling|label=}}における{{仮リンク|重み係数|en|weighting factor|label=}}にもよく用いられる。ある単語のtf-idfの値は文書内におけるその単語の出現回数に[[比例]]して増加し、また、その単語を含むコーパス内の文書数によってその増加が相殺される。この性質は、一般にいくつかの単語はより出現しやすいという事実をうまく調整することに役立っている。今日、tf-idfはもっとも有名な語の重みづけ(term-weighting)手法である。2015年に行われた研究では、[[電子図書館]]におけるテキストベースの[[レコメンダシステム]]のうち83%がtf-idfを利用していたことがわかった<ref>{{Cite journal |last1= Breitinger |first1=Corinna |last2=Gipp |first2= Bela |last3=Langer |first3=Stefan |date= 2015-07-26 |title= Research-paper recommender systems: a literature survey |journal= International Journal on Digital Libraries |language=en |volume=17 |issue=4 |pages= 305–338 |doi= 10.1007/s00799-015-0156-0 |s2cid=207035184 |issn= 1432-5012 |url=http://nbn-resolving.de/urn:nbn:de:bsz:352-0-311312 }}</ref>。

tf-idfの重み付け手法を変形したものは、ユーザーのクエリ（検索ワード）から文書の[[適合性 (情報検索)|適合性]]を得点化し、順位づけする際の中心的なツールとして、よく[[検索エンジン]]で用いられている。tf-idfは、[[自動要約]]や[[文書分類]]といった様々な分野において、{{仮リンク|ストップワード|en|stop-words|label=}}によるフィルタリングを行うことでうまく動作できる。

最もシンプルな{{仮リンク|順位付け関数|en|ranking function|label=順位付け関数(ranking function)}}の一つは、クエリに含まれる語ごとのtf-idfの和を計算することで実装される。たくさんのより洗練された順位付け関数はこのシンプルなモデルの変形となっている。

== 動機 ==
=== Term frequency (単語頻度) ===
英語文書の集合を扱っていると仮定し、それらを"the brown cow"というクエリにより関連する順に並べたいとする。問題に取り掛かる上で、シンプルな方法は、"the"、"brown"、"cow"の3つの単語のすべてを含まない文書を除くことであるが、これではたくさん文書がまだ残ってしまう。さらにそれらを区別するために、もしかすると各文書で各単語が何度出現しているかを数えるかもしれない。ある文書内にある単語が何回出現したかという数をその単語の''term frequency''と呼ぶ。しかし、文書の長さにばらつきがある場合、調整が必要となることが多い（詳細は[[Tf-idf#定義|定義]]を参照）。最初の語の重み付け手法は{{仮リンク|Hans Peter Luhn|en|Hans Peter Luhn|label=Hans Peter Luhn}}(1957)により、その内容は以下のようにまとめられうる<ref>{{Cite journal |last=Luhn |first=Hans Peter |date=1957 |title= A Statistical Approach to Mechanized Encoding and Searching of Literary Information |url= https://web.stanford.edu/class/linguist289/luhn57.pdf |journal= IBM Journal of Research and Development |volume=1 |issue=4 |quote= There is also the probability that the more frequently a notion and combination of notions occur, the more importance the author attaches to them as reflecting the essence of his overall idea. |pages=309–317 |doi= 10.1147/rd.14.0309 |accessdate= 2 March 2015}}</ref>。

{{Quote|text=文書内の単語の重みは、その出現頻度に単純に比例する。}}

=== Inverse document frequency (逆文書頻度) ===
"the"という語が非常に普遍であるために、より意味のある単語である"brown"や"cow"に十分な重みを与えず、term frequencyは、"the"という語をより高頻度に含む文書を誤って強調してしまう傾向がある。"the"という語は、普遍的ではない"brown"や"cow"という語とは異なり、文書や単語がクエリに関連している・関連していないと区別するためのキーワードとしてよいものではない。それゆえに、文書集合において非常に出現頻度の高い語の重みを減らし、珍しい語の重みを増加させるため、''inverse document frequency''が用いられている。

{{仮リンク|Karen Spärck Jones|en|Karen Spärck Jones|label=Karen Spärck Jones}}(1972) はInverse Document Frequency (idf) と呼ばれる単語の特異性の統計的解釈を考案し、その考えは単語の重み付けの基礎概念となっている<ref>{{Cite journal|last=Spärck Jones|first=K.|author-link=|year=1972|title=A Statistical Interpretation of Term Specificity and Its Application in Retrieval|journal=Journal of Documentation|volume=28|pages=11–21|doi=10.1108/eb026526|citeseerx=10.1.1.115.8343}}</ref>。

{{Quote|text=単語の特異性は、その単語が出現した文書数の逆関数によって定量化できる。}}

== 定義 ==

# tf-idfは2つの統計量、''term frequency (tf)と、inverse document frequency (idf)'' の積である。双方の統計量には、厳密な値を決定するために様々な手法が存在している。
# 式は、文書やWebページにおけるキーワードやフレーズの重要性を定義することを目的とする。

{| class="wikitable" style="float: right; margin-left: 1.5em; margin-right: 0; margin-top: 0;"
|+ term frequency (tf) 重みの計算手法
! 重み付け手法
! tf 重み
|-
| binary 
(2値)
| <math>{0,1}</math>
|-
| raw count
(出現頻度をそのまま使用)
| <math> f_{t,d}</math>
|-
|term frequency
(標準的な単語頻度)
|<math> f_{t,d} \Bigg/ {\sum_{t' \in d}{f_{t',d}}}</math>
|-
| log normalization
(対数による正規化)
|  <math> \log (1 + f_{t,d})</math>
|-
| double normalization 0.5
(二重0.5正規化)
|  <math>0.5 + 0.5 \cdot \frac { f_{t,d} }{\max_{\{t' \in d\}} {f_{t',d}}} </math>
|-
| double normalization K
(二重K正規化)
|  <math>K + (1 - K) \frac { f_{t,d} }{\max_{\{t' \in d\}} {f_{t',d}}} </math>
|}

=== Term frequency (単語頻度) ===

'''term frequency (tf)''' は文書{{Math|''d''}}の中での、語{{Math|''t''}}の相対度数である。<math> \mathrm{tf}(t,d) = \frac{f_{t,d}}{{\sum_{t' \in d}{f_{t',d}}}}</math>,

{{Math|''f''<sub>''t'',''d''</sub>}}は文書に含まれるその語の出現頻度(''raw count'')である。すなわち、語{{Mvar|t}}が文書{{Mvar|d}}に何回出現したかを意味する。単純には、分母には文書{{Math|''d''}}に含まれる単語数を用いる（この場合、同じ単語が複数出現しても区別して数える）。{{Math|tf(''t'',''d'')}}の定義は他にも様々なものがある<ref>{{Cite book|last1=Manning|first1=C.D.|last2=Raghavan|first2=P.|last3=Schutze|first3=H.|doi=10.1017/CBO9780511809071.007|chapter=Scoring, term weighting, and the vector space model|title=Introduction to Information Retrieval|pages=100|year=2008|isbn=978-0-511-80907-1|chapter-url=http://nlp.stanford.edu/IR-book/pdf/06vect.pdf}}</ref>{{Rp|128}}。

* [[ブール代数]]に基づく「頻度」(binary): {{Mvar|t}}が{{Mvar|d}}に存在すれば、 {{Math|1=tf(''t'',''d'') = 1}}、 それ以外の場合は{{Math|1=tf(''t'',''d'') = 0}};
* 出現頻度をそのまま用いる(raw count): {{Math|1=tf(''t'',''d'') = ''f''<sub>''t'',''d''</sub>}};
* 文書の長さを調整するもの(term frequency, 上式と同じ): {{Math|1=tf(''t'',''d'') = ''f''<sub>''t'',''d''</sub> ÷ (dに含まれる単語数)}};
* [[対数スケール]]の頻度(log normalization): {{Math|1=tf(''t'',''d'') = log (1 + ''f''<sub>''t'',''d''</sub>)}}<ref>{{Cite web |title=TFIDF statistics {{!}} SAX-VSM |url=https://jmotif.github.io/sax-vsm_site/morea/algorithm/TFIDF.html |accessdate=2022-03-29}}</ref>;
* 長い文書に偏ることを防ぐために、拡張された頻度。例えば、ある語の出現回数が、文書内で最も出現頻度が高い語の出現回数で除算されるようにされているものなど。
:<math>\mathrm{tf}(t,d) = 0.5 + 0.5 \cdot  \frac{f_{t, d}}{\max\{f_{t', d}:t' \in d\}}</math> (double normalization 0.5)

=== Inverse document frequency (逆文書頻度) ===
{{Clearright}}
{| class="wikitable" style="float: right; margin-left: 1.5em; margin-right: 0; margin-top: 0;"
|+ inverse document frequency (idf) 重みの計算手法
! 重み付け手法
! idf 重み (<math>n_t = |\{d \in D: t \in d\}| </math>)
|-
| idfを使用しない || 1
|-
| inverse document frequency
(標準的なidf)
| <math> \log \frac {N} {n_t} = - \log \frac {n_t} {N} </math>
|-
| inverse document frequency smooth
(+1をして[[スムージング]]を行うidf)
|<math> \log \left( \frac {N} {1 + n_t}\right)+ 1 </math>
|-
| inverse document frequency max
(最大値を取るidf)
|  <math> \log \left(\frac {\max_{\{t' \in d\}} n_{t'}} {1 + n_t}\right) </math>
|-
| probabilistic inverse document frequency
([[確率論]]的idf)
|  <math> \log  \frac {N - n_t} {n_t} </math>
|}

'''inverse document frequency (idf)''' はその単語がどのくらい情報を提供するのかという指標である。すなわち、ある単語が、すべての文書の中で普遍的なのか珍しいのかということである。idfは、その単語の文書頻度の逆数を対数スケールにしたものである。（文書の総数をその単語を含む文書の数で除算し、その商の対数を取ったものとして得られる。）

:<math> \mathrm{idf}(t, D) =  \log \frac{N}{|\{d \in D: t \in d\}|}</math>

この時、
* <math>N</math>: コーパスに含まれる文書の総数 <math>N = {|D|}</math>
* <math> |\{d \in D: t \in d\}| </math> : 単語<math> t </math>が出現する文書の数 （すなわち、 <math> \mathrm{tf}(t,d) \neq 0</math>でなくてはならない）。 もしその語がコーパスに存在しない場合、これはゼロ除算を招く。それゆえに、分母を<math>1 + |\{d \in D: t \in d\}|</math>と調整するのが一般的である。

[[ファイル:Plot IDF functions.png|thumb|異なるidf関数(標準、スムージングあり、確率論的idf）グラフのプロット]]

=== Term frequency–inverse document frequency (tf-idf) ===

ここで、tf-idfは次のように計算される。

:<math>\mathrm{tfidf}(t,d,D) = \mathrm{tf}(t,d) \cdot \mathrm{idf}(t, D)</math>

tf-idfの重みが高くなるのは、（与えられた文書内で）その単語の単語頻度(term frequency, tf)が高く、かつ、文書集合全体においてその単語の文書頻度(document frequency, df)が低い場合である。それゆえに、重みは普遍的な語をフィルタする傾向がある。idfの対数内の分数は常に1以上となるため、idf（とtf-idf)の値は常に0以上になる。単語がより多くの文書に現れる場合、対数の中の分数は1に近づき、それゆえにidfとtf-idfは0に近づく。

{| class="wikitable" style="float: top; margin-left: 0; margin-right: 1.5em; margin-top: 0;"
|+ 推奨されているtf–idf重み付け手法
! 重み付け手法
! 文書における利用
! クエリにおける利用
|-
| 1|| <math> f_{t,d} \cdot \log \frac {N} {n_t} </math> || <math> \left(0.5 + 0.5 \frac {f_{t,q}} {\max_t f_{t,q}}\right) \cdot \log \frac {N} {n_t} </math>
|-
| 2 || <math> \log(1+f_{t,d})</math> || <math>  \log \left(1 + \frac {N} {n_t}\right) </math>
|-
| 3 ||  <math> (1 + \log f_{t,d}) \cdot \log \frac {N} {n_t} </math> ||  <math> (1 + \log f_{t,q}) \cdot \log \frac {N} {n_t} </math>
|}

== idfの正当化 ==
idfは1972年の{{仮リンク|Karen Spärck Jones|en|Karen Spärck Jones|label=Karen Spärck Jones}}の論文によって「単語の特異性」として導入された。idfは[[ヒューリスティクス]]でうまくいくとされてきたにもかかわらず、その論理的な基礎は少なくとも30年以上悩みの種となっており、多くの研究者が[[情報理論]]的な正当化を試み続けている<ref name="understanding">{{Cite journal| doi = 10.1108/00220410410560582| title = Understanding inverse document frequency: On theoretical arguments for IDF| journal = Journal of Documentation| volume = 60| issue = 5| pages = 503–520| year = 2004| last1 = Robertson | first1 = S. | author-link1 = Stephen Robertson (computer scientist)}}</ref>。

Spärck Jonesは自身の説明の中で、[[ジップの法則]]を別にして、十分な理論を提供していない<ref name="understanding" />。与えられた文書{{Mvar|d}}が語{{Mvar|t}}を含む確率を、相対文書頻度として推定することによって、idfを[[確率論]]的基盤に置こうとする試みが行われてきている<ref>See also [http://nlp.stanford.edu/IR-book/html/htmledition/probability-estimates-in-practice-1.html#p:justificationofidf Probability estimates in practice] in ''Introduction to Information Retrieval''.</ref>。

<math>
P(t|D) = \frac{|\{d \in D: t \in d\}|}{N},
</math>

idfを次のように定義すると、

:<math>
\begin{align}
\mathrm{idf} & = -\log P(t|D) \\
             & = \log \frac{1}{P(t|D)} \\
             & = \log \frac{N}{|\{d \in D: t \in d\}|}
\end{align}
</math>

つまり、逆文書頻度は対数を取った「逆」相対文書頻度となる。

また、この確率論的解釈は[[情報量|自己情報量]]と同じ形を取る。しかし、そのような情報理論的概念を情報検索の問題に応用すると、必要な[[確率分布]]に適切な[[確率空間]]を定義する際、文書だけでなく、クエリや単語を考慮する必要があるため、問題が生ずる<ref name="understanding" />。

== 情報理論との関係 ==

term frequency (tf) とinverse document frequency (idf) の両者は[[情報理論]]の観点から定式化されうる。この考えは、なぜそれらの積が文書の[[結合エントロピー|結合情報量]]の観点から意味があるのかを理解するのに役立つ。分布<math>p(d,t)</math>に関する特徴的な仮定を以下の示す。

:<math>
p(d|t) = \frac{1}{|\{d \in D: t \in d\}|}
</math>

この仮定とその意味は、Aizawaによれば、「ヒューリスティックなtf-idfの使われ方を表している。」という<ref name="Aizawa 2003 45–65">{{Cite journal |last= Aizawa |first=Akiko |title= An information-theoretic perspective of tf–idf measures |journal= Information Processing and Management |language=en |volume=39 |issue=1 |pages= 45–65 |doi= 10.1016/S0306-4573(02)00021-3 |year=2003 }}</ref>。

特定の語<math>t</math>を含む事象を条件として、コーパス<math>D</math>の文書を「ランダムで選択」する{{仮リンク|条件付きエントロピー|en|conditional entropy|label=}}は以下のように示される（全文書は等しい確率で選択されると仮定する）。

:<math>
H({\cal D}|{\cal T}=t)=-\sum_d p_{d|t}\log p_{d|t}=-\log \frac{1}{|\{d \in D: t \in d\}|}=\log \frac{|\{d \in D: t \in d\}|}{|D|} + \log |D|=-\mathrm{idf}(t)+\log |D|
</math>

表記に関して、<math>{\cal D}</math>と<math>{\cal T}</math>は「ランダムな変数」であり、文書や単語がそれぞれ選ばれることに相当する。ここで、[[相互情報量]]は以下のように表される。

:<math>
M({\cal T};{\cal D}) = H({\cal D}) - H({\cal D}|{\cal T}) = \sum_t p_t\cdot(H({\cal D}) - H({\cal D}|W=t))=\sum_t p_t \cdot \mathrm{idf}(t)
</math>

最後のステップは<math>p_t</math>を展開することであり、文書の（ランダムな）選択に関して、条件と無関係に単語を選択する確率であるから、

:<math>
M({\cal T};{\cal D})=\sum_{t,d} p_{t|d}\cdot p_d \cdot \mathrm{idf}(t) =  \sum_{t,d} \mathrm{tf}(t,d)\cdot \frac{1}{|D|}\cdot \mathrm{idf}(t) = \frac{1}{|D|} \sum_{t,d} \mathrm{tf}(t,d)\cdot \mathrm{idf}(t).
</math>

この式は、すべての有効な単語と文書のtf-idfの和は、文書と単語の[[同時確率分布]]の特異性のすべてを考慮した、文書と単語の間の相互情報量に立ち戻ることを表している<ref name="Aizawa 2003 45–65" />。それゆえに、それぞれのtf-idfは、ある単語と文書のペアに付け足された、「情報のかけら([[ビット|bit]] of information)」を意味している。

== tf–idfの例 ==
2つの文書からのみ構成されるコーパスの単語カウント表（右に示す）を扱うと仮定する。

{| class="wikitable" style="float: right; margin-left: 1.5em; margin-right: 0; margin-top: 0;"
|+ 文書2
! 語
! | 語のカウント
|-
| this || 1
|-
| is
| 1
|-
| another
| 2
|-
| example
| 3
|}
{| class="wikitable" style="float: right; margin-left: 1.5em; margin-right: 0; margin-top: 0;"
|+ 文書1
! 語
! 語のカウント
|-
| this || 1
|-
| is
| 1
|-
| a
| 2
|-
| sample
| 1
|}

語"this"のtf-idfは以下のように計算される。

出現頻度をそのままtfとして用いる場合、tfはそれぞれの文書の"this"の頻度と同じになる。標準的な文書長を調整するtfでは、各文書において単語"this"は1度現れるが、文書2はより多くの単語を含むため、相対頻度は小さくなる。
:<math>  \mathrm{tf}(\mathsf{''this''}, d_{1}) = \frac{1}{5} = 0.2 </math>
:<math>  \mathrm{tf}(\mathsf{''this''}, d_{2}) = \frac{1}{7} \approx 0.14 </math>

idfはコーパス毎の定数であり、"this"という単語を含む文書の比率から'''成り立って'''いる。この事例では、2つの文書からなるコーパスを扱い、それらはすべて"this"という語を含んでいる。
:<math>  \mathrm{idf}(\mathsf{''this''}, D) =  \log \left (\frac{2}{2}  \right ) = 0 </math>

つまり、"this"という語のtf-idfはゼロである。これはこの単語がすべての文書に現れることから、その単語が有益でないでないこと示唆している。
:<math>   \mathrm{tfidf}(\mathsf{''this''}, d_{1}, D) = 0.2 \times 0 = 0 </math>
:<math>   \mathrm{tfidf}(\mathsf{''this''}, d_{2}, D) = 0.14 \times 0 = 0 </math>

"example"という語はより興味深く――3度現れるが、文書2にしか現れない。
:<math>  \mathrm{tf}(\mathsf{''example''}, d_{1}) = \frac{0}{5} = 0 </math>
:<math>  \mathrm{tf}(\mathsf{''example''}, d_{2}) = \frac{3}{7} \approx 0.429 </math>
:<math>  \mathrm{idf}(\mathsf{''example''}, D) =  \log \left (\frac{2}{1}  \right ) = 0.301 </math>

最終的には,
:<math>\mathrm{tfidf}(\mathsf{''example''}, d_1, D) = \mathrm{tf}(\mathsf{''example''}, d_1) \times \mathrm{idf}(\mathsf{''example''}, D) = 0 \times 0.301 = 0</math>
:<math>\mathrm{tfidf}(\mathsf{''example''}, d_2, D) = \mathrm{tf}(\mathsf{''example''}, d_2) \times \mathrm{idf}(\mathsf{''example''}, D) = 0.429 \times 0.301 \approx 0.129</math>

(対数は[[常用対数]]を用いている。)

== 単語以外への応用 ==
tf-idfの背後にある考えは、単語以外の存在にも応用される。[[1998年]]にはidfのコンセプトが[[引用分析]]に応用された<ref>{{Cite book|last1=Bollacker|first1=Kurt D.|last2=Lawrence|first2=Steve|last3=Giles|first3=C. Lee|date=1998-01-01|title=CiteSeer: An Autonomous Web Agent for Automatic Retrieval and Identification of Interesting Publications|journal=Proceedings of the Second International Conference on Autonomous Agents|series=AGENTS '98|pages=116–123|doi=10.1145/280765.280786|isbn=978-0-89791-983-8|s2cid=3526393|url=https://www.semanticscholar.org/paper/b23a5a62b7cb5278ceb5a6cc021c28a92041d792}}</ref>。筆者は「もし非常に珍しい引用が2つの文書によって共有されたならば、その引用された文書はたくさんの文書によって引用されている文書よりもより高く重み付けされるべきである。」と主張した。加えて、動画や内における[[物体検出|物体マッチング]]を行うための「{{仮リンク|Visual Word|en|Visual Word|label=visual words}}」や<ref>{{Cite book|last1=Sivic|first1=Josef|last2=Zisserman|first2=Andrew|date=2003-01-01|title=Video Google: A Text Retrieval Approach to Object Matching in Videos|url=http://dl.acm.org/citation.cfm?id=946247.946751|journal=Proceedings of the Ninth IEEE International Conference on Computer Vision – Volume 2|series=ICCV '03|pages=1470–|doi=10.1109/ICCV.2003.1238663|isbn=978-0-7695-1950-0|s2cid=14457153}}</ref>全文検索にも<ref>{{Cite web|和書|url=http://research.nii.ac.jp/ntcir/workshop/OnlineProceedings3/NTCIR3-TSC-SekiY.pdf |title=Sentence Extraction by tf/idf and Position Weighting from Newspaper Articles |last=Seki |first=Yohei |publisher=National Institute of Informatics |accessdate=2022-03-29}}</ref>tf-idfは応用されている。しかし、tf-idfのコンセプトは、すべての手法において、単純な（idf成分を除いた）tfのみの手法よりも効果的であるという証明はされていない。tf-idfを引用分析に応用する際には、研究者はidf重みをもたない単純な引用回数重みを超える精度向上を確認することができなかった<ref>{{Cite journal|last1=Beel|first1=Joeran|last2=Breitinger|first2=Corinna|year=2017|title=Evaluating the CC-IDF citation-weighting scheme – How effectively can 'Inverse Document Frequency' (IDF) be applied to references?|url=http://beel.org/publications/2017%20iConference%20--%20Evaluating%20the%20CC-IDF%20citation-weighting%20scheme%20--%20preprint.pdf|journal=Proceedings of the 12th IConference}}</ref>。

== tf-idfの派生 ==
多数の単語重み付け手法はtf-idfからの派生である。そのうちの一つはTF-PDF (term frequency * [[比例|proportional]] document frequency) である<ref>{{Cite book|last1=Khoo Khyou Bun|last2=Bun|first2=Khoo Khyou|last3=Ishizuka|first3=M.|title=Emerging Topic Tracking System|journal=Proceedings Third International Workshop on Advanced Issues of E-Commerce and Web-Based Information Systems. WECWIS 2001|pages=2|language=en-US|doi=10.1109/wecwis.2001.933900|year=2001|isbn=978-0-7695-1224-2|citeseerx=10.1.1.16.7986|s2cid=1049263}}</ref>。TF-PDFは[[2001年]]にメディアにおける新たなトピックを特定するという文脈で導入された。PDF成分は異なるドメインの中でどのくらいの頻度である単語が出現したかの差を測定する。他の派生にはTF-IDuFがある。TF-IDuFでは<ref>{{Cite journal|last1=Langer|first1=Stefan|last2=Gipp|first2=Bela|year=2017|title=TF-IDuF: A Novel Term-Weighting Scheme for User Modeling based on Users' Personal Document Collections|url=https://www.gipp.com/wp-content/papercite-data/pdf/beel17.pdf|journal=IConference}}</ref>、idfは文書コーパスに基づき計算されず、検索または推薦される。例えば、idfはユーザの個人的な文書コレクションに基づいて計算される。その著者らはTF-IDuFはtf-idfと等しく効果的であるが、例えば、{{仮リンク|ユーザーモデリング|en|user modeling|label=}}システムにおいて、外部の文書コーパスにアクセスできない時などに、応用可能であると報告している。

==関連項目==
{{Div col|colwidth=25em}}
* [[自然言語処理]]
* [[単語の埋め込み]]
* [[カルバック・ライブラー情報量]]
* {{仮リンク|潜在的ディリクレ配分法 (LDA)|en|Latent Dirichlet allocation|label=}}
* [[潜在意味解析]]
* [[相互情報量]]
* [[名詞句]]
* [[Okapi BM25]]
* [[ページランク]]
* [[ベクトル空間モデル]]
* {{仮リンク|単語カウント|en|Word count|label=}}
* {{仮リンク|SMART Information Retrieval System|en|SMART Information Retrieval System|label=}}
{{Div col end}}

==参考文献==
{{Reflist}}
* {{Cite book
 | last1 = Salton
 | first1 = G
 | author-link1 = Gerard Salton
 | last2 = McGill
 | first2 = M. J.
 | year = 1986
 | title = Introduction to modern information retrieval
 | publisher = [[マグロウヒル・エデュケーション|McGraw-Hill]]
 | isbn = 978-0-07-054484-0
 | url-access = registration
 | url = https://archive.org/details/introductiontomo00salt
 }}
* {{Cite journal | doi = 10.1145/182.358466| title = Extended Boolean information retrieval| journal = Communications of the ACM| volume = 26| issue = 11| pages = 1022–1036| year = 1983| last1 = Salton | first1 = G. | author-link1 = Gerard Salton| last2 = Fox | first2 = E. A. | last3 = Wu | first3 = H. | hdl = 1813/6351| s2cid = 207180535| hdl-access = free}}
* {{Cite journal |doi= 10.1016/0306-4573(88)90021-0 |title= Term-weighting approaches in automatic text retrieval| journal= Information Processing & Management |volume= 24 |issue=5 |pages= 513–523 |year= 1988 |last1= Salton |first1=G. |author-link1= Gerard Salton |last2= Buckley |first2=C. |hdl= 1813/6721|url= https://ecommons.cornell.edu/bitstream/1813/6721/1/87-881.pdf |hdl-access= free }}
* {{Cite journal |doi= 10.1145/1361684.1361686 |title= Interpreting TF-IDF term weights as making relevance decisions |journal= ACM Transactions on Information Systems |volume= 26 |issue= 3 |pages= 1 |year= 2008 |last1= Wu |first1=H. C. |last2= Luk |first2= R.W.P. |last3= Wong |first3= K.F. |last4= Kwok |first4= K.L. |hdl= 10397/10130 |s2cid= 18303048 |url= https://www.semanticscholar.org/paper/f6bbbf2cc785cf96019dcd9c41ab1801aad962dd |hdl-access= free }}

== 外部リンクと推薦図書 ==
* [[Gensim]]は[[ベクトル空間モデル]]とtf-idf重み付けを含むPythonのライブラリである。
* [http://www.codeproject.com/KB/IP/AnatomyOfASearchEngine1.aspx Anatomy of a search engine]
* [http://lucene.apache.org/core/3_6_1/api/all/org/apache/lucene/search/Similarity.html tf–idf and related definitions] （[[Apache Lucene|Lucene]]で使われている）
* [http://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.TfidfTransformer.html#sklearn.feature_extraction.text.TfidfTransformer TfidfTransformer] [[scikit-learn]]のtf-idf実装。
* [http://scgroup.hpclab.ceid.upatras.gr/scgroup/Projects/TMG/ Text to Matrix Generator (TMG)]  MATLABツールボックスはテキストマイニング(TM)の様々なタスク向けに利用できる。特に i) 索引作成 ii) 情報検索 iii) 次元削減 iv) クラスタリング v) 分類 タスクである。索引作成の段階はユーザに任せられており、tf-idfを含めたローカル、あるいはグローバルの重み付け手法を適用する必要がある。
* [https://www.opinosis-analytics.com/knowledge-base/term-frequency-explained/ Term-frequency explained] term-frequencyの説明

<!-- Wikipedia 翻訳支援ツール Ver1.32、[[:en:Tf–idf]]（2022年2月11日 16:51:44(UTC)）より -->

{{DEFAULTSORT:Tf-Idf}}
[[Category:アルゴリズム]]
[[Category:自然言語処理]]