転移学習

提供: testwiki
ナビゲーションに移動 検索に移動

転移学習（てんいがくしゅう、テンプレート:Lang-en-short）は、ある問題を解決する際に得た知識を蓄積し、関連する別の問題にそれを適用することに焦点を当てた機械学習の研究領域である[1]。たとえば、乗用車を認識するために得た知識は、トラックを認識するためにも応用できるかもしれない。この研究領域は、テンプレート:仮リンクに関する長い歴史を持つ心理学の文献と何かの関係をもつが、2つの分野の実用的な結びつきは限定的である。実用的な面では、過去に学習した仕事の情報を新たな仕事の学習のために再利用または転送することで、強化学習手段のサンプル効率を大幅に改善することができる可能性がある[2]。

歴史

1976年、Stevo BozinovskiとAnte Fulgosiは、ニューラルネットワークの学習における転移学習に明示的に取り組んだ論文を発表した[3][4]。この論文では、転移学習の数学的および幾何学的モデルを示している。1981年には、コンピュータ端末の文字を表す画像のデータセットに対して、転移学習を適用してニューラルネットワークを学習させた研究が報告された。ポジティブとネガティブな両方の転移学習が実験的に実証された[5]。

1993年、Lorien Prattは、機械学習における転移についての論文を発表し、識別性に基づく転移アルゴリズムを定式化した[6]。

アンドリュー・ンは、NIPS 2016のチュートリアルで[7][8][9]、転移学習は教師あり学習の次に機械学習の商業的成功の原動力になると述べ、その重要性を強調した。

定義

転移学習の定義は、ドメインとタスクの観点から与えられる。ドメイン 𝒟 は、特徴空間 𝒳 と周辺確率分布 P(X) からなり、ここに X={x1,...,xn}∈𝒳 とする。特定のドメイン 𝒟={𝒳,P(X)} が与えられた場合、タスクは、ラベル空間 𝒴 と、目標の予測関数 f:𝒳→𝒴 の2つの要素から構成される。この関数 f は、新しいインスタンス x の対応するラベル f(x) を予測するために用いられる。このタスクは、𝒯={𝒴,f(x)} で示され、xi∈X、yi∈𝒴 のペア {xi,yi} からなる学習データから学習される[10]。

ソースドメイン 𝒟S と学習タスク 𝒯S 、ターゲットドメイン 𝒟Tと学習タスク 𝒯T が与えられ、ここで 𝒟S≠𝒟T、𝒯S≠𝒯T の場合、転移学習の目的は、 𝒟S と 𝒯S の知識を用いて、𝒟T の対象の予測関数 fT(⋅) の学習を改善することである[10]。

応用

テンプレート:仮リンク[11]やベイジアンネットワーク[12]における転移学習のアルゴリズムが利用可能である。また、転移学習は、癌（がん）の亜類型の発見[13]、建物運用[14][15]、テンプレート:仮リンク、文書分類[16][17][18]、文字認識[19]、医療画像、スパムフィルタリング[20]にも応用されている。

2020年に、脳波記録（EEG）波形の動きをジェスチャー認識領域から精神状態認識領域へ分類するときに、その物理的性質が似ていることから、筋肉からの電気筋運動記録（EMG）信号間で転移学習が可能であることが発見された。また、この関係は逆にも作用し、脳波記録が筋運動記録をさらに分類できることも示された[21]。この実験では、ニューラルネットワークおよび畳み込みニューラルネットワークの精度が、最初のエポック（学習前、つまり標準的なランダムな重み分布との比較）と漸近（学習プロセスの終了）の両方で、転移学習によって向上することが分かった[22]。すなわちアルゴリズムは別のドメインに触れさせることで改善された。さらに、事前学習されたモデルの最終使用者は、完全結合層の構造を変更することで、より優れた性能を得ることができる[23]。

コードに関する機械学習の領域では[24]、転移学習がセキュリティ上の脆弱性を自動的に修復するのに役立つことが示されている[25]。

参照項目

脚注

テンプレート:Reflist

推薦文献

  1. ↑ テンプレート:Cite web
  2. ↑ テンプレート:Cite journal
  3. ↑ Stevo. Bozinovski and Ante Fulgosi (1976). "The influence of pattern similarity and transfer learning upon the training of a base perceptron B2." (original in Croatian) Proceedings of Symposium Informatica 3-121-5, Bled.
  4. ↑ Stevo Bozinovski (2020) "Reminder of the first paper on transfer learning in neural networks, 1976". Informatica 44: 291–302.
  5. ↑ S. Bozinovski (1981). "Teaching space: A representation concept for adaptive pattern classification." COINS Technical Report, the University of Massachusetts at Amherst, No 81-28 [available online: UM-CS-1981-028.pdf]
  6. ↑ テンプレート:Cite book
  7. ↑ テンプレート:Citation
  8. ↑ テンプレート:Cite web
  9. ↑ Nuts and bolts of building AI applications using Deep Learning, slides
  10. ↑ 10.0 10.1 テンプレート:Cite journal Material was copied from this source, which is available under a Creative Commons Attribution 4.0 International License.
  11. ↑ テンプレート:Citation
  12. ↑ テンプレート:Citation
  13. ↑ Hajiramezanali, E. & Dadaneh, S. Z. & Karbalayghareh, A. & Zhou, Z. & Qian, X. Bayesian multi-domain learning for cancer subtype discovery from next-generation sequencing count data. 32nd Conference on Neural Information Processing Systems (NeurIPS 2018), Montréal, Canada. テンプレート:ArXiv
  14. ↑ テンプレート:Cite conference
  15. ↑ テンプレート:Cite journal
  16. ↑ Banerjee, Bikramjit, and Peter Stone. "General Game Learning Using Knowledge Transfer." IJCAI. 2007.
  17. ↑ テンプレート:Cite conference
  18. ↑ テンプレート:Cite conference
  19. ↑ テンプレート:Cite journal
  20. ↑ テンプレート:Cite conference
  21. ↑ テンプレート:Cite journal
  22. ↑ テンプレート:Cite journal
  23. ↑ Kabir, H. M., Abdar, M., Jalali, S. M. J., Khosravi, A., Atiya, A. F., Nahavandi, S., & Srinivasan, D. (2020). Spinalnet: Deep neural network with gradual input. arXiv preprint arXiv:2007.03347.
  24. ↑ テンプレート:Cite journal
  25. ↑ テンプレート:Cite journal
「https://ja.wiki.beta.math.wmflabs.org/w/index.php?title=転移学習&oldid=12980」から取得