音声合成のソースを表示

{{redirect|読み上げソフト|[[健聴者|耳が聞こえる]][[視覚障害者]]向けに[[ウェブサイト]]などの[[コンピューター]]上の表示を読み上げる[[ソフトウェア]]|スクリーンリーダー}}
'''音声合成'''（おんせいごうせい、[[英語|英]]: speech synthesis）とは、[[人間]]の[[音声]]を人工的に作り出すことである<ref>"Speech synthesis is the task of generating speech waveforms" Wang, et al. (2021). ''FAIRSEQ S<sup>2</sup> : A Scalable and Integrable Speech Synthesis Toolkit''.</ref>。

== 概要 ==
[[ヒト]]は発声器官を通じて[[音声]]を生成し、コミュニケーションを行なう（[[会話]]や[[演説]]、講演、各種[[芸能]]およびその中継や録音・録画など）。この音声を人工的に生成するタスクが'''音声合成'''である。合成された音声を'''合成音声'''（ごうせいおんせい）と呼ぶ。

音声合成は様々な手法で実現できる。ある種の[[楽器]]は人の声に似た音を発し、また人の喉を模倣した機械に風を吹き込むことで人の声に似た音が生成できる。[[コンピューター]]を用い、[[音声情報処理]]の一種としてデジタル的に音声を合成することもできる。

{{要出典範囲|2020年代においては、コンピューターを使えば実音声と聞き分け不可能な音声合成が可能になっている|date=2025年3月}}。さらに[[人工知能]]（AI）を用いることで、ある人物が実際には話していない発言を映像とともに偽造すること（[[ディープフェイク]]）や、自分の声を学習させて[[癌]]手術による[[声帯]]手術などで発声ができなくなった後でも[[スマートフォン]]に入力したテキスト文を自分の声色に似せて音声合成する技術<ref>[https://www.chunichi.co.jp/article/524275 【Hope】失った私の声で会話を／AI学習 そっくり再現：ベンチャー無償提供がん患者らに希望]『[[東京新聞]]』夕刊2022年8月20日1面（2022年8月27日閲覧）</ref>も実用化されている。

音声には言語内容・話者性・感情など様々な情報が含まれており、音声合成では望んだ属性をもつ合成音声の生成が求められる<ref name=":2">"with desired characteristics, including but not limited to textual content ..., speaker identity ..., and speaking styles" Wang, et al. (2021). ''FAIRSEQ S<sup>2</sup> : A Scalable and Integrable Speech Synthesis Toolkit''.</ref>。生成にあたり望む属性を外部から入力し生成がおこなわれる。テキスト（文章）を入力し、望む言語内容の音声を生成するタスクは '''テキスト音声合成'''（{{lang-en-short|Text-To-Speech}}; '''TTS'''）と呼ばれる。歌声を合成するものは特に[[ボーカルシンセサイザー|歌声合成]]と呼ばれる。また、音声を別の個人あるいは[[キャラクター]]の音声に変換する手法は'''声質変換'''と呼ばれる。

音声合成は幅広い用途で実利用されている（⇒ [[#用途]]）。その発展を目指して様々な団体が研究をおこなっている（⇒ [[#研究]]）。

== 歴史 ==
現代的な信号処理手法が発明されるずっと以前から、[[西アフリカ]]の[[トーキングドラム]]等のように音声を模倣する試みがなされてきた。

[[1779年]]には、[[クリスティアン・クラッツェンシュタイン]]により[[母音]]を発声できる機械が製作された<ref name=Helsinki>[http://www.acoustics.hut.fi/~slemmett/dippa/chap2.html History and Development of Speech Synthesis (Helsinki University of Technology) - 英語]</ref>。この流れは[[鞴|ふいご]]を使った機械式音声合成器を作った[[オーストリア]]の[[ヴォルフガング・フォン・ケンペレン]]に引き継がれた。彼は[[1791年]]に論文''Mechanismus der menschlichen Sprache nebst der Beschreibung seiner sprechenden Maschine''（『音声の仕組みとしゃべる機械の解説』）を発表し、その機械について説明している。この機械は[[舌]]と[[唇]]をモデル化しており、母音だけでなく[[子音]]も発音できた。[[1837年]]、[[チャールズ・ホイートストン]]がフォン・ケンペレンのデザインを元にしゃべる機械を製作し、[[1857年]]には、M. FaberがEuphoniaを製作した。ホイートストンの機械は、[[1923年]]にPagetが再現している<ref>Mattingly, Ignatius G. Speech synthesis for phonetic and phonological models. In Thomas A. Sebeok (Ed.), ''Current Trends in Linguistics, Volume 12, Mouton'', The Hague, pp. 2451-2487, 1974.</ref>。

1930年代、[[ベル研究所]]のホーマー・ダドリー（[[:en:Homer Dudley|Homer Dudley]]）は[[電気通信|通信]]用の電子式音声分析・音声合成器であるボコーダー（vocoder、voice coderの略）を開発した。その後これを応用し、音声合成部に[[キーボード (楽器)|キーボード]]を付加した[[鍵盤 (楽器)|鍵盤]][[演奏]]型の音声合成器であるvoderを製作し、[[ニューヨーク万国博覧会 (1939年)]]に出展した。{{要出典範囲|その発声は十分理解可能だったと言われる|date=2025年3月}}。1940年代には、ハスキンズ研究所のフランクリン・S・クーパー（[[:en:Franklin S. Cooper|Franklin S. Cooper]]）らが[[:en:Pattern playback|Pattern playback]]という機械の開発に取り組み、[[1950年]]に完成した。この機械にはいくつかのバージョンがあるが、{{要出典範囲|実際に機能したのは一つだけである|date=2025年3月}}。この機械は、[[スペクトル]]形式の音声パターンの図を音に変換するものであった。アルヴィン・リバーマン（[[:en:Alvin Liberman|Alvin Liberman]]）らは、これを[[音声学]]の研究に利用した。

コンピュータを使った最初の音声合成器は[[1950年代]]終盤に開発され、最初のテキスト音声合成器は[[1968年]]に開発された。[[1961年]]、物理学者のJohn Larry Kelly, Jr.とLouis Gerstmen<ref>http://query.nytimes.com/search/query?ppds=per&v1=GERSTMAN%2C%20LOUIS&sort=newest Louis Gerstmanの死亡記事（NYタイムス）</ref>は、[[ベル研究所]]で[[IBM 704]]を使った音声合成を行った。そして[[デイジー・ベル]]という歌をコンピュータに歌わせた。友人のジョン・ピアース<!-- John Pierce -->を訪ねてベル研究所に来ていた[[アーサー・C・クラーク]]はこのデモを聴いて感銘を受け、[[2001年宇宙の旅]]で[[HAL 9000]]が歌うクライマックスシーンが生まれた<ref name="bell labs hal">[http://www.bell-labs.com/news/1997/march/5/2.html Bell Labs: Where "HAL" First Spoke (Bell Labs Speech Synthesis website)]</ref>。

[[1999年]]には、[[東京工業大学]]のチームにより[[統計学|統計的]]な生成モデルを用いた音声合成の先駆けである[[隠れマルコフモデル]]音声合成が提案された。[[2013年]]には[[Google]]のチームにより[[ディープラーニング|深層学習]]（ディープラーニング）に基づいた音声合成が提案され、[[2017年]]にはテキスト処理部が不要なend-to-endテキスト音声合成が提案された。

== 用途 ==
{{試聴
 |filename=Emergency broadcast in Mihama town 180918.opus |title=三重県御浜町の防災行政無線の放送。 |description=[[防災行政無線]]における使用例1
 |filename2=Emergency broadcast in Uenohara city 180902.opus |title2=山梨県上野原市の防災行政無線の放送。 |description2=防災行政無線における使用例2
}}

音声合成は幅広い用途で実利用されている。以下はその一例である：

* 情報提示
** [[防災無線]]<ref group="†">{{Cite news |title=防災無線が機械音声に 11月１日から本格開始 {{!}} 厚木 {{!}} タウンニュース |date=2016-11-11 |url=https://www.townnews.co.jp/0404/2016/11/11/357311.html |accessdate=2018-11-28 |language=ja |work=タウンニュース}}</ref>
** 構内放送・[[車内放送]]・案内放送（工場・[[鉄道駅|駅]]・[[バスターミナル]]・[[空港]]）<ref group="†">{{Cite news |title=阪急電鉄、訪日外国人向け多言語アナウンスサービスを導入--案内情報の印刷も |date=2018-05-24 |url=https://japan.cnet.com/article/35119705/ |accessdate=2018-11-28 |language=ja-JP |work=CNET Japan}}</ref>
** [[コミュニティ放送]]<ref>{{Cite news |title=“AIアナウンサー”がラジオ放送　Amazonの音声合成技術で |url=https://www.itmedia.co.jp/news/articles/1708/01/news106.html |accessdate=2018-11-28 |language=ja |work=ITmedia NEWS}}</ref>・[[路側放送|ハイウェイラジオ]]<ref group="†">{{Cite news |title=ハイウェイラジオのヒミツ　情報の早さ、エリアの細かさ、その仕組みは？ {{!}} 乗りものニュース |url=https://trafficnews.jp/post/80093 |accessdate=2018-11-28 |language=ja |work=乗りものニュース}}</ref>
* 操作・対話
** [[コールセンター]]自動応答
** 音声アシスタント（[[スマートフォン]]、[[スマートスピーカー]]）<ref group="†">{{Cite web |url=https://machinelearning.apple.com/2017/08/06/siri-voices.html |title=Deep Learning for Siri’s Voice: On-device Deep Mixture Density Networks for Hybrid Unit Selection Synthesis - Apple |accessdate=2018-11-28 |website=Apple Machine Learning Journal |language=en-US}}</ref><ref group="†">{{Cite web |url=https://deepmind.com/blog/wavenet-launches-google-assistant/ |title=WaveNet launches in the Google Assistant {{!}} DeepMind |accessdate=2018-11-28 |website=DeepMind}}</ref><ref group="†">{{Cite web|和書 |url=https://www.ai-j.jp/20180525 |title=5/30サービス開始！NTTドコモの新しいAIエージェント 「my daiz」にエーアイの音声合成AITalkが採用  株式会社AI（エーアイ） |accessdate=2018-11-28 |website=株式会社 エーアイ(AI) |language=ja}}</ref><ref group="†">{{Cite web|和書 |url=http://www.sharp.co.jp/products/sh01g/service/emopa/ |title=エモパー｜機能・サービス｜AQUOS ZETA SH-01G｜製品ラインアップ｜AQUOS：シャープ |accessdate=2018-11-28 |website=シャープ スマートフォン・携帯電話　AQUOS公式サイト |language=ja-JP}}</ref><ref group="†">{{Cite news |title=Amazon PollyでAlexaの音声をカスタマイズしよう |url=https://developer.amazon.com/blogs/alexa/post/0e88bf72-ac90-45f1-863b-32ca8e2ae197/amazon-polly-voices-in-alexa-jp |accessdate=2018-11-28 |language=en-US}}</ref><ref group="†">{{Cite web|和書 |url=http://www.asahi.com/shimbun/medialab/arukiki/ |title=音声ニュース配信　朝日新聞アルキキ |accessdate=2018-11-28 |website=www.asahi.com |language=ja}}</ref>
** [[現金自動預け払い機|ATM]]や[[複合機]]などの電子機器、[[カーナビゲーション]]、[[電子辞書]]<ref group="†">{{Cite web|和書 |url=http://arch.casio.jp/exword/feature/hardware_6/ |title=エクスワードに搭載された快適機能 - 電子辞書 - CASIO |accessdate=2018-11-28 |website=arch.casio.jp}}</ref><ref group="†">{{Cite web|和書 |url=https://www.amazon.co.jp/gp/help/customer/display.html?nodeId=201829850 |title=Amazon.co.jp ヘルプ: 読み上げ機能を使用する |accessdate=2018-11-28 |website=www.amazon.co.jp}}</ref>、[[家庭用電気機械器具|家電]]<ref group="†">{{Cite web|和書 |url=http://healsio.jp/feature/axxw400/aiot/ |title=音声対話 |accessdate=2018-11-28 |website=AX-XW400 {{!}} ウォーターオーブン ヘルシオ：シャープ |language=ja}}</ref>
* [[エンタメ]]
** [[テレビアニメ|アニメ]]<ref group="†">{{Cite news |title=テレビの歴史で初となる、全キャラクターが音声合成でしゃべるアニメがスタート {{!}}  ロボスタ - ロボット情報WEBマガジン |url=https://robotstart.info/2018/09/28/reizouko-no-tsukenosuke.html |accessdate=2018-11-28 |language=ja |work=ロボスタ}}</ref>
** [[テレビ]]番組<ref group="†">{{Cite web|和書 |url=https://voicetext.jp/show/ |title=VoiceTextホーム {{!}} HOYA音声合成ソフトウェア |accessdate=2018-11-28 |website=HOYA音声合成ソフトウェア「VoiceText」 |language=ja}}</ref><ref group="†">{{Cite news |title=NHKが「人造アナウンサー」開発、コップのフチにいそうな「ニュースのヨミ子」さん |url=https://www.itmedia.co.jp/news/articles/1803/26/news093.html |accessdate=2018-11-28 |language=ja |work=ITmedia NEWS}}</ref>
** [[エンタテインメントロボット|エンターテインメントロボット]]<ref>{{Cite web|和書 |url=https://robohon.com/product/robohon.php |title=ロボホン |accessdate=2018-11-28 |website=robohon.com |language=ja}}</ref><ref group="†">{{Cite web|和書 |url=https://toyota.jp/kirobo_mini/kibo-robo/robot/type1.html |title=トヨタ KIROBO mini {{!}} KIBO ROBOT PROJECT {{!}} KIROBO・MIRATA {{!}} トヨタ自動車WEBサイト |accessdate=2018-11-28 |last=CORPORATION. |first=TOYOTA MOTOR |website=トヨタ KIROBO mini {{!}} KIBO ROBOT PROJECT {{!}} KIROBO・MIRATA {{!}} トヨタ自動車WEBサイト |language=ja}}</ref>
* [[医療]]・[[介助]]
** [[スクリーンリーダー]]（[[視覚障害者|視覚障害]]、[[ディスレクシア|読字障害]]）
** 代替声帯<ref group="†">{{Cite news |title=Remembering Stephen Hawking’s iconic synthesized voice |date=2018-03-19 |url=https://whatsnext.nuance.com/in-the-labs/stephen-hawking-famous-text-to-speech-voice/ |accessdate=2018-11-28 |language=en-US |work=What’s next}}</ref><ref group="†">{{Cite web|和書 |url=https://www.nikkan-gendai.com/articles/view/life/159421 |title=受け入れ態勢は？「筆談ホステス」当選の北区議会に聞いた |accessdate=2018-11-28 |website=[[日刊ゲンダイ]]DIGITAL |language=ja}}</ref>

== 理論 ==
音声合成では[[機械学習#統計的機械学習|統計的機械学習]]がしばしば用いられる。すなわち音声[[データベース]]（[[コーパス]]）に基づき波形生成の確率モデルを学習し合成器とするアプローチである。人の音声生成において、同一話者が同じ文を何回か読み上げたときに全く同一の波形が得られることは極めて稀である。このように音声生成過程および音声信号は非決定的な性質をもち、{{要出典範囲|確率的な枠組みは有効である|date=2025年3月}}。

例えば統計的機械学習を用いた[[音声合成#テキスト音声合成|テキスト音声合成]]では、コーパス内のテキスト <math>\mathcal{W}</math> と音声波形 <math>\Chi</math>、与えられたテキスト <math>\boldsymbol{w}</math>、合成目標音声 <math>\boldsymbol{x}</math> として、<math>\boldsymbol{x}</math> の予測分布 <math>p(\boldsymbol{x}|\boldsymbol{w}, \Chi, \mathcal{W})</math> を <math>\boldsymbol{w}, \Chi, \mathcal{W}</math> から推定し、この予測分布から <math>\boldsymbol{x}</math> をサンプリングする<ref name=":0">{{Cite journal|last=全|first=炳河|year=2018|title=テキスト音声合成技術の変遷と最先端|journal=日本音響学会誌|volume=74|issue=7|pages=387–393}}</ref>。

==== パイプラインモデル ====
{{出典の明記| date = 2025年3月| section = 1}}
例えば補助変数として言語[[特徴量]]と音響特徴量を導入し次のように定式化する。音声信号の性質を表す音響特徴量を<math>\mathcal{O}</math>（データベース）および<math>\boldsymbol{o}</math>（合成）、テキストの性質を表す言語特徴量を<math>\mathcal{L}</math>（データベース）および<math>\boldsymbol{l}</math>（任意に与えられたテキスト）、言語特徴量が与えられた際の音響特徴量の生起確率を表現するパラメトリックな音響モデルを<math>\lambda</math>としたとき、予測分布は以下のように分解できる。<math display="block">\begin{align} p(\boldsymbol{x}\mid\boldsymbol{w}, \Chi, \mathcal{W}) &= \iiint \sum_{\forall\boldsymbol{l}} \sum_{\forall\mathcal{L}} p(\boldsymbol{x}, \boldsymbol{o}, \boldsymbol{l}, \mathcal{O}, \mathcal{L}, \lambda\mid\boldsymbol{w}, \Chi, \mathcal{W})d\boldsymbol{o}d\mathcal{O}d\lambda \\ & =  \sum_{\forall\boldsymbol{l}} \sum_{\forall\mathcal{L}} \iiint p(\boldsymbol{x}\mid\boldsymbol{o})p(\boldsymbol{o}\mid\boldsymbol{l}, \lambda)p(\boldsymbol{l}\mid\boldsymbol{w})\frac{p(\Chi\mid\mathcal{O})p(\mathcal{O}\mid\mathcal{L}, \lambda)p(\lambda)p(\mathcal{L}\mid\mathcal{W})}{p(\Chi)}d\boldsymbol{o}d\mathcal{O}d\lambda\\ \end{align}</math>あとは補助変数について周辺化を行えばよいが、これを補助変数の同時確率を最大化する点で近似すると、予測分布は以下のように近似できる。<math display="block">p(\boldsymbol{x}\mid\boldsymbol{w}, \Chi, \mathcal{W}) \approx p(\boldsymbol{x}\mid\hat\boldsymbol{o})</math>ただし、<math display="block">\{\hat\boldsymbol{o}, \hat\boldsymbol{l}, \hat\lambda, \hat\mathcal{O}, \hat\mathcal{L}\} = {\rm arg~max}_{\boldsymbol{o}, \boldsymbol{l}, \lambda, \mathcal{O}, \mathcal{L}} \big\{p(\boldsymbol{x}\mid\boldsymbol{o})p(\boldsymbol{o}\mid\boldsymbol{l}, \lambda)p(\boldsymbol{l}\mid\boldsymbol{w})p(\Chi\mid\mathcal{O})p(\mathcal{O}\mid\mathcal{L}, \lambda)p(\lambda)p(\mathcal{L}\mid\mathcal{W})\big\}</math>である。

しかし、同時確率の最大化もなお困難であるため、さらに逐次最適化で近似すると、以下の6つの副問題をそれぞれ最適化することになる。

* <math>\hat\mathcal{O} = {\rm arg~max}_{\mathcal{O}}p(\Chi\mid\mathcal{O})</math>（音響特徴量の抽出）
* <math>\hat\mathcal{L} = {\rm arg~max}_{\mathcal{L}}p(\mathcal{L}\mid\mathcal{W})</math>（言語特徴量の抽出）
* <math>\hat\lambda = {\rm arg~max}_{\lambda}p(\hat\mathcal{O}\mid\hat\mathcal{L}, \lambda)</math>（音響モデルの学習）
* <math>\hat\boldsymbol{l} = {\rm arg~max}_{\boldsymbol{l}}p(\boldsymbol{l}\mid\boldsymbol{w})</math>（言語特徴量の予測）
* <math>\hat\boldsymbol{o} = {\rm arg~max}_{\boldsymbol{o}}p(\boldsymbol{o}\mid\hat\boldsymbol{l}, \hat\lambda)</math>（音響特徴量の予測）
* <math>\hat\boldsymbol{x} \sim p(\boldsymbol{x}\mid\hat\boldsymbol{o})</math>（音声波形の生成）

==== End-to-Endモデル ====
中間特徴量を用いず直接音声波形を生成するモデルを '''End-to-End''' モデルという。すなわち <math>p(wave|text, \theta)</math> を1つのモデルで表現し、コーパスを用いて <math>\theta</math> を学習する。

== 手法 ==
音声合成手法は3つに大別される。

* 規則合成: 音声生成に関する知識を元に定めた規則に基づいて音声を合成
* 波形接続型音声合成: 録音された音声の素片を連結して合成
* 統計的パラメトリック音声合成: 統計的に学習したパラメトリックな生成モデルの出力を元に音声を合成

それぞれの手法は音質、計算量、リアルタイム性などの特徴が異なり、用途に合わせて手法が選択される。

=== 規則合成 ===
規則合成<ref>{{Cite journal|last=Klatt|first=Dennis H.|year=1980|title=Real‐time speech synthesis by rule|journal=The Journal of the Acoustical Society of America|volume=68|page=S18}}</ref>は、研究を通じて得られた音声生成に関する知識を元に規則を定め、その規則に基づいて音声を生成する。歴史的には比較的古い。例えば以下のようなものがある<ref>"規則合成は ... 三つの処理に分けることができる ... 第三は韻律情報により規定された音源波形で，パラメータ表現された声道伝達フィルタを駆動して合成波形を生成する処理 ... 音声合成方式は，波形編集方式，分析合成方式 ，ホルマント合成方式などが規則合成に用いられており" 広川. (1993). ''[https://www.jstage.jst.go.jp/article/jasj/49/12/49_KJ00001456780/_article/-char/ja/ 規則合成における音声合成単位及び音声合成法 - より高品質を求めて]''. 日本音響学会誌 49巻, 12号. pp. 847-853.</ref>。
==== 分析合成 ====
{{Main|音声分析合成}}
[[音声分析合成|分析合成]]は、規則に沿って生成・制御した[[音声分析#音響特徴量|音響特徴量]]を合成モデルへ渡すことで音声を合成する手法である<ref>"分析合成方式は音声生成過程を音源モデルと声道モデルに分け，それぞれの分析パラメータを独立に制御することにより規則合成音を得る方法である。 " 広川. (1993). ''[https://www.jstage.jst.go.jp/article/jasj/49/12/49_KJ00001456780/_article/-char/ja/ 規則合成における音声合成単位及び音声合成法 - より高品質を求めて]''. 日本音響学会誌 49巻, 12号. pp. 847-853.</ref>。合成モデルとそれに対応する音響特徴量の例として以下が挙げられる。

* [[ケプストラム]]分析: 基本周波数とスペクトル包絡
* [[加算合成]]: 各周波数と強度
* [[減算合成]]: 励起信号とスペクトル
** [[線形予測符号|線形予測符号化]]: 励起信号とARフィルタ係数
** [[音声合成#フォルマント音声合成|フォルマント音声合成]]: 励起信号とフォルマント

===== フォルマント音声合成 =====
'''フォルマント音声合成'''（{{lang-en-short|formant synthesis}}<ref>"Formant synthesis versus articulatory synthesis" Klatt. (1979). ''[https://asa.scitation.org/doi/10.1121/1.383940 Software for a cascade/parallel formant synthesizer]''. J. Acoust. Soc. Am. 67(3).</ref>）は[[フォルマント]]に基づくフィルタを用いた[[減算合成]]の総称である<ref>"A ''formant synthesizer'' is a source-filter model in which the source models the glottal pulse train and the filter models the formant resonances of the vocal tract." Smith. (2010). ''[https://ccrma.stanford.edu/~jos/pasp/Formant_Synthesis_Models.html Formant Synthesis Models]''. Physical Audio Signal Processing. ISBN 978-0-9745607-2-4</ref>。

ヒトの[[言語音]]は周波数スペクトル包絡の凹凸（[[フォルマント]]）で特徴づけられる。もしスペクトルが平坦な励起信号（例: [[基本周波数]]に基づく[[倍音|調波]]、ランダムな白色雑音）に対してフォルマントを反映したフィルタを適用できれば、フォルマントを持った信号を生成できる。これがフォルマント音声合成である。フォルマント音声合成は励起信号とフィルタに基づくため減算合成の一種であり、またフォルマントを[[音声分析#音響特徴量|音響特徴量]]とした[[音声分析合成]]の一種でもある<ref>"Constrained linear prediction can be used to estimate the parameters ... more generally ... directly from the short-time spectrum" Smith. (2010). ''[https://ccrma.stanford.edu/~jos/pasp/Formant_Synthesis_Models.html Formant Synthesis Models]''. Physical Audio Signal Processing. ISBN 978-0-9745607-2-4</ref>。

フォルマント音声合成は数個のフォルマントと励起信号によるシンプルな減算合成であるため、高い信号圧縮を小さい合成器で実現できる。また解釈性が高いため、音素-フォルマント対応の手動設計や音色操作が容易に可能である。{{要出典範囲|音の欠損がなく高速に発声させても明瞭に聞き取れる一方、合成された音声はロボット的なものであり人間の音声らしさは乏しい|date=2023年3月}}。

かつては[[組み込みシステム]]でよく使われた。例えば、[[1970年代]]末に[[テキサス・インスツルメンツ]]が発売した玩具・Speak & Spell、[[セガ]]が[[1980年代]]に開発したいくつかの[[アーケードゲーム]]（Astro Blaster、Space Fury、Star Trek: Strategic Operations Simulatorなど）、[[ヤマハ]]の[[PLG100-SG]]<ref group="注">有声音無声音共通の第一～第六フォルマントと、有声音専用のバズバー及びナザル(鼻音)フォルマントを組み合わせて音を生成する歌声合成音源</ref><ref>[https://jp.yamaha.com/files/download/other_assets/0/316480/PLG100SGJ.pdf PLG100-SG取扱説明書] YAMAHA</ref>が挙げられる。

==== 調音音声合成 ====
{{出典の明記| date = 2025年3月| section = 1}}
{{Main|調音音声合成}}
[[アーティキュレートリー・シンセシス|調音音声合成]]は人間の発声過程モデルに基づいた音声合成の総称である。分析合成が「出てきた音」に着目するのに対し、調音合成では「音が出てくる身体」に着目する。例えば音声を声道長や[[調音部位]]のパラメータとして表現し、発声過程の物理モデルを用いて音声を合成する。

商用でも使われた例があり、[[NeXT]]で使われていたシステムは、[[カルガリー大学]]の研究チームがスピンオフして作ったTrillium Sound Research Inc.が開発したものである。Trilliumはこれをフリーな ''gnuspeech'' として公開しており、GNU savannah siteで入手可能である。

=== 波形接続型音声合成 ===
{{読み仮名|'''波形接続型音声合成'''|はけいせつぞくがたおんせいごうせい|{{lang-en-short|concatenation-based synthesis}}}}は音声素片を調整・連結して音声を合成する手法の総称である<ref name=":3">{{Ilq|concatenation-based synthesis systems ... the synthesis stage generally involves ... a concatenation process: the sequence of acoustical units must be concatenated after an appropriate modification of their intrinsic prosody.}}{{Harv|Moulines|1990|p=454}}</ref>。

波形接続型音声合成では、短い音声波形を素片としこれらを調整したうえで連結して音声を合成する<ref name=":3" />。出力目標に近い素片があれば繋ぐだけで自然な音声を合成できる一方、無ければ素片の調整が必要となり自然性が調整法の品質に依存する。また幅広い表現のためには幅広い表現の素片を用意する、あるいは自然かつ表現力のある調整法を採用する必要があり<ref name=":4">{{Ilq|PSOLA ... a family of methods for modifying the prosody ... These methods are used to improve the voice quality of text-to-speech systems based on the concatenation of elementary speech units,}}{{Harv|Moulines|1990|p=453}}</ref>、様々な手法が開発されている（例: [[PSOLA]] - [[音高]]操作<ref name=":4" />、{{要出典範囲|MBROLA|date=2025年2月}}）。これらの前提として、表現を言語化しその音響的特徴を理解する必要がある（収集基準の設定、調整法の考案、合成時の選択に必須）。

==== 単位選択型音声合成 ====
{{読み仮名|'''単位選択型音声合成'''|たんいせんたくがたおんせいごうせい|{{lang-en-short|unit selection speech synthesis}}}}は事前収集された要素の選択に基づく音声合成の総称である<ref>{{Cite journal|last=Andrew J.|first=Hunt|author=|last2=Black|first2=Alan W.|year=1996|title=Unit selection in a concatenative speech synthesis system using a large speech database|journal=1996 IEEE International Conference on Acoustics, Speech, and Signal Processing Conference Proceedings|volume=|page=|pages=373–376|publisher=IEEE|language=English|doi=10.1109/ICASSP.1996.541110|isbn=0-7803-3192-3|issn=1520-6149}}</ref><ref>{{Cite journal|last=河井|first=恒|author=|last2=戸田|first2=智基|last3=山岸|first3=順一|last4=平井|first4=俊男|last5=倪|first5=晋富|last6=西澤|first6=信行|last7=津崎|first7=実|last8=徳田|first8=恵一|year=2006|title=大規模コーパスを用いた音声合成システムXIMERA|journal=電子情報通信学会論文誌|volume=J89-D|issue=12|page=|pages=2688–2698|issn=18804535|naid=110007380404}}</ref>。'''単位選択型合成'''（{{lang-en-short|unit selection synthesis}}）とも<ref name=":5">{{Ilq|Unit selection synthesis is also referred as corpus based synthesis.}}以下より引用。{{Cite journal2 |last=Kayte |first=Sangramsing |year=2015 |title=A Review of Unit Selection Speech Synthesis |url=https://www.semanticscholar.org/paper/A-Review-of-Unit-Selection-Speech-Synthesis-Kayte-Ambedkar/d35fa6417dfca6eb991a434082cebffe3879fd62 |journal=International Journal of Advanced Research in Computer Science and Software Engineering |volume=5 |issue=10 |pages=475-479}}</ref>。古くは'''コーパスベース音声合成'''（{{lang-en-short|corpus based synthesis}}）とも呼ばれた<ref group="注">2025年現在幅広く利用されている統計的音声合成がコーパスを学習に利用する（例: [[ディープラーニング]]）ため、この呼称は現在では語弊を生みやすい。</ref><ref name=":5" />。

単位選択型音声合成では合成のもととなる「ユニット unit」をラベルと共に事前収集し、合成入力に基づいてユニットを選択し合成することで音声を生み出す。

ユニット収集はデータベース作成とも呼ばれる。データベース作成音声を録音し、その録音した音声に対して、文・フレーズ・[[アクセント]]句・[[形態素]]・[[音素]]・アクセントなどを表すラベルを付与するとともに、[[音声認識]]や人手での調整により、ラベルと音声区間の対応を取る。

音声を合成する際には一般に、まず入力テキストをテキスト解析器により解析し、そのテキストの文・フレーズ・アクセント句・形態素・音素・アクセントなどの情報（言語特徴量）を得る。次いで、得られた言語特徴量から基本周波数や音素継続長などを予測し、それに最も合致する（ターゲットコスト）音声素片を、接続部分の滑らかさ（接続コスト）も考慮しつつ、データベース中から選んで接続し、音声を得る。

これにより、肉声に近く自然な音声を合成することを可能としている。しかし、あらゆる入力テキストに対してより自然に聞こえる音声を合成するには、想定される入力テキストに応じて録音する音声を増やす必要があり、その分データベースが巨大になる<ref>{{Ilq|concatenation-based synthesis systems require the use of rather large databases of acoustical units}}{{Harv|Moulines|1990|p=454}}</ref>。単位選択型音声合成では合成器が音声素片を保持しておく必要があるため、容量の小さな[[補助記憶装置]]しか持たないシステムではこれが問題になることがある。システムの利用分野を限定する（例: 駅の定型読み上げに限定する）ことでデータベースのサイズを絞ることが可能である一方、これは柔軟性を下げ変更コストを大きくする。

==== ダイフォン音声合成 ====
{{出典の明記| date = 2025年3月| section = 1}}
ダイフォン音声合成は音声素片にダイフォン（{{lang-en-short|diphone}}、音素ペア）波形を利用した波形接続型音声合成の一種である。

ダイフォン音声合成ではダイフォン波形が収められたデータベースから入力にマッチする音声素片を選択し、韻律を与えながら素片を接続することで音声を生む。ダイフォンの個数（~音素素片数）は各言語の音素配列論で決定される（例: スペイン語約800、ドイツ語約2,500）。ゆえに単位選択型音声合成と比べてデータベースが小さくなる一方、{{要出典範囲|合成音質に劣る。単位選択型音声合成の発展などのため、近年では使われることが少ない|date=2023年3月}}。

=== 統計的パラメトリック音声合成 ===
統計的パラメトリック音声合成（{{lang-en-short|statistical parametric speech synthesis}}; SPSS）は[[統計モデル]]に基づく音声合成、すなわち確率的音声合成の総称である<ref>"Statistical parametric speech synthesis ... as a framework to generate a synthetic speech signal based on a statistical model" Tachibana, et al. (2018). ''[https://ieeexplore.ieee.org/document/8461332 An Investigation of Noise Shaping with Perceptual Weighting for Wavenet-Based Speech Generation]''. doi: 10.1109/ICASSP.2018.8461332</ref>。

録音された音声から音声の特徴を学習したパラメトリックな生成モデルを作り、その生成モデルの出力を元に音声を合成する。波形接続型音声合成では条件次第で合成された音声の滑らかさに問題が生じうるが、統計的音声合成では基本的には滑らかな音声を合成できる。また手法により、複数話者の中間声質、感情が込められた変化の激しい音声など、柔軟で多様な音声合成が可能である。

==== 隠れマルコフモデル音声合成 ====
[[隠れマルコフモデル]] (HMM) を音響モデルに用いた音声合成である。HMMにより[[音声分析#音響特徴量|音響特徴量]]系列を確率的に生成し、これを[[音声符号化#ボコーダー|ボコーダー]]により音声波形へと変換する。

統計的パラメトリック音声合成の先駆けであり、東京工業大学のチームによって1999年に提案された<ref>{{Cite journal|last=Masuko|author=|first=Takashi|last2=Keiichi|first2=Tokuda|last3=Takao|first3=Kobayashi|last4=Satoshi|first4=Imai|year=1999|date=1999-05-09|title=Speech synthesis using HMMs with dynamic features|journal=1996 IEEE International Conference on Acoustics, Speech, and Signal Processing Conference Proceedings|volume=|page=|pages=389–392|publisher=IEEE|language=English|doi=10.1109/ICASSP.1996.541114|isbn=0-7803-3192-3|issn=1520-6149}}</ref>。少数の[[媒介変数|パラメータ]]で音声の特徴を表現でき、モデルの大きさや、モデルの学習および音声の合成に要する計算コストは小さい。携帯電話（[[フィーチャーフォン]]）や[[電子手帳]]など、ハードウェアの制約が大きい端末でも動作する。また必要な録音時間も（商用の）単位選択型音声合成に比べて短くて済む。

モデルの単純さからスペクトルが人間の音声と比べて平滑なものになりがちであり、このため{{要出典範囲|合成された音声は肉声感に乏しい|date=2025年3月}}。また、基本周波数の軌跡も単純なものに{{要出典範囲|なりがちである|date=2025年3月}}。

==== ニューラルネットワーク音声合成 ====
'''ニューラルネットワーク音声合成'''は[[ニューラルネットワーク]]を音声合成モデルに利用した音声合成である。

音響モデル（言語特徴量 to [[音声分析#音響特徴量|音響特徴量]]）をニューラルネットワークでモデル化する、言語特徴量で条件付けられる音声波形確率分布（生成モデル）自体をニューラルネットワークでモデル化する等の方法がある。ニューラルネットワークモデルは隠れマルコフモデルに比べて表現力が高く自然性が高い一方、モデルのパラメータ数、学習・音声合成計算コストは{{要出典範囲|大きい|date=2025年3月}}。

最初のニューラルネットワーク音声合成モデルは2013年に発表された<ref>{{Cite journal|last=Zen|first=Heiga|last2=Senior|first2=Andrew|last3=Schuster|first3=Mike|date=2013-05-26|title=Statistical parametric speech synthesis using deep neural networks|journal=2013 IEEE International Conference on Acoustics, Speech and Signal Processing|pages=7962–7966|publisher=IEEE|language=English|isbn=978-1-4799-0356-6|issn=1520-6149}}</ref>。初期の研究では隠れマルコフモデル音声合成と同様に音響特徴量を出力していた。2016年には音声波形の直接出力（波形生成モデル）で人間と同等品質の合成が可能な WaveNet が登場した<ref>{{Cite journal|last=van den Oord|author=|first=Aaron|last2=Dieleman|first2=Sander|last3=Zen|first3=Heiga|last4=Simonyan|first4=Karen|last5=Vinyals|first5=Oriol|last6=Graves|first6=Alex|last7=Kalchbrenner|first7=Nal|last8=Senior|first8=Andrew|last9=Kavukcuoglu|first9=Koray|year=|date=2016-09-12|title=WaveNet: A Generative Model for Raw Audio|journal=arXiv|volume=|page=|language=English|arxiv=1609.03499}}</ref>。高い声質をより速く、軽く、シンプルなモデルで実現するための様々な研究が行われてる（例: WaveNet Vocoder<ref>J. Shen, R. Pang, R. J. Weiss, et al., “Natural tts synthesis by conditioning wavenet on mel spectrogram predictions,” arXiv preprint arXiv:1712.05884, 2017.</ref>、Clarinet<ref>W. Ping, K. Peng, and J. Chen, “Clarinet: Parallel wave generation in end-to-end text-to-speech,” arXiv preprint arXiv:1807.07281, 2018</ref>、WaveGlow<ref>R. Prenger, R. Valle, and B. Catanzaro, “Waveglow: A flowbased generative network for speech synthesis,” arXiv preprint arXiv:1811.00002, 2018</ref>、WaveRNN<ref>N. Kalchbrenner, E. Elsen, K. Simonyan, et al., “Efficient neural audio synthesis,” arXiv preprint arXiv:1802.08435, 2018.</ref>、RNN_MS<ref>Jaime Lorenzo-Trueba, Thomas Drugman, Javier Latorre, Thomas Merritt, Bartosz Putrycz, Roberto Barra-Chicote, Alexis Moinet, Vatsal Aggarwal (2019) TOWARDS ACHIEVING ROBUST UNIVERSAL NEURAL VOCODING. Interspeech 2019</ref>）。

また従来はモデル入力に（入力テキストをテキスト解析器によって解析した）言語特徴量が用いられていた。2017年には言語特徴量（テキスト解析器）を不要としたChar2Wav<ref>{{Cite journal|last=Sotelo|author=|first=Jose|last2=Mehri|first2=Soroush|last3=Kumar|first3=Kundan|last4=Santos|first4=Joao Felipe|last5=Kastner|first5=Kyle|last6=Courville|first6=Aaron|last7=Bengio|first7=Yoshua|year=|date=2017-02-18|title=Char2Wav: End-to-End Speech Synthesis|journal=ICLR 2017 workshop submission|volume=|page=|language=English}}</ref>、Deep Voice<ref>{{Cite journal|last=Arik|first=Sercan O.|last2=Chrzanowski|first2=Mike|last3=Coates|first3=Adam|last4=Diamos|first4=Gregory|last5=Gibiansky|first5=Andrew|last6=Kang|first6=Yongguo|last7=Li|first7=Xian|last8=Miller|first8=John|last9=Ng|first9=Andrew|year=|date=2017-02-25|title=Deep Voice: Real-time Neural Text-to-Speech|journal=arXiv|language=English|arxiv=1702.07825|last10=Raiman|first10=Jonathan|last11=Sengupta|first11=Shubho|last12=Shoeybi|first12=Mohammad}}</ref>、Tacotron<ref>{{Cite journal|last=Wang|author=|first=Yuxuan|last2=Skerry-Ryan|first2=RJ|last3=Stanton|first3=Daisy|last4=Wu|first4=Yonghui|last5=Weiss|first5=Ron J.|last6=Jaitly|first6=Navdeep|last7=Yang|first7=Zongheng|last8=Xiao|first8=Ying|last9=Chen|first9=Zhifeng|year=|date=2017-03-29|title=Tacotron: Towards End-to-End Speech Synthesis|journal=arXiv|volume=|page=|language=English|arxiv=1703.10135|first10=Samy|last10=Bengio|first11=Quoc|last11=Le|first12=Yannis|last12=Agiomyrgiannakis|first13=Rob|last13=Clark|first14=Rif A.|last14=Saurous}}</ref>などのいわゆるend-to-end音声合成が提案された。
{| class="wikitable"
|+表. ニューラルTTS
!モデル名
!入力
!出力
!モデル
!出典
|-
|Tacotron 2
|テキスト
|メル[[スペクトログラム]]
|Autoregressive
|[[arxiv:1712.05884|arxiv]]
|-
|FastSpeech 2
|[[音素]]
|メル[[スペクトログラム]]
|Transformer<ref name=":1">We use the feed-forward Transformer block, …, as the basic structure for the encoder and mel-spectrogram decoder. [[arxiv:2006.04558|arxiv]]</ref>
|[[arxiv:2006.04558|arxiv]]
|-
|FastSpeech 2s
|[[音素]]
|[[波形]]
|Transformer<ref name=":1" />
|[[arxiv:2006.04558|arxiv]]
|}
このように、設計された言語・音響特徴量を用いたパラメトリックな音声合成（'''統計的パラメトリック音声合成'''）は、特徴量によらない波形生成すなわち'''統計的音声波形合成'''（statistical speech waveform synthesis / SSWS）へと範囲を広げつつある<ref>Jaime (2018) TOWARDS ACHIEVING ROBUST UNIVERSAL NEURAL VOCODING https://arxiv.org/abs/1811.06292</ref>。

2017年には自然言語処理向けとして効率の良い [[Transformer (機械学習モデル)|Transformer]] が登場し、2018年にはそれを音声合成向けに応用した Transformer TTS が登場した<ref>Naihan Li, et al. [https://arxiv.org/abs/1809.08895 Neural Speech Synthesis with Transformer Network]</ref>。その後、[[拡散モデル]] と組み合わせた音声合成モデルが多数登場した。<!--TODO: どこが起点？-->

また Transformer はハードウェアの限界までスケールするため[[大規模言語モデル]] (LLM) の技術が発展していき、2021年には画像生成でも LLM の [[GPT-3]] を用いた [[DALL-E]] が登場、その後<!--2022年？-->、音声合成でも DALL-E に影響を受けて LLM の [[GPT-2]] を用いた TorToiSe TTS が登場した<ref>[https://arxiv.org/pdf/2305.07243 Better speech synthesis through scaling] James Betker 2023年5月23日</ref>。次いで2024年にはそれを改良して多言語化した XTTS が登場した<ref>[https://arxiv.org/pdf/2406.04904 XTTS: a Massively Multilingual Zero-Shot Text-to-Speech Model] Edresson Casanova et al. 2024年6月7日</ref>。

一方、汎用ニューラルオーディオコーデックの技術も発展し、2023年には EnCodec コーデックを音響トークンとして用いるVALL-Eや<ref>[https://arxiv.org/pdf/2301.02111.pdf Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers] p.5 Chengyi Wang, et al. 2023年</ref>、SoundStream コーデックを音響トークンとして用いる SPEAR-TTS が登場した<ref>[https://google-research.github.io/seanet/speartts/examples/ Speak, Read and Prompt: High-Fidelity Text-to-Speech with Minimal Supervision] Google Research</ref><ref>[https://arxiv.org/abs/2302.03540 Speak, Read and Prompt: High-Fidelity Text-to-Speech with Minimal Supervision] Eugene Kharitonov, et al. 2023年</ref>。

2024年には WavTokenizer コーデックを音響トークンとして用いて、それを大規模モデル (LLM) の [[LLaMA]] と組み合わせた OuteTTS も登場した<ref>[https://www.marktechpost.com/2024/11/04/outetts-0-1-350m-released-a-novel-text-to-speech-tts-synthesis-model-that-leverages-pure-language-modeling-without-external-adapters/ OuteTTS-0.1-350M Released: A Novel Text-to-Speech (TTS) Synthesis Model that Leverages Pure Language Modeling without External Adapters] Marktechpost Media 2024年11月4日</ref>。

== 分類 ==
音声合成はいくつかの観点から分類できる。

=== 生成元 ===
* テキスト: [[音声合成#テキスト音声合成|テキスト音声合成]]
* 音声: [[音声合成#音声変換|音声変換]]
** 歌声: 歌声変換（Singing Voice Conversion）
* 脳活動: Brain-Machine Interfaceの一種<ref>Gopala K. Anumanchipalli, et al.. (2019) Speech synthesis from neural decoding of spoken sentences [[doi:10.1038/s41586-019-1119-1|[paper]]]</ref>
*（[[音声分析#音響特徴量|音響特徴量]]: [[音声符号化#ボコーダー|ボコーダー]]。しばしばテキスト音声合成や音声変換に組み込まれる）

=== 合成先 ===

* 歌声: 歌声合成（{{lang-en-short|singing voice synthesis}}; '''SVS'''）<ref>"''Singing voice synthesis (SVS) aims to generate humanlike singing voices from musical scores with lyrics''" Wu. (2022). ''DDSP-based Singing Vocoders: A New Subtractive-based Synthesizer and A Comprehensive Evaluation''. </ref>

=== テキスト音声合成 ===
{{読み仮名|'''テキスト音声合成'''|テキストおんせいごうせい|{{lang-en-short|text-to-speech}}, '''TTS'''}}はテキスト（文章）を音声に変換するタスクである。この変換は「テキストとそれに対応する音声波形の組があるとき、任意に与えられたテキストに対応する音声波形を求める」問題と捉えられる<ref>{{Cite journal|last=徳田|first=恵一|author=|year=2015|title=統計的音声合成技術の現在・過去・未来|journal=音声言語シンポジウム|volume=IEICE-115|issue=346|page=|issn=0913-5685}}</ref><ref>{{Cite journal|last=徳田|first=恵一|year=2017|title=風雲急を告げる音声合成研究の最新動向|journal=情報・システムソサイエティ誌|volume=21|issue=4|pages=10–11|publisher=電子情報通信学会|doi=10.1587/ieiceissjournal.21.4_10|issn=2189-9797|naid=130005312792}}</ref>。

テキスト音声合成においては、入力されたテキスト（文章）の読み方を正しく推定することが必要である。一般には規則・[[連想配列|辞書]]・統計的手法などを組み合わせて行う。しかし、これには様々な困難がある。例えば[[日本語]]では、漢字の音読み・訓読みの区別（あるいはそれぞれが複数ある場合にどの読み方か推定する）、[[同形異音語]]の区別、アクセントの推定、[[人名]]や[[地名]]の読み方の推定などを正しく行うには困難が伴う。

=== 音声変換 ===
{{読み仮名|'''音声変換'''|おんせいへんかん|{{lang-en-short|voice conversion}}, '''VC'''}}は入力音声がもつ特徴の一部を変換するタスクである<ref>"Voice conversion (VC) refers to a technique that converts a certain aspect of speech from a source to that of a target without changing the linguistic content" Huang, et al. (2021). ''S3PRL-VC: Open-source Voice Conversion Framework with Self-supervised Speech Representations''. p.1.</ref>。言語内容を維持したまま話者を変える話者変換<ref>"speaker conversion, which is the most widely investigated type of VC." Huang, et al. (2021). ''S3PRL-VC: Open-source Voice Conversion Framework with Self-supervised Speech Representations''. p.1.</ref>、声のトーンのみを変える感情変換など、様々なサブタスクに分類できる。話者性や音色を維持し言語内容のみを外国語に変えるタスクは音声翻訳タスクとも音声変換タスクとも捉えられる。{{See also|ボイスチェンジャー}}

=== 帯域拡張 ===
{{読み仮名|'''帯域拡張'''|たいいきかくちょう|{{lang-en-short|bandwidth extension}}, '''BWE'''}}は入力音の実効周波数帯域を合成により引き上げるタスクである<ref>"Bandwidth extension ... Frequency bandwidth extension ... can be viewed as a realistic increase of signal sampling frequency." Andreev. (2023). ''HiFi++: a Unified Framework for Bandwidth Extension and Speech Enhancement''.</ref>。'''周波数帯域拡張'''（{{lang-en-short|frequency bandwidth extension}}）、'''音響超解像'''（{{lang-en-short|audio super-resolution}}）とも<ref>"Bandwidth extension ... also known as audio super-resolution" Andreev. (2023). ''HiFi++: a Unified Framework for Bandwidth Extension and Speech Enhancement''.</ref>。

[[ヒト]]は20kHzまでの音を聞き取る能力をもつ（[[聴覚#可聴域|可聴域]]）が、様々な制約によりそれ以下の周波数成分までしか持たない合成音は様々存在する（例: 固定電話）。下限についても同様であり、この失われた周波数帯域を推定し補完する音声合成タスクが帯域拡張である。帯域拡張を実現できれば音響・音声の明瞭性や自然性を向上でき、また帯域拡張を前提とした高圧縮アルゴリズムにも貢献できる。

帯域拡張は狭帯域音声を入力として広帯域音声を合成するタスクであるため、条件付け音声合成の一種と見做せる<ref>"The applications of conditional speech generation include ... bandwidth extension (BWE)" Andreev. (2023). ''HiFi++: a Unified Framework for Bandwidth Extension and Speech Enhancement''.</ref>。

== 属性 ==
音声合成では特性の属性を指定した合成音声を生成する場合が多い<ref name=":2" />。属性には音響的特徴から音声認知的特徴まで以下のようなものがある。属性の組み合わせにより個人性や[[方言|訛り]]が生まれる。

* 言語内容（字句情報）
** 話速
** [[音素]]表現
*** [[異音]]、音素長、子音[[子音#Voice Onset Time|VOT]]
* [[音の大きさ|大きさ]]（ラウドネス）
** 音量遷移/[[アクセント#強弱アクセント（強勢アクセント）|強弱アクセント]]
* [[音高]]（ピッチ）
** Voiced/Unvoiced（VUV）
** [[基本周波数]]
** 音高遷移
*** [[高低アクセント|ピッチアクセント]]
*** [[イントネーション]]
* [[音色]]
** [[音声分析#非周期性指標|非周期性成分比]]
* [[性別]]

== 課題 ==
{{出典の明記| date = 2025年3月| section = 1}}

=== 品質の客観評価 ===
音声合成の品質のうち、合成音声の自然性を客観的に評価するのは困難である。専門家の間で共通して有効であると認識されているような客観指標は存在しない。目的話者との類似性や、目的の発話スタイルの再現性などについても同様である。

=== 性能の公平な比較 ===
音声合成の手法は研究者によってそれぞれ独自のデータセットを用いてモデル学習を行い、かつ独自の課題により評価することが少なくなく、性能を公平に比較することが困難な場合がある。そこで、音声に関する国際学会であるInternational Speech Communication Association（ISCA） のSpeech Synthesis Special Interest Group（SynSIG）では、[[2005年]]より毎年Blizzard Challenge<ref>{{Cite web|url=https://www.synsig.org/index.php/Blizzard_Challenge_2018|title=Blizzard Challenge 2018 - SynSIG|accessdate=2018-11-30|website=www.synsig.org|language=en}}</ref>という競技会を行っている。この競技会では、共通のデータセットを学習に用いた音声合成システムを、共通の課題により評価することで、性能の公平な比較を可能としている。

なお、特に商用の音声合成システムではその目的に応じたデータセットを用いることでその目的に特化した性能向上を図ることがあり、これは各社の[[ノウハウ (知的財産権)|ノウハウ]]となっている。

== 音声合成システム ==
2020年代において、主要な[[パーソナルコンピュータ]]およびスマートフォンの[[オペレーティングシステム]]は音声合成による読み上げ機能（スクリーンリーダー）を搭載している。歴史的にも様々な音声合成システムが実用されてきた。以下はその一例である。

* Mac OS、macOS、[[iOS]]
** {{仮リンク|MacInTalk|en|PlainTalk#Original MacInTalk}}（[[Macintosh]], 1984~）
** {{仮リンク|PlainTalk|en|PlainTalk}}: [[音声認識]]とMacInTalkによる視覚障害者サポート
** [[VoiceOver]]（[[Mac OS X v10.4]] ~）
** [[Siri]]

* [[Microsoft Windows]]
** [[Speech Application Programming Interface|SAPI]]
** Narrator（[[Microsoft Windows XP|Windows XP]]）
** [[Cortana]]
* Android
** [[Googleアシスタント]]

* [[TI-99/4A]]には音声合成機能をオプションで追加可能であった<ref>[http://www.mindspring.com/~ssshp/ssshp_cd/ss_home.htm Smithsonian Speech Synthesis History Project (SSSHP) 1986-2002]</ref>。
* [[PC-6001]]は音声合成カートリッジが追加でき、[[PC-6001#PC-6001mkII|PC-6001mkII]]には音声合成機能が内蔵されていた。後継のPC-6001mkIISRや[[PC-6600シリーズ|PC-6601]]では歌うことも可能であった。
* [[FM-7]]/[[FM-77]]シリーズには音声合成ボード (MB22437/FM-77-431) がオプションとして用意されていた。
* [[MZ-1500]]/[[MZ-2500|2500]]/[[MZ-2861|2861]]にはオプションとしてボイスボード (MZ-1M08) が存在した。五十音と、いくつかのフレーズを外部チップにサンプリングされROMとして焼きこまれており、制御によって再生するものである。
*[[富士通]]は、セントロニクス規格プリンタポートに接続する外付けハードウエアFMVS-101日本語音声合成装置を出していた。ASCIIもOEMしていた。これはプリンタポートさえあれば機種を問わず動作していた。
*NEC PC-9801シリーズにて、外付けハードウェア無しに（BEEP音スピーカを使う）ソフトだけで実現する音声合成ソフトが複数でていた。校了Jrなど。
*OSS
**Festival Speech Synthesis System
**gnuspeech
** HMM-based Speech Synthesis System (HTS)
** [[Open JTalk]]（HTSに基づいた日本語向け音声合成システム）
** MaryTTS
**{{仮リンク|eSpeak|en|eSpeak}}
**Coqui-TTS（[[Mozilla]] TTSの後継<ref>[https://www.golem.de/news/spracherkennung-ki-sprachforschungsteam-von-mozilla-macht-allein-weiter-2103-154954.html KI-Sprachforschungsteam von Mozilla macht allein weiter] {{de icon}} {{仮リンク|Golem.de|de|Golem.de}} 2021年3月15日</ref>）- 日本語未対応。
** PaddleSpeech - 英語および中国語。
** ESPnet
** NVIDIA NeMo

== 研究 ==
{{出典の明記| date = 2025年3月| section = 1}}
音声合成の研究について議論されている[[学術雑誌]]や[[学会]]には、以下のようなものがある（'''太字'''は一部または全部の論文について[[査読]]を行っているもの）。また様々な機関が音声合成の研究をおこなっている。

=== 学術雑誌 ===
* European Association for Signal Processing (EURASIP) '''Speech Communication'''（ISCAと合同）
* [[IEEE]]
** '''IEEE Transaction on Information and Systems'''
** '''IEEE Transaction on Signal Processing'''
* International Speech Communication Association (ISCA)
** '''Computer Speech and Language'''
** '''Speech Communication'''（EURASIPと合同）
* [[シュプリンガー・サイエンス・アンド・ビジネス・メディア]] '''International Journal of Speech Technology'''

* [[日本音響学会]]
** '''日本音響学会誌'''
** '''Acoustical Science and Technology (AST)'''
* [[電子情報通信学会]] '''電子情報通信学会論文誌'''
* [[情報処理学会]] '''情報処理学会論文誌'''

=== 学会 ===

==== 国際学会 ====
* '''Asia Pacific Signal and Information Processing Association''' '''Annual Summit Conference (APSIPA ASC)'''
* IEEE
** '''International Conference on Acoustics, Speech, and Signal Processing (ICASSP)'''
** '''Spoken Language Technology (SLP)'''
* International Speech Communication Association (ISCA)
** '''INTERSPEECH'''
** '''Speech Prosody'''
** '''Speech Synthesis Workshop (SSW)'''

==== 国内学会 ====
* 日本音響学会
** 音声研究会（SP。電子情報通信学会と合同）
** 日本音響学会研究発表会
* 電子情報通信学会 音声研究会（SP。日本音響学会と合同）
* 情報処理学会 音声言語情報処理研究会 (SLP)

=== 研究機関 ===

==== 大学 ====
* [[宇都宮大学]] 大学院工学研究科 システム創生工学専攻 森研究室
* [[京都大学]] 大学院情報学研究科 知能情報学専攻 河原研究室
* [[熊本大学]] 大学院自然科学教育部 情報電気工学専攻 緒方研究室
* [[神戸大学]] 大学院システム情報学研究科 情報科学専攻 滝口研究室
* [[総合研究大学院大学]] [[国立情報学研究所]] コンテンツ科学研究系 山岸研究室
* [[東京大学]]
** 大学院工学系研究科 技術経営戦略学専攻 松尾研究室
** 大学院工学系研究科 電気系工学専攻 峯松・齋藤研究室
** 大学院情報理工学系研究科 システム情報学専攻 システム情報第1研究室（猿渡・小山研究室）
* 東京工業大学 工学院 情報通信系 小林研究室
* [[東北大学]] 大学院工学研究科 通信工学専攻 伊藤・能勢研究室
* [[名古屋工業大学]] 大学院工学研究科 情報工学専攻 [[徳田恵一|徳田]]・南角研究室
* [[名古屋大学]]
** 大学院情報学研究科 知能システム学専攻 武田研究室
** 大学院情報学研究科 知能システム学専攻 戸田研究室
* [[奈良先端科学技術大学院大学]] 先端科学技術研究科 情報科学領域 知能コミュニケーション研究室
* {{要検証範囲|[[山梨大学]] 大学院総合研究部 森勢将雅|date=2025年3月}}
* [[立命館大学]] 立命館大学 情報理工学部 メディア情報学科 山下研究室

==== 公的研究機関 ====
* 国立情報学研究所
* [[情報通信研究機構]]
その他にも多数の企業が音声合成の研究を行っている（国内の代表例: [[NHK放送技術研究所]]/NHK技研、[[国際電気通信基礎技術研究所]]/ATR、[[日本電信電話]]/NTT）。

== その他 ==
{{出典の明記| date = 2025年3月| section = 1}}

=== 音声合成マークアップ言語 (Speech Synthesis Markup Language; SSML) ===
{{Main|Speech Synthesis Markup Language}}
音声合成においてテキスト解析を100%正しく行うことは困難である。また、テキストからは解釈できない、特定の読み方をさせたいこともある。そこで何らかの方法により情報を指定する必要があるが、[[ドメイン固有言語]]により行う方法のほか、[[World Wide Web Consortium|W3C]]により定義された音声合成マークアップ言語 (Speech Synthesis Markup Language; SSML) により行う方法がある。

== 脚注 ==
{{脚注ヘルプ}}

=== 注釈 ===
{{Notelist2}}

=== 出典 ===
{{Reflist}}
=== 一次文献 ===
{{Reflist|group="†"}}

== 参考文献 ==

* {{cite journal2 |author1=Moulines |first=Eric |year=1990 |title=Pitch-synchronous waveform processing techniques for text-to-speech synthesis using diphones |journal=Speech Communication |volume=9 |issue=5-6 |pages=453-467 |doi=10.1016/0167-6393(90)90021-Z}}

== 関連項目 ==
* [[音声合成LSI]]
* [[車内放送]]
* [[音声処理]]
* [[音声分析合成]]
* [[音声認識]]
* [[自然言語処理]]
* [[可聴化]] - 情報伝達のために音声以外の音を使うこと。
* [[スクリーンリーダー]]
* [[ボーカルシンセサイザー]]
* [[株式市況]] - [[NHKラジオ第2放送|NHKラジオ第2]]での東京株式市場の終値の読み上げを音声合成により行っている。
* {{仮リンク|Loquendo|en|Loquendo}} - 音声合成を専門とする[[イタリア]]の会社。
* [[ゆっくり実況]]
* [[VOCALOID]]
* [[VOICEROID]]
* [[UTAU]]
* [[CeVIO]]
* [[A.I.VOICE]]

== 外部リンク ==
* [https://www.ibm.com/jp-ja/cloud/watson-text-to-speech Watson Text to Speech] - IBM
* [http://support.microsoft.com/kb/306902/ja Windows XP での音声合成の構成および使用方法] - マイクロソフト
* [http://www.vintagecomputermusic.com/ Audio of 1962 Bell Laboratories computer speech demonstration] {{en icon}}
* [http://www.haskins.yale.edu/featured/heads/heads.html Talking Heads website] {{en icon}}
* [https://intelligent-speaker.com/ Intelligent Speaker] {{en icon}} - スピーチテキストブラウザ拡張機能
* {{Kotobank}}

{{Tech-stub}}
{{音声合成}}
{{Normdaten}}
{{デフォルトソート:おんせいこうせい}}
[[Category:音声合成|*]]
[[Category:聴覚ディスプレイ]]
[[Category:人工知能アプリケーション]]