2018.04.01

音声が伝えるものとその表現(応用数理学科)

「音声(speech)」とはヒトが発する声(voice)のうち、言語的な内容を表す言葉として用いられます。「言語的」とはどういうことでしょうか?例えば、「え~?」「アッ!」といったことばは音声でしょうか?書き言葉を主な研究対象としてきた言語学では、それらは感嘆詞や間投詞として扱います。しかし、音声の違いを文字として表そうとしても、「え~」、「え~?」、「えっ!」、「ええ」といった表現が精いっぱいで、微妙で繊細な違いは十分表すことができません。同様に、「お早うございます!」「有難うございます」「すみませんでした」といった日常のコミュニケーションでよく使う音声も、それらの色々な言い方の違いをきちんと表すことは簡単ではありません。

書き言葉としては同じでも、言い方ひとつで伝わるものは大きく変わり、音声に含まれる情報が果たしている役割は決して小さくありません。言い方の違いと大切さは社会的にも十分認識されながらも、それらの違いを記述する方法はまだ確立されていません。このため、言い方の系統的な教育や、その違いの共通認識は難しく、音声の違いがコミュニケーションに果たしている役割を明らかにする「話し言葉」の科学が求められています。これまでの「書き言葉」としての文字列が表す言語情報に対し、「話し言葉」の持つ情報にはどのようなものがあり、それらは一体どのように表すことができるのでしょうか?伝統的な書き言葉で表す情報に加え、新たにコミュニケーションに役割を果たす情報の規定とその表現が求められています。この表現を目指し、言語学、音声学をはじめ、応用数学からも取り組みがなされています。

この研究課題を何故、「応用数学」で扱うのでしょうか?それは数学が持つ、論理性と自由でフレキシブルな考え方にあります。例えば、2²= 4,2³=8といった整数のべき乗としての指数表現から出発して、数学は小数、負の数、虚数のべき乗である



といった創出を行い、現在の科学に無くてはならない考え方を提供してきました。数学の自由な発想は、実際の役に立つかどうかの詮索は後にして、理論的検討を進めることを禁じません。例えば、音声を言語以外の情報媒体に拡張して表現してみようと考えるのは、伝統的な言語学では難しいかもしれません。しかし、音や図形やことばが共通して伝えるヒトの感性情報として、数学を用いて自然科学として扱うことは至って自然であり、可能です。

音声を聞いてどのように感じたかの記述を、「ことば」に限定せず、「色」、「テキスチャ」などで表す試みが進められています。音声を聞いたときに感じる印象を「色」、「テキスチャ」といった画像イメージが持つ情報として表すことにより、音声が持つ「書き言葉」の言語情報では表せない情報の記述ができます。音声が持つどのような特徴が色の持つどのような特徴に反映されるかが調べられています。一例として、フォルマントと呼ばれる口の共振周波数を変えた音声が与える印象に対応して選ばれた色を図に示しました。これらの情報は現在の「言語的」情報からは逸脱しているかもしれません。「言語的」であるということは、どういうことでしょうか?この例のように、現在の定義に拘泥せずに、その定義を拡大することで、自然科学として扱う対象を広げ、これまでの見方を越えた新たな学問への展開を期待することが可能です。これまでの数学の考え方の自由度が示してきた多くの飛躍的な理論展開が示すように、新たな表現は新たな考え方や学問分野を創生する可能性を秘めています。


図 音声の共振周波数(第一・第二フォルマント)が与える印象に基づいて選択された色の分布 (図中、横軸:第一フォルマント(Hz)、縦軸:第二フォルマント(Hz)、破線の楕円は各母音の共振周波数、五角形は男性(黒色)と女性(赤色)の日本語母音に対応する) (A. Suzuki et al “SENTIMENT ANALYSIS ON ASSOCIATED COLORS BY LISTENING SYNTHESIZED SPEECH” Proc. Fechner Day 2017)