感覚と知覚情報処理
人は、相手のことを理解するために、いろいろなコミュニケーション(communication)の手段を使う。ここでコミュニケーションとは、人同士の情報の交換を行い、意志を伝達することである。コミュニケーションを行うときの人と人の間に介在するものをメディア(media)という。マルチメディアとコンピュータネットワークの広がりによって、時間的、空間的制約をなくしつつある。コミュニケーションの成立は、送り手の意図が受け手に理解されることによる。会話は人同士のコミュニケーションであり、音声、文字、動作などの聴覚や視覚を介して行っている。コンピュータを利用した会話の例は、電子メイルや会議システムである。このようなシステムを利用する場合においては、音声や文字などの物理的な信号が相手の感覚器への入力となる。この入力を相手が受け取り、知覚、認識することになる。これによってコミュニケーションが成立する。
ここでは、このようなマルチメディアシステムを利用する場合に必要となる感覚と知覚情報処理に関する事柄について解説する。
5.1.2.1 人間情報系と五感
（1） 感覚と知覚
人間には、見る、聞く、触れる、匂う、味わうなどのある刺激(stimulus)に対して、反応する感覚器である目や耳などがある。ここで刺激とは、神経情報系に対する入力のことをいう。出力のことを反応(response)という。感覚(sensation)とは、この刺激に対して反応した結果生じた意識のことをいう。赤いという色を見たり、明るいということを意識することは、感覚のことである。つまり、光、音、色などの存在を知ることである。これに対して、知覚(perception)は、例えば視覚系では、ものの形、大きさ、空間的な距離が分かることをいい、聴覚系では、音の大きさ・高さ・音色の差や方向や言葉の違いが分かることをいう。
このような知覚において、対象を体系化し理解するための要因は、近接、方向の連続などがある。この体系化された構造のことをゲシュタルトという。従ってゲシュタルト心理学とは、秩序や法則に従うように認識し全体を知ることを取り扱った心理学をいう。
(2) 五感と情報処理
人の感覚は、視覚、聴覚、触覚、味覚、嗅覚の五つである。これは人間の情報処理系への刺激を感じ取る入力の部分となる。コンピュータに置き換えれば、感覚器はセンサとなる。 脳で処理した結果が記憶として保存される。これに対してコンピュータの場合はCPU など情報を処理する装置と記憶するメモリが必要となる。五感に対する感覚器と刺激の種類を表１にまとめる。
表1感覚と刺激
感覚 感覚器 刺激の種類 視覚 目 光 聴覚 耳 音（振動） 触覚 皮膚 圧力、振動、温度 味覚 舌 化学物質（液体） 嗅覚 鼻 化学物質（気体）
見る、聞くのような感覚の違いのほかに、同じ視覚の中にも、明るい暗い、赤い白いなどという質の違いもある。感覚はこのような刺激の対数に比例するというWeber-Fechnerの法則がある。
（3）感覚情報の干渉と統合
人は、視聴覚、触覚などの感覚情報を利用してものを認識したり、判断したりしている。それぞれの感覚が多少あいまいでも、いくつかの感覚情報を統合することによって正確な認識が可能となる。ある視覚刺激が与えられたときに同時に聴覚刺激を与えるとその効果が小さくなったり大きくなったりすることを感覚情報の干渉と統合という。視聴覚の相互作用に関してマガーク効果がある。たとえば「ga」という音を発している映像を見せながら、その音とは異なる「ba」を聞かせると「da」と聞こえるという干渉が起こる。また、複数音声識別において、複数の音声を同時に提示するときに、その音声を発話する話者の映像を提示すると、映像と一致する音声の識別率が、一致しない音声の識別率よりも有意に高くなるという。デザインではこの感覚情報の統合を積極的に利用している。映画の効果音や、ゲームにおける効果音や音楽、マルチメディアシステムの入力確認などのインタフェースにおける音などはそれらの例である。
以下ではマルチメディアの利用で重要な感覚のうち、視覚、聴覚、および触覚について述べる。
5.1.2.2 視覚
ここでは、見るということに関係する感覚と知覚(perception)について述べる。
(1) 眼の構造と機能
(a) 眼の構造（図1）
眼球(eye ball)には、レンズがあり、筋肉の動きによって厚みが変わる。これによって網膜上に焦点のあった像を結ぶ。網膜(retina)は視細胞があり光の刺激を受け取る。視神経は盲点のところで束になり、脳につながっている。この眼に与えられた光の刺激はレンズを通り、網膜で受け取られ視神経を通って大脳に伝えられる。
(b) 眼の機能
視力(visual acuity)は、ものを見る分解能で、2点の識別できる視角をもとにする。視野(visual field)は眼を動かさないで一度に共通してみえる範囲をいい、上下左右それぞれ60°くらいである。視野のなかで中心視野と周辺視野がある。中心視野は約25°である。周辺視野のうち、50°くらいの範囲を中央の周辺視野と呼んでいる。これはカメラの標準レンズの画角47°と同等である。
(2) 刺激である光と感覚の関係
(a) 光と色（図2）
光(light)は、電磁波の一部で、紫外線や赤外線の間の380ｎｍから760ｎｍでスミレ色から赤までの可視領域をいう。この領域の電磁波が視感覚を刺激して、色(color)が感じられる。眼には赤、緑、青に反応する視細胞があり、光はこの細胞に分けられ、脳のなかで総合して色を感じ取ることができる。可視領域全体のエネルギが一様の場合には白に感じられる。ある一つの波長のみであれば、その波長に対応する色を感じとることができる。この光の三原色を混合することを加法混色という。
(b) 順応
映画館に入ると、はじめは何もみえないくらい真っ暗である。しかし少しすると暗いなかにも座席に人が座っている様子が見えてくる。これを順応(adaptation)という。これは明暗順応である。
(c) 残像 ( after-image)
明るい光を長く見続けていて、眼を閉じたとき、眼の中にも光がはっきりと見える現象をいう。
(d) 明暗の知覚
画像を利用したコミュニケーションのためには、明暗のコントロールが大切である。ここではその項目のなかから、コントラスト、対比、透明感などに関係する明暗の知覚について述べる。
マッハ効果：階段状の明暗パターンの境界において、輝度が高いところはより明るく見え、低いところはより暗く見え、コントラストが強調されてみえる。この現象をマッハ効果という。（図3）
明るさの対比効果：明るさの対比効果によって、同じ灰色でも黒地の場合と白地の場合では、明るさが異なって見える。（図4）
透明視： 透明感を得るためには、光が対象物を透過していないといけない。透過いていないにも関わらず、透明感を感じることができることを透明視という。日常的に見ている絵画などに透明感はよく表現されている。（図5）
（3） 図形、空間、運動、色の知覚
(a)図形の知覚
図と地：図形として見ることができる領域と背景となる領域があり、それが場合によっては逆転することがある。形として見える領域を図(figure)、背景を地(ground)という。（図6）
大きさの恒常性：遠くに見える人の姿は、近くにみえる人と比べると、大きく異なって見えるはずであるが、実際に見えるより大きく知覚している。（図7）
群化(grouping)：視野のなかに複数のものがあるとき、これをまとまりあるものとして見ることが多い。人は単純、かつ整理してみるという傾向がある。近いところにある対象、類似した対象、閉じた領域を作る対象、連続性が見られる対象、良い形に見える対象などをまとまりとして見る傾向がある。（図8）
錯視現象(visual illusion)：図形の知覚において物理的刺激と知覚が一致しない場合がある。幾何学的錯視(geometric illusion)として長さ、傾き、大きさ、直線の連続性などの錯覚する例がある。図形残像(figural aftereffect)という現象もある。ある図形をじっと長く見つめていると、そのあとに見る図形がそれをはじめに見るときと異なって見えることをいう。（図9）
(b) 空間の認識
奥行き知覚(depth perception)：3次元的な奥行きを2次元的な図形から把握することである。奥行き方向を得るためにはさまざまな手がかりがある。遠近調節、重なり、運動視差、網膜像の大きさ、線遠近法、きめの勾配、空気透視、重なり、色の進出後退、陰影などが手がかりである。（図10）
立体視(stereoscopic vision)：両眼で奥行きの知覚を得ることをいう。この奥行き知覚の要因は、輻輳(vergence)、両眼視差(binocular parallax)がある。対象物を見るとき、両眼の視線は内側を向く。この角度は、対象物が遠いときほぼ平行となり、近いときは角度が大きくなる。この角度の調節機能によって奥行きを感じ取ることができる。両眼は65ｍｍ程度離れており、これによってそれぞれの眼には異なった映像がみえる。このときの映像のずれを両眼視差という。近くにみえる対象は視差が大きく、遠くの対象は視差が小さくなる。この視差が、ある程度小さいときは、融合してひとつの対象物として見ることができる。このとき、通常の３次元空間を見ていることと同じような奥行き感を得ることができる。（図11、12）
(c) 運動の知覚
実際運動：対象の位置が時間につれて連続的に変化するときに生じる運動の知覚のことをいう。対象が動く速度や、移動する距離によっては、運動が知覚されない場合もある。
仮現運動：暗闇のなかで、2つの点をある一定の時間間隔で継続して点滅させると、ひとつの点が２つの間を行ったり来たりするようにみえる。また、ある位置に図形を短時間表示して、次に少し離れた位置に時間をわずかだけ遅れて短時間表示すると、滑らかな動きが知覚できる。私たちはネオンサインの光源が点滅しているだけにもかかわらず、動きを感じることも経験している。これが仮現運動であり、アニメーションにおける動きが知覚できる理由である。（図13）
5.1.2.3 聴覚
ここでは、音の要素とそれから受ける知覚について述べる。
(1) 音
音は音波、またはそれによって引き起こされる聴覚的感覚のことである。音波は音を発しているものから出ている振動であり、空気を圧縮、膨張してできる。音の速さは空気中毎秒340ｍであり、液体や固体ではもっと速く伝わる。 振幅は波形の山の高さであり、1波長は音の波形の山から山までの長さをいう。周波数は1秒間に振動する回数をいい、単位はヘルツで表す。（図14）
(2) 音の心理的要素
音の心理的要素は、音の大きさ(loudness)、音の高さ(pitch)、音色(timbre)の３つである。（図15）
音の大きさ：音量のことで、波形の振幅で表される。大きい音は振幅が大きく、小さい音は振幅が小さい。これは音圧レベルである。通常、人が聞こえる音は25db~100db程度の音量である
音の高さ：波形の周期で表される。高い音は波長が短く、周波数が多い。低い音は波長が長く周波数が少ない。
音色：波形が変化すると、異なった音色が聞こえる。同じ周波数、振幅でも波形が異なると、音色が違って聞こえるのである。この音色によって心理的な効果が演出できる。従ってサウンドデザインには、音色の制御方法が大切である。
（3）音の制御と知覚
音の特殊効果：マルチメディアシステムを用いたコミュニケーションを助けるために、伝達したい内容に応じた音色や音の大きさ、高さを用いることが必要である。画像の特殊効果法があるように音にもデジタル音の特殊効果（サウンドエフェクト）がある。ディレイ、エコーなどがその例である。
ステレオ環境音：映画館ではスピーカが前の2つだけでなく後ろにも配置して、ステレオ環境を作り出している。
音圧レベルの違いによる知覚：大きな音を聞かせた後に小さな音を聞かせると、通常聞こえている音でも聞えないことがあったり、大きな音と小さな音を同時に聞かせることにより、聞える音が聞えなくなったりするなど知覚の違いが生じる。
言語音の知覚：「あ」と「お」の違いが分かることなどをいう。違いがわかりやすい言語音と分かりにくい言語音がある。「r」と「l」の音は物理的にはまったく異なるが、日本人にとって判別がつきにくい。
音色の印象：人は、聞こえる音によってさまざまな印象を受ける。ここでは主に音色を表現する言葉について述べる。音色の印象は、金属的性質、美的性質、力動的性質に分類される[2][8]。
表2 音色の印象と言葉
音色の印象 物理的性質 関係する印象語対 金属的性質 音の高低 鋭い−鈍い、低い−高い、鮮やか−ぼけた、硬い−柔らかい、派手な−地味な 美的性質 協和性 澄んだ−濁った、なめらかな−ざらざらな、乾いた−潤いのある、張りのある−しわがれた 力動的性質 音の大きさ 迫力ある−ものたらない、力強い−弱々しい、細い−太い、重い−軽い、大きい−小さい
5. 1.2.4触覚
マルチメディアの表現法やインタフェース技術が多様化していくことによって、視覚や聴覚だけでなく、触覚も重要な感覚となってきた。よく知られたキーボードのホームポジションであるキーの「F」や「J」は他のキーとは異なり突起や凹みがある。これは指先の触覚により他のキーとの違いを理解させることを利用した例である。トラックボールを用いたパーソナルコンピュータにおいてバッテリーが減ってくるとトラックボールを重くするという触覚をハードウエア環境の状態を知らせるという使用例がある。また、フライトシミュレータにおけるジョイスティックは、実際の操縦の触覚と同じようになるために作られている。これによって握りの感じ、前後左右への操作感を感覚的に理解することができるようにしている。
仮想環境においても触覚は重要な要素である。仮想物体からのフォースフィードバックを得るような機器、手の動きを測定する機器などが提案されてきた。たとえば、ボールドリブルシミュレーションシステムには、ボールが手にあたると圧力を感じ取ることができるようになっていたり、ボールが床や手にボールがあたると音が出るようになっている。音響効果があることによりボールの位置が分かりにくい場合を補っている。（図）
参考文献
[1] カニッツア著、野口訳：視覚の文法 ゲシュタルト知覚論、サイエンス社、1987
[2] 樋渡編：視聴覚情報概論、昭晃堂、1987
[3] 相場編：現代基礎心理学2,3（知覚）、東京大学出版会、1982
[4] 横瀬善正：形の心理学、名古屋大学出版会、1986
[5] 松田隆夫：視知覚、培風館、1995
[6] 小町谷朝生：キュクプロスの窓−色と形はどう見えるか−、日本出版サービス、1989
[7] 下條信輔：視覚の冒険、産業図書、1996
[8] 堂島：感性情報の基礎とモデリング−音声における感性的イメージ形成の研究−、平成4年度〜6年度科学研究費補助金研究成果報告書（感性情報処理の情報学・心理学的研究）、pp.41- 44,1995
[9] 三浦監修：聴覚と音声、電子情報通信学会、コロナ社、1980
[10] 難波、他：音の科学、朝倉書店、1989