音の色

J.J.ギブソンの「生態学的知覚システム」を読んでいて、
視覚と聴覚の違いとして反射情報に対する解釈の話が出てきた。

視覚の場合、ある面での反射光は反射面のもつ色という特性
として理解される。その波長の色を有するという光源の特性として
理解されることは通常は起こらない。
一方、聴覚では逆に、反射音は音源の特性を表すものとして
理解される。あらゆる音を跳ね返す壁が「白い」と言われたり、
あらゆる音を吸収する壁が「黒い」と言われたり、特定の周波数帯を
跳ね返しやすい壁（そもそもあるのか知らないが）が「赤い」とか
「青い」とか言われたりすることはない。

この違いは、光が電磁波で、音が空気を媒質とした振動だということに
由来するのだろうか。
仮に、多くの物体の音に対する反射・吸収特性の周波数依存性が高かったら、
聴覚に色をつけるのは一般的になっただろうか。