마음은 어떻게 작동하는가 4 –스티븐 핑거.
4장.마음의 눈
본다는 것은 무엇인가? 외부의 사물이 어떻게 눈에 들어오고, 우리는 어떻게 그것을 보고 인식하는가? 일반적인 이야기 같지만 사실은 대단히 심오하고 과학적인 설명이 필요하다. 4장 ‘마음의 눈’에서는 시각이 어떻게 망막에 들어오는 그대로 받아들이는 것이 아니라, 마음의 눈을 덧붙여 실제의 모습으로 보게 되는지를 탐구하고자 한다. 우리는 먼저 빛의 반사로부터 사물의 개념에 이르는 길을 추적한다. 그런 다음 마음속 그림인 심상이라고 알려진 보기와 생각하기의 상호작용을 살펴볼 것이다.우리는 이번 장을 통해 인간이 이 놀라운 감각을 중심으로 진화한 마음을 가진 영장류, 특히 고도로 시각적인 생물임을 알게 될 것이다.
시작하기 전 살바도르 달리의 말을 인용하고 있다. “바라보는 것은 생각하는 것이다”
사물을 본다는 것은 무엇일까.사물을 본다는 것은 맨 먼저 물체에 부딪쳐 반사되어 온 빛을 통해 보는 것이다. 반사된 빛이 망막에 비치면 시신경이 그 상의 정보를 처리하여 뇌에 보내고, 뇌는 받은 정보를 해석한다. 그러나 망막에 비치는 상은 우리가 일반적으로 보는 것과 다르다. 빛은 각막을 통과해 볼록렌즈와 같은 수정체를 지나면 굴절되면서 망막에 상이 거꾸로 비친다. 또한 두 눈은 입체적인 사물의 모든 면을 다 볼 수 없다. 이 모든 것은 뇌가 보충하고 바르게 해석하여 우리가 사물을 정확히 인식하게 할 수 있도록 한다. 즉 사물을 본다는 것은 ‘눈’으로 보고 ‘뇌’로 인식하는 것이다.
물리학에서 광학은 특정 형태, 물질, 조명을 가진 물체가 어떻게 망막상에 비치는지를 예측하는 분야이다. 하지만 우리는 반대로 망막에 비친 상으로부터 외부사물의 형태와 재질을 추론한다. 뇌는 이렇게 역으로 보는 문제를 해결한다. 이를 역광학이라고 부르는데, 공학자들은 역광학을 ‘잘못 설정된 문제’라 말한다. 해가 존재하지 않는 문제라는 것이다.몇 개의 수를 곱해 결과를 말하는 것은 쉽지만 어떤 결과를 보면서 그것이 어떤 수들의 곱인지는 말하기 불가능한 것과 같다. 회색 덩어리는 그늘 속에 있는 눈덩이일 수도 있고, 햇빛을 받은 석탄 덩어리일 수 있다. 그러나 우리는 어떤 환경에서도 눈덩이를 하얗게, 석탄은 까맣게 본다.
놀랍게도 우리의 뇌는 잘못 설정된 문제를 쉽게 해결한다. 왜일까? 정답은 뇌가 정보를 보충하기 때문이다. 시각은 여러 가지 전제들을 덧붙여 이 잘못 설정된 문제들을 해결 가능한 문제들로 전환하게끔 진화했다. 전제란 우리가 진화해 온 세상이 평균적으로 어떤 모습인지에 대한 사전지식을 말한다.예를 들면, 우리가 사는 세계는 고르고 균일하게 빛을 받는다는 지식이다. 지구라는 행성에 긴 시간동안 빛이 고르게 퍼진다는 가정이 잘 들어맞았고, 자연선택은 그 가정을 시각적 뇌 속에 구축하여 다양한 환경에서도 사물 본질의 색을 볼 수 있게 했다. 또 다른 전제는 동일한 사물의 표면은 일정한 패턴이 반복되는 것이다. 이를 통해 우리 조상은 나무줄기, 들판, 바위, 물의 표면을 구분해 사물을 인지하고, 경계를 구분할 수 있었다. 또 좌우대칭은 거의 항상 동물, 식물의 부분들에서 나온다는 전제로 먹이와 적도 파악할 수 있었다. 전제는 이렇게 우리가 무엇을 볼 때 불완전한 망막의 상으로부터 세계를 정확히 이해하기 위해서 참고하는 컨닝페이퍼와 같은 것이다. 따라서 현재의 세계가 평균적으로 옛날의 환경과 닮아있을 때 우리는 세계를 있는 그대로 본다. 만일 그 전제들이 들어맞지 않는 이상한 세계에 착륙한다면 우리는 착시의 제물이 될 것이다. 시각기관은 우리에게 아름다운 세상을 보여주려고 진화한 것이 아니다. 시각기관은 살아가는 세상의 실제 형태와 재료에 대한 감각을 전달하기 위해 고안되었다. 선택의 이점은 명백하다. 음식, 포식자, 벼랑 등이 어디에 있는지 아는 것이다.
시각에 대한 가장 멋진 관점은 인공지능 과학자인 데이비드 마르로부터 나왔다. 마르는 시각이란 세계에 대한 전제들을 덧붙임으로써 잘못 설정된 문제들을 해결하는 기능이라는 견해를 최초로 제시했고, 계산주의 마음이론을 강력하게 지지했다. 그는 시각이 무엇을 위해 존재하는지에 대한 답으로 “외부 세계의 상들로부터 보는 사람에게 유용한 동시에 부적절한 정보와 뒤섞이지 않은 설명description을 생산하는 과정”이라고 했다. 시각의 목표가 ‘설명’이라는 말은 신선하면서도 통찰력 있는 표현이다. 우리는 눈에 보이는 것을 다 주절주절 말하고 다니지 않는다. 마음으로 그리고 생각한다. 마르는 ‘설명’에 대해 사람들이 말하고 듣는 영어와 같은 일상언어를 말하는 것이 아니라 마음속 사고의 언어인 ‘마음언어(mentalese)’로 된 설명이라고 말했다.
세계를 본다는 것은 무엇을 의미하는가?세상을 보는 사람은 그것을 말로 설명할 수도 있고, 마음속으로 조작하거나, 미래에 참조하기 위해 기억에 저장해 놓을 수도 있다.(2장에서 말한 장기기억에 새겨진 무수한 정보들을 생각해보자) 이 모든 기술은 세상을 망막에 비친 환상이 아니라 실재하는 물체로 해석하는 능력에 달려있다. 예를 들어, 책은 각도에 따라 우리 망막에 사다리꼴 형태로 맺히지만 우리는 책을 사다리꼴이 아닌 ‘직사각형’으로 본다. 왜냐하면 마음 어딘가에는 ‘책은 직사각형’이라고 생각하는 마음언어가 존재하기 때문이다. 단순히 망막에 맺힌 것을 보는게 아니라 눈으로 들어온 시각정보를 장기기억 속에 새겨진 마음언어와 비교해 사물을 보는 설명을 생산한다는 점에서 마르는 시각의 과정을 연산으로 보았다는 것을 알 수 있다.
4-1.깊이를 보는 눈(입체시)
핑커 교수는 3장에서 영장류가 가진 시각의 특별함을 ‘입체시’와 ‘색채시’라고 설명했다. 4장 ‘마음의 눈’ 전체 분량에서 1/3은 입체시를 설명하는데 할당되어 있다. 먼저입체시는 두 눈 시점의 차이를 이용해 깊이감을 얻는 능력이라고 말했다. 즉, 입체시는 ‘깊이를 보는 눈’이다.깊이감을 알면 대상이 얼마나 멀리 있는가를 알 수 있다.우리는 한번 보기만 해도 절벽의 높이나 다가오는 차의 거리를 알 수 있다.
착시그림을 본 적이 있는가? 분명 평면에 그려져 있는 그림인데 신기하게도 튀어나온 입체로 보인다. 먼저 빛이 우리 눈으로 들어와 뇌로 인지되는 과정을 살펴보자. 시각은 광자가 물체의 표면에 반사된 다음 핑 하고 돌아와 동공을 통과하면 안구의 굴곡진 안쪽 표면에 있는 광수용체를 자극함으로써 시작된다. 수용체가 신경신호를 뇌에 보내면 뇌는 가장 먼저 그 광자가 외부세계의 어디에서 온 것인지를 계산한다. 유감스럽게도 광자의 경로는 무한히 뻗어 있고(태양부터 시작하면 무려 1억5천만km) 투사과정에는 눈에서 빛과의 거리에 대한 정보가 없으므로 보통 가장 정확한 것, ‘가장 가까운 점’의 빛에 안착하게 된다. 이것이 착시형성의 출발점이다.
핑커 교수는 착시현상을 통해 입체시의 작동원리를 설명 한다.
착시의 대표적인 사례가 있다. 바로 1943년 미국의 알버트 에임즈가 고안한 ‘에임즈의 룸’이다. 에임즈의 룸 뒤편 왼쪽 모서리는 오른쪽 모서리보다 더 먼(깊은) 거리에 자리잡고 있다. 또 왼쪽과 오른쪽 모서리의 길이를 다르게 하고, 비스듬하게 기울어진 창문과 타일로 속임수를 보완했다. 사실은 찌그러진 직사각형이지만 맞은편 구멍으로 보면 벽은 올바른 직사각형으로 보인다. 그리고 구멍과 가까운 오른쪽 구석에 아이가 서 있고 왼쪽 구석에 엄마가 있으면 아이는 엄마보다 훨씬 크게 보이는 신기한 경험을 한다. 이를 통해 우리 뇌가 크기를 평가할 때 깊이와 같은 단서들까지 결합해 판단한다는 것을 알 수 있다.우리는 우리 망막에 비친 그대로가 아닌 마음의 눈으로 단서와 전제를 결합한 착시그림을 보는 것이다. 에임즈의 방처럼 우리가 보는 세상 또한 거대한 착시그림이라고 할 수 있다.
그렇다면 우리는 어떻게 망막에 비친 납작한 2차원적인 그림을 3차원적인 것으로 전환하는 것인가? 이는 몇 가지 단서를 종합해 이루어지는데 크게 ‘단안 단서’와 ‘양안 단서’로 나뉜다.
단안(單眼)단서는 한마디로 하나의 눈, 한쪽 눈이 있음으로써 깊이와 거리를 지각할 수 있는 단서를 말한다.단안단서는 대부분 환경 속의 대상이 배열되는 방식으로부터 발생한다. 대표적으로음영, 상대적 크기, 상대적 명확성, 조밀성, 중첩, 직선조망, 상대적 운동등이 있다. ‘음영’ 단서의 경우 밝으면 가깝고, 어두우면 먼 거리에 있다고 인식하는 것이다. ‘상대적 크기’는 크기가 크면 더 가까이, 작은 것은 멀리 있다고 인식한다. ‘명확성’은 윤곽이 뚜렷한 물체는 가까이, 흐릿한 것은 멀리 있다고 인식하는 것이다. ‘조밀성’은 표면 결의 밀도가 좁고 선명하면 가까이 있고, 그렇지 않으면 멀다고 생각하는 것이다. ‘중첩’은 한 물체가 일부를 가리고 있는 경우 가려진 것이 더 멀리 있다고 인식한다. ‘직선조망’은 평행한 선들이 모아지면 더 거리가 멀리 있다고 인식한다. 실제 평행선이지만 멀수록 모여 보이는 기찻길을 생각해보자. ‘상대적 운동’은 관찰자가 움직이면 가까운 물체는 더 빨리 움직이고 멀리 있는 물체는 천천히 움직인다고 생각한다. 실제 화가나 영화감독들은 이런 단서들을 이용해 우리를 착각에 빠지게 한다. 우리의 눈을 찌르는 광선들은 실제의 장면에서 반사된 것과 다르다. 우리는 실제가 아니라 그 작가가 의도한 그림으로 본다. 실제 세상도 마찬가지다.
우리가 깊이감을 인식하는데 또 하나의 중요한 단서는 두 눈이 있음으로써 가능한데 이를 양안(兩眼)단서라고 한다.우리는 2개의 눈을 가지고 있고 눈 사이는 약 6.35센티미터의 거리가 있다. 따라서 두 눈은 약간 다른 광경을 보는데 이것을 양안시차(兩眼視差)라고 한다. 왼쪽과 오른쪽 눈의 망막에 비치는 상은 다르지만 우리의 뇌는 양쪽 그림을 합쳐서 하나의 상으로 만든다. 이 가설적인 상은 그리스신화에 나오는 외눈박이 거인 ‘키클롭스 상’이라고 부른다.
양안단서에서 깊이감을 아는 방법은 두 가지이다. 물체를 주시할 때 두 눈의 거리 차이로 미세하게 다른 각도를 보게 된다. 예를 들어 공으로 치면 왼쪽 눈은 공의 왼쪽을 약간 더 뒤쪽까지 보고 오른쪽 눈은 공의 오른쪽을 약간 더 뒤쪽까지 본다.두 눈에 들어온 다른 두 그림을 융합하는 과정에서 우리는 입체감을 인식한다.
또 다른 단서는 시차의 각도이다.시차는 두 눈의 서로 다른 지점에서 같은 물체를 바라보는 시선의 차이를 말한다. 시차 각도가 클수록 더 가까이 있는 것으로 인식하고, 시차 각도가 작을수록 멀리 있는 것으로 인식한다. 이는 ‘삼각법’의 원리를 알면 이해할 수 있다.
결론적으로 두 눈을 가진 우리는 두 눈의 시선에서 물체까지 형성된 각도와양쪽 눈에 비친 상의 차이를 이용해서사물이 얼마나 깊고, 멀리 있는지 계산할 수 있는 것이다.자연이 선택한 뉴런은 놀랍게도 이 삼각법을 계산하여 입체감을 감지한다. 1938년 물리학자 찰스 휘트스톤에 의해 입체시가 밝혀지기 전까지 과학자들은 동물에게 2개의 눈이 있는 것은 좌우대칭을 위한 부산물이거나 한쪽 눈을 잃었을 때를 대비한 예비품이라고 생각했다. 하지만 두 눈은 생존에 필요한 자연의 선택이었다.우리가 깊이를 보는 것은 한 가지 단서 때문이 아니다. 그리고 뇌에는 이 모든 단서에 대한 정보가 들어있다. 우리의 뇌는 수학적으로 능숙하고 기회주의적인 정보소비자이다.
그렇다면 왜 자연선택은 우리에게 입체시를 선사했을까?타일러는 우리 조상이 나뭇잎이 가득한 방에 살았다는 사실을 지적한다. 영장류는 나무에서 진화했기 때문에 무성한 나뭇잎에 가려져 일부만 보이는 작은 가지들의 거리를 알 필요가 있었다. 실패의 대가는 아득한 땅바닥으로 추락하는 것이다. 두번째는 위장술인데 키클롭스 시각은 3차원 위장술을 사용하는 먹이를 탐지하고 발견하는데 효과적인 대응책이었다.
키클롭스의 눈은 어떻게 작동하는가?한쪽 눈에 들어온 흔적과 반대쪽에 들어온 대응물을 매치시키는 문제는 닭이 먼저냐 달걀이 먼저냐와 같은 문제다. 우리는 뇌는 특정한 조각이 어느 쪽 눈에서 왔는지를 모르고 양쪽 눈에 비친 것을 녹여 하나의 그림으로 만들어낸다. 우리의 양쪽 망막에 들어오는 시각 흔적은 셀 수 없이 많은데, 우리 양쪽 눈은 같은 흔적을 매치한다. 어떻게 마음이 이것을 수행할까? 데이비드 마르는 우리가 진화해온 세계에 대해 선천적으로 내장된 전제들이 해답의 실마리일 수 있다고 지적했다. 시각적 뇌가 가지는 전제는 몇 가지가 있다. 첫째, 세계의 각 흔적은 한 순간에 한 표면의 한 위치에 고정되어 있다. 그래서 두 눈이 올바르게 매치를 하려면 세상의 한 흔적으로부터 두 눈에 들어온 똑같은 점에 고정해야 한다. 만약 두 눈에 같은 점이 들어왔다면 두 점은 세상의 한 위치에서 온 것이 분명하다. 즉, 동일한 것을 보고 있다. 둘째, 대부분의 사물들은 매끄럽고 일정한 표면을 갖고 있다.우리의 시야에 들어오는 표면의 시작과 끝은 많이 멀지 않다. 이렇게 인접한 표면은 동일한 특징이 있고, 빛이 균일하게 비친다. 사물의 경계 부분에서는 이 전제가 끝나서 표면이 다른 특성을 가진다. 따라서 두 눈은 동일한 특성을 가진 표면을 봐야 한다.
하지만 이 전제들로는 부족하다.이는 제약만족이란 기술로 보완될 수 있다. 제약만족이란 여러 제약이 있는 상황에서 적합한 답을 찾아가는 문제를 말한다. 적합한 답은 한 가지가 될 수도 있고, 그 이상이 될 수 있다. 가령 여행을 갈 때 시간이라는 제약이 있지만 주어진 시간 동안 갈 수 있는 다양한 코스가 나올 수 있는 것과 같다. 제약만족은 문제상황을 해결하는 다양한 방법을 고려하지만, 우선 확실하거나 단순한 문제부터 풀어가면서 효율성과 정교성을 높여간다. 마치 가로, 세로 글자 맞추기 퍼즐에 일단 추정되는 글자를 써보고 하나씩 답을 채워나가는 원리와 비슷하다.
제약만족 기술을 활용하면 먼저 우리 눈은 완벽히 세계를 보는 데 제약이 있다는 것을 가정하고, 망막으로부터 들어온 수많은 단서들을 검토해 현실세계와 일치할 가능성 있는 후보들을 만든다. 뇌는 세계에 대한 전제들(각 흔적은 한 표면에 고정되어 있다 등)과 매치되는 시각단서들을 하나씩 검토하면서 후보들을 선택하거나 삭제해 나간다. 이렇게 해서 확실한 해결책이 결정될 때까지 뇌의 처리기들 사이에 충분한 논의를 이루어 일치된 결론을 내린다.낱말 맞추기에 비유하자면 입체시의 일치문제를 해결하는 경우에는 점들이 단서이고, 매치들과 깊이들이 후보단어이며, 세계에 대한 전제는 모든 네모에는 하나의 단어가 되어야 한다고 지정하는 규칙들이다.즉, 우리가 두 눈을 가졌다고 해서 입체시가 완성되는 것은 아니다. 뇌 속에 회로가 배선되어야 한다.입체시에는 여러 가지 뉴런이 관여하는 것으로 보이는데 각각의 뉴런은 각기 다른 유전자 조합에 의해 형성된다. 한마디로 입체시도 모듈에 의한 작동이다. 이는 인구의 약 2퍼센트가 각각의 안구로는 잘 보면서 각기 다른 이유로 입체시를 못 보는 것으로 알 수 있다. 입체시는 일부는 유전적인 본성이고, 일부는 3~4개월 경에 발달되는 양육의 결과물로 밝혀졌다.
다시 강조하면 우리의 시각은 망막에 비친 상으로부터 객관세계의 모습을 복구해 불가능한 문제를 해결한다. 이런 세계의 모습을 복구할 때 우리는 장기기억 속에 새겨진 ‘전제’를 사용한다고도 설명했다. 우리 마음에는 점차 모여지는 평행성, 명암의 전환, 표면 재질의 변화, 경계의 테두리 차이와 세계와의 관계(거리, 크기, 위치, 형태 등)에 대한 정보들이 들어 있다. 우리가 보는 많은 착시현상들은(에임즈의 룸, 루벤의 잔과 얼굴과 같은 착시그림 뿐 아니라 회화, 사진, 영상 들을 포함한) 그 전제를 이용하고, 시각기관으로 하여금 착각을 일으켜 우리를 웃고, 울게 만든다. 예를 들면, 우리가 주변을 이동할 때 빨리 지나가는 사물은 가까이, 천천히 지나가는 사물은 멀리 있다고 인식한다고 설명했다. 그리고 크기가 크면 가까이, 작은 것은 멀리 있다고 생각한다.(단안단서의 상대적운동과 크기). 뇌는 그렇게 다른 패턴들의 단서를 조합해 3차원의 세계를 해석한다. 이런 전제를 이용하여 스타워즈와 같은 영화에서는 화면에 보이는 별의 크기와 속도를 조절해 마치 우주를 떠다니는 듯한 느낌을 생생하게 전달한다. 또한, 양안에서 오는 약간 다른 위치의 상을 합쳐 3차원의 세계가 있다고 가정하는 뇌의 전제를 이용하여 착시영상인 3D영화도 만든다. 영화를 보는 동안 양쪽 눈에 각기 다른 상이 비치고 그 결과 우리의 눈은 스크린 밖으로 뛰쳐나오는 괴물을 경험해 흠칫 놀라게 된다.
착시그림을 소개한 것은 단순히 흥미를 위해서가 아니다. 입체시는 자연의 경이이자 마음이 어떻게 작동하는가를 이해할 수 있는 열쇠이다. 입체시는 일종의 정보처리이다. 좌안과 우안으로 정보가 들어오면 뇌의 뉴런들은 프로그래밍된 규칙을 가지고 마음 깊이 새겨진 여러 전제들과 비교해 깊이감 정보라는 결과물을 산출해낸다. 우리 뇌의 다른 부분들은 이 정보들을 활용해 상황판단, 감정지각, 행동지시 등을 한다.
입체시 또한 몇 가지 의미에서 모듈이란 점을 강조한다. 첫째, 입체시는 마음의 다른 부분들이 없어도 잘 작동한다. 둘째, 마음의 다른 부분들은 입체시가 없어도 작동한다. 셋째, 입체시는 뇌 배선에 특별한 역할을 요구한다. 넷째, 입체시는 자신의 문제에만 적용할 수 있는 고유한 원리에 의존한다.(예, 양안시차의 구조)
다시 한번 강조하면 입체시는 자연선택에 의한 진화의 산물이다. 입체시는 우리 조상들이 생태환경에 직면했던 선택압력에 대응하여 진화했다. 그래서 그것은 현재는 아닐 수 있지만 인간이 진화했던 당시 적합했던 전제들을 통해 ‘해결 불가능한 문제’들을 해결한다.
4-2. 빛과 명암
입체시는 표면의 깊이와 재질을 파악하는 중요한 초기 단계 시각이지만 그것이 전부는 아니다. 두 눈이 있어야 3차원으로 보는 것은 아니다. 그림에서 아주 미약한 힌트만 있어도 우리는 형태와 재질을 감지해 낸다.
다음 그림은 심리학자 에드워드 애들슨이 만든 착시그림이다. 그림은 각각 수평, 수직으로 종이를 접고 옆에서 빛을 비춘 그림이다. 종이에 들어간 잉크는 동일하다. 하지만 모양이 다르게 보인다. 1번 표시가 붙은 경계선은 물리적으로는 똑같다. 그러나 왼쪽 그림 경계선은 색칠에 의한 경계선으로 보이고, 오른쪽 그림의 경계선은 형태와 그늘에 의한 경계선으로 보인다. 지그재그의 방향만 다른 두 박스에서 이 모든 차이가 나온다.
시각의 적은 단서로부터 외부세계의 형태, 표면, 재질 등 많은 정보를 정확하게 파악하려면 세 가지 마음 전문가가 필요하다. 입체시처럼 그 전문가들도 외부세계의 표면에 대한 정확한 이해를 위해 일하지만 그들은 각각 다른 종류의 정보에 의존하고, 각기 다른 종류의 문제를 해결하고, 각기 다른 종류의 전제를 만들어낸다.
첫 번째는 형태분석 전문가이다. 3차원 물체는 망막에 2차원 형태로 투사된다. 따라서 단지 투상만 가지고는 특정한 형태를 복구할 수 없다. 그래서 망막에 상이 주어지면 우리 마음속 형태분석기는 확률을 따져서 확률이 가장 높은 상태를 보게 해준다.우리의 마음 속에는 물체의 선들이 어떻게 투시되는가와 세계에 대한 정보들이 기록되어 있다. 예를 들어 ‘책은 직사각형이다’ ‘동전의 옆면은 직선으로 보여도 윗면은 타원이다’ ‘움직이는 유기체는 대칭형으로 생겼다’ 등이다. 따라서 내가 보고 있는 선의 집합들이 마음 속에 새겨진 어떤 물체의 형태와 유사하면 그 물체라고 결정할 확률이 높아진다. 한 가지 더 고려해야 하는데, 그것이 이 장면에서 출현할 가능성이 얼마나 있는가이다.예컨대, 얼룩말이 종종 발굽소리를 낸다는 이유로, 창밖에서 나는 발굽소리가 얼룩말이라고 결론을 내리는 것은 안전하지 않다. 외부세계에 얼룩말이 얼마나 존재하는지를 고려해야 하는 것이다. 즉 형태분석 전문가는 ‘보이는 선들과 마음속에 기록된 물체정보와의 유사성’과 ‘그 물체가 현재 출현할 가능성’을 곱해 형태를 파악하는 것이다.하지만 세계의 표면들은 단지 선으로만 그려져 있지 않다. 표면은 또한 재료로도 이루어져 있다.
두번째는 반사율 전문가가 할 일이다.이 세계의 표면들은 재료로 이루어져 있다.빛과 색을 감지하는 것은 재료를 평가하는 한 방법이다. 재질이 다르면 반사되는 빛의 파장과 양이 다르다.하지만 반사광으로부터 물체의 재질을 절대적으로 추론하기는 부족하기 때문에밝기 분석기는 주변의 조명도까지 계산해서 재질을 추론해야 한다. 우리 마음 속에는 이 세계가 어떻게 빛을 반사하는가에 대한 정보가 있다. 뇌는 빛이 균일하게 비치고, 사물들은 일정한 색깔의 표면을 갖고 있는 세계에 살고 있다고 가정하고 외부 세계에 존재하는 것들에 대한 추측을 해낸다.
우리는 다른 밝기에서도 문제없이 옷의 고유의 색을 지각하고, 빨간색 스커트를 인식한다. 이를 위해서는 망막에 투사된 색을 확인하는 것만으로는 부족하다. 첫째 동일한 표면은 고르고 균일하게 빛을 받는다는 전제가 있어야 한다. 그런 다음 세 가지 단계로 밝기에 따른 색깔 지각 문제를 해결한다. 물체의 한쪽 끝에서 반대쪽 끝까지 밝기 변화도를 계산하고, 전체로부터 밝기의 평균수치를 추산하고, 평균수치에서 각 조각의 밝기를 빼고 더하는 방법으로 명암을 계산한다. 즉, 우리 뇌는 평균 수치에 따른 조명의 강도를 계산해서 다른 빛 아래서의 물체의 정확한 색깔을 본다. 둘째, 밝기와 색이 시야상에서 점진적으로 변하는 것은 해당 장면이 그렇게 빛을 받고 있기 때문이고,(예를 들면, 곡면에서는 빛이 밝음에서 어둠으로 넘어가는 점진적 이행이 나타남) 갑작스럽게 변하는 것은 한 물체가 끝나고 다른 물체가 시작되는 것(예를 들면, 모래사장과 바다의 경계)이라고 가정해 동일하거나 다른 물질을 감지한다.
마지막으로는 명암효과 전문가이다.우리는 경사의 표면에서 반사되는 빛의 양을 계산해 형태와 재질을 이해한다.예를 들면 당신이 광원을 보고 있다고 하면, 표면이 비스듬하게 틀어져 있을 때보다 정면으로 마주하고 있을 때 더 많은 빛을 포착한다. 우리는 이 원리를 넓은 광원에서 작은 물체까지 적용한다. 큐브와 보석 등 모든 물체들은 경사가 다른 작은 단면조각들로 이루어져 있으며, 명암법칙은 각각의 면에서 발산하는 빛에 적용된다. 우리는 명암을 통해 세계를 볼 때에도 전제에 의존한다. 세계의 표면은 수천 종류의 재질로 이루어져 있는데, 빛은 경사진 표면들을 각기 다르게 때리고 튕겨져 나간다는 것이다.
각각 분석기는 다른 전제들을 가지고 있고, 그 전제들은 종종 다른 분석기와 충돌을 일으킨다. 이 분석들이 뒤섞여도 전문가들은 서로 협조하면서 가장 가능성 높은 추측을 조립해 하나의 형태, 색, 한 종류의 빛을 본다.
4-3. 2.5차원으로 보기
전문가들이 각자 맡은 일을 하고 나면, 뇌의 나머지 부분들이 접근할 수 있는 게시판에 무엇을 그리는가? 지금까지 설명한 입체, 운동, 윤곽, 명암 전문가들은 3차원의 세계를 복원하기 위해 열심히 일했다.그 노동의 결실을 위해 망막에 비친 수많은 모자이크 그림들은 하나로 조립되어 3차원으로 만드는 마음의 공간으로 넘어가야 하고, 3차원 모형은 세계에 대한 우리의 최종적인 이해가 되는 것이다. 하지만 여러 전문가가 붙어 3차원으로 보려고 열심히 노력하지만 실제 우리가 보는 세상은 그렇지 않다.첫째, 우리는 눈앞에 있는 것만 생생하게 경험한다. 시야의 경계 밖에 있는 세계는 막연하게 안다.눈은 1초에 몇 번씩이나 초점을 바꾼다. 사람들이 눈이나 머리를 움직이면 그 순간 보고 있던 사물의 세부적인 모습을 놓친다.둘째, 우리는 부피가 아니라 표면을 본다. 우리에겐 엑스선 같은 시각이 없다.우리는 상자의 앞은 보지만 뒤나 안은 보지 못한다.셋째, 우리는 원근법에 따라 본다.우리는 기찻길이 평행하는 것을 알지만 지평선 쪽에서 만나는 것처럼 본다.넷째, 우리는 기하학적으로 엄밀하게 말하면 3차원이 아니라 2차원으로 본다.다섯째, 우리는 물체들을 즉시 보지 못한다. 우리는 이동가능한 물질 덩어리들을 세고, 분류하고, 거기에 명사를 붙인다.예를 들어 코는 물체인가? 몸에 붙어 있을 때도 하나의 물체인가? 생각하기에 따라 물체일수도 있고 물체의 부분일 수도 있다.
그러나 우리에게는 ‘표면’과 ‘경계’를 확실히 감지하는 감각이 있다. 지각을 조직하는데 기본적인 능력 중 하나는 배경으로부터 대상을 확인하는 것이다.시야를 깎아내서 표면들로 만들고 그중 어느 것이 전면에 있는가를 결정하는 것이다. 예를 든 그림과 같이 루벤의 잔과 얼굴은 동시에 보이지 않는다. 두 형태 중 우세한 형태가 경계선을 ‘소유’하고 다른 구획을 배경으로 밀어낸다. 우리는 망막에서 밀려오는 정보에 떠밀려 비자발적으로 표면을 인지한다. 일반적인 믿음과는 달리 우리는 기대하는 것을 보는 것이 아니다.그렇다면 시각은 무엇을 생산할까? 마르는 그 생산물을 2.5차원 스케치라 부르고, 다른 사람들은 가시적 표면 표상(visible surface representation)이라 부른다. 깊이는 좌우, 상하 차원들과 달리 시각 정보를 담고 있는 매개물을 규정하지 못하기 때문에 종종 1/2차원으로 ‘다운그레이드’ 된다.3차원 세계를 보려고 여러 마음 전문가들이 노력했지만, 사실 우리는 볼 수 없는 것은 축소하고 본다.
2.5차원스케치
2.5차원 스케치는 다음 그림과 같다. 세포 또는 화소들이 모자이크처럼 붙어 있다. 각 세포는 키클롭스의 시점에서 일직선으로 뻗어 나간 시선에 해당한다.각 세포는 몇 개의 정보를 가진 두 종류의 서식과 같다. 표면을 설명하는 서식과, 테두리를 설명하는 서식이다. 표면을 설명하는 서식에는 깊이, 전후 기울기, 좌우 기울기, 색, 재질 정보가 포함되어 있고,테두리를 설명하는 서식에는 테두리가 사물의 경계에 있는지, 홈인지, 마루인지를 알려주는 정보들이다.이 그림은 2.5차원 스케치 속에 담긴 정보의 종류를 종합해서 보여주는 그림으로, 각 전문가들은 담당하는 정보를 뇌와 공유한다. 이 정보들은 모든 전문가가 보며 협력해 처리할 수 있는 공동 게시판에 게시된다.
왜 우리는 2.5차원으로 볼까? 그 답은 저장의 비용과 이점에 있다. 컴퓨터 사용자라면 그래픽 파일이 저장 공간을 잡아먹는 대식가라는 것을 알 것이다. 뇌가 눈에 들어오는 수 기가 바이트를 모형으로 합성하지 않는 것은 대상이 움직이는 순간 쓸모가 없어지기 때문이다.깊이를 계산하는 입체, 윤곽, 운동 전문가들이 갖춰져 있는 것은 보는 사람에게 외부세계의 3차원 좌표를 주기 위해서가 아니라 거리, 기울기, 겹침현상에 대한 정보를 주기 위해서다. 그것들이 할 수 있는 최선의 일은 공동작업을 통해 눈앞의 표면들에 대한 2.5차원의 인식을 제공하는 것이다. 어떻게 사용할지를 생각하는 것은 뇌의 나머지 부분이 할 일이다.
4-4. 좌표계(위치와 방향)
2.5차원 스케치는 정교하게 설계되고 조화롭게 작동하는 시각시스템의 걸작이다. 그러나 문제가 있다. 2.5차원 배열에 담긴 정보는 보는 사람을 기준으로 중심이 맞춰진 망막 좌표계에 기입되어 있다는 것이다.만일 특정한 세포가 “여기 테두리가 있다”는 정보를 보내면 여기가 가리키는 의미는 망막 위에 있는 그 세포의 위치(즉 당신이 보고 있는 정면)이다. 그러나 당신이나 사물이 움직이는 순간, 그 정보는 다른 배열 속의 공간으로 이동한다.
시각정보를 이용하는 문제의 핵심은 위치를 알아야 하는 것인데 그러려면 유용한 준거틀, 즉 좌표계가 있어야 한다.좌표계는 위치 개념과 밀접하다. 우리는 “그게 어디 있어?”라고 물으면 이미 알고 있는 사물의 이름을 확인하고 그것을 기준으로 어느 방향으로 얼마나 멀리 있는가를 설명한다. “냉장고 옆에 있어”와 같이 말로 된 설명, 주소, 나침반 방향 등과 같이 ‘준거틀’을 기준으로 거리와 방향을 나타낸다.
2.5차원 스케치가 첨부된 좌표계는 망막상의 위치다. 그런데 망막상은 끊임없이 움직인다. 우리는 두 눈이 움직이는 동안에도 머물러 있는 좌표계가 필요하다.보이지 않는 좌표계를 시야 앞에 두고 이리저리 이동시키는 회로가 있다고 가정해보자. 그리고 좌표계가 있는 시야로부터 수집된 정보는 그 십자선에 규정된 위치들과 관련되어 있다. 컴퓨터에도 그와 비슷한 것이 있다. 바로 커서이다. 커서는 방대한 문서에서 정보를 읽고 쓸 때 기준이 되고, 화면을 스크롤 해 움직일 때마다 같이 따라온다. 뇌가 2.5차원 스케치 내용을 이용하려면 커서와 같이 위치를 고정하고 파악하는 좌표계가 필요하다.
우리에게는 여러 가지 좌표계가 있다. 머리에 고정시킨 좌표계가 있을 수 있고, 머리와 신체의 운동을 보상하는 물체에 고정된 좌표계도 있다. 네 가지의 좌표계를 소개한다.
첫째, 외부세계를 동일한 크기로 나눠 표시하는 ‘마음격자 틀’이다.우리는 외부세계에 동일한 크기의 마음격자 틀을 그려 거리, 위치, 방향 등을 감지한다. 예를 들어, 가까운 거리의 물체는 격자의 넓은 범위를 차지할 것이고 먼 거리에서는 좁은 범위를 차지하여 사물의 거리를 인지할 수 있다. 또한, 우리는 철길이 평행선인 것을 알지만 마음격자 틀에 철길이 서로 만난다면 철길은 점점 멀어지고 있다고 지각한다. 그리고 모아지는 철길 옆의 격자에 나무가 있다면 그 나무의 위치와 거리 또한 짐작할 수 있다.
둘째, 중력의 방향 틀이다.우리 마음의 수직 추는 내이의 전정기관에서 나온다. 우리 귀의 가장 안쪽에 위치한 전정기관은 반고리관과 전정을 일컫는데, 여기에는 림프액과 돌(이석)들이 있다. 머리를 움직이면 전정기관의 림프액이 출렁거리고, 이석이 중력의 방향으로 움직여 상하, 전후 움직임을 기록하는 신경신호를 만든다. 마음(뇌)은 이 신호를 이용해 십자선을 항상 정확히 똑바로 서있게 해
물체를 올바로 볼 수 있게 한다.
셋째, 마음의 상하축이다.마음 상하축은 우리가 형태 감각을 형성하는 강력한 요소이다. 기하학자는 오른쪽 두 그림을 네 각과 선이 동일한 같은 도형으로 보지만, 우리는 정사각형과 마름모로 본다. 왜냐하면 정사각형은 ‘위쪽’이 평평하고 마름모는 뾰족하기 때문이다. 이렇게 우리 마음은 물체를 인식할 때 상하좌표를 무시하지 않고, 상하에 위치한 모양의 차이를 통해 형태를 인식한다.
넷째, 물체 자체의 좌표계이다. 그림의 삼각형 모양을 보고 있으면 어느 순간 ‘삼각형들이 가리키는 쪽’으로 보인다. 이때 변화를 일으킨 것은 삼각형들이 아니라 삼각형 위에 겹쳐진 마음의 좌표계이다. 그 좌표계는 삼각형들의 대칭축에서 비롯된 것이다. 삼각형에는 그런 축이 모서리마다 있는데 각각의 축이 번갈아 가면서 방향을 지배한다. 각각의 축에는 남극과 북극 같은 양극이 있어서 삼각형이 어느 한 방향을 가리키는 느낌이 들게 한다.
4-5. 동물크래커(형태)
좌표계를 끌어들이는 능력은 사물이 망막으로 들어와 사고로 인식되는 과정 중 하나를 해결하는 데 도움된다. 사물들은 다양한 단서로부터 인식된다. 어떤 것은 소리와 냄새로 인식되고, 어떤 것들은 색과 재질을 통해 인식된다. 그러나 대부분의 물체는 ‘형태’를 통해 인식된다.그렇다면 사람들은 어떻게 형태를 인식하는가?
사물의 형태를 인식할 때 우리는 물질의 부분이 어떻게 배치되었는지 생각하고, 기억된 것들 중 가장 가깝게 매치되는 것을 찾아낸다.인간의 마음은 굉장히 예리한 기하학자의 능력을 가졌다. 세 살만 되어도 갖가지 모양의 동물 크래커에서 원하는 것을 척척 골라낸다. 반면, 뇌의 좌반구에 문제가 있는 환자는 물체의 형태를 인식할 수 없다. 소의 머리를 상상하라는 질문을 받으면 귀와 뿔이 있는 건 알겠는데 그것을 제 위치에 놓을 수가 없다고 답한다.이것을 보면사람들은 형태를 인식할 때 부분들의 형태와 배열을 분석함으로써 물체가 무엇인지 이해하는 것으로 보인다.이번 장에서 ‘형태를 인식하는 마음’을 탐구하면서 ‘동물크래커(를 구별하는 마음)’란 제목을 붙인 이유이다.
자동차, 사람, 그리고 동물이 움직이면 우리의 망막에 맺혀지는 대상들의 모양은 지속적으로 변화하지만, 우리는 여전히 그것들이 같은 크기와 모양을 가지는 것으로 지각한다.예컨대, 문이 열릴 때 열린 각도에 따라 망막에 맺혀진 문의 형태는 찌그러진 사다리꼴처럼 변화한다. 하지만 우리는 문이 일정한 직사각형의 형태를 가지고 있다고 지각한다. 어떻게 가능할까? 우리가 형태를 어떻게 인식하는지에 대한 세 가지 열쇠를 소개한다.
첫째는 복합시각 이론이다. 사람들은 자주 경험하는 물체들에 대해 모든 방향(위, 옆, 밑 등)에 대한 수 많은 기억파일을 저장한다. 물체의 한 부분이 시각에 들어오면 기억 속 파일모음들을 불러오고, 그 파일과 매치해 물체가 무엇인지 파악한다.예를 들면, 우리가 여행가방을 위에서 내려다본다고 가정하자. 우리는 손잡이가 달려있는 직사각형 판을 보지만, 여행가방 앞, 옆, 뒤에 대한 복합적인 시각기억이 저장되어 있기 때문에 위에서 본다고 하더라도 여행가방의 모양을 상상하고 인지할 수 있다. 복합시각 이론은 시각파일이 많은 익숙한 사물일수록 빠르게 인식하고, 특히 습관적인 방향으로 향해 있다면 더 빨리 인식한다는 실험으로 증명되었다.
두 번째로는 마음회전 이론이다.우리는 어떤 물체의 형태를 평가할 때 상하좌우 방향을 무시하지 못한다. 물체가 기울어져 있으면 마음 속에서 형태를 똑바로 회전시킨 다음 그 상을 인식한다.예를 들면, 알파벳 R이 기울어져 있어도 우리는 마음에서 똑바로 회전하여 R로 이해한다. 우리는 이를 마음회전 이론이라 일컫는다.사람들은 형태가 똑바로 서 있을 때 빨리 인식하고, 방향이 틀어지면 틀어진만큼 느리게 인식한다는 것이 실험으로 증명되면서 우리에게 형태를 인식할 때 회전하는 능력이 있다는 것을 알게 되었다.
마지막으로 기하자 이론이다.우리는 사물의 형태를 원추, 육면체, 원통 같은 도형의 집합이라고 생각하고, 이 도형들의 형태와 배열을 분석함으로써 물체가 무엇인지 파악한다는 것이다.구체적으로 우리는 마음속으로 물체의 중심에 좌표계를 그리고 그 안에 들어온 도형들의 위치와 각도를 측량해 사물들의 차이를 인지한다. 그리고 우리 뇌에는 아는 사람들의 얼굴 형태, 그리고 동물, 사물 등의 모양을 기록해 놓는데, 좌표 위에 그려진 부분들을 기억 속 모형과 일치하는지 확인하며 형태를 파악한다.기하자 이론에 따르면 우리는 기하자의 총합이 아니라 부분들의 배열에 따라 사물을 구분한다.예를 들어 옆면에 굽이가 붙어있는 원통은 컵이고, 위에 굽이가 붙어있는 원통은 들통이다와 같은 식이다.또한 우리는 매치하는 시각과 기억을 비교할 때 밀리미터 단위로 정밀하게 명시하는 게 아니라 어느 정도 여유를 두는 유연성이 있다. 예를 들면, 컵의 손잡이는 컵에 따라 조금 높거나 낮을 수 있지만 모두 ‘원통 옆면에’ 붙어있는 것을 인식하는 것과 같은 식이다. 그래서 사물의 스타일이 제 각각이여도 우리는 그 사물이 무엇인지 안다.
사람들은 이 모든 기술을 이용해 형태를 인식한다. 형태인식은 아주 어려운 문제이기 때문에 하나의 범용 알고리즘으로 모든 형태를 처리할 수 없다. 놀라운 것은 눈앞의 형태를 파악하는 데 순식간에 최적의 기술을 적용하고 계산해낸다는 것이다.만일 한 형태의 옆면들이 너무 어렵지 않으면 사람들은 그것을 물체 자체의 축에 중심이 맞춰진 기하자 모형으로 파악한다. 만일 형태가 더 복잡하면 그것이 각 방향에 따라 어떻게 보이는가를 복사해서 기억파일과 비교한다. 그리고 형태가 낯선 방향으로 틀어져 있으면 사람들은 마음속으로 그것을 회전시켜서 익숙한 형태들 중 가장 근접한 것과 일치시킨다. 이런 기술들은 우리의 천부적인 시각기관이 보여주는 재능이다. 이제 우리는 시각심리학의 마지막 주제인 ‘심상’으로 넘어가게 된다.
4-6. 상상하라(심상)
비글의 귀는 어떻게 생겼는가? 거실 창문은 몇 개인가? 바닷가재는 입이 있는가?사람들은 이러한 질문에 답하기 위해 ‘심상(마음의 상)’을 이용한다. 형태를 그리면 마치 마음의 눈으로 검사할 수 있는 그림이 떠오른다.그 느낌은 ‘어머니의 결혼 전 이름이 무엇인가?’ ‘시민의 자유와 범죄의 예방 중에 어느 것이 중요한가?’와 같은 추상적인 질문에 대답하는 경험과는 다르다.
심상은 사물에 관한 우리의 생각을 공간 속으로 몰고가는 엔진이다.자동차에 가방을 싣거나 가구를 재배치할 때 우리는 공간적 배열들을 상상해본 후 작업을 시작한다.화가들은 마음속으로 착상을 검토하고, 아인슈타인은 마음속 실험실에서 상대성이론을 생각해냈다. 심상은 지성뿐만 아니라 감정도 움직인다.야심, 불안, 성적충동, 질투심은 모두 존재하지 않는 것의 상에 의해 촉발될 수 있다. 한 실험에 의하면 배우자의 부정장면을 상상만 해도 심박수가 분당 5회 증가했다.심상은 산업이다.기억력 증진 강좌에서는 방안 물건들을 상상한 다음 마음속으로 그 사이를 걸어다니는 기술을 가르친다. 심리치료도 마찬가지이다.
그런데 심상이란 무엇인가?계산주의 마음이론에서 심상의 개념은 명료하다. 우리는 시각기관이 그림과 비슷한 2.5차원 스케치를 사용한다는 것을 안다. 형태 표상은 눈에 투사된 형태의 윤곽들과 맞아떨어지는 패턴 속의 몇몇 요소들이 기입됨으로써 이루어진다. 형태 분석은 좌표계나 기하자 찾기 등을 통해 스케치 속의 정보를 처리한다.심상은 장기기억으로부터 실려온 2.5차원 스케치속 패턴인 것이다.
뇌는 심상의 요구사항을 수행할 준비가 되어 있다. 그것은 눈이 아닌 기억으로부터 흘러들어온 정보다. 뇌의 시각 영역에 이르는 섬유경로들은 양방향이다. 그 경로들은 하위의 감각 차원으로부터 정보를 보고받는 것 못지않게 상위의 개념 차원에서도 많은 정보를 하달 받는다. 이 상하연결에 무엇에 필요한지는 정확히 밝혀지지 않았지만, 아마 기억 상들을 시각지도로부터 내려 받기 위해 존재하는 것으로 보인다.
그렇다면 심상은 어디에 있을까?뇌 손상 환자, 뇌 활성화 부위실험 등 여러 증거들을 통해시각적 뇌가 곧 심상의 자리임을 알게 되었다. 심상은 뇌의 시각피질에 고루 배치되는 것으로 보인다. 또한, 수십년 동안 철학자들은 실험을 통해 심상은 서술이 아니라 ‘그림’으로 마음에 저장된다는 사실을 밝혔다.
심상은 멋진 기능이 있지만 한계점이 있기 때문에 머릿속의 그림이란 개념에 너무 도취해서는 안 된다. 첫째, 심상은 파편적이다. 사람들은 시각적 장면 전체의 상을 재구성하지 못한다.우리는 순간적으로 감지한 한 시점의 부분들만 기억하고 그것들을 마음의 그림 속에 배열한다. 사물들에 대한 우리의 기억은 파편적인 여러 시선을 모은 혼성그림이다.둘째,심상은 기억의 구조에 속박되어 있다는 한계가 있다.세계에 대한 우리의 지식은 한 장의 큰 그림에 들어맞지 않는다. 시각적 기억은 정확한 기억이 아니다.우리의 시각기억은 명제로 된 상부구조 안에 분류되고 체계화된다.시각적 사고는 심상의 내용물 자체가 아니라 우리가 상을 구성하기 위해 이용하는 개념적 지식에 의해 강하게 작동한다. 예를 들어, 체스선수의 경우 말들의 공간적 배열을 기억하는 게 아니라, 공격과 수비를 비롯한 말들 간의 의미있는 관계들을 기억한다. 우리는 영화를 보고 나서 모든 이미지를 기억하는 것이 아니라 개념으로 된 줄거리를 기억한다.마지막으로, 심상은 개념과 똑같은 역할을 하지 않는다.심상은 ‘자유’와 같은 추상적 개념, ‘기린이 아님’과 같은 부정적 개념, ‘고양이나 새’와 같은 선별적 개념, ‘인간은 모두 죽는다’와 같은 명제 등을 그리기는 어렵다. 반면, 개념은 이 모든 것이 가능하다. 그림은 양의적이지만 생각은 정의상 양의적일 수 없다.상식은 그림만으로 해낼 수 없는 구별을 수행한다. 상식은 단지 그림들의 집합이 아니다.만일 어떤 생각을 표상하기 위해 마음의 그림을 이용한다면 거기에는 그 그림을 어떻게 해석해야 할지, 무엇을 무시하고 주목해야 할지를 개념적으로 설명해주는 수 많은 캡션이 붙어야 할 것이다. 시각이 멈추고 생각이 시작되면, 마음이 한 사물을 설명하는 명제들을 피해가기는 불가능하다.
그림은 천 마디의 말처럼 소중하지만 항상 그렇지는 않다.심상은 보기와 생각하기 어느 지점에서 관념에게 자리를 내준다.
4장.마음의 눈
본다는 것은 무엇인가? 외부의 사물이 어떻게 눈에 들어오고, 우리는 어떻게 그것을 보고 인식하는가? 일반적인 이야기 같지만 사실은 대단히 심오하고 과학적인 설명이 필요하다. 4장 ‘마음의 눈’에서는 시각이 어떻게 망막에 들어오는 그대로 받아들이는 것이 아니라, 마음의 눈을 덧붙여 실제의 모습으로 보게 되는지를 탐구하고자 한다. 우리는 먼저 빛의 반사로부터 사물의 개념에 이르는 길을 추적한다. 그런 다음 마음속 그림인 심상이라고 알려진 보기와 생각하기의 상호작용을 살펴볼 것이다.우리는 이번 장을 통해 인간이 이 놀라운 감각을 중심으로 진화한 마음을 가진 영장류, 특히 고도로 시각적인 생물임을 알게 될 것이다.
시작하기 전 살바도르 달리의 말을 인용하고 있다. “바라보는 것은 생각하는 것이다”
사물을 본다는 것은 무엇일까.사물을 본다는 것은 맨 먼저 물체에 부딪쳐 반사되어 온 빛을 통해 보는 것이다. 반사된 빛이 망막에 비치면 시신경이 그 상의 정보를 처리하여 뇌에 보내고, 뇌는 받은 정보를 해석한다. 그러나 망막에 비치는 상은 우리가 일반적으로 보는 것과 다르다. 빛은 각막을 통과해 볼록렌즈와 같은 수정체를 지나면 굴절되면서 망막에 상이 거꾸로 비친다. 또한 두 눈은 입체적인 사물의 모든 면을 다 볼 수 없다. 이 모든 것은 뇌가 보충하고 바르게 해석하여 우리가 사물을 정확히 인식하게 할 수 있도록 한다. 즉 사물을 본다는 것은 ‘눈’으로 보고 ‘뇌’로 인식하는 것이다.
물리학에서 광학은 특정 형태, 물질, 조명을 가진 물체가 어떻게 망막상에 비치는지를 예측하는 분야이다. 하지만 우리는 반대로 망막에 비친 상으로부터 외부사물의 형태와 재질을 추론한다. 뇌는 이렇게 역으로 보는 문제를 해결한다. 이를 역광학이라고 부르는데, 공학자들은 역광학을 ‘잘못 설정된 문제’라 말한다. 해가 존재하지 않는 문제라는 것이다.몇 개의 수를 곱해 결과를 말하는 것은 쉽지만 어떤 결과를 보면서 그것이 어떤 수들의 곱인지는 말하기 불가능한 것과 같다. 회색 덩어리는 그늘 속에 있는 눈덩이일 수도 있고, 햇빛을 받은 석탄 덩어리일 수 있다. 그러나 우리는 어떤 환경에서도 눈덩이를 하얗게, 석탄은 까맣게 본다.
놀랍게도 우리의 뇌는 잘못 설정된 문제를 쉽게 해결한다. 왜일까? 정답은 뇌가 정보를 보충하기 때문이다. 시각은 여러 가지 전제들을 덧붙여 이 잘못 설정된 문제들을 해결 가능한 문제들로 전환하게끔 진화했다. 전제란 우리가 진화해 온 세상이 평균적으로 어떤 모습인지에 대한 사전지식을 말한다.예를 들면, 우리가 사는 세계는 고르고 균일하게 빛을 받는다는 지식이다. 지구라는 행성에 긴 시간동안 빛이 고르게 퍼진다는 가정이 잘 들어맞았고, 자연선택은 그 가정을 시각적 뇌 속에 구축하여 다양한 환경에서도 사물 본질의 색을 볼 수 있게 했다. 또 다른 전제는 동일한 사물의 표면은 일정한 패턴이 반복되는 것이다. 이를 통해 우리 조상은 나무줄기, 들판, 바위, 물의 표면을 구분해 사물을 인지하고, 경계를 구분할 수 있었다. 또 좌우대칭은 거의 항상 동물, 식물의 부분들에서 나온다는 전제로 먹이와 적도 파악할 수 있었다. 전제는 이렇게 우리가 무엇을 볼 때 불완전한 망막의 상으로부터 세계를 정확히 이해하기 위해서 참고하는 컨닝페이퍼와 같은 것이다. 따라서 현재의 세계가 평균적으로 옛날의 환경과 닮아있을 때 우리는 세계를 있는 그대로 본다. 만일 그 전제들이 들어맞지 않는 이상한 세계에 착륙한다면 우리는 착시의 제물이 될 것이다. 시각기관은 우리에게 아름다운 세상을 보여주려고 진화한 것이 아니다. 시각기관은 살아가는 세상의 실제 형태와 재료에 대한 감각을 전달하기 위해 고안되었다. 선택의 이점은 명백하다. 음식, 포식자, 벼랑 등이 어디에 있는지 아는 것이다.
시각에 대한 가장 멋진 관점은 인공지능 과학자인 데이비드 마르로부터 나왔다. 마르는 시각이란 세계에 대한 전제들을 덧붙임으로써 잘못 설정된 문제들을 해결하는 기능이라는 견해를 최초로 제시했고, 계산주의 마음이론을 강력하게 지지했다. 그는 시각이 무엇을 위해 존재하는지에 대한 답으로 “외부 세계의 상들로부터 보는 사람에게 유용한 동시에 부적절한 정보와 뒤섞이지 않은 설명description을 생산하는 과정”이라고 했다. 시각의 목표가 ‘설명’이라는 말은 신선하면서도 통찰력 있는 표현이다. 우리는 눈에 보이는 것을 다 주절주절 말하고 다니지 않는다. 마음으로 그리고 생각한다. 마르는 ‘설명’에 대해 사람들이 말하고 듣는 영어와 같은 일상언어를 말하는 것이 아니라 마음속 사고의 언어인 ‘마음언어(mentalese)’로 된 설명이라고 말했다.
세계를 본다는 것은 무엇을 의미하는가?세상을 보는 사람은 그것을 말로 설명할 수도 있고, 마음속으로 조작하거나, 미래에 참조하기 위해 기억에 저장해 놓을 수도 있다.(2장에서 말한 장기기억에 새겨진 무수한 정보들을 생각해보자) 이 모든 기술은 세상을 망막에 비친 환상이 아니라 실재하는 물체로 해석하는 능력에 달려있다. 예를 들어, 책은 각도에 따라 우리 망막에 사다리꼴 형태로 맺히지만 우리는 책을 사다리꼴이 아닌 ‘직사각형’으로 본다. 왜냐하면 마음 어딘가에는 ‘책은 직사각형’이라고 생각하는 마음언어가 존재하기 때문이다. 단순히 망막에 맺힌 것을 보는게 아니라 눈으로 들어온 시각정보를 장기기억 속에 새겨진 마음언어와 비교해 사물을 보는 설명을 생산한다는 점에서 마르는 시각의 과정을 연산으로 보았다는 것을 알 수 있다.
4-1.깊이를 보는 눈(입체시)
핑커 교수는 3장에서 영장류가 가진 시각의 특별함을 ‘입체시’와 ‘색채시’라고 설명했다. 4장 ‘마음의 눈’ 전체 분량에서 1/3은 입체시를 설명하는데 할당되어 있다. 먼저입체시는 두 눈 시점의 차이를 이용해 깊이감을 얻는 능력이라고 말했다. 즉, 입체시는 ‘깊이를 보는 눈’이다.깊이감을 알면 대상이 얼마나 멀리 있는가를 알 수 있다.우리는 한번 보기만 해도 절벽의 높이나 다가오는 차의 거리를 알 수 있다.
착시그림을 본 적이 있는가? 분명 평면에 그려져 있는 그림인데 신기하게도 튀어나온 입체로 보인다. 먼저 빛이 우리 눈으로 들어와 뇌로 인지되는 과정을 살펴보자. 시각은 광자가 물체의 표면에 반사된 다음 핑 하고 돌아와 동공을 통과하면 안구의 굴곡진 안쪽 표면에 있는 광수용체를 자극함으로써 시작된다. 수용체가 신경신호를 뇌에 보내면 뇌는 가장 먼저 그 광자가 외부세계의 어디에서 온 것인지를 계산한다. 유감스럽게도 광자의 경로는 무한히 뻗어 있고(태양부터 시작하면 무려 1억5천만km) 투사과정에는 눈에서 빛과의 거리에 대한 정보가 없으므로 보통 가장 정확한 것, ‘가장 가까운 점’의 빛에 안착하게 된다. 이것이 착시형성의 출발점이다.
핑커 교수는 착시현상을 통해 입체시의 작동원리를 설명 한다.
착시의 대표적인 사례가 있다. 바로 1943년 미국의 알버트 에임즈가 고안한 ‘에임즈의 룸’이다. 에임즈의 룸 뒤편 왼쪽 모서리는 오른쪽 모서리보다 더 먼(깊은) 거리에 자리잡고 있다. 또 왼쪽과 오른쪽 모서리의 길이를 다르게 하고, 비스듬하게 기울어진 창문과 타일로 속임수를 보완했다. 사실은 찌그러진 직사각형이지만 맞은편 구멍으로 보면 벽은 올바른 직사각형으로 보인다. 그리고 구멍과 가까운 오른쪽 구석에 아이가 서 있고 왼쪽 구석에 엄마가 있으면 아이는 엄마보다 훨씬 크게 보이는 신기한 경험을 한다. 이를 통해 우리 뇌가 크기를 평가할 때 깊이와 같은 단서들까지 결합해 판단한다는 것을 알 수 있다.우리는 우리 망막에 비친 그대로가 아닌 마음의 눈으로 단서와 전제를 결합한 착시그림을 보는 것이다. 에임즈의 방처럼 우리가 보는 세상 또한 거대한 착시그림이라고 할 수 있다.
그렇다면 우리는 어떻게 망막에 비친 납작한 2차원적인 그림을 3차원적인 것으로 전환하는 것인가? 이는 몇 가지 단서를 종합해 이루어지는데 크게 ‘단안 단서’와 ‘양안 단서’로 나뉜다.
단안(單眼)단서는 한마디로 하나의 눈, 한쪽 눈이 있음으로써 깊이와 거리를 지각할 수 있는 단서를 말한다.단안단서는 대부분 환경 속의 대상이 배열되는 방식으로부터 발생한다. 대표적으로음영, 상대적 크기, 상대적 명확성, 조밀성, 중첩, 직선조망, 상대적 운동등이 있다. ‘음영’ 단서의 경우 밝으면 가깝고, 어두우면 먼 거리에 있다고 인식하는 것이다. ‘상대적 크기’는 크기가 크면 더 가까이, 작은 것은 멀리 있다고 인식한다. ‘명확성’은 윤곽이 뚜렷한 물체는 가까이, 흐릿한 것은 멀리 있다고 인식하는 것이다. ‘조밀성’은 표면 결의 밀도가 좁고 선명하면 가까이 있고, 그렇지 않으면 멀다고 생각하는 것이다. ‘중첩’은 한 물체가 일부를 가리고 있는 경우 가려진 것이 더 멀리 있다고 인식한다. ‘직선조망’은 평행한 선들이 모아지면 더 거리가 멀리 있다고 인식한다. 실제 평행선이지만 멀수록 모여 보이는 기찻길을 생각해보자. ‘상대적 운동’은 관찰자가 움직이면 가까운 물체는 더 빨리 움직이고 멀리 있는 물체는 천천히 움직인다고 생각한다. 실제 화가나 영화감독들은 이런 단서들을 이용해 우리를 착각에 빠지게 한다. 우리의 눈을 찌르는 광선들은 실제의 장면에서 반사된 것과 다르다. 우리는 실제가 아니라 그 작가가 의도한 그림으로 본다. 실제 세상도 마찬가지다.
우리가 깊이감을 인식하는데 또 하나의 중요한 단서는 두 눈이 있음으로써 가능한데 이를 양안(兩眼)단서라고 한다.우리는 2개의 눈을 가지고 있고 눈 사이는 약 6.35센티미터의 거리가 있다. 따라서 두 눈은 약간 다른 광경을 보는데 이것을 양안시차(兩眼視差)라고 한다. 왼쪽과 오른쪽 눈의 망막에 비치는 상은 다르지만 우리의 뇌는 양쪽 그림을 합쳐서 하나의 상으로 만든다. 이 가설적인 상은 그리스신화에 나오는 외눈박이 거인 ‘키클롭스 상’이라고 부른다.
양안단서에서 깊이감을 아는 방법은 두 가지이다. 물체를 주시할 때 두 눈의 거리 차이로 미세하게 다른 각도를 보게 된다. 예를 들어 공으로 치면 왼쪽 눈은 공의 왼쪽을 약간 더 뒤쪽까지 보고 오른쪽 눈은 공의 오른쪽을 약간 더 뒤쪽까지 본다.두 눈에 들어온 다른 두 그림을 융합하는 과정에서 우리는 입체감을 인식한다.
또 다른 단서는 시차의 각도이다.시차는 두 눈의 서로 다른 지점에서 같은 물체를 바라보는 시선의 차이를 말한다. 시차 각도가 클수록 더 가까이 있는 것으로 인식하고, 시차 각도가 작을수록 멀리 있는 것으로 인식한다. 이는 ‘삼각법’의 원리를 알면 이해할 수 있다.
결론적으로 두 눈을 가진 우리는 두 눈의 시선에서 물체까지 형성된 각도와양쪽 눈에 비친 상의 차이를 이용해서사물이 얼마나 깊고, 멀리 있는지 계산할 수 있는 것이다.자연이 선택한 뉴런은 놀랍게도 이 삼각법을 계산하여 입체감을 감지한다. 1938년 물리학자 찰스 휘트스톤에 의해 입체시가 밝혀지기 전까지 과학자들은 동물에게 2개의 눈이 있는 것은 좌우대칭을 위한 부산물이거나 한쪽 눈을 잃었을 때를 대비한 예비품이라고 생각했다. 하지만 두 눈은 생존에 필요한 자연의 선택이었다.우리가 깊이를 보는 것은 한 가지 단서 때문이 아니다. 그리고 뇌에는 이 모든 단서에 대한 정보가 들어있다. 우리의 뇌는 수학적으로 능숙하고 기회주의적인 정보소비자이다.
그렇다면 왜 자연선택은 우리에게 입체시를 선사했을까?타일러는 우리 조상이 나뭇잎이 가득한 방에 살았다는 사실을 지적한다. 영장류는 나무에서 진화했기 때문에 무성한 나뭇잎에 가려져 일부만 보이는 작은 가지들의 거리를 알 필요가 있었다. 실패의 대가는 아득한 땅바닥으로 추락하는 것이다. 두번째는 위장술인데 키클롭스 시각은 3차원 위장술을 사용하는 먹이를 탐지하고 발견하는데 효과적인 대응책이었다.
키클롭스의 눈은 어떻게 작동하는가?한쪽 눈에 들어온 흔적과 반대쪽에 들어온 대응물을 매치시키는 문제는 닭이 먼저냐 달걀이 먼저냐와 같은 문제다. 우리는 뇌는 특정한 조각이 어느 쪽 눈에서 왔는지를 모르고 양쪽 눈에 비친 것을 녹여 하나의 그림으로 만들어낸다. 우리의 양쪽 망막에 들어오는 시각 흔적은 셀 수 없이 많은데, 우리 양쪽 눈은 같은 흔적을 매치한다. 어떻게 마음이 이것을 수행할까? 데이비드 마르는 우리가 진화해온 세계에 대해 선천적으로 내장된 전제들이 해답의 실마리일 수 있다고 지적했다. 시각적 뇌가 가지는 전제는 몇 가지가 있다. 첫째, 세계의 각 흔적은 한 순간에 한 표면의 한 위치에 고정되어 있다. 그래서 두 눈이 올바르게 매치를 하려면 세상의 한 흔적으로부터 두 눈에 들어온 똑같은 점에 고정해야 한다. 만약 두 눈에 같은 점이 들어왔다면 두 점은 세상의 한 위치에서 온 것이 분명하다. 즉, 동일한 것을 보고 있다. 둘째, 대부분의 사물들은 매끄럽고 일정한 표면을 갖고 있다.우리의 시야에 들어오는 표면의 시작과 끝은 많이 멀지 않다. 이렇게 인접한 표면은 동일한 특징이 있고, 빛이 균일하게 비친다. 사물의 경계 부분에서는 이 전제가 끝나서 표면이 다른 특성을 가진다. 따라서 두 눈은 동일한 특성을 가진 표면을 봐야 한다.
하지만 이 전제들로는 부족하다.이는 제약만족이란 기술로 보완될 수 있다. 제약만족이란 여러 제약이 있는 상황에서 적합한 답을 찾아가는 문제를 말한다. 적합한 답은 한 가지가 될 수도 있고, 그 이상이 될 수 있다. 가령 여행을 갈 때 시간이라는 제약이 있지만 주어진 시간 동안 갈 수 있는 다양한 코스가 나올 수 있는 것과 같다. 제약만족은 문제상황을 해결하는 다양한 방법을 고려하지만, 우선 확실하거나 단순한 문제부터 풀어가면서 효율성과 정교성을 높여간다. 마치 가로, 세로 글자 맞추기 퍼즐에 일단 추정되는 글자를 써보고 하나씩 답을 채워나가는 원리와 비슷하다.
제약만족 기술을 활용하면 먼저 우리 눈은 완벽히 세계를 보는 데 제약이 있다는 것을 가정하고, 망막으로부터 들어온 수많은 단서들을 검토해 현실세계와 일치할 가능성 있는 후보들을 만든다. 뇌는 세계에 대한 전제들(각 흔적은 한 표면에 고정되어 있다 등)과 매치되는 시각단서들을 하나씩 검토하면서 후보들을 선택하거나 삭제해 나간다. 이렇게 해서 확실한 해결책이 결정될 때까지 뇌의 처리기들 사이에 충분한 논의를 이루어 일치된 결론을 내린다.낱말 맞추기에 비유하자면 입체시의 일치문제를 해결하는 경우에는 점들이 단서이고, 매치들과 깊이들이 후보단어이며, 세계에 대한 전제는 모든 네모에는 하나의 단어가 되어야 한다고 지정하는 규칙들이다.즉, 우리가 두 눈을 가졌다고 해서 입체시가 완성되는 것은 아니다. 뇌 속에 회로가 배선되어야 한다.입체시에는 여러 가지 뉴런이 관여하는 것으로 보이는데 각각의 뉴런은 각기 다른 유전자 조합에 의해 형성된다. 한마디로 입체시도 모듈에 의한 작동이다. 이는 인구의 약 2퍼센트가 각각의 안구로는 잘 보면서 각기 다른 이유로 입체시를 못 보는 것으로 알 수 있다. 입체시는 일부는 유전적인 본성이고, 일부는 3~4개월 경에 발달되는 양육의 결과물로 밝혀졌다.
다시 강조하면 우리의 시각은 망막에 비친 상으로부터 객관세계의 모습을 복구해 불가능한 문제를 해결한다. 이런 세계의 모습을 복구할 때 우리는 장기기억 속에 새겨진 ‘전제’를 사용한다고도 설명했다. 우리 마음에는 점차 모여지는 평행성, 명암의 전환, 표면 재질의 변화, 경계의 테두리 차이와 세계와의 관계(거리, 크기, 위치, 형태 등)에 대한 정보들이 들어 있다. 우리가 보는 많은 착시현상들은(에임즈의 룸, 루벤의 잔과 얼굴과 같은 착시그림 뿐 아니라 회화, 사진, 영상 들을 포함한) 그 전제를 이용하고, 시각기관으로 하여금 착각을 일으켜 우리를 웃고, 울게 만든다. 예를 들면, 우리가 주변을 이동할 때 빨리 지나가는 사물은 가까이, 천천히 지나가는 사물은 멀리 있다고 인식한다고 설명했다. 그리고 크기가 크면 가까이, 작은 것은 멀리 있다고 생각한다.(단안단서의 상대적운동과 크기). 뇌는 그렇게 다른 패턴들의 단서를 조합해 3차원의 세계를 해석한다. 이런 전제를 이용하여 스타워즈와 같은 영화에서는 화면에 보이는 별의 크기와 속도를 조절해 마치 우주를 떠다니는 듯한 느낌을 생생하게 전달한다. 또한, 양안에서 오는 약간 다른 위치의 상을 합쳐 3차원의 세계가 있다고 가정하는 뇌의 전제를 이용하여 착시영상인 3D영화도 만든다. 영화를 보는 동안 양쪽 눈에 각기 다른 상이 비치고 그 결과 우리의 눈은 스크린 밖으로 뛰쳐나오는 괴물을 경험해 흠칫 놀라게 된다.
착시그림을 소개한 것은 단순히 흥미를 위해서가 아니다. 입체시는 자연의 경이이자 마음이 어떻게 작동하는가를 이해할 수 있는 열쇠이다. 입체시는 일종의 정보처리이다. 좌안과 우안으로 정보가 들어오면 뇌의 뉴런들은 프로그래밍된 규칙을 가지고 마음 깊이 새겨진 여러 전제들과 비교해 깊이감 정보라는 결과물을 산출해낸다. 우리 뇌의 다른 부분들은 이 정보들을 활용해 상황판단, 감정지각, 행동지시 등을 한다.
입체시 또한 몇 가지 의미에서 모듈이란 점을 강조한다. 첫째, 입체시는 마음의 다른 부분들이 없어도 잘 작동한다. 둘째, 마음의 다른 부분들은 입체시가 없어도 작동한다. 셋째, 입체시는 뇌 배선에 특별한 역할을 요구한다. 넷째, 입체시는 자신의 문제에만 적용할 수 있는 고유한 원리에 의존한다.(예, 양안시차의 구조)
다시 한번 강조하면 입체시는 자연선택에 의한 진화의 산물이다. 입체시는 우리 조상들이 생태환경에 직면했던 선택압력에 대응하여 진화했다. 그래서 그것은 현재는 아닐 수 있지만 인간이 진화했던 당시 적합했던 전제들을 통해 ‘해결 불가능한 문제’들을 해결한다.
4-2. 빛과 명암
입체시는 표면의 깊이와 재질을 파악하는 중요한 초기 단계 시각이지만 그것이 전부는 아니다. 두 눈이 있어야 3차원으로 보는 것은 아니다. 그림에서 아주 미약한 힌트만 있어도 우리는 형태와 재질을 감지해 낸다.
다음 그림은 심리학자 에드워드 애들슨이 만든 착시그림이다. 그림은 각각 수평, 수직으로 종이를 접고 옆에서 빛을 비춘 그림이다. 종이에 들어간 잉크는 동일하다. 하지만 모양이 다르게 보인다. 1번 표시가 붙은 경계선은 물리적으로는 똑같다. 그러나 왼쪽 그림 경계선은 색칠에 의한 경계선으로 보이고, 오른쪽 그림의 경계선은 형태와 그늘에 의한 경계선으로 보인다. 지그재그의 방향만 다른 두 박스에서 이 모든 차이가 나온다.
시각의 적은 단서로부터 외부세계의 형태, 표면, 재질 등 많은 정보를 정확하게 파악하려면 세 가지 마음 전문가가 필요하다. 입체시처럼 그 전문가들도 외부세계의 표면에 대한 정확한 이해를 위해 일하지만 그들은 각각 다른 종류의 정보에 의존하고, 각기 다른 종류의 문제를 해결하고, 각기 다른 종류의 전제를 만들어낸다.
첫 번째는 형태분석 전문가이다. 3차원 물체는 망막에 2차원 형태로 투사된다. 따라서 단지 투상만 가지고는 특정한 형태를 복구할 수 없다. 그래서 망막에 상이 주어지면 우리 마음속 형태분석기는 확률을 따져서 확률이 가장 높은 상태를 보게 해준다.우리의 마음 속에는 물체의 선들이 어떻게 투시되는가와 세계에 대한 정보들이 기록되어 있다. 예를 들어 ‘책은 직사각형이다’ ‘동전의 옆면은 직선으로 보여도 윗면은 타원이다’ ‘움직이는 유기체는 대칭형으로 생겼다’ 등이다. 따라서 내가 보고 있는 선의 집합들이 마음 속에 새겨진 어떤 물체의 형태와 유사하면 그 물체라고 결정할 확률이 높아진다. 한 가지 더 고려해야 하는데, 그것이 이 장면에서 출현할 가능성이 얼마나 있는가이다.예컨대, 얼룩말이 종종 발굽소리를 낸다는 이유로, 창밖에서 나는 발굽소리가 얼룩말이라고 결론을 내리는 것은 안전하지 않다. 외부세계에 얼룩말이 얼마나 존재하는지를 고려해야 하는 것이다. 즉 형태분석 전문가는 ‘보이는 선들과 마음속에 기록된 물체정보와의 유사성’과 ‘그 물체가 현재 출현할 가능성’을 곱해 형태를 파악하는 것이다.하지만 세계의 표면들은 단지 선으로만 그려져 있지 않다. 표면은 또한 재료로도 이루어져 있다.
두번째는 반사율 전문가가 할 일이다.이 세계의 표면들은 재료로 이루어져 있다.빛과 색을 감지하는 것은 재료를 평가하는 한 방법이다. 재질이 다르면 반사되는 빛의 파장과 양이 다르다.하지만 반사광으로부터 물체의 재질을 절대적으로 추론하기는 부족하기 때문에밝기 분석기는 주변의 조명도까지 계산해서 재질을 추론해야 한다. 우리 마음 속에는 이 세계가 어떻게 빛을 반사하는가에 대한 정보가 있다. 뇌는 빛이 균일하게 비치고, 사물들은 일정한 색깔의 표면을 갖고 있는 세계에 살고 있다고 가정하고 외부 세계에 존재하는 것들에 대한 추측을 해낸다.
우리는 다른 밝기에서도 문제없이 옷의 고유의 색을 지각하고, 빨간색 스커트를 인식한다. 이를 위해서는 망막에 투사된 색을 확인하는 것만으로는 부족하다. 첫째 동일한 표면은 고르고 균일하게 빛을 받는다는 전제가 있어야 한다. 그런 다음 세 가지 단계로 밝기에 따른 색깔 지각 문제를 해결한다. 물체의 한쪽 끝에서 반대쪽 끝까지 밝기 변화도를 계산하고, 전체로부터 밝기의 평균수치를 추산하고, 평균수치에서 각 조각의 밝기를 빼고 더하는 방법으로 명암을 계산한다. 즉, 우리 뇌는 평균 수치에 따른 조명의 강도를 계산해서 다른 빛 아래서의 물체의 정확한 색깔을 본다. 둘째, 밝기와 색이 시야상에서 점진적으로 변하는 것은 해당 장면이 그렇게 빛을 받고 있기 때문이고,(예를 들면, 곡면에서는 빛이 밝음에서 어둠으로 넘어가는 점진적 이행이 나타남) 갑작스럽게 변하는 것은 한 물체가 끝나고 다른 물체가 시작되는 것(예를 들면, 모래사장과 바다의 경계)이라고 가정해 동일하거나 다른 물질을 감지한다.
마지막으로는 명암효과 전문가이다.우리는 경사의 표면에서 반사되는 빛의 양을 계산해 형태와 재질을 이해한다.예를 들면 당신이 광원을 보고 있다고 하면, 표면이 비스듬하게 틀어져 있을 때보다 정면으로 마주하고 있을 때 더 많은 빛을 포착한다. 우리는 이 원리를 넓은 광원에서 작은 물체까지 적용한다. 큐브와 보석 등 모든 물체들은 경사가 다른 작은 단면조각들로 이루어져 있으며, 명암법칙은 각각의 면에서 발산하는 빛에 적용된다. 우리는 명암을 통해 세계를 볼 때에도 전제에 의존한다. 세계의 표면은 수천 종류의 재질로 이루어져 있는데, 빛은 경사진 표면들을 각기 다르게 때리고 튕겨져 나간다는 것이다.
각각 분석기는 다른 전제들을 가지고 있고, 그 전제들은 종종 다른 분석기와 충돌을 일으킨다. 이 분석들이 뒤섞여도 전문가들은 서로 협조하면서 가장 가능성 높은 추측을 조립해 하나의 형태, 색, 한 종류의 빛을 본다.
4-3. 2.5차원으로 보기
전문가들이 각자 맡은 일을 하고 나면, 뇌의 나머지 부분들이 접근할 수 있는 게시판에 무엇을 그리는가? 지금까지 설명한 입체, 운동, 윤곽, 명암 전문가들은 3차원의 세계를 복원하기 위해 열심히 일했다.그 노동의 결실을 위해 망막에 비친 수많은 모자이크 그림들은 하나로 조립되어 3차원으로 만드는 마음의 공간으로 넘어가야 하고, 3차원 모형은 세계에 대한 우리의 최종적인 이해가 되는 것이다. 하지만 여러 전문가가 붙어 3차원으로 보려고 열심히 노력하지만 실제 우리가 보는 세상은 그렇지 않다.첫째, 우리는 눈앞에 있는 것만 생생하게 경험한다. 시야의 경계 밖에 있는 세계는 막연하게 안다.눈은 1초에 몇 번씩이나 초점을 바꾼다. 사람들이 눈이나 머리를 움직이면 그 순간 보고 있던 사물의 세부적인 모습을 놓친다.둘째, 우리는 부피가 아니라 표면을 본다. 우리에겐 엑스선 같은 시각이 없다.우리는 상자의 앞은 보지만 뒤나 안은 보지 못한다.셋째, 우리는 원근법에 따라 본다.우리는 기찻길이 평행하는 것을 알지만 지평선 쪽에서 만나는 것처럼 본다.넷째, 우리는 기하학적으로 엄밀하게 말하면 3차원이 아니라 2차원으로 본다.다섯째, 우리는 물체들을 즉시 보지 못한다. 우리는 이동가능한 물질 덩어리들을 세고, 분류하고, 거기에 명사를 붙인다.예를 들어 코는 물체인가? 몸에 붙어 있을 때도 하나의 물체인가? 생각하기에 따라 물체일수도 있고 물체의 부분일 수도 있다.
그러나 우리에게는 ‘표면’과 ‘경계’를 확실히 감지하는 감각이 있다. 지각을 조직하는데 기본적인 능력 중 하나는 배경으로부터 대상을 확인하는 것이다.시야를 깎아내서 표면들로 만들고 그중 어느 것이 전면에 있는가를 결정하는 것이다. 예를 든 그림과 같이 루벤의 잔과 얼굴은 동시에 보이지 않는다. 두 형태 중 우세한 형태가 경계선을 ‘소유’하고 다른 구획을 배경으로 밀어낸다. 우리는 망막에서 밀려오는 정보에 떠밀려 비자발적으로 표면을 인지한다. 일반적인 믿음과는 달리 우리는 기대하는 것을 보는 것이 아니다.그렇다면 시각은 무엇을 생산할까? 마르는 그 생산물을 2.5차원 스케치라 부르고, 다른 사람들은 가시적 표면 표상(visible surface representation)이라 부른다. 깊이는 좌우, 상하 차원들과 달리 시각 정보를 담고 있는 매개물을 규정하지 못하기 때문에 종종 1/2차원으로 ‘다운그레이드’ 된다.3차원 세계를 보려고 여러 마음 전문가들이 노력했지만, 사실 우리는 볼 수 없는 것은 축소하고 본다.
2.5차원스케치
2.5차원 스케치는 다음 그림과 같다. 세포 또는 화소들이 모자이크처럼 붙어 있다. 각 세포는 키클롭스의 시점에서 일직선으로 뻗어 나간 시선에 해당한다.각 세포는 몇 개의 정보를 가진 두 종류의 서식과 같다. 표면을 설명하는 서식과, 테두리를 설명하는 서식이다. 표면을 설명하는 서식에는 깊이, 전후 기울기, 좌우 기울기, 색, 재질 정보가 포함되어 있고,테두리를 설명하는 서식에는 테두리가 사물의 경계에 있는지, 홈인지, 마루인지를 알려주는 정보들이다.이 그림은 2.5차원 스케치 속에 담긴 정보의 종류를 종합해서 보여주는 그림으로, 각 전문가들은 담당하는 정보를 뇌와 공유한다. 이 정보들은 모든 전문가가 보며 협력해 처리할 수 있는 공동 게시판에 게시된다.
왜 우리는 2.5차원으로 볼까? 그 답은 저장의 비용과 이점에 있다. 컴퓨터 사용자라면 그래픽 파일이 저장 공간을 잡아먹는 대식가라는 것을 알 것이다. 뇌가 눈에 들어오는 수 기가 바이트를 모형으로 합성하지 않는 것은 대상이 움직이는 순간 쓸모가 없어지기 때문이다.깊이를 계산하는 입체, 윤곽, 운동 전문가들이 갖춰져 있는 것은 보는 사람에게 외부세계의 3차원 좌표를 주기 위해서가 아니라 거리, 기울기, 겹침현상에 대한 정보를 주기 위해서다. 그것들이 할 수 있는 최선의 일은 공동작업을 통해 눈앞의 표면들에 대한 2.5차원의 인식을 제공하는 것이다. 어떻게 사용할지를 생각하는 것은 뇌의 나머지 부분이 할 일이다.
4-4. 좌표계(위치와 방향)
2.5차원 스케치는 정교하게 설계되고 조화롭게 작동하는 시각시스템의 걸작이다. 그러나 문제가 있다. 2.5차원 배열에 담긴 정보는 보는 사람을 기준으로 중심이 맞춰진 망막 좌표계에 기입되어 있다는 것이다.만일 특정한 세포가 “여기 테두리가 있다”는 정보를 보내면 여기가 가리키는 의미는 망막 위에 있는 그 세포의 위치(즉 당신이 보고 있는 정면)이다. 그러나 당신이나 사물이 움직이는 순간, 그 정보는 다른 배열 속의 공간으로 이동한다.
시각정보를 이용하는 문제의 핵심은 위치를 알아야 하는 것인데 그러려면 유용한 준거틀, 즉 좌표계가 있어야 한다.좌표계는 위치 개념과 밀접하다. 우리는 “그게 어디 있어?”라고 물으면 이미 알고 있는 사물의 이름을 확인하고 그것을 기준으로 어느 방향으로 얼마나 멀리 있는가를 설명한다. “냉장고 옆에 있어”와 같이 말로 된 설명, 주소, 나침반 방향 등과 같이 ‘준거틀’을 기준으로 거리와 방향을 나타낸다.
2.5차원 스케치가 첨부된 좌표계는 망막상의 위치다. 그런데 망막상은 끊임없이 움직인다. 우리는 두 눈이 움직이는 동안에도 머물러 있는 좌표계가 필요하다.보이지 않는 좌표계를 시야 앞에 두고 이리저리 이동시키는 회로가 있다고 가정해보자. 그리고 좌표계가 있는 시야로부터 수집된 정보는 그 십자선에 규정된 위치들과 관련되어 있다. 컴퓨터에도 그와 비슷한 것이 있다. 바로 커서이다. 커서는 방대한 문서에서 정보를 읽고 쓸 때 기준이 되고, 화면을 스크롤 해 움직일 때마다 같이 따라온다. 뇌가 2.5차원 스케치 내용을 이용하려면 커서와 같이 위치를 고정하고 파악하는 좌표계가 필요하다.
우리에게는 여러 가지 좌표계가 있다. 머리에 고정시킨 좌표계가 있을 수 있고, 머리와 신체의 운동을 보상하는 물체에 고정된 좌표계도 있다. 네 가지의 좌표계를 소개한다.
첫째, 외부세계를 동일한 크기로 나눠 표시하는 ‘마음격자 틀’이다.우리는 외부세계에 동일한 크기의 마음격자 틀을 그려 거리, 위치, 방향 등을 감지한다. 예를 들어, 가까운 거리의 물체는 격자의 넓은 범위를 차지할 것이고 먼 거리에서는 좁은 범위를 차지하여 사물의 거리를 인지할 수 있다. 또한, 우리는 철길이 평행선인 것을 알지만 마음격자 틀에 철길이 서로 만난다면 철길은 점점 멀어지고 있다고 지각한다. 그리고 모아지는 철길 옆의 격자에 나무가 있다면 그 나무의 위치와 거리 또한 짐작할 수 있다.
둘째, 중력의 방향 틀이다.우리 마음의 수직 추는 내이의 전정기관에서 나온다. 우리 귀의 가장 안쪽에 위치한 전정기관은 반고리관과 전정을 일컫는데, 여기에는 림프액과 돌(이석)들이 있다. 머리를 움직이면 전정기관의 림프액이 출렁거리고, 이석이 중력의 방향으로 움직여 상하, 전후 움직임을 기록하는 신경신호를 만든다. 마음(뇌)은 이 신호를 이용해 십자선을 항상 정확히 똑바로 서있게 해
물체를 올바로 볼 수 있게 한다.
셋째, 마음의 상하축이다.마음 상하축은 우리가 형태 감각을 형성하는 강력한 요소이다. 기하학자는 오른쪽 두 그림을 네 각과 선이 동일한 같은 도형으로 보지만, 우리는 정사각형과 마름모로 본다. 왜냐하면 정사각형은 ‘위쪽’이 평평하고 마름모는 뾰족하기 때문이다. 이렇게 우리 마음은 물체를 인식할 때 상하좌표를 무시하지 않고, 상하에 위치한 모양의 차이를 통해 형태를 인식한다.
넷째, 물체 자체의 좌표계이다. 그림의 삼각형 모양을 보고 있으면 어느 순간 ‘삼각형들이 가리키는 쪽’으로 보인다. 이때 변화를 일으킨 것은 삼각형들이 아니라 삼각형 위에 겹쳐진 마음의 좌표계이다. 그 좌표계는 삼각형들의 대칭축에서 비롯된 것이다. 삼각형에는 그런 축이 모서리마다 있는데 각각의 축이 번갈아 가면서 방향을 지배한다. 각각의 축에는 남극과 북극 같은 양극이 있어서 삼각형이 어느 한 방향을 가리키는 느낌이 들게 한다.
4-5. 동물크래커(형태)
좌표계를 끌어들이는 능력은 사물이 망막으로 들어와 사고로 인식되는 과정 중 하나를 해결하는 데 도움된다. 사물들은 다양한 단서로부터 인식된다. 어떤 것은 소리와 냄새로 인식되고, 어떤 것들은 색과 재질을 통해 인식된다. 그러나 대부분의 물체는 ‘형태’를 통해 인식된다.그렇다면 사람들은 어떻게 형태를 인식하는가?
사물의 형태를 인식할 때 우리는 물질의 부분이 어떻게 배치되었는지 생각하고, 기억된 것들 중 가장 가깝게 매치되는 것을 찾아낸다.인간의 마음은 굉장히 예리한 기하학자의 능력을 가졌다. 세 살만 되어도 갖가지 모양의 동물 크래커에서 원하는 것을 척척 골라낸다. 반면, 뇌의 좌반구에 문제가 있는 환자는 물체의 형태를 인식할 수 없다. 소의 머리를 상상하라는 질문을 받으면 귀와 뿔이 있는 건 알겠는데 그것을 제 위치에 놓을 수가 없다고 답한다.이것을 보면사람들은 형태를 인식할 때 부분들의 형태와 배열을 분석함으로써 물체가 무엇인지 이해하는 것으로 보인다.이번 장에서 ‘형태를 인식하는 마음’을 탐구하면서 ‘동물크래커(를 구별하는 마음)’란 제목을 붙인 이유이다.
자동차, 사람, 그리고 동물이 움직이면 우리의 망막에 맺혀지는 대상들의 모양은 지속적으로 변화하지만, 우리는 여전히 그것들이 같은 크기와 모양을 가지는 것으로 지각한다.예컨대, 문이 열릴 때 열린 각도에 따라 망막에 맺혀진 문의 형태는 찌그러진 사다리꼴처럼 변화한다. 하지만 우리는 문이 일정한 직사각형의 형태를 가지고 있다고 지각한다. 어떻게 가능할까? 우리가 형태를 어떻게 인식하는지에 대한 세 가지 열쇠를 소개한다.
첫째는 복합시각 이론이다. 사람들은 자주 경험하는 물체들에 대해 모든 방향(위, 옆, 밑 등)에 대한 수 많은 기억파일을 저장한다. 물체의 한 부분이 시각에 들어오면 기억 속 파일모음들을 불러오고, 그 파일과 매치해 물체가 무엇인지 파악한다.예를 들면, 우리가 여행가방을 위에서 내려다본다고 가정하자. 우리는 손잡이가 달려있는 직사각형 판을 보지만, 여행가방 앞, 옆, 뒤에 대한 복합적인 시각기억이 저장되어 있기 때문에 위에서 본다고 하더라도 여행가방의 모양을 상상하고 인지할 수 있다. 복합시각 이론은 시각파일이 많은 익숙한 사물일수록 빠르게 인식하고, 특히 습관적인 방향으로 향해 있다면 더 빨리 인식한다는 실험으로 증명되었다.
두 번째로는 마음회전 이론이다.우리는 어떤 물체의 형태를 평가할 때 상하좌우 방향을 무시하지 못한다. 물체가 기울어져 있으면 마음 속에서 형태를 똑바로 회전시킨 다음 그 상을 인식한다.예를 들면, 알파벳 R이 기울어져 있어도 우리는 마음에서 똑바로 회전하여 R로 이해한다. 우리는 이를 마음회전 이론이라 일컫는다.사람들은 형태가 똑바로 서 있을 때 빨리 인식하고, 방향이 틀어지면 틀어진만큼 느리게 인식한다는 것이 실험으로 증명되면서 우리에게 형태를 인식할 때 회전하는 능력이 있다는 것을 알게 되었다.
마지막으로 기하자 이론이다.우리는 사물의 형태를 원추, 육면체, 원통 같은 도형의 집합이라고 생각하고, 이 도형들의 형태와 배열을 분석함으로써 물체가 무엇인지 파악한다는 것이다.구체적으로 우리는 마음속으로 물체의 중심에 좌표계를 그리고 그 안에 들어온 도형들의 위치와 각도를 측량해 사물들의 차이를 인지한다. 그리고 우리 뇌에는 아는 사람들의 얼굴 형태, 그리고 동물, 사물 등의 모양을 기록해 놓는데, 좌표 위에 그려진 부분들을 기억 속 모형과 일치하는지 확인하며 형태를 파악한다.기하자 이론에 따르면 우리는 기하자의 총합이 아니라 부분들의 배열에 따라 사물을 구분한다.예를 들어 옆면에 굽이가 붙어있는 원통은 컵이고, 위에 굽이가 붙어있는 원통은 들통이다와 같은 식이다.또한 우리는 매치하는 시각과 기억을 비교할 때 밀리미터 단위로 정밀하게 명시하는 게 아니라 어느 정도 여유를 두는 유연성이 있다. 예를 들면, 컵의 손잡이는 컵에 따라 조금 높거나 낮을 수 있지만 모두 ‘원통 옆면에’ 붙어있는 것을 인식하는 것과 같은 식이다. 그래서 사물의 스타일이 제 각각이여도 우리는 그 사물이 무엇인지 안다.
사람들은 이 모든 기술을 이용해 형태를 인식한다. 형태인식은 아주 어려운 문제이기 때문에 하나의 범용 알고리즘으로 모든 형태를 처리할 수 없다. 놀라운 것은 눈앞의 형태를 파악하는 데 순식간에 최적의 기술을 적용하고 계산해낸다는 것이다.만일 한 형태의 옆면들이 너무 어렵지 않으면 사람들은 그것을 물체 자체의 축에 중심이 맞춰진 기하자 모형으로 파악한다. 만일 형태가 더 복잡하면 그것이 각 방향에 따라 어떻게 보이는가를 복사해서 기억파일과 비교한다. 그리고 형태가 낯선 방향으로 틀어져 있으면 사람들은 마음속으로 그것을 회전시켜서 익숙한 형태들 중 가장 근접한 것과 일치시킨다. 이런 기술들은 우리의 천부적인 시각기관이 보여주는 재능이다. 이제 우리는 시각심리학의 마지막 주제인 ‘심상’으로 넘어가게 된다.
4-6. 상상하라(심상)
비글의 귀는 어떻게 생겼는가? 거실 창문은 몇 개인가? 바닷가재는 입이 있는가?사람들은 이러한 질문에 답하기 위해 ‘심상(마음의 상)’을 이용한다. 형태를 그리면 마치 마음의 눈으로 검사할 수 있는 그림이 떠오른다.그 느낌은 ‘어머니의 결혼 전 이름이 무엇인가?’ ‘시민의 자유와 범죄의 예방 중에 어느 것이 중요한가?’와 같은 추상적인 질문에 대답하는 경험과는 다르다.
심상은 사물에 관한 우리의 생각을 공간 속으로 몰고가는 엔진이다.자동차에 가방을 싣거나 가구를 재배치할 때 우리는 공간적 배열들을 상상해본 후 작업을 시작한다.화가들은 마음속으로 착상을 검토하고, 아인슈타인은 마음속 실험실에서 상대성이론을 생각해냈다. 심상은 지성뿐만 아니라 감정도 움직인다.야심, 불안, 성적충동, 질투심은 모두 존재하지 않는 것의 상에 의해 촉발될 수 있다. 한 실험에 의하면 배우자의 부정장면을 상상만 해도 심박수가 분당 5회 증가했다.심상은 산업이다.기억력 증진 강좌에서는 방안 물건들을 상상한 다음 마음속으로 그 사이를 걸어다니는 기술을 가르친다. 심리치료도 마찬가지이다.
그런데 심상이란 무엇인가?계산주의 마음이론에서 심상의 개념은 명료하다. 우리는 시각기관이 그림과 비슷한 2.5차원 스케치를 사용한다는 것을 안다. 형태 표상은 눈에 투사된 형태의 윤곽들과 맞아떨어지는 패턴 속의 몇몇 요소들이 기입됨으로써 이루어진다. 형태 분석은 좌표계나 기하자 찾기 등을 통해 스케치 속의 정보를 처리한다.심상은 장기기억으로부터 실려온 2.5차원 스케치속 패턴인 것이다.
뇌는 심상의 요구사항을 수행할 준비가 되어 있다. 그것은 눈이 아닌 기억으로부터 흘러들어온 정보다. 뇌의 시각 영역에 이르는 섬유경로들은 양방향이다. 그 경로들은 하위의 감각 차원으로부터 정보를 보고받는 것 못지않게 상위의 개념 차원에서도 많은 정보를 하달 받는다. 이 상하연결에 무엇에 필요한지는 정확히 밝혀지지 않았지만, 아마 기억 상들을 시각지도로부터 내려 받기 위해 존재하는 것으로 보인다.
그렇다면 심상은 어디에 있을까?뇌 손상 환자, 뇌 활성화 부위실험 등 여러 증거들을 통해시각적 뇌가 곧 심상의 자리임을 알게 되었다. 심상은 뇌의 시각피질에 고루 배치되는 것으로 보인다. 또한, 수십년 동안 철학자들은 실험을 통해 심상은 서술이 아니라 ‘그림’으로 마음에 저장된다는 사실을 밝혔다.
심상은 멋진 기능이 있지만 한계점이 있기 때문에 머릿속의 그림이란 개념에 너무 도취해서는 안 된다. 첫째, 심상은 파편적이다. 사람들은 시각적 장면 전체의 상을 재구성하지 못한다.우리는 순간적으로 감지한 한 시점의 부분들만 기억하고 그것들을 마음의 그림 속에 배열한다. 사물들에 대한 우리의 기억은 파편적인 여러 시선을 모은 혼성그림이다.둘째,심상은 기억의 구조에 속박되어 있다는 한계가 있다.세계에 대한 우리의 지식은 한 장의 큰 그림에 들어맞지 않는다. 시각적 기억은 정확한 기억이 아니다.우리의 시각기억은 명제로 된 상부구조 안에 분류되고 체계화된다.시각적 사고는 심상의 내용물 자체가 아니라 우리가 상을 구성하기 위해 이용하는 개념적 지식에 의해 강하게 작동한다. 예를 들어, 체스선수의 경우 말들의 공간적 배열을 기억하는 게 아니라, 공격과 수비를 비롯한 말들 간의 의미있는 관계들을 기억한다. 우리는 영화를 보고 나서 모든 이미지를 기억하는 것이 아니라 개념으로 된 줄거리를 기억한다.마지막으로, 심상은 개념과 똑같은 역할을 하지 않는다.심상은 ‘자유’와 같은 추상적 개념, ‘기린이 아님’과 같은 부정적 개념, ‘고양이나 새’와 같은 선별적 개념, ‘인간은 모두 죽는다’와 같은 명제 등을 그리기는 어렵다. 반면, 개념은 이 모든 것이 가능하다. 그림은 양의적이지만 생각은 정의상 양의적일 수 없다.상식은 그림만으로 해낼 수 없는 구별을 수행한다. 상식은 단지 그림들의 집합이 아니다.만일 어떤 생각을 표상하기 위해 마음의 그림을 이용한다면 거기에는 그 그림을 어떻게 해석해야 할지, 무엇을 무시하고 주목해야 할지를 개념적으로 설명해주는 수 많은 캡션이 붙어야 할 것이다. 시각이 멈추고 생각이 시작되면, 마음이 한 사물을 설명하는 명제들을 피해가기는 불가능하다.
그림은 천 마디의 말처럼 소중하지만 항상 그렇지는 않다.심상은 보기와 생각하기 어느 지점에서 관념에게 자리를 내준다.
4장.마음의 눈
본다는 것은 무엇인가? 외부의 사물이 어떻게 눈에 들어오고, 우리는 어떻게 그것을 보고 인식하는가? 일반적인 이야기 같지만 사실은 대단히 심오하고 과학적인 설명이 필요하다. 4장 ‘마음의 눈’에서는 시각이 어떻게 망막에 들어오는 그대로 받아들이는 것이 아니라, 마음의 눈을 덧붙여 실제의 모습으로 보게 되는지를 탐구하고자 한다. 우리는 먼저 빛의 반사로부터 사물의 개념에 이르는 길을 추적한다. 그런 다음 마음속 그림인 심상이라고 알려진 보기와 생각하기의 상호작용을 살펴볼 것이다.우리는 이번 장을 통해 인간이 이 놀라운 감각을 중심으로 진화한 마음을 가진 영장류, 특히 고도로 시각적인 생물임을 알게 될 것이다.
시작하기 전 살바도르 달리의 말을 인용하고 있다. “바라보는 것은 생각하는 것이다”
사물을 본다는 것은 무엇일까.사물을 본다는 것은 맨 먼저 물체에 부딪쳐 반사되어 온 빛을 통해 보는 것이다. 반사된 빛이 망막에 비치면 시신경이 그 상의 정보를 처리하여 뇌에 보내고, 뇌는 받은 정보를 해석한다. 그러나 망막에 비치는 상은 우리가 일반적으로 보는 것과 다르다. 빛은 각막을 통과해 볼록렌즈와 같은 수정체를 지나면 굴절되면서 망막에 상이 거꾸로 비친다. 또한 두 눈은 입체적인 사물의 모든 면을 다 볼 수 없다. 이 모든 것은 뇌가 보충하고 바르게 해석하여 우리가 사물을 정확히 인식하게 할 수 있도록 한다. 즉 사물을 본다는 것은 ‘눈’으로 보고 ‘뇌’로 인식하는 것이다.
물리학에서 광학은 특정 형태, 물질, 조명을 가진 물체가 어떻게 망막상에 비치는지를 예측하는 분야이다. 하지만 우리는 반대로 망막에 비친 상으로부터 외부사물의 형태와 재질을 추론한다. 뇌는 이렇게 역으로 보는 문제를 해결한다. 이를 역광학이라고 부르는데, 공학자들은 역광학을 ‘잘못 설정된 문제’라 말한다. 해가 존재하지 않는 문제라는 것이다.몇 개의 수를 곱해 결과를 말하는 것은 쉽지만 어떤 결과를 보면서 그것이 어떤 수들의 곱인지는 말하기 불가능한 것과 같다. 회색 덩어리는 그늘 속에 있는 눈덩이일 수도 있고, 햇빛을 받은 석탄 덩어리일 수 있다. 그러나 우리는 어떤 환경에서도 눈덩이를 하얗게, 석탄은 까맣게 본다.
놀랍게도 우리의 뇌는 잘못 설정된 문제를 쉽게 해결한다. 왜일까? 정답은 뇌가 정보를 보충하기 때문이다. 시각은 여러 가지 전제들을 덧붙여 이 잘못 설정된 문제들을 해결 가능한 문제들로 전환하게끔 진화했다. 전제란 우리가 진화해 온 세상이 평균적으로 어떤 모습인지에 대한 사전지식을 말한다.예를 들면, 우리가 사는 세계는 고르고 균일하게 빛을 받는다는 지식이다. 지구라는 행성에 긴 시간동안 빛이 고르게 퍼진다는 가정이 잘 들어맞았고, 자연선택은 그 가정을 시각적 뇌 속에 구축하여 다양한 환경에서도 사물 본질의 색을 볼 수 있게 했다. 또 다른 전제는 동일한 사물의 표면은 일정한 패턴이 반복되는 것이다. 이를 통해 우리 조상은 나무줄기, 들판, 바위, 물의 표면을 구분해 사물을 인지하고, 경계를 구분할 수 있었다. 또 좌우대칭은 거의 항상 동물, 식물의 부분들에서 나온다는 전제로 먹이와 적도 파악할 수 있었다. 전제는 이렇게 우리가 무엇을 볼 때 불완전한 망막의 상으로부터 세계를 정확히 이해하기 위해서 참고하는 컨닝페이퍼와 같은 것이다. 따라서 현재의 세계가 평균적으로 옛날의 환경과 닮아있을 때 우리는 세계를 있는 그대로 본다. 만일 그 전제들이 들어맞지 않는 이상한 세계에 착륙한다면 우리는 착시의 제물이 될 것이다. 시각기관은 우리에게 아름다운 세상을 보여주려고 진화한 것이 아니다. 시각기관은 살아가는 세상의 실제 형태와 재료에 대한 감각을 전달하기 위해 고안되었다. 선택의 이점은 명백하다. 음식, 포식자, 벼랑 등이 어디에 있는지 아는 것이다.
시각에 대한 가장 멋진 관점은 인공지능 과학자인 데이비드 마르로부터 나왔다. 마르는 시각이란 세계에 대한 전제들을 덧붙임으로써 잘못 설정된 문제들을 해결하는 기능이라는 견해를 최초로 제시했고, 계산주의 마음이론을 강력하게 지지했다. 그는 시각이 무엇을 위해 존재하는지에 대한 답으로 “외부 세계의 상들로부터 보는 사람에게 유용한 동시에 부적절한 정보와 뒤섞이지 않은 설명description을 생산하는 과정”이라고 했다. 시각의 목표가 ‘설명’이라는 말은 신선하면서도 통찰력 있는 표현이다. 우리는 눈에 보이는 것을 다 주절주절 말하고 다니지 않는다. 마음으로 그리고 생각한다. 마르는 ‘설명’에 대해 사람들이 말하고 듣는 영어와 같은 일상언어를 말하는 것이 아니라 마음속 사고의 언어인 ‘마음언어(mentalese)’로 된 설명이라고 말했다.
세계를 본다는 것은 무엇을 의미하는가?세상을 보는 사람은 그것을 말로 설명할 수도 있고, 마음속으로 조작하거나, 미래에 참조하기 위해 기억에 저장해 놓을 수도 있다.(2장에서 말한 장기기억에 새겨진 무수한 정보들을 생각해보자) 이 모든 기술은 세상을 망막에 비친 환상이 아니라 실재하는 물체로 해석하는 능력에 달려있다. 예를 들어, 책은 각도에 따라 우리 망막에 사다리꼴 형태로 맺히지만 우리는 책을 사다리꼴이 아닌 ‘직사각형’으로 본다. 왜냐하면 마음 어딘가에는 ‘책은 직사각형’이라고 생각하는 마음언어가 존재하기 때문이다. 단순히 망막에 맺힌 것을 보는게 아니라 눈으로 들어온 시각정보를 장기기억 속에 새겨진 마음언어와 비교해 사물을 보는 설명을 생산한다는 점에서 마르는 시각의 과정을 연산으로 보았다는 것을 알 수 있다.
4-1.깊이를 보는 눈(입체시)
핑커 교수는 3장에서 영장류가 가진 시각의 특별함을 ‘입체시’와 ‘색채시’라고 설명했다. 4장 ‘마음의 눈’ 전체 분량에서 1/3은 입체시를 설명하는데 할당되어 있다. 먼저입체시는 두 눈 시점의 차이를 이용해 깊이감을 얻는 능력이라고 말했다. 즉, 입체시는 ‘깊이를 보는 눈’이다.깊이감을 알면 대상이 얼마나 멀리 있는가를 알 수 있다.우리는 한번 보기만 해도 절벽의 높이나 다가오는 차의 거리를 알 수 있다.
착시그림을 본 적이 있는가? 분명 평면에 그려져 있는 그림인데 신기하게도 튀어나온 입체로 보인다. 먼저 빛이 우리 눈으로 들어와 뇌로 인지되는 과정을 살펴보자. 시각은 광자가 물체의 표면에 반사된 다음 핑 하고 돌아와 동공을 통과하면 안구의 굴곡진 안쪽 표면에 있는 광수용체를 자극함으로써 시작된다. 수용체가 신경신호를 뇌에 보내면 뇌는 가장 먼저 그 광자가 외부세계의 어디에서 온 것인지를 계산한다. 유감스럽게도 광자의 경로는 무한히 뻗어 있고(태양부터 시작하면 무려 1억5천만km) 투사과정에는 눈에서 빛과의 거리에 대한 정보가 없으므로 보통 가장 정확한 것, ‘가장 가까운 점’의 빛에 안착하게 된다. 이것이 착시형성의 출발점이다.
핑커 교수는 착시현상을 통해 입체시의 작동원리를 설명 한다.
착시의 대표적인 사례가 있다. 바로 1943년 미국의 알버트 에임즈가 고안한 ‘에임즈의 룸’이다. 에임즈의 룸 뒤편 왼쪽 모서리는 오른쪽 모서리보다 더 먼(깊은) 거리에 자리잡고 있다. 또 왼쪽과 오른쪽 모서리의 길이를 다르게 하고, 비스듬하게 기울어진 창문과 타일로 속임수를 보완했다. 사실은 찌그러진 직사각형이지만 맞은편 구멍으로 보면 벽은 올바른 직사각형으로 보인다. 그리고 구멍과 가까운 오른쪽 구석에 아이가 서 있고 왼쪽 구석에 엄마가 있으면 아이는 엄마보다 훨씬 크게 보이는 신기한 경험을 한다. 이를 통해 우리 뇌가 크기를 평가할 때 깊이와 같은 단서들까지 결합해 판단한다는 것을 알 수 있다.우리는 우리 망막에 비친 그대로가 아닌 마음의 눈으로 단서와 전제를 결합한 착시그림을 보는 것이다. 에임즈의 방처럼 우리가 보는 세상 또한 거대한 착시그림이라고 할 수 있다.
그렇다면 우리는 어떻게 망막에 비친 납작한 2차원적인 그림을 3차원적인 것으로 전환하는 것인가? 이는 몇 가지 단서를 종합해 이루어지는데 크게 ‘단안 단서’와 ‘양안 단서’로 나뉜다.
단안(單眼)단서는 한마디로 하나의 눈, 한쪽 눈이 있음으로써 깊이와 거리를 지각할 수 있는 단서를 말한다.단안단서는 대부분 환경 속의 대상이 배열되는 방식으로부터 발생한다. 대표적으로음영, 상대적 크기, 상대적 명확성, 조밀성, 중첩, 직선조망, 상대적 운동등이 있다. ‘음영’ 단서의 경우 밝으면 가깝고, 어두우면 먼 거리에 있다고 인식하는 것이다. ‘상대적 크기’는 크기가 크면 더 가까이, 작은 것은 멀리 있다고 인식한다. ‘명확성’은 윤곽이 뚜렷한 물체는 가까이, 흐릿한 것은 멀리 있다고 인식하는 것이다. ‘조밀성’은 표면 결의 밀도가 좁고 선명하면 가까이 있고, 그렇지 않으면 멀다고 생각하는 것이다. ‘중첩’은 한 물체가 일부를 가리고 있는 경우 가려진 것이 더 멀리 있다고 인식한다. ‘직선조망’은 평행한 선들이 모아지면 더 거리가 멀리 있다고 인식한다. 실제 평행선이지만 멀수록 모여 보이는 기찻길을 생각해보자. ‘상대적 운동’은 관찰자가 움직이면 가까운 물체는 더 빨리 움직이고 멀리 있는 물체는 천천히 움직인다고 생각한다. 실제 화가나 영화감독들은 이런 단서들을 이용해 우리를 착각에 빠지게 한다. 우리의 눈을 찌르는 광선들은 실제의 장면에서 반사된 것과 다르다. 우리는 실제가 아니라 그 작가가 의도한 그림으로 본다. 실제 세상도 마찬가지다.
우리가 깊이감을 인식하는데 또 하나의 중요한 단서는 두 눈이 있음으로써 가능한데 이를 양안(兩眼)단서라고 한다.우리는 2개의 눈을 가지고 있고 눈 사이는 약 6.35센티미터의 거리가 있다. 따라서 두 눈은 약간 다른 광경을 보는데 이것을 양안시차(兩眼視差)라고 한다. 왼쪽과 오른쪽 눈의 망막에 비치는 상은 다르지만 우리의 뇌는 양쪽 그림을 합쳐서 하나의 상으로 만든다. 이 가설적인 상은 그리스신화에 나오는 외눈박이 거인 ‘키클롭스 상’이라고 부른다.
양안단서에서 깊이감을 아는 방법은 두 가지이다. 물체를 주시할 때 두 눈의 거리 차이로 미세하게 다른 각도를 보게 된다. 예를 들어 공으로 치면 왼쪽 눈은 공의 왼쪽을 약간 더 뒤쪽까지 보고 오른쪽 눈은 공의 오른쪽을 약간 더 뒤쪽까지 본다.두 눈에 들어온 다른 두 그림을 융합하는 과정에서 우리는 입체감을 인식한다.
또 다른 단서는 시차의 각도이다.시차는 두 눈의 서로 다른 지점에서 같은 물체를 바라보는 시선의 차이를 말한다. 시차 각도가 클수록 더 가까이 있는 것으로 인식하고, 시차 각도가 작을수록 멀리 있는 것으로 인식한다. 이는 ‘삼각법’의 원리를 알면 이해할 수 있다.
결론적으로 두 눈을 가진 우리는 두 눈의 시선에서 물체까지 형성된 각도와양쪽 눈에 비친 상의 차이를 이용해서사물이 얼마나 깊고, 멀리 있는지 계산할 수 있는 것이다.자연이 선택한 뉴런은 놀랍게도 이 삼각법을 계산하여 입체감을 감지한다. 1938년 물리학자 찰스 휘트스톤에 의해 입체시가 밝혀지기 전까지 과학자들은 동물에게 2개의 눈이 있는 것은 좌우대칭을 위한 부산물이거나 한쪽 눈을 잃었을 때를 대비한 예비품이라고 생각했다. 하지만 두 눈은 생존에 필요한 자연의 선택이었다.우리가 깊이를 보는 것은 한 가지 단서 때문이 아니다. 그리고 뇌에는 이 모든 단서에 대한 정보가 들어있다. 우리의 뇌는 수학적으로 능숙하고 기회주의적인 정보소비자이다.
그렇다면 왜 자연선택은 우리에게 입체시를 선사했을까?타일러는 우리 조상이 나뭇잎이 가득한 방에 살았다는 사실을 지적한다. 영장류는 나무에서 진화했기 때문에 무성한 나뭇잎에 가려져 일부만 보이는 작은 가지들의 거리를 알 필요가 있었다. 실패의 대가는 아득한 땅바닥으로 추락하는 것이다. 두번째는 위장술인데 키클롭스 시각은 3차원 위장술을 사용하는 먹이를 탐지하고 발견하는데 효과적인 대응책이었다.
키클롭스의 눈은 어떻게 작동하는가?한쪽 눈에 들어온 흔적과 반대쪽에 들어온 대응물을 매치시키는 문제는 닭이 먼저냐 달걀이 먼저냐와 같은 문제다. 우리는 뇌는 특정한 조각이 어느 쪽 눈에서 왔는지를 모르고 양쪽 눈에 비친 것을 녹여 하나의 그림으로 만들어낸다. 우리의 양쪽 망막에 들어오는 시각 흔적은 셀 수 없이 많은데, 우리 양쪽 눈은 같은 흔적을 매치한다. 어떻게 마음이 이것을 수행할까? 데이비드 마르는 우리가 진화해온 세계에 대해 선천적으로 내장된 전제들이 해답의 실마리일 수 있다고 지적했다. 시각적 뇌가 가지는 전제는 몇 가지가 있다. 첫째, 세계의 각 흔적은 한 순간에 한 표면의 한 위치에 고정되어 있다. 그래서 두 눈이 올바르게 매치를 하려면 세상의 한 흔적으로부터 두 눈에 들어온 똑같은 점에 고정해야 한다. 만약 두 눈에 같은 점이 들어왔다면 두 점은 세상의 한 위치에서 온 것이 분명하다. 즉, 동일한 것을 보고 있다. 둘째, 대부분의 사물들은 매끄럽고 일정한 표면을 갖고 있다.우리의 시야에 들어오는 표면의 시작과 끝은 많이 멀지 않다. 이렇게 인접한 표면은 동일한 특징이 있고, 빛이 균일하게 비친다. 사물의 경계 부분에서는 이 전제가 끝나서 표면이 다른 특성을 가진다. 따라서 두 눈은 동일한 특성을 가진 표면을 봐야 한다.
하지만 이 전제들로는 부족하다.이는 제약만족이란 기술로 보완될 수 있다. 제약만족이란 여러 제약이 있는 상황에서 적합한 답을 찾아가는 문제를 말한다. 적합한 답은 한 가지가 될 수도 있고, 그 이상이 될 수 있다. 가령 여행을 갈 때 시간이라는 제약이 있지만 주어진 시간 동안 갈 수 있는 다양한 코스가 나올 수 있는 것과 같다. 제약만족은 문제상황을 해결하는 다양한 방법을 고려하지만, 우선 확실하거나 단순한 문제부터 풀어가면서 효율성과 정교성을 높여간다. 마치 가로, 세로 글자 맞추기 퍼즐에 일단 추정되는 글자를 써보고 하나씩 답을 채워나가는 원리와 비슷하다.
제약만족 기술을 활용하면 먼저 우리 눈은 완벽히 세계를 보는 데 제약이 있다는 것을 가정하고, 망막으로부터 들어온 수많은 단서들을 검토해 현실세계와 일치할 가능성 있는 후보들을 만든다. 뇌는 세계에 대한 전제들(각 흔적은 한 표면에 고정되어 있다 등)과 매치되는 시각단서들을 하나씩 검토하면서 후보들을 선택하거나 삭제해 나간다. 이렇게 해서 확실한 해결책이 결정될 때까지 뇌의 처리기들 사이에 충분한 논의를 이루어 일치된 결론을 내린다.낱말 맞추기에 비유하자면 입체시의 일치문제를 해결하는 경우에는 점들이 단서이고, 매치들과 깊이들이 후보단어이며, 세계에 대한 전제는 모든 네모에는 하나의 단어가 되어야 한다고 지정하는 규칙들이다.즉, 우리가 두 눈을 가졌다고 해서 입체시가 완성되는 것은 아니다. 뇌 속에 회로가 배선되어야 한다.입체시에는 여러 가지 뉴런이 관여하는 것으로 보이는데 각각의 뉴런은 각기 다른 유전자 조합에 의해 형성된다. 한마디로 입체시도 모듈에 의한 작동이다. 이는 인구의 약 2퍼센트가 각각의 안구로는 잘 보면서 각기 다른 이유로 입체시를 못 보는 것으로 알 수 있다. 입체시는 일부는 유전적인 본성이고, 일부는 3~4개월 경에 발달되는 양육의 결과물로 밝혀졌다.
다시 강조하면 우리의 시각은 망막에 비친 상으로부터 객관세계의 모습을 복구해 불가능한 문제를 해결한다. 이런 세계의 모습을 복구할 때 우리는 장기기억 속에 새겨진 ‘전제’를 사용한다고도 설명했다. 우리 마음에는 점차 모여지는 평행성, 명암의 전환, 표면 재질의 변화, 경계의 테두리 차이와 세계와의 관계(거리, 크기, 위치, 형태 등)에 대한 정보들이 들어 있다. 우리가 보는 많은 착시현상들은(에임즈의 룸, 루벤의 잔과 얼굴과 같은 착시그림 뿐 아니라 회화, 사진, 영상 들을 포함한) 그 전제를 이용하고, 시각기관으로 하여금 착각을 일으켜 우리를 웃고, 울게 만든다. 예를 들면, 우리가 주변을 이동할 때 빨리 지나가는 사물은 가까이, 천천히 지나가는 사물은 멀리 있다고 인식한다고 설명했다. 그리고 크기가 크면 가까이, 작은 것은 멀리 있다고 생각한다.(단안단서의 상대적운동과 크기). 뇌는 그렇게 다른 패턴들의 단서를 조합해 3차원의 세계를 해석한다. 이런 전제를 이용하여 스타워즈와 같은 영화에서는 화면에 보이는 별의 크기와 속도를 조절해 마치 우주를 떠다니는 듯한 느낌을 생생하게 전달한다. 또한, 양안에서 오는 약간 다른 위치의 상을 합쳐 3차원의 세계가 있다고 가정하는 뇌의 전제를 이용하여 착시영상인 3D영화도 만든다. 영화를 보는 동안 양쪽 눈에 각기 다른 상이 비치고 그 결과 우리의 눈은 스크린 밖으로 뛰쳐나오는 괴물을 경험해 흠칫 놀라게 된다.
착시그림을 소개한 것은 단순히 흥미를 위해서가 아니다. 입체시는 자연의 경이이자 마음이 어떻게 작동하는가를 이해할 수 있는 열쇠이다. 입체시는 일종의 정보처리이다. 좌안과 우안으로 정보가 들어오면 뇌의 뉴런들은 프로그래밍된 규칙을 가지고 마음 깊이 새겨진 여러 전제들과 비교해 깊이감 정보라는 결과물을 산출해낸다. 우리 뇌의 다른 부분들은 이 정보들을 활용해 상황판단, 감정지각, 행동지시 등을 한다.
입체시 또한 몇 가지 의미에서 모듈이란 점을 강조한다. 첫째, 입체시는 마음의 다른 부분들이 없어도 잘 작동한다. 둘째, 마음의 다른 부분들은 입체시가 없어도 작동한다. 셋째, 입체시는 뇌 배선에 특별한 역할을 요구한다. 넷째, 입체시는 자신의 문제에만 적용할 수 있는 고유한 원리에 의존한다.(예, 양안시차의 구조)
다시 한번 강조하면 입체시는 자연선택에 의한 진화의 산물이다. 입체시는 우리 조상들이 생태환경에 직면했던 선택압력에 대응하여 진화했다. 그래서 그것은 현재는 아닐 수 있지만 인간이 진화했던 당시 적합했던 전제들을 통해 ‘해결 불가능한 문제’들을 해결한다.
4-2. 빛과 명암
입체시는 표면의 깊이와 재질을 파악하는 중요한 초기 단계 시각이지만 그것이 전부는 아니다. 두 눈이 있어야 3차원으로 보는 것은 아니다. 그림에서 아주 미약한 힌트만 있어도 우리는 형태와 재질을 감지해 낸다.
다음 그림은 심리학자 에드워드 애들슨이 만든 착시그림이다. 그림은 각각 수평, 수직으로 종이를 접고 옆에서 빛을 비춘 그림이다. 종이에 들어간 잉크는 동일하다. 하지만 모양이 다르게 보인다. 1번 표시가 붙은 경계선은 물리적으로는 똑같다. 그러나 왼쪽 그림 경계선은 색칠에 의한 경계선으로 보이고, 오른쪽 그림의 경계선은 형태와 그늘에 의한 경계선으로 보인다. 지그재그의 방향만 다른 두 박스에서 이 모든 차이가 나온다.
시각의 적은 단서로부터 외부세계의 형태, 표면, 재질 등 많은 정보를 정확하게 파악하려면 세 가지 마음 전문가가 필요하다. 입체시처럼 그 전문가들도 외부세계의 표면에 대한 정확한 이해를 위해 일하지만 그들은 각각 다른 종류의 정보에 의존하고, 각기 다른 종류의 문제를 해결하고, 각기 다른 종류의 전제를 만들어낸다.
첫 번째는 형태분석 전문가이다. 3차원 물체는 망막에 2차원 형태로 투사된다. 따라서 단지 투상만 가지고는 특정한 형태를 복구할 수 없다. 그래서 망막에 상이 주어지면 우리 마음속 형태분석기는 확률을 따져서 확률이 가장 높은 상태를 보게 해준다.우리의 마음 속에는 물체의 선들이 어떻게 투시되는가와 세계에 대한 정보들이 기록되어 있다. 예를 들어 ‘책은 직사각형이다’ ‘동전의 옆면은 직선으로 보여도 윗면은 타원이다’ ‘움직이는 유기체는 대칭형으로 생겼다’ 등이다. 따라서 내가 보고 있는 선의 집합들이 마음 속에 새겨진 어떤 물체의 형태와 유사하면 그 물체라고 결정할 확률이 높아진다. 한 가지 더 고려해야 하는데, 그것이 이 장면에서 출현할 가능성이 얼마나 있는가이다.예컨대, 얼룩말이 종종 발굽소리를 낸다는 이유로, 창밖에서 나는 발굽소리가 얼룩말이라고 결론을 내리는 것은 안전하지 않다. 외부세계에 얼룩말이 얼마나 존재하는지를 고려해야 하는 것이다. 즉 형태분석 전문가는 ‘보이는 선들과 마음속에 기록된 물체정보와의 유사성’과 ‘그 물체가 현재 출현할 가능성’을 곱해 형태를 파악하는 것이다.하지만 세계의 표면들은 단지 선으로만 그려져 있지 않다. 표면은 또한 재료로도 이루어져 있다.
두번째는 반사율 전문가가 할 일이다.이 세계의 표면들은 재료로 이루어져 있다.빛과 색을 감지하는 것은 재료를 평가하는 한 방법이다. 재질이 다르면 반사되는 빛의 파장과 양이 다르다.하지만 반사광으로부터 물체의 재질을 절대적으로 추론하기는 부족하기 때문에밝기 분석기는 주변의 조명도까지 계산해서 재질을 추론해야 한다. 우리 마음 속에는 이 세계가 어떻게 빛을 반사하는가에 대한 정보가 있다. 뇌는 빛이 균일하게 비치고, 사물들은 일정한 색깔의 표면을 갖고 있는 세계에 살고 있다고 가정하고 외부 세계에 존재하는 것들에 대한 추측을 해낸다.
우리는 다른 밝기에서도 문제없이 옷의 고유의 색을 지각하고, 빨간색 스커트를 인식한다. 이를 위해서는 망막에 투사된 색을 확인하는 것만으로는 부족하다. 첫째 동일한 표면은 고르고 균일하게 빛을 받는다는 전제가 있어야 한다. 그런 다음 세 가지 단계로 밝기에 따른 색깔 지각 문제를 해결한다. 물체의 한쪽 끝에서 반대쪽 끝까지 밝기 변화도를 계산하고, 전체로부터 밝기의 평균수치를 추산하고, 평균수치에서 각 조각의 밝기를 빼고 더하는 방법으로 명암을 계산한다. 즉, 우리 뇌는 평균 수치에 따른 조명의 강도를 계산해서 다른 빛 아래서의 물체의 정확한 색깔을 본다. 둘째, 밝기와 색이 시야상에서 점진적으로 변하는 것은 해당 장면이 그렇게 빛을 받고 있기 때문이고,(예를 들면, 곡면에서는 빛이 밝음에서 어둠으로 넘어가는 점진적 이행이 나타남) 갑작스럽게 변하는 것은 한 물체가 끝나고 다른 물체가 시작되는 것(예를 들면, 모래사장과 바다의 경계)이라고 가정해 동일하거나 다른 물질을 감지한다.
마지막으로는 명암효과 전문가이다.우리는 경사의 표면에서 반사되는 빛의 양을 계산해 형태와 재질을 이해한다.예를 들면 당신이 광원을 보고 있다고 하면, 표면이 비스듬하게 틀어져 있을 때보다 정면으로 마주하고 있을 때 더 많은 빛을 포착한다. 우리는 이 원리를 넓은 광원에서 작은 물체까지 적용한다. 큐브와 보석 등 모든 물체들은 경사가 다른 작은 단면조각들로 이루어져 있으며, 명암법칙은 각각의 면에서 발산하는 빛에 적용된다. 우리는 명암을 통해 세계를 볼 때에도 전제에 의존한다. 세계의 표면은 수천 종류의 재질로 이루어져 있는데, 빛은 경사진 표면들을 각기 다르게 때리고 튕겨져 나간다는 것이다.
각각 분석기는 다른 전제들을 가지고 있고, 그 전제들은 종종 다른 분석기와 충돌을 일으킨다. 이 분석들이 뒤섞여도 전문가들은 서로 협조하면서 가장 가능성 높은 추측을 조립해 하나의 형태, 색, 한 종류의 빛을 본다.
4-3. 2.5차원으로 보기
전문가들이 각자 맡은 일을 하고 나면, 뇌의 나머지 부분들이 접근할 수 있는 게시판에 무엇을 그리는가? 지금까지 설명한 입체, 운동, 윤곽, 명암 전문가들은 3차원의 세계를 복원하기 위해 열심히 일했다.그 노동의 결실을 위해 망막에 비친 수많은 모자이크 그림들은 하나로 조립되어 3차원으로 만드는 마음의 공간으로 넘어가야 하고, 3차원 모형은 세계에 대한 우리의 최종적인 이해가 되는 것이다. 하지만 여러 전문가가 붙어 3차원으로 보려고 열심히 노력하지만 실제 우리가 보는 세상은 그렇지 않다.첫째, 우리는 눈앞에 있는 것만 생생하게 경험한다. 시야의 경계 밖에 있는 세계는 막연하게 안다.눈은 1초에 몇 번씩이나 초점을 바꾼다. 사람들이 눈이나 머리를 움직이면 그 순간 보고 있던 사물의 세부적인 모습을 놓친다.둘째, 우리는 부피가 아니라 표면을 본다. 우리에겐 엑스선 같은 시각이 없다.우리는 상자의 앞은 보지만 뒤나 안은 보지 못한다.셋째, 우리는 원근법에 따라 본다.우리는 기찻길이 평행하는 것을 알지만 지평선 쪽에서 만나는 것처럼 본다.넷째, 우리는 기하학적으로 엄밀하게 말하면 3차원이 아니라 2차원으로 본다.다섯째, 우리는 물체들을 즉시 보지 못한다. 우리는 이동가능한 물질 덩어리들을 세고, 분류하고, 거기에 명사를 붙인다.예를 들어 코는 물체인가? 몸에 붙어 있을 때도 하나의 물체인가? 생각하기에 따라 물체일수도 있고 물체의 부분일 수도 있다.
그러나 우리에게는 ‘표면’과 ‘경계’를 확실히 감지하는 감각이 있다. 지각을 조직하는데 기본적인 능력 중 하나는 배경으로부터 대상을 확인하는 것이다.시야를 깎아내서 표면들로 만들고 그중 어느 것이 전면에 있는가를 결정하는 것이다. 예를 든 그림과 같이 루벤의 잔과 얼굴은 동시에 보이지 않는다. 두 형태 중 우세한 형태가 경계선을 ‘소유’하고 다른 구획을 배경으로 밀어낸다. 우리는 망막에서 밀려오는 정보에 떠밀려 비자발적으로 표면을 인지한다. 일반적인 믿음과는 달리 우리는 기대하는 것을 보는 것이 아니다.그렇다면 시각은 무엇을 생산할까? 마르는 그 생산물을 2.5차원 스케치라 부르고, 다른 사람들은 가시적 표면 표상(visible surface representation)이라 부른다. 깊이는 좌우, 상하 차원들과 달리 시각 정보를 담고 있는 매개물을 규정하지 못하기 때문에 종종 1/2차원으로 ‘다운그레이드’ 된다.3차원 세계를 보려고 여러 마음 전문가들이 노력했지만, 사실 우리는 볼 수 없는 것은 축소하고 본다.
2.5차원스케치
2.5차원 스케치는 다음 그림과 같다. 세포 또는 화소들이 모자이크처럼 붙어 있다. 각 세포는 키클롭스의 시점에서 일직선으로 뻗어 나간 시선에 해당한다.각 세포는 몇 개의 정보를 가진 두 종류의 서식과 같다. 표면을 설명하는 서식과, 테두리를 설명하는 서식이다. 표면을 설명하는 서식에는 깊이, 전후 기울기, 좌우 기울기, 색, 재질 정보가 포함되어 있고,테두리를 설명하는 서식에는 테두리가 사물의 경계에 있는지, 홈인지, 마루인지를 알려주는 정보들이다.이 그림은 2.5차원 스케치 속에 담긴 정보의 종류를 종합해서 보여주는 그림으로, 각 전문가들은 담당하는 정보를 뇌와 공유한다. 이 정보들은 모든 전문가가 보며 협력해 처리할 수 있는 공동 게시판에 게시된다.
왜 우리는 2.5차원으로 볼까? 그 답은 저장의 비용과 이점에 있다. 컴퓨터 사용자라면 그래픽 파일이 저장 공간을 잡아먹는 대식가라는 것을 알 것이다. 뇌가 눈에 들어오는 수 기가 바이트를 모형으로 합성하지 않는 것은 대상이 움직이는 순간 쓸모가 없어지기 때문이다.깊이를 계산하는 입체, 윤곽, 운동 전문가들이 갖춰져 있는 것은 보는 사람에게 외부세계의 3차원 좌표를 주기 위해서가 아니라 거리, 기울기, 겹침현상에 대한 정보를 주기 위해서다. 그것들이 할 수 있는 최선의 일은 공동작업을 통해 눈앞의 표면들에 대한 2.5차원의 인식을 제공하는 것이다. 어떻게 사용할지를 생각하는 것은 뇌의 나머지 부분이 할 일이다.
4-4. 좌표계(위치와 방향)
2.5차원 스케치는 정교하게 설계되고 조화롭게 작동하는 시각시스템의 걸작이다. 그러나 문제가 있다. 2.5차원 배열에 담긴 정보는 보는 사람을 기준으로 중심이 맞춰진 망막 좌표계에 기입되어 있다는 것이다.만일 특정한 세포가 “여기 테두리가 있다”는 정보를 보내면 여기가 가리키는 의미는 망막 위에 있는 그 세포의 위치(즉 당신이 보고 있는 정면)이다. 그러나 당신이나 사물이 움직이는 순간, 그 정보는 다른 배열 속의 공간으로 이동한다.
시각정보를 이용하는 문제의 핵심은 위치를 알아야 하는 것인데 그러려면 유용한 준거틀, 즉 좌표계가 있어야 한다.좌표계는 위치 개념과 밀접하다. 우리는 “그게 어디 있어?”라고 물으면 이미 알고 있는 사물의 이름을 확인하고 그것을 기준으로 어느 방향으로 얼마나 멀리 있는가를 설명한다. “냉장고 옆에 있어”와 같이 말로 된 설명, 주소, 나침반 방향 등과 같이 ‘준거틀’을 기준으로 거리와 방향을 나타낸다.
2.5차원 스케치가 첨부된 좌표계는 망막상의 위치다. 그런데 망막상은 끊임없이 움직인다. 우리는 두 눈이 움직이는 동안에도 머물러 있는 좌표계가 필요하다.보이지 않는 좌표계를 시야 앞에 두고 이리저리 이동시키는 회로가 있다고 가정해보자. 그리고 좌표계가 있는 시야로부터 수집된 정보는 그 십자선에 규정된 위치들과 관련되어 있다. 컴퓨터에도 그와 비슷한 것이 있다. 바로 커서이다. 커서는 방대한 문서에서 정보를 읽고 쓸 때 기준이 되고, 화면을 스크롤 해 움직일 때마다 같이 따라온다. 뇌가 2.5차원 스케치 내용을 이용하려면 커서와 같이 위치를 고정하고 파악하는 좌표계가 필요하다.
우리에게는 여러 가지 좌표계가 있다. 머리에 고정시킨 좌표계가 있을 수 있고, 머리와 신체의 운동을 보상하는 물체에 고정된 좌표계도 있다. 네 가지의 좌표계를 소개한다.
첫째, 외부세계를 동일한 크기로 나눠 표시하는 ‘마음격자 틀’이다.우리는 외부세계에 동일한 크기의 마음격자 틀을 그려 거리, 위치, 방향 등을 감지한다. 예를 들어, 가까운 거리의 물체는 격자의 넓은 범위를 차지할 것이고 먼 거리에서는 좁은 범위를 차지하여 사물의 거리를 인지할 수 있다. 또한, 우리는 철길이 평행선인 것을 알지만 마음격자 틀에 철길이 서로 만난다면 철길은 점점 멀어지고 있다고 지각한다. 그리고 모아지는 철길 옆의 격자에 나무가 있다면 그 나무의 위치와 거리 또한 짐작할 수 있다.
둘째, 중력의 방향 틀이다.우리 마음의 수직 추는 내이의 전정기관에서 나온다. 우리 귀의 가장 안쪽에 위치한 전정기관은 반고리관과 전정을 일컫는데, 여기에는 림프액과 돌(이석)들이 있다. 머리를 움직이면 전정기관의 림프액이 출렁거리고, 이석이 중력의 방향으로 움직여 상하, 전후 움직임을 기록하는 신경신호를 만든다. 마음(뇌)은 이 신호를 이용해 십자선을 항상 정확히 똑바로 서있게 해
물체를 올바로 볼 수 있게 한다.
셋째, 마음의 상하축이다.마음 상하축은 우리가 형태 감각을 형성하는 강력한 요소이다. 기하학자는 오른쪽 두 그림을 네 각과 선이 동일한 같은 도형으로 보지만, 우리는 정사각형과 마름모로 본다. 왜냐하면 정사각형은 ‘위쪽’이 평평하고 마름모는 뾰족하기 때문이다. 이렇게 우리 마음은 물체를 인식할 때 상하좌표를 무시하지 않고, 상하에 위치한 모양의 차이를 통해 형태를 인식한다.
넷째, 물체 자체의 좌표계이다. 그림의 삼각형 모양을 보고 있으면 어느 순간 ‘삼각형들이 가리키는 쪽’으로 보인다. 이때 변화를 일으킨 것은 삼각형들이 아니라 삼각형 위에 겹쳐진 마음의 좌표계이다. 그 좌표계는 삼각형들의 대칭축에서 비롯된 것이다. 삼각형에는 그런 축이 모서리마다 있는데 각각의 축이 번갈아 가면서 방향을 지배한다. 각각의 축에는 남극과 북극 같은 양극이 있어서 삼각형이 어느 한 방향을 가리키는 느낌이 들게 한다.
4-5. 동물크래커(형태)
좌표계를 끌어들이는 능력은 사물이 망막으로 들어와 사고로 인식되는 과정 중 하나를 해결하는 데 도움된다. 사물들은 다양한 단서로부터 인식된다. 어떤 것은 소리와 냄새로 인식되고, 어떤 것들은 색과 재질을 통해 인식된다. 그러나 대부분의 물체는 ‘형태’를 통해 인식된다.그렇다면 사람들은 어떻게 형태를 인식하는가?
사물의 형태를 인식할 때 우리는 물질의 부분이 어떻게 배치되었는지 생각하고, 기억된 것들 중 가장 가깝게 매치되는 것을 찾아낸다.인간의 마음은 굉장히 예리한 기하학자의 능력을 가졌다. 세 살만 되어도 갖가지 모양의 동물 크래커에서 원하는 것을 척척 골라낸다. 반면, 뇌의 좌반구에 문제가 있는 환자는 물체의 형태를 인식할 수 없다. 소의 머리를 상상하라는 질문을 받으면 귀와 뿔이 있는 건 알겠는데 그것을 제 위치에 놓을 수가 없다고 답한다.이것을 보면사람들은 형태를 인식할 때 부분들의 형태와 배열을 분석함으로써 물체가 무엇인지 이해하는 것으로 보인다.이번 장에서 ‘형태를 인식하는 마음’을 탐구하면서 ‘동물크래커(를 구별하는 마음)’란 제목을 붙인 이유이다.
자동차, 사람, 그리고 동물이 움직이면 우리의 망막에 맺혀지는 대상들의 모양은 지속적으로 변화하지만, 우리는 여전히 그것들이 같은 크기와 모양을 가지는 것으로 지각한다.예컨대, 문이 열릴 때 열린 각도에 따라 망막에 맺혀진 문의 형태는 찌그러진 사다리꼴처럼 변화한다. 하지만 우리는 문이 일정한 직사각형의 형태를 가지고 있다고 지각한다. 어떻게 가능할까? 우리가 형태를 어떻게 인식하는지에 대한 세 가지 열쇠를 소개한다.
첫째는 복합시각 이론이다. 사람들은 자주 경험하는 물체들에 대해 모든 방향(위, 옆, 밑 등)에 대한 수 많은 기억파일을 저장한다. 물체의 한 부분이 시각에 들어오면 기억 속 파일모음들을 불러오고, 그 파일과 매치해 물체가 무엇인지 파악한다.예를 들면, 우리가 여행가방을 위에서 내려다본다고 가정하자. 우리는 손잡이가 달려있는 직사각형 판을 보지만, 여행가방 앞, 옆, 뒤에 대한 복합적인 시각기억이 저장되어 있기 때문에 위에서 본다고 하더라도 여행가방의 모양을 상상하고 인지할 수 있다. 복합시각 이론은 시각파일이 많은 익숙한 사물일수록 빠르게 인식하고, 특히 습관적인 방향으로 향해 있다면 더 빨리 인식한다는 실험으로 증명되었다.
두 번째로는 마음회전 이론이다.우리는 어떤 물체의 형태를 평가할 때 상하좌우 방향을 무시하지 못한다. 물체가 기울어져 있으면 마음 속에서 형태를 똑바로 회전시킨 다음 그 상을 인식한다.예를 들면, 알파벳 R이 기울어져 있어도 우리는 마음에서 똑바로 회전하여 R로 이해한다. 우리는 이를 마음회전 이론이라 일컫는다.사람들은 형태가 똑바로 서 있을 때 빨리 인식하고, 방향이 틀어지면 틀어진만큼 느리게 인식한다는 것이 실험으로 증명되면서 우리에게 형태를 인식할 때 회전하는 능력이 있다는 것을 알게 되었다.
마지막으로 기하자 이론이다.우리는 사물의 형태를 원추, 육면체, 원통 같은 도형의 집합이라고 생각하고, 이 도형들의 형태와 배열을 분석함으로써 물체가 무엇인지 파악한다는 것이다.구체적으로 우리는 마음속으로 물체의 중심에 좌표계를 그리고 그 안에 들어온 도형들의 위치와 각도를 측량해 사물들의 차이를 인지한다. 그리고 우리 뇌에는 아는 사람들의 얼굴 형태, 그리고 동물, 사물 등의 모양을 기록해 놓는데, 좌표 위에 그려진 부분들을 기억 속 모형과 일치하는지 확인하며 형태를 파악한다.기하자 이론에 따르면 우리는 기하자의 총합이 아니라 부분들의 배열에 따라 사물을 구분한다.예를 들어 옆면에 굽이가 붙어있는 원통은 컵이고, 위에 굽이가 붙어있는 원통은 들통이다와 같은 식이다.또한 우리는 매치하는 시각과 기억을 비교할 때 밀리미터 단위로 정밀하게 명시하는 게 아니라 어느 정도 여유를 두는 유연성이 있다. 예를 들면, 컵의 손잡이는 컵에 따라 조금 높거나 낮을 수 있지만 모두 ‘원통 옆면에’ 붙어있는 것을 인식하는 것과 같은 식이다. 그래서 사물의 스타일이 제 각각이여도 우리는 그 사물이 무엇인지 안다.
사람들은 이 모든 기술을 이용해 형태를 인식한다. 형태인식은 아주 어려운 문제이기 때문에 하나의 범용 알고리즘으로 모든 형태를 처리할 수 없다. 놀라운 것은 눈앞의 형태를 파악하는 데 순식간에 최적의 기술을 적용하고 계산해낸다는 것이다.만일 한 형태의 옆면들이 너무 어렵지 않으면 사람들은 그것을 물체 자체의 축에 중심이 맞춰진 기하자 모형으로 파악한다. 만일 형태가 더 복잡하면 그것이 각 방향에 따라 어떻게 보이는가를 복사해서 기억파일과 비교한다. 그리고 형태가 낯선 방향으로 틀어져 있으면 사람들은 마음속으로 그것을 회전시켜서 익숙한 형태들 중 가장 근접한 것과 일치시킨다. 이런 기술들은 우리의 천부적인 시각기관이 보여주는 재능이다. 이제 우리는 시각심리학의 마지막 주제인 ‘심상’으로 넘어가게 된다.
4-6. 상상하라(심상)
비글의 귀는 어떻게 생겼는가? 거실 창문은 몇 개인가? 바닷가재는 입이 있는가?사람들은 이러한 질문에 답하기 위해 ‘심상(마음의 상)’을 이용한다. 형태를 그리면 마치 마음의 눈으로 검사할 수 있는 그림이 떠오른다.그 느낌은 ‘어머니의 결혼 전 이름이 무엇인가?’ ‘시민의 자유와 범죄의 예방 중에 어느 것이 중요한가?’와 같은 추상적인 질문에 대답하는 경험과는 다르다.
심상은 사물에 관한 우리의 생각을 공간 속으로 몰고가는 엔진이다.자동차에 가방을 싣거나 가구를 재배치할 때 우리는 공간적 배열들을 상상해본 후 작업을 시작한다.화가들은 마음속으로 착상을 검토하고, 아인슈타인은 마음속 실험실에서 상대성이론을 생각해냈다. 심상은 지성뿐만 아니라 감정도 움직인다.야심, 불안, 성적충동, 질투심은 모두 존재하지 않는 것의 상에 의해 촉발될 수 있다. 한 실험에 의하면 배우자의 부정장면을 상상만 해도 심박수가 분당 5회 증가했다.심상은 산업이다.기억력 증진 강좌에서는 방안 물건들을 상상한 다음 마음속으로 그 사이를 걸어다니는 기술을 가르친다. 심리치료도 마찬가지이다.
그런데 심상이란 무엇인가?계산주의 마음이론에서 심상의 개념은 명료하다. 우리는 시각기관이 그림과 비슷한 2.5차원 스케치를 사용한다는 것을 안다. 형태 표상은 눈에 투사된 형태의 윤곽들과 맞아떨어지는 패턴 속의 몇몇 요소들이 기입됨으로써 이루어진다. 형태 분석은 좌표계나 기하자 찾기 등을 통해 스케치 속의 정보를 처리한다.심상은 장기기억으로부터 실려온 2.5차원 스케치속 패턴인 것이다.
뇌는 심상의 요구사항을 수행할 준비가 되어 있다. 그것은 눈이 아닌 기억으로부터 흘러들어온 정보다. 뇌의 시각 영역에 이르는 섬유경로들은 양방향이다. 그 경로들은 하위의 감각 차원으로부터 정보를 보고받는 것 못지않게 상위의 개념 차원에서도 많은 정보를 하달 받는다. 이 상하연결에 무엇에 필요한지는 정확히 밝혀지지 않았지만, 아마 기억 상들을 시각지도로부터 내려 받기 위해 존재하는 것으로 보인다.
그렇다면 심상은 어디에 있을까?뇌 손상 환자, 뇌 활성화 부위실험 등 여러 증거들을 통해시각적 뇌가 곧 심상의 자리임을 알게 되었다. 심상은 뇌의 시각피질에 고루 배치되는 것으로 보인다. 또한, 수십년 동안 철학자들은 실험을 통해 심상은 서술이 아니라 ‘그림’으로 마음에 저장된다는 사실을 밝혔다.
심상은 멋진 기능이 있지만 한계점이 있기 때문에 머릿속의 그림이란 개념에 너무 도취해서는 안 된다. 첫째, 심상은 파편적이다. 사람들은 시각적 장면 전체의 상을 재구성하지 못한다.우리는 순간적으로 감지한 한 시점의 부분들만 기억하고 그것들을 마음의 그림 속에 배열한다. 사물들에 대한 우리의 기억은 파편적인 여러 시선을 모은 혼성그림이다.둘째,심상은 기억의 구조에 속박되어 있다는 한계가 있다.세계에 대한 우리의 지식은 한 장의 큰 그림에 들어맞지 않는다. 시각적 기억은 정확한 기억이 아니다.우리의 시각기억은 명제로 된 상부구조 안에 분류되고 체계화된다.시각적 사고는 심상의 내용물 자체가 아니라 우리가 상을 구성하기 위해 이용하는 개념적 지식에 의해 강하게 작동한다. 예를 들어, 체스선수의 경우 말들의 공간적 배열을 기억하는 게 아니라, 공격과 수비를 비롯한 말들 간의 의미있는 관계들을 기억한다. 우리는 영화를 보고 나서 모든 이미지를 기억하는 것이 아니라 개념으로 된 줄거리를 기억한다.마지막으로, 심상은 개념과 똑같은 역할을 하지 않는다.심상은 ‘자유’와 같은 추상적 개념, ‘기린이 아님’과 같은 부정적 개념, ‘고양이나 새’와 같은 선별적 개념, ‘인간은 모두 죽는다’와 같은 명제 등을 그리기는 어렵다. 반면, 개념은 이 모든 것이 가능하다. 그림은 양의적이지만 생각은 정의상 양의적일 수 없다.상식은 그림만으로 해낼 수 없는 구별을 수행한다. 상식은 단지 그림들의 집합이 아니다.만일 어떤 생각을 표상하기 위해 마음의 그림을 이용한다면 거기에는 그 그림을 어떻게 해석해야 할지, 무엇을 무시하고 주목해야 할지를 개념적으로 설명해주는 수 많은 캡션이 붙어야 할 것이다. 시각이 멈추고 생각이 시작되면, 마음이 한 사물을 설명하는 명제들을 피해가기는 불가능하다.
그림은 천 마디의 말처럼 소중하지만 항상 그렇지는 않다.심상은 보기와 생각하기 어느 지점에서 관념에게 자리를 내준다.
4장.마음의 눈
본다는 것은 무엇인가? 외부의 사물이 어떻게 눈에 들어오고, 우리는 어떻게 그것을 보고 인식하는가? 일반적인 이야기 같지만 사실은 대단히 심오하고 과학적인 설명이 필요하다. 4장 ‘마음의 눈’에서는 시각이 어떻게 망막에 들어오는 그대로 받아들이는 것이 아니라, 마음의 눈을 덧붙여 실제의 모습으로 보게 되는지를 탐구하고자 한다. 우리는 먼저 빛의 반사로부터 사물의 개념에 이르는 길을 추적한다. 그런 다음 마음속 그림인 심상이라고 알려진 보기와 생각하기의 상호작용을 살펴볼 것이다.우리는 이번 장을 통해 인간이 이 놀라운 감각을 중심으로 진화한 마음을 가진 영장류, 특히 고도로 시각적인 생물임을 알게 될 것이다.
시작하기 전 살바도르 달리의 말을 인용하고 있다. “바라보는 것은 생각하는 것이다”
사물을 본다는 것은 무엇일까.사물을 본다는 것은 맨 먼저 물체에 부딪쳐 반사되어 온 빛을 통해 보는 것이다. 반사된 빛이 망막에 비치면 시신경이 그 상의 정보를 처리하여 뇌에 보내고, 뇌는 받은 정보를 해석한다. 그러나 망막에 비치는 상은 우리가 일반적으로 보는 것과 다르다. 빛은 각막을 통과해 볼록렌즈와 같은 수정체를 지나면 굴절되면서 망막에 상이 거꾸로 비친다. 또한 두 눈은 입체적인 사물의 모든 면을 다 볼 수 없다. 이 모든 것은 뇌가 보충하고 바르게 해석하여 우리가 사물을 정확히 인식하게 할 수 있도록 한다. 즉 사물을 본다는 것은 ‘눈’으로 보고 ‘뇌’로 인식하는 것이다.
물리학에서 광학은 특정 형태, 물질, 조명을 가진 물체가 어떻게 망막상에 비치는지를 예측하는 분야이다. 하지만 우리는 반대로 망막에 비친 상으로부터 외부사물의 형태와 재질을 추론한다. 뇌는 이렇게 역으로 보는 문제를 해결한다. 이를 역광학이라고 부르는데, 공학자들은 역광학을 ‘잘못 설정된 문제’라 말한다. 해가 존재하지 않는 문제라는 것이다.몇 개의 수를 곱해 결과를 말하는 것은 쉽지만 어떤 결과를 보면서 그것이 어떤 수들의 곱인지는 말하기 불가능한 것과 같다. 회색 덩어리는 그늘 속에 있는 눈덩이일 수도 있고, 햇빛을 받은 석탄 덩어리일 수 있다. 그러나 우리는 어떤 환경에서도 눈덩이를 하얗게, 석탄은 까맣게 본다.
놀랍게도 우리의 뇌는 잘못 설정된 문제를 쉽게 해결한다. 왜일까? 정답은 뇌가 정보를 보충하기 때문이다. 시각은 여러 가지 전제들을 덧붙여 이 잘못 설정된 문제들을 해결 가능한 문제들로 전환하게끔 진화했다. 전제란 우리가 진화해 온 세상이 평균적으로 어떤 모습인지에 대한 사전지식을 말한다.예를 들면, 우리가 사는 세계는 고르고 균일하게 빛을 받는다는 지식이다. 지구라는 행성에 긴 시간동안 빛이 고르게 퍼진다는 가정이 잘 들어맞았고, 자연선택은 그 가정을 시각적 뇌 속에 구축하여 다양한 환경에서도 사물 본질의 색을 볼 수 있게 했다. 또 다른 전제는 동일한 사물의 표면은 일정한 패턴이 반복되는 것이다. 이를 통해 우리 조상은 나무줄기, 들판, 바위, 물의 표면을 구분해 사물을 인지하고, 경계를 구분할 수 있었다. 또 좌우대칭은 거의 항상 동물, 식물의 부분들에서 나온다는 전제로 먹이와 적도 파악할 수 있었다. 전제는 이렇게 우리가 무엇을 볼 때 불완전한 망막의 상으로부터 세계를 정확히 이해하기 위해서 참고하는 컨닝페이퍼와 같은 것이다. 따라서 현재의 세계가 평균적으로 옛날의 환경과 닮아있을 때 우리는 세계를 있는 그대로 본다. 만일 그 전제들이 들어맞지 않는 이상한 세계에 착륙한다면 우리는 착시의 제물이 될 것이다. 시각기관은 우리에게 아름다운 세상을 보여주려고 진화한 것이 아니다. 시각기관은 살아가는 세상의 실제 형태와 재료에 대한 감각을 전달하기 위해 고안되었다. 선택의 이점은 명백하다. 음식, 포식자, 벼랑 등이 어디에 있는지 아는 것이다.
시각에 대한 가장 멋진 관점은 인공지능 과학자인 데이비드 마르로부터 나왔다. 마르는 시각이란 세계에 대한 전제들을 덧붙임으로써 잘못 설정된 문제들을 해결하는 기능이라는 견해를 최초로 제시했고, 계산주의 마음이론을 강력하게 지지했다. 그는 시각이 무엇을 위해 존재하는지에 대한 답으로 “외부 세계의 상들로부터 보는 사람에게 유용한 동시에 부적절한 정보와 뒤섞이지 않은 설명description을 생산하는 과정”이라고 했다. 시각의 목표가 ‘설명’이라는 말은 신선하면서도 통찰력 있는 표현이다. 우리는 눈에 보이는 것을 다 주절주절 말하고 다니지 않는다. 마음으로 그리고 생각한다. 마르는 ‘설명’에 대해 사람들이 말하고 듣는 영어와 같은 일상언어를 말하는 것이 아니라 마음속 사고의 언어인 ‘마음언어(mentalese)’로 된 설명이라고 말했다.
세계를 본다는 것은 무엇을 의미하는가?세상을 보는 사람은 그것을 말로 설명할 수도 있고, 마음속으로 조작하거나, 미래에 참조하기 위해 기억에 저장해 놓을 수도 있다.(2장에서 말한 장기기억에 새겨진 무수한 정보들을 생각해보자) 이 모든 기술은 세상을 망막에 비친 환상이 아니라 실재하는 물체로 해석하는 능력에 달려있다. 예를 들어, 책은 각도에 따라 우리 망막에 사다리꼴 형태로 맺히지만 우리는 책을 사다리꼴이 아닌 ‘직사각형’으로 본다. 왜냐하면 마음 어딘가에는 ‘책은 직사각형’이라고 생각하는 마음언어가 존재하기 때문이다. 단순히 망막에 맺힌 것을 보는게 아니라 눈으로 들어온 시각정보를 장기기억 속에 새겨진 마음언어와 비교해 사물을 보는 설명을 생산한다는 점에서 마르는 시각의 과정을 연산으로 보았다는 것을 알 수 있다.
4-1.깊이를 보는 눈(입체시)
핑커 교수는 3장에서 영장류가 가진 시각의 특별함을 ‘입체시’와 ‘색채시’라고 설명했다. 4장 ‘마음의 눈’ 전체 분량에서 1/3은 입체시를 설명하는데 할당되어 있다. 먼저입체시는 두 눈 시점의 차이를 이용해 깊이감을 얻는 능력이라고 말했다. 즉, 입체시는 ‘깊이를 보는 눈’이다.깊이감을 알면 대상이 얼마나 멀리 있는가를 알 수 있다.우리는 한번 보기만 해도 절벽의 높이나 다가오는 차의 거리를 알 수 있다.
착시그림을 본 적이 있는가? 분명 평면에 그려져 있는 그림인데 신기하게도 튀어나온 입체로 보인다. 먼저 빛이 우리 눈으로 들어와 뇌로 인지되는 과정을 살펴보자. 시각은 광자가 물체의 표면에 반사된 다음 핑 하고 돌아와 동공을 통과하면 안구의 굴곡진 안쪽 표면에 있는 광수용체를 자극함으로써 시작된다. 수용체가 신경신호를 뇌에 보내면 뇌는 가장 먼저 그 광자가 외부세계의 어디에서 온 것인지를 계산한다. 유감스럽게도 광자의 경로는 무한히 뻗어 있고(태양부터 시작하면 무려 1억5천만km) 투사과정에는 눈에서 빛과의 거리에 대한 정보가 없으므로 보통 가장 정확한 것, ‘가장 가까운 점’의 빛에 안착하게 된다. 이것이 착시형성의 출발점이다.
핑커 교수는 착시현상을 통해 입체시의 작동원리를 설명 한다.
착시의 대표적인 사례가 있다. 바로 1943년 미국의 알버트 에임즈가 고안한 ‘에임즈의 룸’이다. 에임즈의 룸 뒤편 왼쪽 모서리는 오른쪽 모서리보다 더 먼(깊은) 거리에 자리잡고 있다. 또 왼쪽과 오른쪽 모서리의 길이를 다르게 하고, 비스듬하게 기울어진 창문과 타일로 속임수를 보완했다. 사실은 찌그러진 직사각형이지만 맞은편 구멍으로 보면 벽은 올바른 직사각형으로 보인다. 그리고 구멍과 가까운 오른쪽 구석에 아이가 서 있고 왼쪽 구석에 엄마가 있으면 아이는 엄마보다 훨씬 크게 보이는 신기한 경험을 한다. 이를 통해 우리 뇌가 크기를 평가할 때 깊이와 같은 단서들까지 결합해 판단한다는 것을 알 수 있다.우리는 우리 망막에 비친 그대로가 아닌 마음의 눈으로 단서와 전제를 결합한 착시그림을 보는 것이다. 에임즈의 방처럼 우리가 보는 세상 또한 거대한 착시그림이라고 할 수 있다.
그렇다면 우리는 어떻게 망막에 비친 납작한 2차원적인 그림을 3차원적인 것으로 전환하는 것인가? 이는 몇 가지 단서를 종합해 이루어지는데 크게 ‘단안 단서’와 ‘양안 단서’로 나뉜다.
단안(單眼)단서는 한마디로 하나의 눈, 한쪽 눈이 있음으로써 깊이와 거리를 지각할 수 있는 단서를 말한다.단안단서는 대부분 환경 속의 대상이 배열되는 방식으로부터 발생한다. 대표적으로음영, 상대적 크기, 상대적 명확성, 조밀성, 중첩, 직선조망, 상대적 운동등이 있다. ‘음영’ 단서의 경우 밝으면 가깝고, 어두우면 먼 거리에 있다고 인식하는 것이다. ‘상대적 크기’는 크기가 크면 더 가까이, 작은 것은 멀리 있다고 인식한다. ‘명확성’은 윤곽이 뚜렷한 물체는 가까이, 흐릿한 것은 멀리 있다고 인식하는 것이다. ‘조밀성’은 표면 결의 밀도가 좁고 선명하면 가까이 있고, 그렇지 않으면 멀다고 생각하는 것이다. ‘중첩’은 한 물체가 일부를 가리고 있는 경우 가려진 것이 더 멀리 있다고 인식한다. ‘직선조망’은 평행한 선들이 모아지면 더 거리가 멀리 있다고 인식한다. 실제 평행선이지만 멀수록 모여 보이는 기찻길을 생각해보자. ‘상대적 운동’은 관찰자가 움직이면 가까운 물체는 더 빨리 움직이고 멀리 있는 물체는 천천히 움직인다고 생각한다. 실제 화가나 영화감독들은 이런 단서들을 이용해 우리를 착각에 빠지게 한다. 우리의 눈을 찌르는 광선들은 실제의 장면에서 반사된 것과 다르다. 우리는 실제가 아니라 그 작가가 의도한 그림으로 본다. 실제 세상도 마찬가지다.
우리가 깊이감을 인식하는데 또 하나의 중요한 단서는 두 눈이 있음으로써 가능한데 이를 양안(兩眼)단서라고 한다.우리는 2개의 눈을 가지고 있고 눈 사이는 약 6.35센티미터의 거리가 있다. 따라서 두 눈은 약간 다른 광경을 보는데 이것을 양안시차(兩眼視差)라고 한다. 왼쪽과 오른쪽 눈의 망막에 비치는 상은 다르지만 우리의 뇌는 양쪽 그림을 합쳐서 하나의 상으로 만든다. 이 가설적인 상은 그리스신화에 나오는 외눈박이 거인 ‘키클롭스 상’이라고 부른다.
양안단서에서 깊이감을 아는 방법은 두 가지이다. 물체를 주시할 때 두 눈의 거리 차이로 미세하게 다른 각도를 보게 된다. 예를 들어 공으로 치면 왼쪽 눈은 공의 왼쪽을 약간 더 뒤쪽까지 보고 오른쪽 눈은 공의 오른쪽을 약간 더 뒤쪽까지 본다.두 눈에 들어온 다른 두 그림을 융합하는 과정에서 우리는 입체감을 인식한다.
또 다른 단서는 시차의 각도이다.시차는 두 눈의 서로 다른 지점에서 같은 물체를 바라보는 시선의 차이를 말한다. 시차 각도가 클수록 더 가까이 있는 것으로 인식하고, 시차 각도가 작을수록 멀리 있는 것으로 인식한다. 이는 ‘삼각법’의 원리를 알면 이해할 수 있다.
결론적으로 두 눈을 가진 우리는 두 눈의 시선에서 물체까지 형성된 각도와양쪽 눈에 비친 상의 차이를 이용해서사물이 얼마나 깊고, 멀리 있는지 계산할 수 있는 것이다.자연이 선택한 뉴런은 놀랍게도 이 삼각법을 계산하여 입체감을 감지한다. 1938년 물리학자 찰스 휘트스톤에 의해 입체시가 밝혀지기 전까지 과학자들은 동물에게 2개의 눈이 있는 것은 좌우대칭을 위한 부산물이거나 한쪽 눈을 잃었을 때를 대비한 예비품이라고 생각했다. 하지만 두 눈은 생존에 필요한 자연의 선택이었다.우리가 깊이를 보는 것은 한 가지 단서 때문이 아니다. 그리고 뇌에는 이 모든 단서에 대한 정보가 들어있다. 우리의 뇌는 수학적으로 능숙하고 기회주의적인 정보소비자이다.
그렇다면 왜 자연선택은 우리에게 입체시를 선사했을까?타일러는 우리 조상이 나뭇잎이 가득한 방에 살았다는 사실을 지적한다. 영장류는 나무에서 진화했기 때문에 무성한 나뭇잎에 가려져 일부만 보이는 작은 가지들의 거리를 알 필요가 있었다. 실패의 대가는 아득한 땅바닥으로 추락하는 것이다. 두번째는 위장술인데 키클롭스 시각은 3차원 위장술을 사용하는 먹이를 탐지하고 발견하는데 효과적인 대응책이었다.
키클롭스의 눈은 어떻게 작동하는가?한쪽 눈에 들어온 흔적과 반대쪽에 들어온 대응물을 매치시키는 문제는 닭이 먼저냐 달걀이 먼저냐와 같은 문제다. 우리는 뇌는 특정한 조각이 어느 쪽 눈에서 왔는지를 모르고 양쪽 눈에 비친 것을 녹여 하나의 그림으로 만들어낸다. 우리의 양쪽 망막에 들어오는 시각 흔적은 셀 수 없이 많은데, 우리 양쪽 눈은 같은 흔적을 매치한다. 어떻게 마음이 이것을 수행할까? 데이비드 마르는 우리가 진화해온 세계에 대해 선천적으로 내장된 전제들이 해답의 실마리일 수 있다고 지적했다. 시각적 뇌가 가지는 전제는 몇 가지가 있다. 첫째, 세계의 각 흔적은 한 순간에 한 표면의 한 위치에 고정되어 있다. 그래서 두 눈이 올바르게 매치를 하려면 세상의 한 흔적으로부터 두 눈에 들어온 똑같은 점에 고정해야 한다. 만약 두 눈에 같은 점이 들어왔다면 두 점은 세상의 한 위치에서 온 것이 분명하다. 즉, 동일한 것을 보고 있다. 둘째, 대부분의 사물들은 매끄럽고 일정한 표면을 갖고 있다.우리의 시야에 들어오는 표면의 시작과 끝은 많이 멀지 않다. 이렇게 인접한 표면은 동일한 특징이 있고, 빛이 균일하게 비친다. 사물의 경계 부분에서는 이 전제가 끝나서 표면이 다른 특성을 가진다. 따라서 두 눈은 동일한 특성을 가진 표면을 봐야 한다.
하지만 이 전제들로는 부족하다.이는 제약만족이란 기술로 보완될 수 있다. 제약만족이란 여러 제약이 있는 상황에서 적합한 답을 찾아가는 문제를 말한다. 적합한 답은 한 가지가 될 수도 있고, 그 이상이 될 수 있다. 가령 여행을 갈 때 시간이라는 제약이 있지만 주어진 시간 동안 갈 수 있는 다양한 코스가 나올 수 있는 것과 같다. 제약만족은 문제상황을 해결하는 다양한 방법을 고려하지만, 우선 확실하거나 단순한 문제부터 풀어가면서 효율성과 정교성을 높여간다. 마치 가로, 세로 글자 맞추기 퍼즐에 일단 추정되는 글자를 써보고 하나씩 답을 채워나가는 원리와 비슷하다.
제약만족 기술을 활용하면 먼저 우리 눈은 완벽히 세계를 보는 데 제약이 있다는 것을 가정하고, 망막으로부터 들어온 수많은 단서들을 검토해 현실세계와 일치할 가능성 있는 후보들을 만든다. 뇌는 세계에 대한 전제들(각 흔적은 한 표면에 고정되어 있다 등)과 매치되는 시각단서들을 하나씩 검토하면서 후보들을 선택하거나 삭제해 나간다. 이렇게 해서 확실한 해결책이 결정될 때까지 뇌의 처리기들 사이에 충분한 논의를 이루어 일치된 결론을 내린다.낱말 맞추기에 비유하자면 입체시의 일치문제를 해결하는 경우에는 점들이 단서이고, 매치들과 깊이들이 후보단어이며, 세계에 대한 전제는 모든 네모에는 하나의 단어가 되어야 한다고 지정하는 규칙들이다.즉, 우리가 두 눈을 가졌다고 해서 입체시가 완성되는 것은 아니다. 뇌 속에 회로가 배선되어야 한다.입체시에는 여러 가지 뉴런이 관여하는 것으로 보이는데 각각의 뉴런은 각기 다른 유전자 조합에 의해 형성된다. 한마디로 입체시도 모듈에 의한 작동이다. 이는 인구의 약 2퍼센트가 각각의 안구로는 잘 보면서 각기 다른 이유로 입체시를 못 보는 것으로 알 수 있다. 입체시는 일부는 유전적인 본성이고, 일부는 3~4개월 경에 발달되는 양육의 결과물로 밝혀졌다.
다시 강조하면 우리의 시각은 망막에 비친 상으로부터 객관세계의 모습을 복구해 불가능한 문제를 해결한다. 이런 세계의 모습을 복구할 때 우리는 장기기억 속에 새겨진 ‘전제’를 사용한다고도 설명했다. 우리 마음에는 점차 모여지는 평행성, 명암의 전환, 표면 재질의 변화, 경계의 테두리 차이와 세계와의 관계(거리, 크기, 위치, 형태 등)에 대한 정보들이 들어 있다. 우리가 보는 많은 착시현상들은(에임즈의 룸, 루벤의 잔과 얼굴과 같은 착시그림 뿐 아니라 회화, 사진, 영상 들을 포함한) 그 전제를 이용하고, 시각기관으로 하여금 착각을 일으켜 우리를 웃고, 울게 만든다. 예를 들면, 우리가 주변을 이동할 때 빨리 지나가는 사물은 가까이, 천천히 지나가는 사물은 멀리 있다고 인식한다고 설명했다. 그리고 크기가 크면 가까이, 작은 것은 멀리 있다고 생각한다.(단안단서의 상대적운동과 크기). 뇌는 그렇게 다른 패턴들의 단서를 조합해 3차원의 세계를 해석한다. 이런 전제를 이용하여 스타워즈와 같은 영화에서는 화면에 보이는 별의 크기와 속도를 조절해 마치 우주를 떠다니는 듯한 느낌을 생생하게 전달한다. 또한, 양안에서 오는 약간 다른 위치의 상을 합쳐 3차원의 세계가 있다고 가정하는 뇌의 전제를 이용하여 착시영상인 3D영화도 만든다. 영화를 보는 동안 양쪽 눈에 각기 다른 상이 비치고 그 결과 우리의 눈은 스크린 밖으로 뛰쳐나오는 괴물을 경험해 흠칫 놀라게 된다.
착시그림을 소개한 것은 단순히 흥미를 위해서가 아니다. 입체시는 자연의 경이이자 마음이 어떻게 작동하는가를 이해할 수 있는 열쇠이다. 입체시는 일종의 정보처리이다. 좌안과 우안으로 정보가 들어오면 뇌의 뉴런들은 프로그래밍된 규칙을 가지고 마음 깊이 새겨진 여러 전제들과 비교해 깊이감 정보라는 결과물을 산출해낸다. 우리 뇌의 다른 부분들은 이 정보들을 활용해 상황판단, 감정지각, 행동지시 등을 한다.
입체시 또한 몇 가지 의미에서 모듈이란 점을 강조한다. 첫째, 입체시는 마음의 다른 부분들이 없어도 잘 작동한다. 둘째, 마음의 다른 부분들은 입체시가 없어도 작동한다. 셋째, 입체시는 뇌 배선에 특별한 역할을 요구한다. 넷째, 입체시는 자신의 문제에만 적용할 수 있는 고유한 원리에 의존한다.(예, 양안시차의 구조)
다시 한번 강조하면 입체시는 자연선택에 의한 진화의 산물이다. 입체시는 우리 조상들이 생태환경에 직면했던 선택압력에 대응하여 진화했다. 그래서 그것은 현재는 아닐 수 있지만 인간이 진화했던 당시 적합했던 전제들을 통해 ‘해결 불가능한 문제’들을 해결한다.
4-2. 빛과 명암
입체시는 표면의 깊이와 재질을 파악하는 중요한 초기 단계 시각이지만 그것이 전부는 아니다. 두 눈이 있어야 3차원으로 보는 것은 아니다. 그림에서 아주 미약한 힌트만 있어도 우리는 형태와 재질을 감지해 낸다.
다음 그림은 심리학자 에드워드 애들슨이 만든 착시그림이다. 그림은 각각 수평, 수직으로 종이를 접고 옆에서 빛을 비춘 그림이다. 종이에 들어간 잉크는 동일하다. 하지만 모양이 다르게 보인다. 1번 표시가 붙은 경계선은 물리적으로는 똑같다. 그러나 왼쪽 그림 경계선은 색칠에 의한 경계선으로 보이고, 오른쪽 그림의 경계선은 형태와 그늘에 의한 경계선으로 보인다. 지그재그의 방향만 다른 두 박스에서 이 모든 차이가 나온다.
시각의 적은 단서로부터 외부세계의 형태, 표면, 재질 등 많은 정보를 정확하게 파악하려면 세 가지 마음 전문가가 필요하다. 입체시처럼 그 전문가들도 외부세계의 표면에 대한 정확한 이해를 위해 일하지만 그들은 각각 다른 종류의 정보에 의존하고, 각기 다른 종류의 문제를 해결하고, 각기 다른 종류의 전제를 만들어낸다.
첫 번째는 형태분석 전문가이다. 3차원 물체는 망막에 2차원 형태로 투사된다. 따라서 단지 투상만 가지고는 특정한 형태를 복구할 수 없다. 그래서 망막에 상이 주어지면 우리 마음속 형태분석기는 확률을 따져서 확률이 가장 높은 상태를 보게 해준다.우리의 마음 속에는 물체의 선들이 어떻게 투시되는가와 세계에 대한 정보들이 기록되어 있다. 예를 들어 ‘책은 직사각형이다’ ‘동전의 옆면은 직선으로 보여도 윗면은 타원이다’ ‘움직이는 유기체는 대칭형으로 생겼다’ 등이다. 따라서 내가 보고 있는 선의 집합들이 마음 속에 새겨진 어떤 물체의 형태와 유사하면 그 물체라고 결정할 확률이 높아진다. 한 가지 더 고려해야 하는데, 그것이 이 장면에서 출현할 가능성이 얼마나 있는가이다.예컨대, 얼룩말이 종종 발굽소리를 낸다는 이유로, 창밖에서 나는 발굽소리가 얼룩말이라고 결론을 내리는 것은 안전하지 않다. 외부세계에 얼룩말이 얼마나 존재하는지를 고려해야 하는 것이다. 즉 형태분석 전문가는 ‘보이는 선들과 마음속에 기록된 물체정보와의 유사성’과 ‘그 물체가 현재 출현할 가능성’을 곱해 형태를 파악하는 것이다.하지만 세계의 표면들은 단지 선으로만 그려져 있지 않다. 표면은 또한 재료로도 이루어져 있다.
두번째는 반사율 전문가가 할 일이다.이 세계의 표면들은 재료로 이루어져 있다.빛과 색을 감지하는 것은 재료를 평가하는 한 방법이다. 재질이 다르면 반사되는 빛의 파장과 양이 다르다.하지만 반사광으로부터 물체의 재질을 절대적으로 추론하기는 부족하기 때문에밝기 분석기는 주변의 조명도까지 계산해서 재질을 추론해야 한다. 우리 마음 속에는 이 세계가 어떻게 빛을 반사하는가에 대한 정보가 있다. 뇌는 빛이 균일하게 비치고, 사물들은 일정한 색깔의 표면을 갖고 있는 세계에 살고 있다고 가정하고 외부 세계에 존재하는 것들에 대한 추측을 해낸다.
우리는 다른 밝기에서도 문제없이 옷의 고유의 색을 지각하고, 빨간색 스커트를 인식한다. 이를 위해서는 망막에 투사된 색을 확인하는 것만으로는 부족하다. 첫째 동일한 표면은 고르고 균일하게 빛을 받는다는 전제가 있어야 한다. 그런 다음 세 가지 단계로 밝기에 따른 색깔 지각 문제를 해결한다. 물체의 한쪽 끝에서 반대쪽 끝까지 밝기 변화도를 계산하고, 전체로부터 밝기의 평균수치를 추산하고, 평균수치에서 각 조각의 밝기를 빼고 더하는 방법으로 명암을 계산한다. 즉, 우리 뇌는 평균 수치에 따른 조명의 강도를 계산해서 다른 빛 아래서의 물체의 정확한 색깔을 본다. 둘째, 밝기와 색이 시야상에서 점진적으로 변하는 것은 해당 장면이 그렇게 빛을 받고 있기 때문이고,(예를 들면, 곡면에서는 빛이 밝음에서 어둠으로 넘어가는 점진적 이행이 나타남) 갑작스럽게 변하는 것은 한 물체가 끝나고 다른 물체가 시작되는 것(예를 들면, 모래사장과 바다의 경계)이라고 가정해 동일하거나 다른 물질을 감지한다.
마지막으로는 명암효과 전문가이다.우리는 경사의 표면에서 반사되는 빛의 양을 계산해 형태와 재질을 이해한다.예를 들면 당신이 광원을 보고 있다고 하면, 표면이 비스듬하게 틀어져 있을 때보다 정면으로 마주하고 있을 때 더 많은 빛을 포착한다. 우리는 이 원리를 넓은 광원에서 작은 물체까지 적용한다. 큐브와 보석 등 모든 물체들은 경사가 다른 작은 단면조각들로 이루어져 있으며, 명암법칙은 각각의 면에서 발산하는 빛에 적용된다. 우리는 명암을 통해 세계를 볼 때에도 전제에 의존한다. 세계의 표면은 수천 종류의 재질로 이루어져 있는데, 빛은 경사진 표면들을 각기 다르게 때리고 튕겨져 나간다는 것이다.
각각 분석기는 다른 전제들을 가지고 있고, 그 전제들은 종종 다른 분석기와 충돌을 일으킨다. 이 분석들이 뒤섞여도 전문가들은 서로 협조하면서 가장 가능성 높은 추측을 조립해 하나의 형태, 색, 한 종류의 빛을 본다.
4-3. 2.5차원으로 보기
전문가들이 각자 맡은 일을 하고 나면, 뇌의 나머지 부분들이 접근할 수 있는 게시판에 무엇을 그리는가? 지금까지 설명한 입체, 운동, 윤곽, 명암 전문가들은 3차원의 세계를 복원하기 위해 열심히 일했다.그 노동의 결실을 위해 망막에 비친 수많은 모자이크 그림들은 하나로 조립되어 3차원으로 만드는 마음의 공간으로 넘어가야 하고, 3차원 모형은 세계에 대한 우리의 최종적인 이해가 되는 것이다. 하지만 여러 전문가가 붙어 3차원으로 보려고 열심히 노력하지만 실제 우리가 보는 세상은 그렇지 않다.첫째, 우리는 눈앞에 있는 것만 생생하게 경험한다. 시야의 경계 밖에 있는 세계는 막연하게 안다.눈은 1초에 몇 번씩이나 초점을 바꾼다. 사람들이 눈이나 머리를 움직이면 그 순간 보고 있던 사물의 세부적인 모습을 놓친다.둘째, 우리는 부피가 아니라 표면을 본다. 우리에겐 엑스선 같은 시각이 없다.우리는 상자의 앞은 보지만 뒤나 안은 보지 못한다.셋째, 우리는 원근법에 따라 본다.우리는 기찻길이 평행하는 것을 알지만 지평선 쪽에서 만나는 것처럼 본다.넷째, 우리는 기하학적으로 엄밀하게 말하면 3차원이 아니라 2차원으로 본다.다섯째, 우리는 물체들을 즉시 보지 못한다. 우리는 이동가능한 물질 덩어리들을 세고, 분류하고, 거기에 명사를 붙인다.예를 들어 코는 물체인가? 몸에 붙어 있을 때도 하나의 물체인가? 생각하기에 따라 물체일수도 있고 물체의 부분일 수도 있다.
그러나 우리에게는 ‘표면’과 ‘경계’를 확실히 감지하는 감각이 있다. 지각을 조직하는데 기본적인 능력 중 하나는 배경으로부터 대상을 확인하는 것이다.시야를 깎아내서 표면들로 만들고 그중 어느 것이 전면에 있는가를 결정하는 것이다. 예를 든 그림과 같이 루벤의 잔과 얼굴은 동시에 보이지 않는다. 두 형태 중 우세한 형태가 경계선을 ‘소유’하고 다른 구획을 배경으로 밀어낸다. 우리는 망막에서 밀려오는 정보에 떠밀려 비자발적으로 표면을 인지한다. 일반적인 믿음과는 달리 우리는 기대하는 것을 보는 것이 아니다.그렇다면 시각은 무엇을 생산할까? 마르는 그 생산물을 2.5차원 스케치라 부르고, 다른 사람들은 가시적 표면 표상(visible surface representation)이라 부른다. 깊이는 좌우, 상하 차원들과 달리 시각 정보를 담고 있는 매개물을 규정하지 못하기 때문에 종종 1/2차원으로 ‘다운그레이드’ 된다.3차원 세계를 보려고 여러 마음 전문가들이 노력했지만, 사실 우리는 볼 수 없는 것은 축소하고 본다.
2.5차원스케치
2.5차원 스케치는 다음 그림과 같다. 세포 또는 화소들이 모자이크처럼 붙어 있다. 각 세포는 키클롭스의 시점에서 일직선으로 뻗어 나간 시선에 해당한다.각 세포는 몇 개의 정보를 가진 두 종류의 서식과 같다. 표면을 설명하는 서식과, 테두리를 설명하는 서식이다. 표면을 설명하는 서식에는 깊이, 전후 기울기, 좌우 기울기, 색, 재질 정보가 포함되어 있고,테두리를 설명하는 서식에는 테두리가 사물의 경계에 있는지, 홈인지, 마루인지를 알려주는 정보들이다.이 그림은 2.5차원 스케치 속에 담긴 정보의 종류를 종합해서 보여주는 그림으로, 각 전문가들은 담당하는 정보를 뇌와 공유한다. 이 정보들은 모든 전문가가 보며 협력해 처리할 수 있는 공동 게시판에 게시된다.
왜 우리는 2.5차원으로 볼까? 그 답은 저장의 비용과 이점에 있다. 컴퓨터 사용자라면 그래픽 파일이 저장 공간을 잡아먹는 대식가라는 것을 알 것이다. 뇌가 눈에 들어오는 수 기가 바이트를 모형으로 합성하지 않는 것은 대상이 움직이는 순간 쓸모가 없어지기 때문이다.깊이를 계산하는 입체, 윤곽, 운동 전문가들이 갖춰져 있는 것은 보는 사람에게 외부세계의 3차원 좌표를 주기 위해서가 아니라 거리, 기울기, 겹침현상에 대한 정보를 주기 위해서다. 그것들이 할 수 있는 최선의 일은 공동작업을 통해 눈앞의 표면들에 대한 2.5차원의 인식을 제공하는 것이다. 어떻게 사용할지를 생각하는 것은 뇌의 나머지 부분이 할 일이다.
4-4. 좌표계(위치와 방향)
2.5차원 스케치는 정교하게 설계되고 조화롭게 작동하는 시각시스템의 걸작이다. 그러나 문제가 있다. 2.5차원 배열에 담긴 정보는 보는 사람을 기준으로 중심이 맞춰진 망막 좌표계에 기입되어 있다는 것이다.만일 특정한 세포가 “여기 테두리가 있다”는 정보를 보내면 여기가 가리키는 의미는 망막 위에 있는 그 세포의 위치(즉 당신이 보고 있는 정면)이다. 그러나 당신이나 사물이 움직이는 순간, 그 정보는 다른 배열 속의 공간으로 이동한다.
시각정보를 이용하는 문제의 핵심은 위치를 알아야 하는 것인데 그러려면 유용한 준거틀, 즉 좌표계가 있어야 한다.좌표계는 위치 개념과 밀접하다. 우리는 “그게 어디 있어?”라고 물으면 이미 알고 있는 사물의 이름을 확인하고 그것을 기준으로 어느 방향으로 얼마나 멀리 있는가를 설명한다. “냉장고 옆에 있어”와 같이 말로 된 설명, 주소, 나침반 방향 등과 같이 ‘준거틀’을 기준으로 거리와 방향을 나타낸다.
2.5차원 스케치가 첨부된 좌표계는 망막상의 위치다. 그런데 망막상은 끊임없이 움직인다. 우리는 두 눈이 움직이는 동안에도 머물러 있는 좌표계가 필요하다.보이지 않는 좌표계를 시야 앞에 두고 이리저리 이동시키는 회로가 있다고 가정해보자. 그리고 좌표계가 있는 시야로부터 수집된 정보는 그 십자선에 규정된 위치들과 관련되어 있다. 컴퓨터에도 그와 비슷한 것이 있다. 바로 커서이다. 커서는 방대한 문서에서 정보를 읽고 쓸 때 기준이 되고, 화면을 스크롤 해 움직일 때마다 같이 따라온다. 뇌가 2.5차원 스케치 내용을 이용하려면 커서와 같이 위치를 고정하고 파악하는 좌표계가 필요하다.
우리에게는 여러 가지 좌표계가 있다. 머리에 고정시킨 좌표계가 있을 수 있고, 머리와 신체의 운동을 보상하는 물체에 고정된 좌표계도 있다. 네 가지의 좌표계를 소개한다.
첫째, 외부세계를 동일한 크기로 나눠 표시하는 ‘마음격자 틀’이다.우리는 외부세계에 동일한 크기의 마음격자 틀을 그려 거리, 위치, 방향 등을 감지한다. 예를 들어, 가까운 거리의 물체는 격자의 넓은 범위를 차지할 것이고 먼 거리에서는 좁은 범위를 차지하여 사물의 거리를 인지할 수 있다. 또한, 우리는 철길이 평행선인 것을 알지만 마음격자 틀에 철길이 서로 만난다면 철길은 점점 멀어지고 있다고 지각한다. 그리고 모아지는 철길 옆의 격자에 나무가 있다면 그 나무의 위치와 거리 또한 짐작할 수 있다.
둘째, 중력의 방향 틀이다.우리 마음의 수직 추는 내이의 전정기관에서 나온다. 우리 귀의 가장 안쪽에 위치한 전정기관은 반고리관과 전정을 일컫는데, 여기에는 림프액과 돌(이석)들이 있다. 머리를 움직이면 전정기관의 림프액이 출렁거리고, 이석이 중력의 방향으로 움직여 상하, 전후 움직임을 기록하는 신경신호를 만든다. 마음(뇌)은 이 신호를 이용해 십자선을 항상 정확히 똑바로 서있게 해
물체를 올바로 볼 수 있게 한다.
셋째, 마음의 상하축이다.마음 상하축은 우리가 형태 감각을 형성하는 강력한 요소이다. 기하학자는 오른쪽 두 그림을 네 각과 선이 동일한 같은 도형으로 보지만, 우리는 정사각형과 마름모로 본다. 왜냐하면 정사각형은 ‘위쪽’이 평평하고 마름모는 뾰족하기 때문이다. 이렇게 우리 마음은 물체를 인식할 때 상하좌표를 무시하지 않고, 상하에 위치한 모양의 차이를 통해 형태를 인식한다.
넷째, 물체 자체의 좌표계이다. 그림의 삼각형 모양을 보고 있으면 어느 순간 ‘삼각형들이 가리키는 쪽’으로 보인다. 이때 변화를 일으킨 것은 삼각형들이 아니라 삼각형 위에 겹쳐진 마음의 좌표계이다. 그 좌표계는 삼각형들의 대칭축에서 비롯된 것이다. 삼각형에는 그런 축이 모서리마다 있는데 각각의 축이 번갈아 가면서 방향을 지배한다. 각각의 축에는 남극과 북극 같은 양극이 있어서 삼각형이 어느 한 방향을 가리키는 느낌이 들게 한다.
4-5. 동물크래커(형태)
좌표계를 끌어들이는 능력은 사물이 망막으로 들어와 사고로 인식되는 과정 중 하나를 해결하는 데 도움된다. 사물들은 다양한 단서로부터 인식된다. 어떤 것은 소리와 냄새로 인식되고, 어떤 것들은 색과 재질을 통해 인식된다. 그러나 대부분의 물체는 ‘형태’를 통해 인식된다.그렇다면 사람들은 어떻게 형태를 인식하는가?
사물의 형태를 인식할 때 우리는 물질의 부분이 어떻게 배치되었는지 생각하고, 기억된 것들 중 가장 가깝게 매치되는 것을 찾아낸다.인간의 마음은 굉장히 예리한 기하학자의 능력을 가졌다. 세 살만 되어도 갖가지 모양의 동물 크래커에서 원하는 것을 척척 골라낸다. 반면, 뇌의 좌반구에 문제가 있는 환자는 물체의 형태를 인식할 수 없다. 소의 머리를 상상하라는 질문을 받으면 귀와 뿔이 있는 건 알겠는데 그것을 제 위치에 놓을 수가 없다고 답한다.이것을 보면사람들은 형태를 인식할 때 부분들의 형태와 배열을 분석함으로써 물체가 무엇인지 이해하는 것으로 보인다.이번 장에서 ‘형태를 인식하는 마음’을 탐구하면서 ‘동물크래커(를 구별하는 마음)’란 제목을 붙인 이유이다.
자동차, 사람, 그리고 동물이 움직이면 우리의 망막에 맺혀지는 대상들의 모양은 지속적으로 변화하지만, 우리는 여전히 그것들이 같은 크기와 모양을 가지는 것으로 지각한다.예컨대, 문이 열릴 때 열린 각도에 따라 망막에 맺혀진 문의 형태는 찌그러진 사다리꼴처럼 변화한다. 하지만 우리는 문이 일정한 직사각형의 형태를 가지고 있다고 지각한다. 어떻게 가능할까? 우리가 형태를 어떻게 인식하는지에 대한 세 가지 열쇠를 소개한다.
첫째는 복합시각 이론이다. 사람들은 자주 경험하는 물체들에 대해 모든 방향(위, 옆, 밑 등)에 대한 수 많은 기억파일을 저장한다. 물체의 한 부분이 시각에 들어오면 기억 속 파일모음들을 불러오고, 그 파일과 매치해 물체가 무엇인지 파악한다.예를 들면, 우리가 여행가방을 위에서 내려다본다고 가정하자. 우리는 손잡이가 달려있는 직사각형 판을 보지만, 여행가방 앞, 옆, 뒤에 대한 복합적인 시각기억이 저장되어 있기 때문에 위에서 본다고 하더라도 여행가방의 모양을 상상하고 인지할 수 있다. 복합시각 이론은 시각파일이 많은 익숙한 사물일수록 빠르게 인식하고, 특히 습관적인 방향으로 향해 있다면 더 빨리 인식한다는 실험으로 증명되었다.
두 번째로는 마음회전 이론이다.우리는 어떤 물체의 형태를 평가할 때 상하좌우 방향을 무시하지 못한다. 물체가 기울어져 있으면 마음 속에서 형태를 똑바로 회전시킨 다음 그 상을 인식한다.예를 들면, 알파벳 R이 기울어져 있어도 우리는 마음에서 똑바로 회전하여 R로 이해한다. 우리는 이를 마음회전 이론이라 일컫는다.사람들은 형태가 똑바로 서 있을 때 빨리 인식하고, 방향이 틀어지면 틀어진만큼 느리게 인식한다는 것이 실험으로 증명되면서 우리에게 형태를 인식할 때 회전하는 능력이 있다는 것을 알게 되었다.
마지막으로 기하자 이론이다.우리는 사물의 형태를 원추, 육면체, 원통 같은 도형의 집합이라고 생각하고, 이 도형들의 형태와 배열을 분석함으로써 물체가 무엇인지 파악한다는 것이다.구체적으로 우리는 마음속으로 물체의 중심에 좌표계를 그리고 그 안에 들어온 도형들의 위치와 각도를 측량해 사물들의 차이를 인지한다. 그리고 우리 뇌에는 아는 사람들의 얼굴 형태, 그리고 동물, 사물 등의 모양을 기록해 놓는데, 좌표 위에 그려진 부분들을 기억 속 모형과 일치하는지 확인하며 형태를 파악한다.기하자 이론에 따르면 우리는 기하자의 총합이 아니라 부분들의 배열에 따라 사물을 구분한다.예를 들어 옆면에 굽이가 붙어있는 원통은 컵이고, 위에 굽이가 붙어있는 원통은 들통이다와 같은 식이다.또한 우리는 매치하는 시각과 기억을 비교할 때 밀리미터 단위로 정밀하게 명시하는 게 아니라 어느 정도 여유를 두는 유연성이 있다. 예를 들면, 컵의 손잡이는 컵에 따라 조금 높거나 낮을 수 있지만 모두 ‘원통 옆면에’ 붙어있는 것을 인식하는 것과 같은 식이다. 그래서 사물의 스타일이 제 각각이여도 우리는 그 사물이 무엇인지 안다.
사람들은 이 모든 기술을 이용해 형태를 인식한다. 형태인식은 아주 어려운 문제이기 때문에 하나의 범용 알고리즘으로 모든 형태를 처리할 수 없다. 놀라운 것은 눈앞의 형태를 파악하는 데 순식간에 최적의 기술을 적용하고 계산해낸다는 것이다.만일 한 형태의 옆면들이 너무 어렵지 않으면 사람들은 그것을 물체 자체의 축에 중심이 맞춰진 기하자 모형으로 파악한다. 만일 형태가 더 복잡하면 그것이 각 방향에 따라 어떻게 보이는가를 복사해서 기억파일과 비교한다. 그리고 형태가 낯선 방향으로 틀어져 있으면 사람들은 마음속으로 그것을 회전시켜서 익숙한 형태들 중 가장 근접한 것과 일치시킨다. 이런 기술들은 우리의 천부적인 시각기관이 보여주는 재능이다. 이제 우리는 시각심리학의 마지막 주제인 ‘심상’으로 넘어가게 된다.
4-6. 상상하라(심상)
비글의 귀는 어떻게 생겼는가? 거실 창문은 몇 개인가? 바닷가재는 입이 있는가?사람들은 이러한 질문에 답하기 위해 ‘심상(마음의 상)’을 이용한다. 형태를 그리면 마치 마음의 눈으로 검사할 수 있는 그림이 떠오른다.그 느낌은 ‘어머니의 결혼 전 이름이 무엇인가?’ ‘시민의 자유와 범죄의 예방 중에 어느 것이 중요한가?’와 같은 추상적인 질문에 대답하는 경험과는 다르다.
심상은 사물에 관한 우리의 생각을 공간 속으로 몰고가는 엔진이다.자동차에 가방을 싣거나 가구를 재배치할 때 우리는 공간적 배열들을 상상해본 후 작업을 시작한다.화가들은 마음속으로 착상을 검토하고, 아인슈타인은 마음속 실험실에서 상대성이론을 생각해냈다. 심상은 지성뿐만 아니라 감정도 움직인다.야심, 불안, 성적충동, 질투심은 모두 존재하지 않는 것의 상에 의해 촉발될 수 있다. 한 실험에 의하면 배우자의 부정장면을 상상만 해도 심박수가 분당 5회 증가했다.심상은 산업이다.기억력 증진 강좌에서는 방안 물건들을 상상한 다음 마음속으로 그 사이를 걸어다니는 기술을 가르친다. 심리치료도 마찬가지이다.
그런데 심상이란 무엇인가?계산주의 마음이론에서 심상의 개념은 명료하다. 우리는 시각기관이 그림과 비슷한 2.5차원 스케치를 사용한다는 것을 안다. 형태 표상은 눈에 투사된 형태의 윤곽들과 맞아떨어지는 패턴 속의 몇몇 요소들이 기입됨으로써 이루어진다. 형태 분석은 좌표계나 기하자 찾기 등을 통해 스케치 속의 정보를 처리한다.심상은 장기기억으로부터 실려온 2.5차원 스케치속 패턴인 것이다.
뇌는 심상의 요구사항을 수행할 준비가 되어 있다. 그것은 눈이 아닌 기억으로부터 흘러들어온 정보다. 뇌의 시각 영역에 이르는 섬유경로들은 양방향이다. 그 경로들은 하위의 감각 차원으로부터 정보를 보고받는 것 못지않게 상위의 개념 차원에서도 많은 정보를 하달 받는다. 이 상하연결에 무엇에 필요한지는 정확히 밝혀지지 않았지만, 아마 기억 상들을 시각지도로부터 내려 받기 위해 존재하는 것으로 보인다.
그렇다면 심상은 어디에 있을까?뇌 손상 환자, 뇌 활성화 부위실험 등 여러 증거들을 통해시각적 뇌가 곧 심상의 자리임을 알게 되었다. 심상은 뇌의 시각피질에 고루 배치되는 것으로 보인다. 또한, 수십년 동안 철학자들은 실험을 통해 심상은 서술이 아니라 ‘그림’으로 마음에 저장된다는 사실을 밝혔다.
심상은 멋진 기능이 있지만 한계점이 있기 때문에 머릿속의 그림이란 개념에 너무 도취해서는 안 된다. 첫째, 심상은 파편적이다. 사람들은 시각적 장면 전체의 상을 재구성하지 못한다.우리는 순간적으로 감지한 한 시점의 부분들만 기억하고 그것들을 마음의 그림 속에 배열한다. 사물들에 대한 우리의 기억은 파편적인 여러 시선을 모은 혼성그림이다.둘째,심상은 기억의 구조에 속박되어 있다는 한계가 있다.세계에 대한 우리의 지식은 한 장의 큰 그림에 들어맞지 않는다. 시각적 기억은 정확한 기억이 아니다.우리의 시각기억은 명제로 된 상부구조 안에 분류되고 체계화된다.시각적 사고는 심상의 내용물 자체가 아니라 우리가 상을 구성하기 위해 이용하는 개념적 지식에 의해 강하게 작동한다. 예를 들어, 체스선수의 경우 말들의 공간적 배열을 기억하는 게 아니라, 공격과 수비를 비롯한 말들 간의 의미있는 관계들을 기억한다. 우리는 영화를 보고 나서 모든 이미지를 기억하는 것이 아니라 개념으로 된 줄거리를 기억한다.마지막으로, 심상은 개념과 똑같은 역할을 하지 않는다.심상은 ‘자유’와 같은 추상적 개념, ‘기린이 아님’과 같은 부정적 개념, ‘고양이나 새’와 같은 선별적 개념, ‘인간은 모두 죽는다’와 같은 명제 등을 그리기는 어렵다. 반면, 개념은 이 모든 것이 가능하다. 그림은 양의적이지만 생각은 정의상 양의적일 수 없다.상식은 그림만으로 해낼 수 없는 구별을 수행한다. 상식은 단지 그림들의 집합이 아니다.만일 어떤 생각을 표상하기 위해 마음의 그림을 이용한다면 거기에는 그 그림을 어떻게 해석해야 할지, 무엇을 무시하고 주목해야 할지를 개념적으로 설명해주는 수 많은 캡션이 붙어야 할 것이다. 시각이 멈추고 생각이 시작되면, 마음이 한 사물을 설명하는 명제들을 피해가기는 불가능하다.
그림은 천 마디의 말처럼 소중하지만 항상 그렇지는 않다.심상은 보기와 생각하기 어느 지점에서 관념에게 자리를 내준다.
4장.마음의 눈
본다는 것은 무엇인가? 외부의 사물이 어떻게 눈에 들어오고, 우리는 어떻게 그것을 보고 인식하는가? 일반적인 이야기 같지만 사실은 대단히 심오하고 과학적인 설명이 필요하다. 4장 ‘마음의 눈’에서는 시각이 어떻게 망막에 들어오는 그대로 받아들이는 것이 아니라, 마음의 눈을 덧붙여 실제의 모습으로 보게 되는지를 탐구하고자 한다. 우리는 먼저 빛의 반사로부터 사물의 개념에 이르는 길을 추적한다. 그런 다음 마음속 그림인 심상이라고 알려진 보기와 생각하기의 상호작용을 살펴볼 것이다.우리는 이번 장을 통해 인간이 이 놀라운 감각을 중심으로 진화한 마음을 가진 영장류, 특히 고도로 시각적인 생물임을 알게 될 것이다.
시작하기 전 살바도르 달리의 말을 인용하고 있다. “바라보는 것은 생각하는 것이다”
사물을 본다는 것은 무엇일까.사물을 본다는 것은 맨 먼저 물체에 부딪쳐 반사되어 온 빛을 통해 보는 것이다. 반사된 빛이 망막에 비치면 시신경이 그 상의 정보를 처리하여 뇌에 보내고, 뇌는 받은 정보를 해석한다. 그러나 망막에 비치는 상은 우리가 일반적으로 보는 것과 다르다. 빛은 각막을 통과해 볼록렌즈와 같은 수정체를 지나면 굴절되면서 망막에 상이 거꾸로 비친다. 또한 두 눈은 입체적인 사물의 모든 면을 다 볼 수 없다. 이 모든 것은 뇌가 보충하고 바르게 해석하여 우리가 사물을 정확히 인식하게 할 수 있도록 한다. 즉 사물을 본다는 것은 ‘눈’으로 보고 ‘뇌’로 인식하는 것이다.
물리학에서 광학은 특정 형태, 물질, 조명을 가진 물체가 어떻게 망막상에 비치는지를 예측하는 분야이다. 하지만 우리는 반대로 망막에 비친 상으로부터 외부사물의 형태와 재질을 추론한다. 뇌는 이렇게 역으로 보는 문제를 해결한다. 이를 역광학이라고 부르는데, 공학자들은 역광학을 ‘잘못 설정된 문제’라 말한다. 해가 존재하지 않는 문제라는 것이다.몇 개의 수를 곱해 결과를 말하는 것은 쉽지만 어떤 결과를 보면서 그것이 어떤 수들의 곱인지는 말하기 불가능한 것과 같다. 회색 덩어리는 그늘 속에 있는 눈덩이일 수도 있고, 햇빛을 받은 석탄 덩어리일 수 있다. 그러나 우리는 어떤 환경에서도 눈덩이를 하얗게, 석탄은 까맣게 본다.
놀랍게도 우리의 뇌는 잘못 설정된 문제를 쉽게 해결한다. 왜일까? 정답은 뇌가 정보를 보충하기 때문이다. 시각은 여러 가지 전제들을 덧붙여 이 잘못 설정된 문제들을 해결 가능한 문제들로 전환하게끔 진화했다. 전제란 우리가 진화해 온 세상이 평균적으로 어떤 모습인지에 대한 사전지식을 말한다.예를 들면, 우리가 사는 세계는 고르고 균일하게 빛을 받는다는 지식이다. 지구라는 행성에 긴 시간동안 빛이 고르게 퍼진다는 가정이 잘 들어맞았고, 자연선택은 그 가정을 시각적 뇌 속에 구축하여 다양한 환경에서도 사물 본질의 색을 볼 수 있게 했다. 또 다른 전제는 동일한 사물의 표면은 일정한 패턴이 반복되는 것이다. 이를 통해 우리 조상은 나무줄기, 들판, 바위, 물의 표면을 구분해 사물을 인지하고, 경계를 구분할 수 있었다. 또 좌우대칭은 거의 항상 동물, 식물의 부분들에서 나온다는 전제로 먹이와 적도 파악할 수 있었다. 전제는 이렇게 우리가 무엇을 볼 때 불완전한 망막의 상으로부터 세계를 정확히 이해하기 위해서 참고하는 컨닝페이퍼와 같은 것이다. 따라서 현재의 세계가 평균적으로 옛날의 환경과 닮아있을 때 우리는 세계를 있는 그대로 본다. 만일 그 전제들이 들어맞지 않는 이상한 세계에 착륙한다면 우리는 착시의 제물이 될 것이다. 시각기관은 우리에게 아름다운 세상을 보여주려고 진화한 것이 아니다. 시각기관은 살아가는 세상의 실제 형태와 재료에 대한 감각을 전달하기 위해 고안되었다. 선택의 이점은 명백하다. 음식, 포식자, 벼랑 등이 어디에 있는지 아는 것이다.
시각에 대한 가장 멋진 관점은 인공지능 과학자인 데이비드 마르로부터 나왔다. 마르는 시각이란 세계에 대한 전제들을 덧붙임으로써 잘못 설정된 문제들을 해결하는 기능이라는 견해를 최초로 제시했고, 계산주의 마음이론을 강력하게 지지했다. 그는 시각이 무엇을 위해 존재하는지에 대한 답으로 “외부 세계의 상들로부터 보는 사람에게 유용한 동시에 부적절한 정보와 뒤섞이지 않은 설명description을 생산하는 과정”이라고 했다. 시각의 목표가 ‘설명’이라는 말은 신선하면서도 통찰력 있는 표현이다. 우리는 눈에 보이는 것을 다 주절주절 말하고 다니지 않는다. 마음으로 그리고 생각한다. 마르는 ‘설명’에 대해 사람들이 말하고 듣는 영어와 같은 일상언어를 말하는 것이 아니라 마음속 사고의 언어인 ‘마음언어(mentalese)’로 된 설명이라고 말했다.
세계를 본다는 것은 무엇을 의미하는가?세상을 보는 사람은 그것을 말로 설명할 수도 있고, 마음속으로 조작하거나, 미래에 참조하기 위해 기억에 저장해 놓을 수도 있다.(2장에서 말한 장기기억에 새겨진 무수한 정보들을 생각해보자) 이 모든 기술은 세상을 망막에 비친 환상이 아니라 실재하는 물체로 해석하는 능력에 달려있다. 예를 들어, 책은 각도에 따라 우리 망막에 사다리꼴 형태로 맺히지만 우리는 책을 사다리꼴이 아닌 ‘직사각형’으로 본다. 왜냐하면 마음 어딘가에는 ‘책은 직사각형’이라고 생각하는 마음언어가 존재하기 때문이다. 단순히 망막에 맺힌 것을 보는게 아니라 눈으로 들어온 시각정보를 장기기억 속에 새겨진 마음언어와 비교해 사물을 보는 설명을 생산한다는 점에서 마르는 시각의 과정을 연산으로 보았다는 것을 알 수 있다.
4-1.깊이를 보는 눈(입체시)
핑커 교수는 3장에서 영장류가 가진 시각의 특별함을 ‘입체시’와 ‘색채시’라고 설명했다. 4장 ‘마음의 눈’ 전체 분량에서 1/3은 입체시를 설명하는데 할당되어 있다. 먼저입체시는 두 눈 시점의 차이를 이용해 깊이감을 얻는 능력이라고 말했다. 즉, 입체시는 ‘깊이를 보는 눈’이다.깊이감을 알면 대상이 얼마나 멀리 있는가를 알 수 있다.우리는 한번 보기만 해도 절벽의 높이나 다가오는 차의 거리를 알 수 있다.
착시그림을 본 적이 있는가? 분명 평면에 그려져 있는 그림인데 신기하게도 튀어나온 입체로 보인다. 먼저 빛이 우리 눈으로 들어와 뇌로 인지되는 과정을 살펴보자. 시각은 광자가 물체의 표면에 반사된 다음 핑 하고 돌아와 동공을 통과하면 안구의 굴곡진 안쪽 표면에 있는 광수용체를 자극함으로써 시작된다. 수용체가 신경신호를 뇌에 보내면 뇌는 가장 먼저 그 광자가 외부세계의 어디에서 온 것인지를 계산한다. 유감스럽게도 광자의 경로는 무한히 뻗어 있고(태양부터 시작하면 무려 1억5천만km) 투사과정에는 눈에서 빛과의 거리에 대한 정보가 없으므로 보통 가장 정확한 것, ‘가장 가까운 점’의 빛에 안착하게 된다. 이것이 착시형성의 출발점이다.
핑커 교수는 착시현상을 통해 입체시의 작동원리를 설명 한다.
착시의 대표적인 사례가 있다. 바로 1943년 미국의 알버트 에임즈가 고안한 ‘에임즈의 룸’이다. 에임즈의 룸 뒤편 왼쪽 모서리는 오른쪽 모서리보다 더 먼(깊은) 거리에 자리잡고 있다. 또 왼쪽과 오른쪽 모서리의 길이를 다르게 하고, 비스듬하게 기울어진 창문과 타일로 속임수를 보완했다. 사실은 찌그러진 직사각형이지만 맞은편 구멍으로 보면 벽은 올바른 직사각형으로 보인다. 그리고 구멍과 가까운 오른쪽 구석에 아이가 서 있고 왼쪽 구석에 엄마가 있으면 아이는 엄마보다 훨씬 크게 보이는 신기한 경험을 한다. 이를 통해 우리 뇌가 크기를 평가할 때 깊이와 같은 단서들까지 결합해 판단한다는 것을 알 수 있다.우리는 우리 망막에 비친 그대로가 아닌 마음의 눈으로 단서와 전제를 결합한 착시그림을 보는 것이다. 에임즈의 방처럼 우리가 보는 세상 또한 거대한 착시그림이라고 할 수 있다.
그렇다면 우리는 어떻게 망막에 비친 납작한 2차원적인 그림을 3차원적인 것으로 전환하는 것인가? 이는 몇 가지 단서를 종합해 이루어지는데 크게 ‘단안 단서’와 ‘양안 단서’로 나뉜다.
단안(單眼)단서는 한마디로 하나의 눈, 한쪽 눈이 있음으로써 깊이와 거리를 지각할 수 있는 단서를 말한다.단안단서는 대부분 환경 속의 대상이 배열되는 방식으로부터 발생한다. 대표적으로음영, 상대적 크기, 상대적 명확성, 조밀성, 중첩, 직선조망, 상대적 운동등이 있다. ‘음영’ 단서의 경우 밝으면 가깝고, 어두우면 먼 거리에 있다고 인식하는 것이다. ‘상대적 크기’는 크기가 크면 더 가까이, 작은 것은 멀리 있다고 인식한다. ‘명확성’은 윤곽이 뚜렷한 물체는 가까이, 흐릿한 것은 멀리 있다고 인식하는 것이다. ‘조밀성’은 표면 결의 밀도가 좁고 선명하면 가까이 있고, 그렇지 않으면 멀다고 생각하는 것이다. ‘중첩’은 한 물체가 일부를 가리고 있는 경우 가려진 것이 더 멀리 있다고 인식한다. ‘직선조망’은 평행한 선들이 모아지면 더 거리가 멀리 있다고 인식한다. 실제 평행선이지만 멀수록 모여 보이는 기찻길을 생각해보자. ‘상대적 운동’은 관찰자가 움직이면 가까운 물체는 더 빨리 움직이고 멀리 있는 물체는 천천히 움직인다고 생각한다. 실제 화가나 영화감독들은 이런 단서들을 이용해 우리를 착각에 빠지게 한다. 우리의 눈을 찌르는 광선들은 실제의 장면에서 반사된 것과 다르다. 우리는 실제가 아니라 그 작가가 의도한 그림으로 본다. 실제 세상도 마찬가지다.
우리가 깊이감을 인식하는데 또 하나의 중요한 단서는 두 눈이 있음으로써 가능한데 이를 양안(兩眼)단서라고 한다.우리는 2개의 눈을 가지고 있고 눈 사이는 약 6.35센티미터의 거리가 있다. 따라서 두 눈은 약간 다른 광경을 보는데 이것을 양안시차(兩眼視差)라고 한다. 왼쪽과 오른쪽 눈의 망막에 비치는 상은 다르지만 우리의 뇌는 양쪽 그림을 합쳐서 하나의 상으로 만든다. 이 가설적인 상은 그리스신화에 나오는 외눈박이 거인 ‘키클롭스 상’이라고 부른다.
양안단서에서 깊이감을 아는 방법은 두 가지이다. 물체를 주시할 때 두 눈의 거리 차이로 미세하게 다른 각도를 보게 된다. 예를 들어 공으로 치면 왼쪽 눈은 공의 왼쪽을 약간 더 뒤쪽까지 보고 오른쪽 눈은 공의 오른쪽을 약간 더 뒤쪽까지 본다.두 눈에 들어온 다른 두 그림을 융합하는 과정에서 우리는 입체감을 인식한다.
또 다른 단서는 시차의 각도이다.시차는 두 눈의 서로 다른 지점에서 같은 물체를 바라보는 시선의 차이를 말한다. 시차 각도가 클수록 더 가까이 있는 것으로 인식하고, 시차 각도가 작을수록 멀리 있는 것으로 인식한다. 이는 ‘삼각법’의 원리를 알면 이해할 수 있다.
결론적으로 두 눈을 가진 우리는 두 눈의 시선에서 물체까지 형성된 각도와양쪽 눈에 비친 상의 차이를 이용해서사물이 얼마나 깊고, 멀리 있는지 계산할 수 있는 것이다.자연이 선택한 뉴런은 놀랍게도 이 삼각법을 계산하여 입체감을 감지한다. 1938년 물리학자 찰스 휘트스톤에 의해 입체시가 밝혀지기 전까지 과학자들은 동물에게 2개의 눈이 있는 것은 좌우대칭을 위한 부산물이거나 한쪽 눈을 잃었을 때를 대비한 예비품이라고 생각했다. 하지만 두 눈은 생존에 필요한 자연의 선택이었다.우리가 깊이를 보는 것은 한 가지 단서 때문이 아니다. 그리고 뇌에는 이 모든 단서에 대한 정보가 들어있다. 우리의 뇌는 수학적으로 능숙하고 기회주의적인 정보소비자이다.
그렇다면 왜 자연선택은 우리에게 입체시를 선사했을까?타일러는 우리 조상이 나뭇잎이 가득한 방에 살았다는 사실을 지적한다. 영장류는 나무에서 진화했기 때문에 무성한 나뭇잎에 가려져 일부만 보이는 작은 가지들의 거리를 알 필요가 있었다. 실패의 대가는 아득한 땅바닥으로 추락하는 것이다. 두번째는 위장술인데 키클롭스 시각은 3차원 위장술을 사용하는 먹이를 탐지하고 발견하는데 효과적인 대응책이었다.
키클롭스의 눈은 어떻게 작동하는가?한쪽 눈에 들어온 흔적과 반대쪽에 들어온 대응물을 매치시키는 문제는 닭이 먼저냐 달걀이 먼저냐와 같은 문제다. 우리는 뇌는 특정한 조각이 어느 쪽 눈에서 왔는지를 모르고 양쪽 눈에 비친 것을 녹여 하나의 그림으로 만들어낸다. 우리의 양쪽 망막에 들어오는 시각 흔적은 셀 수 없이 많은데, 우리 양쪽 눈은 같은 흔적을 매치한다. 어떻게 마음이 이것을 수행할까? 데이비드 마르는 우리가 진화해온 세계에 대해 선천적으로 내장된 전제들이 해답의 실마리일 수 있다고 지적했다. 시각적 뇌가 가지는 전제는 몇 가지가 있다. 첫째, 세계의 각 흔적은 한 순간에 한 표면의 한 위치에 고정되어 있다. 그래서 두 눈이 올바르게 매치를 하려면 세상의 한 흔적으로부터 두 눈에 들어온 똑같은 점에 고정해야 한다. 만약 두 눈에 같은 점이 들어왔다면 두 점은 세상의 한 위치에서 온 것이 분명하다. 즉, 동일한 것을 보고 있다. 둘째, 대부분의 사물들은 매끄럽고 일정한 표면을 갖고 있다.우리의 시야에 들어오는 표면의 시작과 끝은 많이 멀지 않다. 이렇게 인접한 표면은 동일한 특징이 있고, 빛이 균일하게 비친다. 사물의 경계 부분에서는 이 전제가 끝나서 표면이 다른 특성을 가진다. 따라서 두 눈은 동일한 특성을 가진 표면을 봐야 한다.
하지만 이 전제들로는 부족하다.이는 제약만족이란 기술로 보완될 수 있다. 제약만족이란 여러 제약이 있는 상황에서 적합한 답을 찾아가는 문제를 말한다. 적합한 답은 한 가지가 될 수도 있고, 그 이상이 될 수 있다. 가령 여행을 갈 때 시간이라는 제약이 있지만 주어진 시간 동안 갈 수 있는 다양한 코스가 나올 수 있는 것과 같다. 제약만족은 문제상황을 해결하는 다양한 방법을 고려하지만, 우선 확실하거나 단순한 문제부터 풀어가면서 효율성과 정교성을 높여간다. 마치 가로, 세로 글자 맞추기 퍼즐에 일단 추정되는 글자를 써보고 하나씩 답을 채워나가는 원리와 비슷하다.
제약만족 기술을 활용하면 먼저 우리 눈은 완벽히 세계를 보는 데 제약이 있다는 것을 가정하고, 망막으로부터 들어온 수많은 단서들을 검토해 현실세계와 일치할 가능성 있는 후보들을 만든다. 뇌는 세계에 대한 전제들(각 흔적은 한 표면에 고정되어 있다 등)과 매치되는 시각단서들을 하나씩 검토하면서 후보들을 선택하거나 삭제해 나간다. 이렇게 해서 확실한 해결책이 결정될 때까지 뇌의 처리기들 사이에 충분한 논의를 이루어 일치된 결론을 내린다.낱말 맞추기에 비유하자면 입체시의 일치문제를 해결하는 경우에는 점들이 단서이고, 매치들과 깊이들이 후보단어이며, 세계에 대한 전제는 모든 네모에는 하나의 단어가 되어야 한다고 지정하는 규칙들이다.즉, 우리가 두 눈을 가졌다고 해서 입체시가 완성되는 것은 아니다. 뇌 속에 회로가 배선되어야 한다.입체시에는 여러 가지 뉴런이 관여하는 것으로 보이는데 각각의 뉴런은 각기 다른 유전자 조합에 의해 형성된다. 한마디로 입체시도 모듈에 의한 작동이다. 이는 인구의 약 2퍼센트가 각각의 안구로는 잘 보면서 각기 다른 이유로 입체시를 못 보는 것으로 알 수 있다. 입체시는 일부는 유전적인 본성이고, 일부는 3~4개월 경에 발달되는 양육의 결과물로 밝혀졌다.
다시 강조하면 우리의 시각은 망막에 비친 상으로부터 객관세계의 모습을 복구해 불가능한 문제를 해결한다. 이런 세계의 모습을 복구할 때 우리는 장기기억 속에 새겨진 ‘전제’를 사용한다고도 설명했다. 우리 마음에는 점차 모여지는 평행성, 명암의 전환, 표면 재질의 변화, 경계의 테두리 차이와 세계와의 관계(거리, 크기, 위치, 형태 등)에 대한 정보들이 들어 있다. 우리가 보는 많은 착시현상들은(에임즈의 룸, 루벤의 잔과 얼굴과 같은 착시그림 뿐 아니라 회화, 사진, 영상 들을 포함한) 그 전제를 이용하고, 시각기관으로 하여금 착각을 일으켜 우리를 웃고, 울게 만든다. 예를 들면, 우리가 주변을 이동할 때 빨리 지나가는 사물은 가까이, 천천히 지나가는 사물은 멀리 있다고 인식한다고 설명했다. 그리고 크기가 크면 가까이, 작은 것은 멀리 있다고 생각한다.(단안단서의 상대적운동과 크기). 뇌는 그렇게 다른 패턴들의 단서를 조합해 3차원의 세계를 해석한다. 이런 전제를 이용하여 스타워즈와 같은 영화에서는 화면에 보이는 별의 크기와 속도를 조절해 마치 우주를 떠다니는 듯한 느낌을 생생하게 전달한다. 또한, 양안에서 오는 약간 다른 위치의 상을 합쳐 3차원의 세계가 있다고 가정하는 뇌의 전제를 이용하여 착시영상인 3D영화도 만든다. 영화를 보는 동안 양쪽 눈에 각기 다른 상이 비치고 그 결과 우리의 눈은 스크린 밖으로 뛰쳐나오는 괴물을 경험해 흠칫 놀라게 된다.
착시그림을 소개한 것은 단순히 흥미를 위해서가 아니다. 입체시는 자연의 경이이자 마음이 어떻게 작동하는가를 이해할 수 있는 열쇠이다. 입체시는 일종의 정보처리이다. 좌안과 우안으로 정보가 들어오면 뇌의 뉴런들은 프로그래밍된 규칙을 가지고 마음 깊이 새겨진 여러 전제들과 비교해 깊이감 정보라는 결과물을 산출해낸다. 우리 뇌의 다른 부분들은 이 정보들을 활용해 상황판단, 감정지각, 행동지시 등을 한다.
입체시 또한 몇 가지 의미에서 모듈이란 점을 강조한다. 첫째, 입체시는 마음의 다른 부분들이 없어도 잘 작동한다. 둘째, 마음의 다른 부분들은 입체시가 없어도 작동한다. 셋째, 입체시는 뇌 배선에 특별한 역할을 요구한다. 넷째, 입체시는 자신의 문제에만 적용할 수 있는 고유한 원리에 의존한다.(예, 양안시차의 구조)
다시 한번 강조하면 입체시는 자연선택에 의한 진화의 산물이다. 입체시는 우리 조상들이 생태환경에 직면했던 선택압력에 대응하여 진화했다. 그래서 그것은 현재는 아닐 수 있지만 인간이 진화했던 당시 적합했던 전제들을 통해 ‘해결 불가능한 문제’들을 해결한다.
4-2. 빛과 명암
입체시는 표면의 깊이와 재질을 파악하는 중요한 초기 단계 시각이지만 그것이 전부는 아니다. 두 눈이 있어야 3차원으로 보는 것은 아니다. 그림에서 아주 미약한 힌트만 있어도 우리는 형태와 재질을 감지해 낸다.
다음 그림은 심리학자 에드워드 애들슨이 만든 착시그림이다. 그림은 각각 수평, 수직으로 종이를 접고 옆에서 빛을 비춘 그림이다. 종이에 들어간 잉크는 동일하다. 하지만 모양이 다르게 보인다. 1번 표시가 붙은 경계선은 물리적으로는 똑같다. 그러나 왼쪽 그림 경계선은 색칠에 의한 경계선으로 보이고, 오른쪽 그림의 경계선은 형태와 그늘에 의한 경계선으로 보인다. 지그재그의 방향만 다른 두 박스에서 이 모든 차이가 나온다.
시각의 적은 단서로부터 외부세계의 형태, 표면, 재질 등 많은 정보를 정확하게 파악하려면 세 가지 마음 전문가가 필요하다. 입체시처럼 그 전문가들도 외부세계의 표면에 대한 정확한 이해를 위해 일하지만 그들은 각각 다른 종류의 정보에 의존하고, 각기 다른 종류의 문제를 해결하고, 각기 다른 종류의 전제를 만들어낸다.
첫 번째는 형태분석 전문가이다. 3차원 물체는 망막에 2차원 형태로 투사된다. 따라서 단지 투상만 가지고는 특정한 형태를 복구할 수 없다. 그래서 망막에 상이 주어지면 우리 마음속 형태분석기는 확률을 따져서 확률이 가장 높은 상태를 보게 해준다.우리의 마음 속에는 물체의 선들이 어떻게 투시되는가와 세계에 대한 정보들이 기록되어 있다. 예를 들어 ‘책은 직사각형이다’ ‘동전의 옆면은 직선으로 보여도 윗면은 타원이다’ ‘움직이는 유기체는 대칭형으로 생겼다’ 등이다. 따라서 내가 보고 있는 선의 집합들이 마음 속에 새겨진 어떤 물체의 형태와 유사하면 그 물체라고 결정할 확률이 높아진다. 한 가지 더 고려해야 하는데, 그것이 이 장면에서 출현할 가능성이 얼마나 있는가이다.예컨대, 얼룩말이 종종 발굽소리를 낸다는 이유로, 창밖에서 나는 발굽소리가 얼룩말이라고 결론을 내리는 것은 안전하지 않다. 외부세계에 얼룩말이 얼마나 존재하는지를 고려해야 하는 것이다. 즉 형태분석 전문가는 ‘보이는 선들과 마음속에 기록된 물체정보와의 유사성’과 ‘그 물체가 현재 출현할 가능성’을 곱해 형태를 파악하는 것이다.하지만 세계의 표면들은 단지 선으로만 그려져 있지 않다. 표면은 또한 재료로도 이루어져 있다.
두번째는 반사율 전문가가 할 일이다.이 세계의 표면들은 재료로 이루어져 있다.빛과 색을 감지하는 것은 재료를 평가하는 한 방법이다. 재질이 다르면 반사되는 빛의 파장과 양이 다르다.하지만 반사광으로부터 물체의 재질을 절대적으로 추론하기는 부족하기 때문에밝기 분석기는 주변의 조명도까지 계산해서 재질을 추론해야 한다. 우리 마음 속에는 이 세계가 어떻게 빛을 반사하는가에 대한 정보가 있다. 뇌는 빛이 균일하게 비치고, 사물들은 일정한 색깔의 표면을 갖고 있는 세계에 살고 있다고 가정하고 외부 세계에 존재하는 것들에 대한 추측을 해낸다.
우리는 다른 밝기에서도 문제없이 옷의 고유의 색을 지각하고, 빨간색 스커트를 인식한다. 이를 위해서는 망막에 투사된 색을 확인하는 것만으로는 부족하다. 첫째 동일한 표면은 고르고 균일하게 빛을 받는다는 전제가 있어야 한다. 그런 다음 세 가지 단계로 밝기에 따른 색깔 지각 문제를 해결한다. 물체의 한쪽 끝에서 반대쪽 끝까지 밝기 변화도를 계산하고, 전체로부터 밝기의 평균수치를 추산하고, 평균수치에서 각 조각의 밝기를 빼고 더하는 방법으로 명암을 계산한다. 즉, 우리 뇌는 평균 수치에 따른 조명의 강도를 계산해서 다른 빛 아래서의 물체의 정확한 색깔을 본다. 둘째, 밝기와 색이 시야상에서 점진적으로 변하는 것은 해당 장면이 그렇게 빛을 받고 있기 때문이고,(예를 들면, 곡면에서는 빛이 밝음에서 어둠으로 넘어가는 점진적 이행이 나타남) 갑작스럽게 변하는 것은 한 물체가 끝나고 다른 물체가 시작되는 것(예를 들면, 모래사장과 바다의 경계)이라고 가정해 동일하거나 다른 물질을 감지한다.
마지막으로는 명암효과 전문가이다.우리는 경사의 표면에서 반사되는 빛의 양을 계산해 형태와 재질을 이해한다.예를 들면 당신이 광원을 보고 있다고 하면, 표면이 비스듬하게 틀어져 있을 때보다 정면으로 마주하고 있을 때 더 많은 빛을 포착한다. 우리는 이 원리를 넓은 광원에서 작은 물체까지 적용한다. 큐브와 보석 등 모든 물체들은 경사가 다른 작은 단면조각들로 이루어져 있으며, 명암법칙은 각각의 면에서 발산하는 빛에 적용된다. 우리는 명암을 통해 세계를 볼 때에도 전제에 의존한다. 세계의 표면은 수천 종류의 재질로 이루어져 있는데, 빛은 경사진 표면들을 각기 다르게 때리고 튕겨져 나간다는 것이다.
각각 분석기는 다른 전제들을 가지고 있고, 그 전제들은 종종 다른 분석기와 충돌을 일으킨다. 이 분석들이 뒤섞여도 전문가들은 서로 협조하면서 가장 가능성 높은 추측을 조립해 하나의 형태, 색, 한 종류의 빛을 본다.
4-3. 2.5차원으로 보기
전문가들이 각자 맡은 일을 하고 나면, 뇌의 나머지 부분들이 접근할 수 있는 게시판에 무엇을 그리는가? 지금까지 설명한 입체, 운동, 윤곽, 명암 전문가들은 3차원의 세계를 복원하기 위해 열심히 일했다.그 노동의 결실을 위해 망막에 비친 수많은 모자이크 그림들은 하나로 조립되어 3차원으로 만드는 마음의 공간으로 넘어가야 하고, 3차원 모형은 세계에 대한 우리의 최종적인 이해가 되는 것이다. 하지만 여러 전문가가 붙어 3차원으로 보려고 열심히 노력하지만 실제 우리가 보는 세상은 그렇지 않다.첫째, 우리는 눈앞에 있는 것만 생생하게 경험한다. 시야의 경계 밖에 있는 세계는 막연하게 안다.눈은 1초에 몇 번씩이나 초점을 바꾼다. 사람들이 눈이나 머리를 움직이면 그 순간 보고 있던 사물의 세부적인 모습을 놓친다.둘째, 우리는 부피가 아니라 표면을 본다. 우리에겐 엑스선 같은 시각이 없다.우리는 상자의 앞은 보지만 뒤나 안은 보지 못한다.셋째, 우리는 원근법에 따라 본다.우리는 기찻길이 평행하는 것을 알지만 지평선 쪽에서 만나는 것처럼 본다.넷째, 우리는 기하학적으로 엄밀하게 말하면 3차원이 아니라 2차원으로 본다.다섯째, 우리는 물체들을 즉시 보지 못한다. 우리는 이동가능한 물질 덩어리들을 세고, 분류하고, 거기에 명사를 붙인다.예를 들어 코는 물체인가? 몸에 붙어 있을 때도 하나의 물체인가? 생각하기에 따라 물체일수도 있고 물체의 부분일 수도 있다.
그러나 우리에게는 ‘표면’과 ‘경계’를 확실히 감지하는 감각이 있다. 지각을 조직하는데 기본적인 능력 중 하나는 배경으로부터 대상을 확인하는 것이다.시야를 깎아내서 표면들로 만들고 그중 어느 것이 전면에 있는가를 결정하는 것이다. 예를 든 그림과 같이 루벤의 잔과 얼굴은 동시에 보이지 않는다. 두 형태 중 우세한 형태가 경계선을 ‘소유’하고 다른 구획을 배경으로 밀어낸다. 우리는 망막에서 밀려오는 정보에 떠밀려 비자발적으로 표면을 인지한다. 일반적인 믿음과는 달리 우리는 기대하는 것을 보는 것이 아니다.그렇다면 시각은 무엇을 생산할까? 마르는 그 생산물을 2.5차원 스케치라 부르고, 다른 사람들은 가시적 표면 표상(visible surface representation)이라 부른다. 깊이는 좌우, 상하 차원들과 달리 시각 정보를 담고 있는 매개물을 규정하지 못하기 때문에 종종 1/2차원으로 ‘다운그레이드’ 된다.3차원 세계를 보려고 여러 마음 전문가들이 노력했지만, 사실 우리는 볼 수 없는 것은 축소하고 본다.
2.5차원스케치
2.5차원 스케치는 다음 그림과 같다. 세포 또는 화소들이 모자이크처럼 붙어 있다. 각 세포는 키클롭스의 시점에서 일직선으로 뻗어 나간 시선에 해당한다.각 세포는 몇 개의 정보를 가진 두 종류의 서식과 같다. 표면을 설명하는 서식과, 테두리를 설명하는 서식이다. 표면을 설명하는 서식에는 깊이, 전후 기울기, 좌우 기울기, 색, 재질 정보가 포함되어 있고,테두리를 설명하는 서식에는 테두리가 사물의 경계에 있는지, 홈인지, 마루인지를 알려주는 정보들이다.이 그림은 2.5차원 스케치 속에 담긴 정보의 종류를 종합해서 보여주는 그림으로, 각 전문가들은 담당하는 정보를 뇌와 공유한다. 이 정보들은 모든 전문가가 보며 협력해 처리할 수 있는 공동 게시판에 게시된다.
왜 우리는 2.5차원으로 볼까? 그 답은 저장의 비용과 이점에 있다. 컴퓨터 사용자라면 그래픽 파일이 저장 공간을 잡아먹는 대식가라는 것을 알 것이다. 뇌가 눈에 들어오는 수 기가 바이트를 모형으로 합성하지 않는 것은 대상이 움직이는 순간 쓸모가 없어지기 때문이다.깊이를 계산하는 입체, 윤곽, 운동 전문가들이 갖춰져 있는 것은 보는 사람에게 외부세계의 3차원 좌표를 주기 위해서가 아니라 거리, 기울기, 겹침현상에 대한 정보를 주기 위해서다. 그것들이 할 수 있는 최선의 일은 공동작업을 통해 눈앞의 표면들에 대한 2.5차원의 인식을 제공하는 것이다. 어떻게 사용할지를 생각하는 것은 뇌의 나머지 부분이 할 일이다.
4-4. 좌표계(위치와 방향)
2.5차원 스케치는 정교하게 설계되고 조화롭게 작동하는 시각시스템의 걸작이다. 그러나 문제가 있다. 2.5차원 배열에 담긴 정보는 보는 사람을 기준으로 중심이 맞춰진 망막 좌표계에 기입되어 있다는 것이다.만일 특정한 세포가 “여기 테두리가 있다”는 정보를 보내면 여기가 가리키는 의미는 망막 위에 있는 그 세포의 위치(즉 당신이 보고 있는 정면)이다. 그러나 당신이나 사물이 움직이는 순간, 그 정보는 다른 배열 속의 공간으로 이동한다.
시각정보를 이용하는 문제의 핵심은 위치를 알아야 하는 것인데 그러려면 유용한 준거틀, 즉 좌표계가 있어야 한다.좌표계는 위치 개념과 밀접하다. 우리는 “그게 어디 있어?”라고 물으면 이미 알고 있는 사물의 이름을 확인하고 그것을 기준으로 어느 방향으로 얼마나 멀리 있는가를 설명한다. “냉장고 옆에 있어”와 같이 말로 된 설명, 주소, 나침반 방향 등과 같이 ‘준거틀’을 기준으로 거리와 방향을 나타낸다.
2.5차원 스케치가 첨부된 좌표계는 망막상의 위치다. 그런데 망막상은 끊임없이 움직인다. 우리는 두 눈이 움직이는 동안에도 머물러 있는 좌표계가 필요하다.보이지 않는 좌표계를 시야 앞에 두고 이리저리 이동시키는 회로가 있다고 가정해보자. 그리고 좌표계가 있는 시야로부터 수집된 정보는 그 십자선에 규정된 위치들과 관련되어 있다. 컴퓨터에도 그와 비슷한 것이 있다. 바로 커서이다. 커서는 방대한 문서에서 정보를 읽고 쓸 때 기준이 되고, 화면을 스크롤 해 움직일 때마다 같이 따라온다. 뇌가 2.5차원 스케치 내용을 이용하려면 커서와 같이 위치를 고정하고 파악하는 좌표계가 필요하다.
우리에게는 여러 가지 좌표계가 있다. 머리에 고정시킨 좌표계가 있을 수 있고, 머리와 신체의 운동을 보상하는 물체에 고정된 좌표계도 있다. 네 가지의 좌표계를 소개한다.
첫째, 외부세계를 동일한 크기로 나눠 표시하는 ‘마음격자 틀’이다.우리는 외부세계에 동일한 크기의 마음격자 틀을 그려 거리, 위치, 방향 등을 감지한다. 예를 들어, 가까운 거리의 물체는 격자의 넓은 범위를 차지할 것이고 먼 거리에서는 좁은 범위를 차지하여 사물의 거리를 인지할 수 있다. 또한, 우리는 철길이 평행선인 것을 알지만 마음격자 틀에 철길이 서로 만난다면 철길은 점점 멀어지고 있다고 지각한다. 그리고 모아지는 철길 옆의 격자에 나무가 있다면 그 나무의 위치와 거리 또한 짐작할 수 있다.
둘째, 중력의 방향 틀이다.우리 마음의 수직 추는 내이의 전정기관에서 나온다. 우리 귀의 가장 안쪽에 위치한 전정기관은 반고리관과 전정을 일컫는데, 여기에는 림프액과 돌(이석)들이 있다. 머리를 움직이면 전정기관의 림프액이 출렁거리고, 이석이 중력의 방향으로 움직여 상하, 전후 움직임을 기록하는 신경신호를 만든다. 마음(뇌)은 이 신호를 이용해 십자선을 항상 정확히 똑바로 서있게 해
물체를 올바로 볼 수 있게 한다.
셋째, 마음의 상하축이다.마음 상하축은 우리가 형태 감각을 형성하는 강력한 요소이다. 기하학자는 오른쪽 두 그림을 네 각과 선이 동일한 같은 도형으로 보지만, 우리는 정사각형과 마름모로 본다. 왜냐하면 정사각형은 ‘위쪽’이 평평하고 마름모는 뾰족하기 때문이다. 이렇게 우리 마음은 물체를 인식할 때 상하좌표를 무시하지 않고, 상하에 위치한 모양의 차이를 통해 형태를 인식한다.
넷째, 물체 자체의 좌표계이다. 그림의 삼각형 모양을 보고 있으면 어느 순간 ‘삼각형들이 가리키는 쪽’으로 보인다. 이때 변화를 일으킨 것은 삼각형들이 아니라 삼각형 위에 겹쳐진 마음의 좌표계이다. 그 좌표계는 삼각형들의 대칭축에서 비롯된 것이다. 삼각형에는 그런 축이 모서리마다 있는데 각각의 축이 번갈아 가면서 방향을 지배한다. 각각의 축에는 남극과 북극 같은 양극이 있어서 삼각형이 어느 한 방향을 가리키는 느낌이 들게 한다.
4-5. 동물크래커(형태)
좌표계를 끌어들이는 능력은 사물이 망막으로 들어와 사고로 인식되는 과정 중 하나를 해결하는 데 도움된다. 사물들은 다양한 단서로부터 인식된다. 어떤 것은 소리와 냄새로 인식되고, 어떤 것들은 색과 재질을 통해 인식된다. 그러나 대부분의 물체는 ‘형태’를 통해 인식된다.그렇다면 사람들은 어떻게 형태를 인식하는가?
사물의 형태를 인식할 때 우리는 물질의 부분이 어떻게 배치되었는지 생각하고, 기억된 것들 중 가장 가깝게 매치되는 것을 찾아낸다.인간의 마음은 굉장히 예리한 기하학자의 능력을 가졌다. 세 살만 되어도 갖가지 모양의 동물 크래커에서 원하는 것을 척척 골라낸다. 반면, 뇌의 좌반구에 문제가 있는 환자는 물체의 형태를 인식할 수 없다. 소의 머리를 상상하라는 질문을 받으면 귀와 뿔이 있는 건 알겠는데 그것을 제 위치에 놓을 수가 없다고 답한다.이것을 보면사람들은 형태를 인식할 때 부분들의 형태와 배열을 분석함으로써 물체가 무엇인지 이해하는 것으로 보인다.이번 장에서 ‘형태를 인식하는 마음’을 탐구하면서 ‘동물크래커(를 구별하는 마음)’란 제목을 붙인 이유이다.
자동차, 사람, 그리고 동물이 움직이면 우리의 망막에 맺혀지는 대상들의 모양은 지속적으로 변화하지만, 우리는 여전히 그것들이 같은 크기와 모양을 가지는 것으로 지각한다.예컨대, 문이 열릴 때 열린 각도에 따라 망막에 맺혀진 문의 형태는 찌그러진 사다리꼴처럼 변화한다. 하지만 우리는 문이 일정한 직사각형의 형태를 가지고 있다고 지각한다. 어떻게 가능할까? 우리가 형태를 어떻게 인식하는지에 대한 세 가지 열쇠를 소개한다.
첫째는 복합시각 이론이다. 사람들은 자주 경험하는 물체들에 대해 모든 방향(위, 옆, 밑 등)에 대한 수 많은 기억파일을 저장한다. 물체의 한 부분이 시각에 들어오면 기억 속 파일모음들을 불러오고, 그 파일과 매치해 물체가 무엇인지 파악한다.예를 들면, 우리가 여행가방을 위에서 내려다본다고 가정하자. 우리는 손잡이가 달려있는 직사각형 판을 보지만, 여행가방 앞, 옆, 뒤에 대한 복합적인 시각기억이 저장되어 있기 때문에 위에서 본다고 하더라도 여행가방의 모양을 상상하고 인지할 수 있다. 복합시각 이론은 시각파일이 많은 익숙한 사물일수록 빠르게 인식하고, 특히 습관적인 방향으로 향해 있다면 더 빨리 인식한다는 실험으로 증명되었다.
두 번째로는 마음회전 이론이다.우리는 어떤 물체의 형태를 평가할 때 상하좌우 방향을 무시하지 못한다. 물체가 기울어져 있으면 마음 속에서 형태를 똑바로 회전시킨 다음 그 상을 인식한다.예를 들면, 알파벳 R이 기울어져 있어도 우리는 마음에서 똑바로 회전하여 R로 이해한다. 우리는 이를 마음회전 이론이라 일컫는다.사람들은 형태가 똑바로 서 있을 때 빨리 인식하고, 방향이 틀어지면 틀어진만큼 느리게 인식한다는 것이 실험으로 증명되면서 우리에게 형태를 인식할 때 회전하는 능력이 있다는 것을 알게 되었다.
마지막으로 기하자 이론이다.우리는 사물의 형태를 원추, 육면체, 원통 같은 도형의 집합이라고 생각하고, 이 도형들의 형태와 배열을 분석함으로써 물체가 무엇인지 파악한다는 것이다.구체적으로 우리는 마음속으로 물체의 중심에 좌표계를 그리고 그 안에 들어온 도형들의 위치와 각도를 측량해 사물들의 차이를 인지한다. 그리고 우리 뇌에는 아는 사람들의 얼굴 형태, 그리고 동물, 사물 등의 모양을 기록해 놓는데, 좌표 위에 그려진 부분들을 기억 속 모형과 일치하는지 확인하며 형태를 파악한다.기하자 이론에 따르면 우리는 기하자의 총합이 아니라 부분들의 배열에 따라 사물을 구분한다.예를 들어 옆면에 굽이가 붙어있는 원통은 컵이고, 위에 굽이가 붙어있는 원통은 들통이다와 같은 식이다.또한 우리는 매치하는 시각과 기억을 비교할 때 밀리미터 단위로 정밀하게 명시하는 게 아니라 어느 정도 여유를 두는 유연성이 있다. 예를 들면, 컵의 손잡이는 컵에 따라 조금 높거나 낮을 수 있지만 모두 ‘원통 옆면에’ 붙어있는 것을 인식하는 것과 같은 식이다. 그래서 사물의 스타일이 제 각각이여도 우리는 그 사물이 무엇인지 안다.
사람들은 이 모든 기술을 이용해 형태를 인식한다. 형태인식은 아주 어려운 문제이기 때문에 하나의 범용 알고리즘으로 모든 형태를 처리할 수 없다. 놀라운 것은 눈앞의 형태를 파악하는 데 순식간에 최적의 기술을 적용하고 계산해낸다는 것이다.만일 한 형태의 옆면들이 너무 어렵지 않으면 사람들은 그것을 물체 자체의 축에 중심이 맞춰진 기하자 모형으로 파악한다. 만일 형태가 더 복잡하면 그것이 각 방향에 따라 어떻게 보이는가를 복사해서 기억파일과 비교한다. 그리고 형태가 낯선 방향으로 틀어져 있으면 사람들은 마음속으로 그것을 회전시켜서 익숙한 형태들 중 가장 근접한 것과 일치시킨다. 이런 기술들은 우리의 천부적인 시각기관이 보여주는 재능이다. 이제 우리는 시각심리학의 마지막 주제인 ‘심상’으로 넘어가게 된다.
4-6. 상상하라(심상)
비글의 귀는 어떻게 생겼는가? 거실 창문은 몇 개인가? 바닷가재는 입이 있는가?사람들은 이러한 질문에 답하기 위해 ‘심상(마음의 상)’을 이용한다. 형태를 그리면 마치 마음의 눈으로 검사할 수 있는 그림이 떠오른다.그 느낌은 ‘어머니의 결혼 전 이름이 무엇인가?’ ‘시민의 자유와 범죄의 예방 중에 어느 것이 중요한가?’와 같은 추상적인 질문에 대답하는 경험과는 다르다.
심상은 사물에 관한 우리의 생각을 공간 속으로 몰고가는 엔진이다.자동차에 가방을 싣거나 가구를 재배치할 때 우리는 공간적 배열들을 상상해본 후 작업을 시작한다.화가들은 마음속으로 착상을 검토하고, 아인슈타인은 마음속 실험실에서 상대성이론을 생각해냈다. 심상은 지성뿐만 아니라 감정도 움직인다.야심, 불안, 성적충동, 질투심은 모두 존재하지 않는 것의 상에 의해 촉발될 수 있다. 한 실험에 의하면 배우자의 부정장면을 상상만 해도 심박수가 분당 5회 증가했다.심상은 산업이다.기억력 증진 강좌에서는 방안 물건들을 상상한 다음 마음속으로 그 사이를 걸어다니는 기술을 가르친다. 심리치료도 마찬가지이다.
그런데 심상이란 무엇인가?계산주의 마음이론에서 심상의 개념은 명료하다. 우리는 시각기관이 그림과 비슷한 2.5차원 스케치를 사용한다는 것을 안다. 형태 표상은 눈에 투사된 형태의 윤곽들과 맞아떨어지는 패턴 속의 몇몇 요소들이 기입됨으로써 이루어진다. 형태 분석은 좌표계나 기하자 찾기 등을 통해 스케치 속의 정보를 처리한다.심상은 장기기억으로부터 실려온 2.5차원 스케치속 패턴인 것이다.
뇌는 심상의 요구사항을 수행할 준비가 되어 있다. 그것은 눈이 아닌 기억으로부터 흘러들어온 정보다. 뇌의 시각 영역에 이르는 섬유경로들은 양방향이다. 그 경로들은 하위의 감각 차원으로부터 정보를 보고받는 것 못지않게 상위의 개념 차원에서도 많은 정보를 하달 받는다. 이 상하연결에 무엇에 필요한지는 정확히 밝혀지지 않았지만, 아마 기억 상들을 시각지도로부터 내려 받기 위해 존재하는 것으로 보인다.
그렇다면 심상은 어디에 있을까?뇌 손상 환자, 뇌 활성화 부위실험 등 여러 증거들을 통해시각적 뇌가 곧 심상의 자리임을 알게 되었다. 심상은 뇌의 시각피질에 고루 배치되는 것으로 보인다. 또한, 수십년 동안 철학자들은 실험을 통해 심상은 서술이 아니라 ‘그림’으로 마음에 저장된다는 사실을 밝혔다.
심상은 멋진 기능이 있지만 한계점이 있기 때문에 머릿속의 그림이란 개념에 너무 도취해서는 안 된다. 첫째, 심상은 파편적이다. 사람들은 시각적 장면 전체의 상을 재구성하지 못한다.우리는 순간적으로 감지한 한 시점의 부분들만 기억하고 그것들을 마음의 그림 속에 배열한다. 사물들에 대한 우리의 기억은 파편적인 여러 시선을 모은 혼성그림이다.둘째,심상은 기억의 구조에 속박되어 있다는 한계가 있다.세계에 대한 우리의 지식은 한 장의 큰 그림에 들어맞지 않는다. 시각적 기억은 정확한 기억이 아니다.우리의 시각기억은 명제로 된 상부구조 안에 분류되고 체계화된다.시각적 사고는 심상의 내용물 자체가 아니라 우리가 상을 구성하기 위해 이용하는 개념적 지식에 의해 강하게 작동한다. 예를 들어, 체스선수의 경우 말들의 공간적 배열을 기억하는 게 아니라, 공격과 수비를 비롯한 말들 간의 의미있는 관계들을 기억한다. 우리는 영화를 보고 나서 모든 이미지를 기억하는 것이 아니라 개념으로 된 줄거리를 기억한다.마지막으로, 심상은 개념과 똑같은 역할을 하지 않는다.심상은 ‘자유’와 같은 추상적 개념, ‘기린이 아님’과 같은 부정적 개념, ‘고양이나 새’와 같은 선별적 개념, ‘인간은 모두 죽는다’와 같은 명제 등을 그리기는 어렵다. 반면, 개념은 이 모든 것이 가능하다. 그림은 양의적이지만 생각은 정의상 양의적일 수 없다.상식은 그림만으로 해낼 수 없는 구별을 수행한다. 상식은 단지 그림들의 집합이 아니다.만일 어떤 생각을 표상하기 위해 마음의 그림을 이용한다면 거기에는 그 그림을 어떻게 해석해야 할지, 무엇을 무시하고 주목해야 할지를 개념적으로 설명해주는 수 많은 캡션이 붙어야 할 것이다. 시각이 멈추고 생각이 시작되면, 마음이 한 사물을 설명하는 명제들을 피해가기는 불가능하다.
그림은 천 마디의 말처럼 소중하지만 항상 그렇지는 않다.심상은 보기와 생각하기 어느 지점에서 관념에게 자리를 내준다.
'인간의 마음은 어떻게 움직이는가' 카테고리의 다른 글
| 마음은 어떻게 작동하는가 3 (0) | 2022.06.30 |
|---|---|
| 마음은 어떻게 작동하는가 2 (0) | 2022.06.30 |
| 마음은 어떻게 작동하는가 (0) | 2022.06.30 |