국문 초록

Lavie의 부담 이론(load theory)에 따르면, 높은 수준의 인지적 부담 하에서 시각 체계는 표적과 방해자극의 차이를 적극적으로 활용할 수 없게 되어 주의 선택의 효율성을 잃는다.  
Lavie의 부담 이론(load theory)은 시각 체계는 인지적 부담 수준이 높을 때 표적과 방해자극을 구별하는 정보를 활용할 수 없어서 주의 선택의 효율성을 잃어버린다.
높은 인지 부담은 시각체계가 표적과 방해 자극을 구분하기 어렵도록 방해하기 때문에 주의 선택성을 저하시킨다(Lavie et al., 2004). 어떤 종류의 작업 기억일지라도 선택 과제에서 방해 자극의 처리를 증가시킬 것이라고 추측할 수 있었다. 최근 시행된 두 연구는 그러한 추측을 기각하며 시각 단기기억에 여러 물체를 담고 있는 것이 시각 선택을 강화시킬 수 있음을 제안했다(Konstantinou, Beal, King, & Lavie, 2014; Roper & Vecera, 2014). 저자들은 시각 단기기억에 정보를 받아들이고 유지하는 것이 방해 자극을 걸러내는데 사용되는 지각 자원을 고갈시킬 수 있다고 보았다. 시각 단기기억 부담의 주의 선택성 강화를 해석하는 그럴듯한 설명에도 불구하고 본 연구는 네 번의 실험을 통해 이러한 효과가 재현되지 않음을 보고한다. 본 연구에서는 시각 단기기억의 낮은 부담과 높은 부담 조건(1 vs. 4)을 교차 설계(intermixed design)이나 구획 설계(blocked design)에서 비교하였고(각각 실험 1과 실험 2), 무 부담과 높은 부담 조건(0 vs. 3)을 구획 설계에서 대조하였다(실험 3). 세 실험 모두에서 플랭커 간섭은 시각 단기기억 부담에 의해 줄어들지 않았다. 선행 연구의 재현 실패는 바닥 효과로 설명이 불가능했다; 지각 부담이 부과된 경우에는 플랭커 간섭이 줄어들었다(실험 4). 플랭커와 기억 자극이 제시되는 위치의 중첩이 일으킬 수 있는 잠재적 효과를 관찰하고자 추가 실험을 진행하였다. 두 자극의 위치가 겹치지 않을 경우 플랭커 효과는 감소되기 보단 증가되는 결과가 실험 5에서 도출되었다. 마지막으로, 네 번의 시각 단기기억 실험을 동등성 검사에 사용하였고(Lakens, 2017), 시각 단기기억 부담에 따른 플랭커 효과의 차이가 통계적으로 유의미하게 다르지 않음을 발견하였다. 종합하자면, 본 연구의 결과는 시각 단기기억과 주의 선택성 간의 다양한 관계를 기술할 수 있는 새로운 모델의 필요성을 제기한다.

영문 초록

Lavie's load theory posits that high cognitive load impairs attentional selection since the distinction between targets and distractors cannot to be actively maintained (Lavie et al., 2004). Thus, it has been assumed that taxing any types of working memory (WM) might increase distractor processing in a concurrent selection task. Two of recent studies disproved this assumption: holding multiple items in visual short-term memory (VSTM) enhances visual selection (Konstantinou, Beal, King, & Lavie, 2014; Roper & Vecera, 2014). The authors suggested that the encoding and maintenance in VSTM might deplete perceptual resources for filtering distractors. Notwithstanding their plausible arguments, however, here we report a series of four experiments, in which we consistently failed to reproduce such effects. Participants performed a canonical flanker task while maintaining colors of squares in VSTM. We contrasted the low load versus high load conditions (1 vs. 4) in an intermixed design or in a blocked design (Experiment 1 and 2, respectively), or the no load versus high load conditions (0 vs. 3) in a blocked design (Experiment 3). In all three experiments, flanker interference did not decrease with VSTM load. This failure of replication cannot be ascribed to a floor effect; flanker interference did decrease with perceptual demand (Experiment 4). We further tested any potential effects of the spatial overlap between the flanker and the memory items. VSTM load exacerbated, but not alleviate, flanker interference only when the two locations were not overlapped (Experiment 5). Finally, we submitted all four VSTM experiments to the equaivalence test (Lakens, 2017), and found that the effects of VSTM load on flanker interference were statistically equivalent to zero. Overall, our results call for new models, within which the dynamic relationships between VSTM and selective attention are fully described and tested.

서론

과제를 효율적으로 수행하려면 중요한 정보에 심적 자원을 집중할 수 있어야 한다. 사람이 한 번에 인식할 수 있는 정보의 양에는 한계가 있기 때문이다. 지금까지 인지심리학자들은 마음이 정보를 선택하고 자원을 집중하는 과정을 이해하기 위해 많은 노력을 기울여왔다. 특히 정보처리 중 선택이 일어나는 지점(locus of selection)은 가장 큰 관심을 받는 연구 주제 중 하나였다\citep{Broadbent_1958,Deutsch_1963,Gray_1960,Treisman_2012}. '초기 선택' 모형에 따르면, 정보는 초기 감각 등록 단계에서 선택된다\cite{Broadbent_1958,Moray_1959,Gray_1960}. 모든 감각 정보가 일종의 여과기를 거치면서 일부 정보들은 선택이 되고, 다른 정보들은 더 이상 처리되지 않게 된다. 그에 비해, '후기 선택' 모형에서는 주의 선택을 위한 여과기가 지각 과정 이후에 자리잡고 있다고 가정하였다\cite{Deutsch_1963,Norman_1968}. 감각기관을 통해 입력된 정보들이 모두 지각되고 식별된 이후에 주의에 의한 정보 선택이 일어난다는 것이다. 정보의 선택이 지각 단계 이전에 일어나는지 혹은 이후에 일어나는지에 대한 논의는 점차 주의 자원의 할당에 따라 선택의 단계가 달라질 수 있다는 논의로 수렴되었다\citep{kahneman1973attention,kahneman1984changing,Lavie_1995}.
    Lavie는 지각 부담 이론(perceptual load theory) 을 통해 지각 처리 과정의 부담이 선택 지점을 결정하는 주요 변인이라고 제안하였다\cite{Lavie_1995,Lavie_2004,Lavie_2005}. 이 이론에 따르면, 지각적 자원은 과제와 관련된 정보들에 우선적으로 할당되지만 잉여 자원이 생길 경우에 과제와 관련되지 않은 정보들에게도 할당될 수 있다. 따라서 지각적으로 어려운 과제를 수행할 때는 불필요한 정보들이 처리되지 않고 걸려지지만(초기 선택), 지각적으로 쉬운 과제를 수행할 때는 불필요한 정보들이 깊이 처리되어 행동에 영향을 끼칠 수 있다(후기 선택). 이를 증명하기 위해, Lavie는 플랭커 과제(flanker task, \citealt*{Eriksen_1974})에서 표적 위치에 나타날 수 있는 글자들의 수를 조작하는 실험을 수행하였다. 그 결과, 표적 자극이 단독으로 제시된 조건에 비해 여섯 개의 다른 문자들과 함께 제시된 경우, 과제와 관련 없는 플랭커 글자의 간섭 효과가 사라졌다. 지각 부담 이론은 겉보기에 모순되어 보이는 다양한 선행 연구 결과들을 설명할 수 있었기 때문에, 이후 많은 행동연구와 신경과학 연구에 영향을 끼쳐왔다\citep{Rees_1997,Handy_2001,Yi_2004}.
    작업기억 부담(working memory load)은 지각 부담과는 다른 방식으로 주의 선택성을 조절한다. 작업기억의 부담은 주로 후기 선택에 관여하며, 입력된 정보들 중 현재 업무에서 중요한 의미를 가진 정보를 우선적으로 처리하는데에 영향을 끼친다. 작업기억 부담이 클 경우 사람들은 무시해야 할 정보를 더 많이 처리하는 경향을 보였다\citep*{de_Fockert_2001}. 작업기억의 부담이 커지면 인지 통제기능을 발휘하기 위한 자원이 부족하게 되어 방해 정보의 억제를 효율적으로 수행하기 어려워진다. 따라서 방해자극에 의한 간섭을 더 많이 받고 주의를 선택적으로 운용하기 힘들어진다. 작업기억의 부담은 주로 일정 길이의 숫자열을 되내이는 것으로 조작되는데, 숫자열의 길이가 길어질수록 플랭커 과제의 방해자극 간섭은 커졌다\citep{Lavie_2004}. 지각된 여러 후보 자극들을 반응과 연결시키는 단계에서 인지 자원이 부족하면 효율적인 자극-반응 연결을 수행하기 어려워지고, 그에 따라 방해자극의 간섭도 더 커지게 된다.
    작업기억 부담이 주의 선택에 미치는 영향은 작업기억 부담의 종류에 따라 달라지기도 한다. 작업기억 부담의 유형이 표적 처리 과정과 겹칠 경우에는 표적 처리의 방해가 발생하지만, 방해자극 처리 과정과 겹칠 경우에는 오히려 방해자극 처리가 방해되어 주의 선택성이 좋아지는 결과가 관찰되었다\citep{Kim_2005,Park_2007}. 최근에는 작업기억의 유형이 시각적일 경우에도 주의 선택성이 향상된다는 결과가 보고되었다\citep{Roper_2013,Konstantinou_2014}. 시각 정보를 작업기억 부담으로 사용한 이 연구들에서는 숫자열 대신 색상 사각형들을 기억한 채 플랭커 과제를 실시하는 실험을 진행하였다. 이들의 실험 결과, 참가자들이 더 많은 색상을 기억한 조건에서 방해자극의 간섭은 줄어들었다. 이 결과에 따르면 숫자를 되내이는 작업기억 부담과 달리 시각 단기기억의 부담은 주의 선택성을 강화시킬 수 있었다. 또한, 작업기억의 내용물에 따라 인지 부담이 주의 선택성에 미치는 영향은 달라질 수 있었다.
    작업기억 내용물이 무엇인지와 관련 없이, 많은 정보(capacity load)를 기억하는 것이 주의 선택성을 약화시킬 수 있다는 결과도 관찰되었다. \citet*{Zhang_2015} 은 작업기억의 부담을 용량 부담(capacity load)과 해상도 부담(resolution load)으로 구분하였다. 용량 부담은 더 많은 개수의 정보를 기억하는 것을 필요로 하며, 해상도 부담은 기억할 대상을 헷갈리지 않게 정확히 표상하는 것을 요구하였다. 실험은 몇몇의 사각형 색상을 기억한 채로 플랭커 과제를 실시한 후 사각형 색상에 대한 기억 검사를 실시하는 것으로 진행되었다. 용량 부담 조건에서는 더 많은 색상을 기억해야 했고(2 vs. 4), 해상도 부담 조건에서는 같은 개수(2)의 색상을 기억하지만 그 차이가 매우 미미할 수 있어서 정확한 색상을 기억해야 했다. 실험 결과, 해상도 부담이 큰 조건에서는 플랭커 효과가 감소하였지만, 용량 부담이 큰 조건에서는 플랭커 효과가 증가하였다. 주목할 만한 점은 용량 부담 조건의 실험 설계가 \citet{Roper_2013,Konstantinou_2014} 와 매우 유사함에도 불구하고 시각 단기기억 부담이 주의 선택에 미치는 영향은 완전히 달랐다는 점이다.
    시각 단기기억 부담이 주의 선택을 강화한다는 결과와 약화한다는 결과는 상호 배타적이기 때문에 일관된 주의 선택 모형으로 설명되기 어렵다. 더 나아가 이들 연구에서 발견된 시각 단기기억 부담의 주의 선택성 조절이 믿을 만한 효과인지 의문을 갖게 한다. 한 가지 가설은 \citet{Roper_2013,Konstantinou_2014} 의 연구에서 공통적으로 발견되었듯이 시각 단기기억 부담이 주의 선택성을 좋게 할 수 있다는 것이다. 다른 하나는 최근 행해진 \citet*{Zhang_2015} 에서와 같이 시각 단기기억의 용량 부담이 주의 선택성을 나쁘게 한다는 것이다. 마지막으로 가능한 설명은 앞선 연구들의 효과가 1종 오류일 수 있으며, 그렇기 때문에 양방향으로 유의미한 결과가 나타났을 수 있다는 것이다. 실제로 심리학 연구들의 결과는 출판 편향을 내포하고 있기 때문에, 아주 작거나 없는 효과가 우연히 나타났을 가능성을 배제할 수 없다\citep{Hedges_1984,Ioannidis_2008,Lane_1978,Nelson_2014,Simonsohn_2015}.
    본 연구는 시각 단기기억 부담이 주의 선택성에 미치는 영향을 면밀히 조사하기 위해 선행 연구들을 재현하였다. 시각 단기기억 부담과 플랭커 자극의 화면상 위치가 겹치지 않도록 하기 위해 \citet{Konstantinou_2014} 의 연구를 바탕으로 실험을 설계하였다. 결과를 간단히 요약하면, 실험 1-3을 통해 시각 단기기억 부담이 주의 선택성에 영향을 끼치지 못한다는 것을 발견하였다. 실험 4에서는 \citet*{Lavie_1995} 의 지각 부담 효과를 재현하였다. 이를 통해 시각 단기기억 부담이 주의 선택에 미치는 영향은  지각 부담과 다르다는 점을 대조할 수 있었다. 실험 5에서는 플랭커의 위치와 시각 단기기억 자극의 위치가 겹칠 수 있게 조작하였다. 시각 단기기억과 시지각이 밀접하게 관련되어 있기 때문에 자극 위치의 중첩이 주의 선택에 끼치는 영향을 극대화할 수 있을 것이라 예상하였다. 그럼에도 불구하고 실험 5의 결과에 따르면 위치의 중첩은 시각 단기기억 부담이 주의 선택성을 조절하는 효과를 변화시키지 못했다. 시각 단기기억 부담과 플랭커의 위치가 겹치지 않을 때에는 오히려 시각 단기기억 부담이 주의 선택을 저해하는 결과가 관찰되었다. 비 중첩 조건에서는 화면에 제시되는 자극이 넓게 퍼져있기 때문에 주의 창을 크게 유지하는 것이 유리하고, 넓은 주의 창에 의해 간섭이 증가하였을 가능성이 있다.

실험 1

실험 1에서는 \citet{Konstantinou_2014} 의 실험을 재현하였다. 참가자들은 한 개 혹은 네 개의 사각형 색상을 기억한 채로 플랭커 과제를 수행하였다. 플랭커 과제 후에는 기억 검사가 실시되어 시각 단기기억의 표상이 정확한지를 변화 탐지 과제를 통해 측정하였다. 검사 단계의 화면은 이전과 동일하거나 하나의 사각형 색이 달라진 채 제시되었다. \citet{Roper_2013,Konstantinou_2014} 의 주장이 타당하다면, 높은 시각 단기기억 부담 조건에서는 플랭커 간섭 효과가 줄어들 것이다. 하지만, \citet*{Zhang_2015} 이 보고한 결과가 맞다면 시각 단기기억 부담은 플랭커 간섭 효과를 증가시킬 것이다.

방법

참가자

선행 연구들의 참가자 수 (\citealt*{Roper_2013}: 20명, \citealt{Konstantinou_2014}: 22명, \citet*{Zhang_2015}: 18명)를 고려하여 20명의 참가자를 모집하였다(평균 23.65세, 여성 11명). 참가자는 심리학 과목의 크레딧 이수를 목적으로 실험을 수행하였다. 참가자의 나안 및 교정 시력은 0.8 이상으로 제한되었다. 

도구 및 재료

실험 자극의 제시와 반응의 수집은 Matlab 2017a 및 Psychtoolbox 3\cite{Brainard_1997} 을 통해 이루어졌다. 참가자들은 약한 불빛으로 조명된 암실에 앉아 60 cm 앞에 놓인 15.7인치 CRT 모니터 화면에 나타나는 자극을 처리하는 과제를 수행하였다. 모니터의 해상도는 1024 x 768 이었고, 85 Hz의 주사율로 상영되었다. 참가자들의 반응은 DirectIN Button-Box (Empirisoft Corporation, New York, NY)을 통해 기록되었다.