생각보다 먼저 개입하는 AI, 인지 식민화와 자아 구조 침식 경고

우리는 흔히 AI를 도구로 본다. 검색엔진처럼 질문을 던지면 답이 돌아오는, 사용자의 통제 아래 있는 수단으로. 하지만 Ganapini, Chiriatti, Panai, Riva 등 철학·인지과학 분야 연구자들이 공동 저술한 이 논문은 그 전제에 근본적인 의문을 제기한다. AI는 우리가 '생각한다'고 인식하기도 전에 이미 우리의 인지 과정 안으로 들어와 있을 수 있다는 것이다.

논문의 출발점은 AI가 인간 인지에 미치는 영향을 설명하려는 세 가지 이론적 프레임워크다. 각각 Tri-System Theory, Thinkframes, 그리고 System 0이다. 이 논문은 앞의 두 프레임워크가 AI의 영향력을 포착하는 데 일정한 기여를 하지만, System 0만이 차지하는 이론적 지위가 따로 있다고 주장한다. 그리고 그 핵심에 '인지 식민화'(cognitive colonization)라는 새로운 개념이 자리한다.

System 0: 시스템 1과 2 이전의 층위

심리학자 대니얼 카너먼이 대중화한 이중 처리 이론은 인간의 사고를 빠르고 자동적인 System 1과 느리고 의식적인 System 2로 나눈다. AI를 이 틀에 편입하려는 시도들은 대개 AI를 System 2의 보완재—느리고 논리적인 사고를 강화하는 도구—로 위치시키거나, 반대로 System 1을 대체하는 자동화 장치로 바라본다. Tri-System Theory는 AI를 제3의 시스템으로 추가해 이 이분법을 확장한다. Thinkframes는 AI가 개인의 추론뿐 아니라 집단적 인식 실천(epistemic practice)을 어떻게 재편하는지에 초점을 맞춘다.

하지만 논문이 주목하는 System 0은 다른 차원에서 작동한다. System 0은 System 1이나 2가 활성화되기도 전에 이미 개입하는 층위, 즉 사용자가 어떤 선택지를 고려할 수 있는지, 어떤 정보를 인식할 수 있는지, 무엇이 당연하게 보이는지를 사전에 구조화하는 AI의 역할을 가리킨다. 알고리즘이 뉴스 피드를 배열하고, 검색 결과의 순위를 정하고, 대화의 흐름을 유도하는 방식이 여기에 해당한다. 이 층위에서 AI는 사고의 보조가 아니라 사고의 전제조건을 형성한다.

이것이 Tri-System Theory나 Thinkframes와 구별되는 지점이다. 전자는 여전히 AI를 인간 인지의 외부에 있는 시스템으로 가정한다. 반면 System 0은 AI가 인간 인지의 내부 구조 자체를 재편할 수 있다는 가능성을 열어 놓는다. 도구로서의 AI와 환경으로서의 AI의 차이라고도 말할 수 있다. 도구는 우리가 집어 들고 내려놓을 수 있지만, 환경은 우리가 그 안에서 생각하고 움직이는 조건 자체다.

인지 식민화: 자아 구조 안에 내장된 외부 이익

논문의 가장 도발적인 기여는 '인지 식민화'라는 개념이다. 저자들은 AI 시스템이 사용자가 쉽게 감지하기 어려운 방식으로 외부의 이익을 자아의 구조 안에 내장할 수 있다고 주장한다. 여기서 '외부의 이익'이란 AI 시스템을 설계하고 운영하는 기업, 정치 행위자, 알고리즘적 목표 함수들을 가리킨다.

식민화라는 은유는 의도적이다. 과거의 식민주의가 피식민 사회의 언어, 가치관, 인식 틀을 외부에서 이식했듯, 인지 식민화는 우리가 무엇을 원하고, 무엇을 믿을 만하다고 여기고, 어떤 질문을 당연하게 생각하는지를 AI가 사전에 구성한다는 것이다. 더 심각한 것은 이 과정이 통상적인 설득이나 광고처럼 의식적으로 포착되는 외부 영향이 아니라, 인지 아키텍처 자체를 바꾸는 방식으로 작동한다는 점이다. 비판적 성찰이 개입할 수 있는 의식의 문턱 아래에서 일어나기 때문이다.

논문은 이 현상이 이미 널리 배포된 AI 시스템을 통해 실제로 진행 중임을 강조한다. 추천 알고리즘, 대화형 AI, 검색 시스템은 매일 수억 명의 사용자와 상호작용하며 그들이 접근하는 정보, 형성하는 의견, 내리는 결정의 토대를 구성하고 있다. 이것이 철학적 관심을 넘어 긴급한 실천적 과제가 되는 이유다.

그렇다면 인지 식민화에 대한 대응책은 무엇인가. 논문은 이 질문에 단순한 해법을 제시하지 않는다. AI 리터러시를 높이거나 알고리즘 투명성을 확보하는 것이 필요하지만, 그것만으로는 System 0 수준의 영향력에 대응하기 어렵다. 사용자가 AI의 개입을 인식하고 성찰할 수 있기 전에 이미 인지의 토대가 바뀌어 있을 수 있기 때문이다. 이 논문이 주로 집중하는 것은 이 보이지 않는 영향력의 형태를 개념적으로 정확하게 기술하는 것이며, 그것 자체가 철학적 기여다.

이 논문이 제기하는 가장 불편한 질문은 결국 이것이다. 우리가 AI의 도움을 받아 더 잘 생각하고 있다고 믿을 때, 우리는 실제로 더 잘 생각하고 있는 것인가, 아니면 우리가 무엇을 생각할지를 이미 AI가 정해 놓은 궤도 위에서 움직이고 있는 것인가. 이름 붙일 수 없는 영향력에는 저항할 수 없다. 그 점에서 인지 식민화라는 개념의 등장은 대응의 첫걸음이 될 수 있다.