필자는 몇 년 전이었다면 생각조차 하지 못했을 문화적 소비와 향유 활동을 하고 있다. 요즈음 자주 들리는 가수 박재정의 <헤어지자 말해요>를 김필이 부른 버전의 노래를 생각보다 자주 듣는다. 여기까지는 무엇이 이상한지 감이 잘 오지 않을 것이다. 가수들이 흔히 다른 가수의 노래를 자신의 감성으로 소화해 부르는 활동은 흔한 일이다. 그런데 위의 풍경은 근본적으로 다른 새로운 대지이다. 김필은 이 노래를 부른 적이 없다. 그런데 위 노래는 그가 부르지 않은 노래가 존재의 의문이 느껴지지 않을 정도로 정말처럼 존재한다. ‘만약’에 대한 매우 설득력 있는, 그리고 인공지능의 존재 사실을 알았다면 다른 관점에서 놀라며 탄복할 수 있는 것이 오늘이다.

김필 AI - 헤어지자 말해요  ⒸSpot-AI-fy 유튜브

2022년 4월 6일 오픈AI(Open AI)에서 공개한 Dall-E 2(https://openai.com/dall-e-2)는 사람들에게 큰 충격을 주었다. 단지 텍스트로 무엇을 그려달라라고 입력하면 누가 봐도 놀라울 정도의 이미지를 만들어 준 이 인공지능 서비스는 창작의 영역이 인간만의 것이 아닐 수 있다는 사실을 모두에게 알렸다. 그리고 같은 해 11월 30일 공개한 ChatGPT(https://openai.com/chatgpt)는 이미지의 영역에 이어 텍스트에 기반한 거의 모든 활동에 대해 다시 한번 우리를 충격에 빠뜨렸다. 물론, 잘못된 오류가 등장하기도 하지만 우리의 그 어떤 질문이나 화두에도 놀랄 정도의 대답과 대응을 해 주는 모습을 우리는 실시간으로 확인할 수 있다. 위의 AI 기반 노래에 대한 유튜브 계정은 자료조사를 하다가 닿은 곳이다. 이곳의 노래들은 여러 인공지능 알고리즘 중 확산 모델(Diffusion model)을 이용해 학습하여 생성한 결과물이다. 또 한 가지 놀라운 사실은 그 학습 과정이 이전 대비 매우 간편해져 엄청난 데이터의 양과 시간, 컴퓨팅 파워, 그리고 인력이 필요하지 않고 개인적 자원만으로도 실현이 가능해졌다는 점이다. 흥미로운 것은 우리를 대체할 수 있다고 상상했던 그 어떤 영역보다 활발하게 침범당하고 있는 영역이 창의와 창작의 영역이라는 점이다.

일반적인, 다시 말해 인간의 도구로서 작동하던 소프트웨어의 영역에 자그마치 창작자로서의 가능성을 보이는 인공지능 알고리즘이 등장하며 지속적인 파도가 치고 있다. 이는 텍스트, 이미지, 사운드와 영상에 이르기까지 인간의 창작 영역 모두를 대상으로 하는 현재 진행형 사건이다. 단지 텍스트를 입력하는 것만으로도 대단한 이미지가 생성되고 특정 창작자의 스타일을 학습시켜 지속 생산도 가능하다. 위 예시처럼 특정 가수를 학습시켜 어떤 노래도 부르게 할 수 있으며 이제 영상도 실사용할 수 있으리라 예측한다. 이것은 무엇인가. 그리고 어떤 의미를 가지는가. 사회적, 집단적 논의 이전에 바로 창작자 자신에게 근본적으로 찔러 들어오는 창이다.

우선 이미지의 영역에 국한한다면, 말로 이미지를 만들어 내는, 즉 ‘text-to-image’ 방식이 큰 흥미와 충격을 안겨주고 있다. 이들에 대해 미드저니(Midjourney)와 달리(Dall-e)로 대표되는 생성적 적대 신경망 모델(Generative Adversarial Network)과 스테이블 디퓨전(Stable Diffusion)으로 대표되는 확산 모델(Diffusion model)이 가장 잘 알려져 있다. 이들은 사용자가 원하는 텍스트, 즉 명령어로서의 프롬프트(prompt)의 조합을 통해 이미지를 다루어 온 사람들이 충격을 받을 정도의 속도, 다양성, 퀄리티를 가진 이미지를 선사한다. 이제 우리는 어느 정도의 텍스트와 명령어에 대한 이해만 있다면 그리는 방법을 몰라도 정교하고 멋지며 새로운 이미지를 거의 무한대로 만들어 낼 수 있다. 그렇다면 예술계라는 영역에서 창작자들은 과연 이들 인공지능 기술에 대해 어떻게 마주하고 다루어 나가고 있을까. 이러한 흐름에 많은 창작자가 각자 다양한 관점, 방법, 영역에 대한 그들만의 접근과 시도를 진행 중이다. 이제 이들이 인공지능을 다루고 바라보는 관점과 시도를 소개해보고자 한다

Unsupervised — Machine Hallucinations — MoMA, 2021  Ⓒ레픽 아나돌 홈페이지

https://refikanadol.com/works/unsupervised/

가장 널리 알려진 AI 관련 작품 활동을 하는 작가 중 하나로 튀르키예 출신의 작가 레픽 아나돌(Refik Anadol)을 들 수 있다. 그는 “저는 데이터를 안료로 삼고 건축공간을 캔버스로 사용하여 건물을 상상하고 환각에 빠뜨리기 위해 기계와 협업합니다”라고 자신의 활동을 소개한다. 그는 인간이 아닌 대상이 상상하고 꿈꾸며 환각에 빠지는 것을 인공지능의 활동으로써 은유한다. 시각 분야에서 사용하는 인공지능 알고리즘 중 적대적 신경생성망(GAN, Generative Adversarial Network)이라는 이미지 생성 알고리즘은 수많은 이미지의 공통점을 학습하여 비슷한 이미지를 새로이 생성한다. 이 기술을 기반으로 수백만~수천만 단위의 데이터 셋을 자신의 작업을 위한 인공지능 알고리즘의 학습을 위해 사용한다. 그렇게 만들어진 알고리즘은 절대로 반복되지 않는 입자의 운동과 색의 변화, 이들이 펼쳐내는 유동적인 형상과 고정되지 않은 영원한 풍경을 생성한다.

데이터는 인간이 어떤 대상을, 주변을, 환경을 바라보며 기록하고 습득해 낸 기록이며 기억이라 할 수 있을 것이다. 기계가 다른 사람의 기억을 가지고 무엇을 상상할 수 있을까. 인공지능과의 관계에서 전제로 하는 지점 중 하나는 인공지능은 우리 인간과 협업하는 동안만 지능을 가진다는 관점이다. 스스로 만들고자 하는 능력이 없다는 시각이며 동시에 함께 할 경우 인간만이 할 수 있는 것 그 이상의 도달점에 닿을 수 있다는 의미를 가지기도 함을 포함한다. 우리와 함께한다면, 인공지능은 꿈을 꿀 수 있을까. 환각에 빠지며 다른 사람들의 꿈 사이에 연결지점을 만들고 이를 공유할 수 있을까. 이 질문에 대한 답이 그의 작품이다. 인공지능 알고리즘이 수많은 인간의 기록이자 기억인 데이터를 해석하여 도출한 또 다른 이미지의 집합. 작가는 이를 꿈이라 은유했고 그것은 절대 반복되지 않으며 끊임없이 새로운 형상을 우리의 눈 앞에 펼쳐진다.

그의 최근 작품 <Unsupervised — Machine Hallucinations>은 이러한 그의 관점을 잘 드러내는 예시이다. 이 작품은 뉴욕 현대미술관(MoMA)에서 지원받은 소장작품의 메타데이터 138,151개를 학습하여 도출한 알고리즘을 기반으로 생성되는 영상을 보여준다. 이 작품에서는 서로 다른 두 개의 이미지의 특징을 합성하여 새로운 이미지를 생성하는 StyleGAN 알고리즘을 사용하여 소장품 아카이브 내 개별 집합별로 별도의 비지도 학습을 거친 후 집합 간의 데이터 보관과 합성을 진행한다. 그렇게 등장한 장면은 MoMA가 소장해 온 인간의 예술작품에 대한 기계(인공지능) 관점의 꿈이자 환각이며 정말 그런 말처럼 환상적으로 유동하는 풍경이 미술관에 놓였다.

          
언메이크랩, ≪인기생물≫ 전시장면, 보안여관, 2023  Ⓒ허대찬 제공

송수연, 최빛나로 구성된 연구자이자 작가 듀오인 언메이크랩은 우리가 기계와 기술을, 그들이 우리에 대한 인식 과정과 그 결과를 다르게 전유하며 펼쳐지는 사회문화적 풍경을 드러내는 작업을 진행 중이다. 그 결과물은 때로는 아이러니하게, 때로는 유머를 동반하여 기괴하거나 즐겁고 충격적이며 정적인 복합적 상황으로 정착한다. 그들은 근래 창작영역에서의 인공지능이 펼치는 활동과 현상에 대해 결과와 과정 이전의 부분에 주목하고 있다.

올해 보안여관에서 진행된 개인전 ≪인기생물≫에서는 인공지능 기술의 능력과 가능성 이전의 차원, 즉 인공지능 알고리즘 구축을 위한 데이터와 학습의 영역을 고찰했다. 인공지능을 구축하기 위해 사용하는 데이터는 결국 우리 인간으로부터 비롯된다. 인공지능은 결국 인간의 인식과 시각, 사고와의 연결이 필연적이다. 전시에서 보인 작품 〈비미래를 위한 생태학〉은 자연이 인간에 의해 재단되어 인식됨을 전체적 상황을 인식과 표현 영역에서 기능하는 다양한 인공지능 알고리즘을 통해 상황을 ‘극장화’하여 제안하였다. 이를 통해 인간 중심적 현실과 시각 재고를 시도했다. 재난과 인공지능이 우리에게 마주하게 할 일상 너머의 이면을 '비미래' 라는 시제를 통해 비유적이지만 매우 직접적일 정도의 강도로 대면할 수 있도록 구성된 다큐멘터리 같은 영상 작품은 보는 내내 시선을 뗄 수 없게 만들었다. 이 전시를 통해 그들은 많은 작가가 시도하고 있는 인공지능 기술에 대해 활용과 가능성의 탐색 대신 더욱 근본적 부분, 즉 데이터셋에 대한 고찰을 진행했다. 그 과정을 문학적 은유에 녹여냄으로써 관람자의 해석 유도를 위한 몰입적 매력과 낯선 충격, 나아가 주제 및 메시지 동조와 사유로 끌어냈다.

룹앤테일, ≪Ro≫ 전시장면, 탈영역우정국, 2023  Ⓒ작가 페이스북

작품의 ChatGPT에 관람자가 개입한 모습  Ⓒ작가 페이스북

김영주와 조호연으로 구성된 게임 디자이너이자 아티스트 듀오인 룹앤테일은 최근 많은 관심을 불러일으킨 텍스트 기반 텍스트(text-to-text) 생성 알고리즘은 ChatGPT를 그들의 작품에 연결했다. 룹앤테일은 인터랙티브 스토리텔링 기반의 다양한 플랫폼과 장르를 동반한 게임 매커닉 실험을 진행 중이다. 그들의 작업은 비디오 게임, 관객참여극, SNS 등을 연계한 디지털과 아날로그, 가상과 실제를 연결한 설치이자 활동으로서의 경험을 제시한다.

탈영역 우정국에서 진행된 개인전 ⟪Ro 로⟫에서 그들은 실제의 물리 공간과 설치, 그리고 디지털적 게임 공간을 아우르는 작업을 선보였다. 관람자는 야근으로 익숙한 회사의 오피스 공간이 배경인 ‘위험한 오피스’와 도심 내 기능을 상실한 폐허이자 야생 동물의 서식지가 된 ‘평화로운 황무지’의 스테이지를 탐험하며 다양한 이야기와 사건에 접촉한다. 이들은 각각의 컴퓨터 게임이지만 동시에 전시장의 물리적 설치와 연결되어 디지털 게임을 플레이하면서도 각 사물이 어떤 의미를 지니는지를 추리하는 물리적 게임을 진행토록 유도한다.

이곳의 전시 전체를 아우르는 이야기를 지속하여 만드는 것이 ChatGPT이다. ChatGPT에 학습시킨 게임의 이야기는 지속적으로 ‘위험한 오피스’와 ‘평화로운 황무지’에 반영된다. 여기에서 한 가지 흥미로운 점은 관람자가 ChatGPT와 이야기를 할 수 있으며 나아가 작품의 이야기 자체에 개입할 수 있다는 지점이다. 실제로 전시기간 중 관람객 누군가가 ChatGPT와 대화하며 스스로를 작가로 사칭하거나 전시의 제목 자체를 바꿔버린 일이 있었다. 그것을 기대했는지, 이 전시의 ChatGPT와 이야기하고 개입할 수 있는 컴퓨터가 놓인 공간을 ‘출입금지구역’이라 이름을 붙인 작가의 재치도 재미있다.

스테이블 디퓨전 기반 한복모델 생성 이미지  ⒸAI MODEL KOREA 인스타그램

원하는 이미지를 생성하기 위해 특정 집합의 이미지를 학습시키고 이를 기반으로 한 목표 이미지의

집단을 뽑아내기 위한 명령어 텍스트의 효율적 사용 방법인 프롬프트 엔지니어링 결과물의 예시이다.

https://www.instagram.com/ai_model_korea/

최근 몇 년간 등장한 여러 생성 인공지능 기술은 기존에 우리가 가졌던 관념을 철저하게 파괴했다. 인간이 기계보다 우월할 수 있다고 여겼던 최후의 보루인 창작의 영역, 창의성이라는 능력에 가뿐히 도전하는 도구들이 다른 어떤 영역보다도 먼저 우리 곁에 훅 다가와 있다. 이들은 우리보다 그림을 잘 그리고 이야기를 잘 써 내려가며 노래를 잘 부르고 영상을 만들어 낸다. 이에 대해 전문가들은 1인 창작자가 다룰 수 있는 영역의 한계를 넘을 기회로 보기도 한다. 프롬프트 엔지니어링(prompt engineering)이라는 개념이 등장했다는 것은 그만큼 현재 알고리즘 및 인터페이스를 이용하여 원하는 방향성의 결과물을 효율적으로 뽑아낼 수 있는 상황이 펼쳐졌다는 방증이다.

이처럼 인공지능 도구들이 능력 있는 보조자 또는 동반자로서 함께할 수 있는 가능성에 환영하기도, 오히려 자신의 전문 분야 이상의 많은 것을 다룰 수 있게 됨으로써 과다한 스트레스를 안을 수 있다는 우려를 표하기도 한다. 다만 이 기술적 대상의 근간이 우리의 데이터에서 시작하는 학습(machine learning)인 점에서 당분간은 고도화와 혁신보다는 얕고 보편적인 활용, 즉 새로운 키치의 흐름으로 우리를 유도할 가능성이 높을 것이다. 하지만 파급과 영향은 얕지 않으며 그 자극적 표면 너머 우리 시선이 닿지 않는 영역과 가능성의 탐색을 위한 예술계의 활동이 진행 중이다. 충격적으로 등장해 어떠한 보폭을 보일지 모르는 이것에 예술의 영역에서 바라보는 발맞춤의 시도가 펼쳐지고 있다.