허사문은 회화 기반의 작가 허찬오가 매체와 시각 언어를 확장하기 위해 설정한 별도의 작업 프로필이다. 그는 인터넷과 디지털 컬쳐에서 생성되고 유통되는 이미지, 그리고 아카이브와 복제의 환경에 관심을 둔다. 허사문은 원본과 복제의 경계가 흐려지는 공간에서 이러한 이미지가 어떻게 새로운 의미와 감각을 획득하는지 탐구한다.
Samoon Heo is a separate working profile created by painting-based artist Chanoh Heo to expand his media and visual language. He focuses on images generated and circulated through the internet and digital culture, as well as the environments of archives and reproduction. Samoon investigates how such images acquire new meanings and sensations in spaces where the boundary between original and copy becomes blurred.
본 작업은 오픈콜의 메니페스토인 “전시는 끝났지만 데이터는 살아 있다.”라는 문장에서 출발한다. 이 문장을 전시 이후 남는 기록과 파일이 단순한 잔존물이 아니라 다음 형상을 발생시키는 조건이 될 수 있다는 선언으로 읽는다. 여기에 기존 작업에서 자주 참고해온 불교적 사상, 특히 윤회와 업(karma), 연기(緣起)의 관점을 대입해 전시–데이터–생성의 흐름을 하나의 순환 구조로 구성한다.
이번 해커톤/전시 데이터와의 연결 방식
공모 측에서 제공된 전시 데이터셋 중 작품 사진을 중심으로 입력 데이터를 선별한다. 전시를 하나의 생명체이자 하나의 삶으로 가정하고, 전시를 통해 생성된 이미지 및 데이터 파일들은 삶이 끝난 뒤에도 남는 카르마(업의 흔적)에 해당하는 것으로 설정한다. 이후 생성형 인공지능 시스템을 ‘환생 시스템’으로 대입하여, 이 시스템을 통해 재생성되는 새로운 이미지와 영상이 또 하나의 새로운 삶으로 이어지는 구조를 영상으로 제시한다.
작업 의도 및 해석 방향
주목한 요소
전시가 끝난 이후에도 남는 이미지와 기록 데이터가 단순한 아카이브를 넘어 다음 결과물을 만들어내는 조건으로 작동할 수 있다는 점에 주목한다. 또한 데이터가 ‘과거의 흔적’이면서 동시에 ‘다음 생성의 원인’이 되는 구조 자체를 작업의 핵심으로 삼는다.
전시를 해석하고 번역한 방식
불교의 윤회 개념을 참고해, 생명체가 삶을 살아가며 쌓는 업(karma)이 죽음 이후 다음 생의 조건을 형성하듯, 전시 이후 남는 데이터가 다음 생성 결과의 조건이 되도록 개념을 번역한다. 전시는 하나의 삶, 전시 이후 남는 데이터는 카르마(업의 흔적), 생성형 AI는 그 카르마를 읽고 재조합하는 환생 시스템, 재생성된 이미지 및 영상은 연기의 결과로 나타난 다음 생의 형상으로 설정한다.
또한 원본 작가 아야코 록카쿠의 회화에서 느껴지는 생명감과 유기성을 참고해, 결과물이 단순한 생성 이미지가 아니라 ‘생명체처럼 느껴지는 움직임’을 갖도록 방향을 설정한다. 이에 따라 영상은 동물 다큐멘터리를 연상시키는 관찰 시점의 톤을 차용하되, 익숙한 동물 대신 낯설고 미세한 외계 단세포 생명체 같은 움직임을 통해 ‘삶’의 감각을 강조한다.
해당 형식을 선택한 이유
본 작업의 목적은 전시 데이터가 시스템에서 처리되고 재구성되며 새로운 형상으로 이어지는 과정을 시간 기반으로 체감시키는 데 있다. 따라서 영상 형식은 유기적 생기(삶의 장면)와 시스템적 재구성(환생의 계산 과정)을 대비시키며, 윤회의 구조를 가장 직접적으로 드러낼 수 있다고 판단한다.
제작 과정
먼저 제공된 전시 작품 사진을 선별한 뒤, ComfyUI에서 이미지 생성 파이프라인을 구성해 새로운 이미지들을 생성한다. 다양한 입력 이미지 조합을 실험하고, 결과 중 작업의 의도(생명체적 운동감, 유기적 질감)에 부합하는 이미지를 선별한다.
이후 선별된 이미지들을 기반으로 i2v 및 FLF2V 방식으로 영상 클립을 생성하고, 생성된 푸티지들을 After Effects에서 모아 편집과 후보정을 진행한다. 최종적으로 영상의 내러티브 톤을 고정하기 위해 로봇 톤 나레이션을 추가하고, 배경 음악을 생성해 전체 흐름을 정리한다.
기술적 설명
사용 툴, 프로그램, 모델, 워크플로우
이미지 생성: ComfyUI
구조 정보 추출: ControlNet(Depth 등) 및 전처리 프로세서
스타일 조건화: IP-Adapter 기반 Style Transfer
영상 생성: Grok Image-to-Video(i2v) 중심, 일부 FLF2V 방식 병행(WAN/Kling)
편집/후반: Adobe After Effects
나레이션: Chatterbox
배경 음악: Suno
이미지/영상/텍스트 생성 방식
ComfyUI에서 ControlNet을 활용해 원본 이미지의 구조 정보를 맵 형태로 추출하고, IP-Adapter의 Style Transfer 방식을 통해 레퍼런스 이미지를 결합해 새로운 이미지를 생성한다. 이후 이미지-투-비디오(i2v) 및 FLF2V 방식으로 영상 클립을 생성하며, 반복 실험에 유리한 Grok Image-to-Video를 주로 사용한다.
텍스트(나레이션)는 로봇 톤으로 제작해 유기적 생기가 ‘혼돈’으로만 소비되지 않고 시스템적 재구성과 계산의 과정으로 읽히도록 방향을 설정한다.
편집 및 후반 작업 과정
생성된 푸티지들을 After Effects에서 시퀀스로 구성하고, 리듬과 흐름을 조정해 편집한다. 색감과 질감의 통일감을 유지하는 방향으로 후보정을 진행하며, 나레이션과 배경 음악을 결합해 전체 톤을 정리한다.
Concept and Point of Departure
This work originates from the open call manifesto statement: “The exhibition has ended, but the data remains alive.” This sentence is interpreted not as a description of residual files and records, but as a declaration that what remains after an exhibition can function as the condition for generating new forms. Drawing on Buddhist thought—particularly the concepts of samsara (cycle of rebirth), karma, and dependent origination (pratītyasamutpāda)—the work constructs the relationship between exhibition, data, and generation as a cyclical system.
Connection to the Hackathon / Exhibition Dataset
From the exhibition dataset provided through the open call, image data of the artworks was selectively used as the primary input. The exhibition is conceptualized as a single life form, or one complete life. The images and data files produced through the exhibition are positioned as “karma”—traces that remain after the end of life. A generative AI system is then framed as a “reincarnation system,” through which these traces are recombined to produce new images and videos, forming the next cycle of life.
Artistic Intent and Interpretive Direction
Key Elements of Focus
The work focuses on the idea that images and data remaining after an exhibition are not merely archival remnants, but can actively function as conditions for generating subsequent outcomes. It emphasizes the structural duality of data as both a trace of the past and a cause of future creation.
Method of Interpretation and Translation
Drawing from the Buddhist concept of reincarnation, the work translates the idea that karma accumulated during life determines the conditions of the next life. Accordingly:
- The exhibition is defined as one life
- The data that remains afterward becomes karma (residual traces)
- Generative AI functions as a system of reincarnation that reads and recombines this karma
- The newly generated images and videos emerge as the forms of the next life, arising through dependent origination
Additionally, inspired by the vitality and organic qualities found in Ayako Rokkaku’s paintings, the work aims to produce results that do not appear as static generated images, but as entities that seem alive. To achieve this, the video adopts the observational tone of a nature documentary, while replacing familiar animals with unfamiliar, microscopic, extraterrestrial single-celled organisms, thereby emphasizing a sense of life.
Rationale for the Chosen Format
The work seeks to make perceptible the temporal process through which exhibition data is processed, recombined, and transformed into new forms. The video format enables a juxtaposition between organic vitality (scenes of life) and systemic recomposition (the computational process of reincarnation), making the cyclical structure of samsara directly perceptible.
Production Process
The process began by selecting artwork images from the provided dataset. An image generation pipeline was then constructed in ComfyUI to produce new images. Various combinations of input images were tested, and outputs aligning with the intended qualities—organic movement and lifelike texture—were selected.
Based on these selected images, video clips were generated using image-to-video (i2v) and FLF2V methods. The resulting footage was assembled and edited in After Effects, where compositing and post-production adjustments were applied. To stabilize the narrative tone, a robotic voice-over was added, along with generated background music to unify the overall flow.
Technical Description
Tools, Programs, Models, and Workflow
- Image Generation: ComfyUI
- Structural Data Extraction: ControlNet (e.g., depth maps) and preprocessing processors
- Style Conditioning: IP-Adapter (style transfer)
- Video Generation: Grok Image-to-Video (i2v) as primary method, with partial use of FLF2V (WAN/Kling)
- Editing / Post-production: Adobe After Effects
- Narration: Chatterbox
- Background Music: Suno
Image / Video / Text Generation Method
In ComfyUI, ControlNet was used to extract structural information from source images in the form of maps, which were then combined with reference images through IP-Adapter-based style transfer to generate new images. These were subsequently transformed into video clips using image-to-video (i2v) and FLF2V methods, with Grok Image-to-Video favored for iterative experimentation.
The narration was generated in a robotic tone to prevent the organic vitality of the imagery from being perceived solely as “chaos,” instead framing it as part of a system of recomposition and computational process.
Editing and Post-production
The generated footage was arranged into sequences in After Effects, with adjustments made to rhythm and flow. Color grading and textural consistency were refined to maintain visual coherence, and narration and background music were integrated to establish the final tonal structure of the work.
