강시라는 뉴미디어와 설치를 기반으로 인간과 기술, 감각과 구조가 맞물리는 지점을 탐구한다. 그는 ‘없는(Ou) 장소(tOpus)’라는 개념 아래 현실과 가상, 신체와 데이터가 뒤섞이는 시청각적 환경을 구성하며, 기술적 조건 속에서 인간과 비인간의 경계가 어떻게 재편되는지를 질문한다.
Kang Sira works with new media and installation to explore the intersections of human and technology, sensation and structure. Under the concept of “Ou-tOpus,” she constructs audiovisual environments in which reality and virtuality, body and data become entangled, questioning how the boundaries between human and non-human are reconfigured under technological conditions.
작업의 기본 개념과 출발점본 작업은 아야코 록카쿠 회화에서 드러나는 색의 물질성과 표면 구조를 출발점으로 삼아, 회화적 물질이 하나의 환경과 문명으로 확장되는 가능성을 영상으로 구성한 작업이다. 이 작업의 핵심은 특정 회화 이미지를 그대로 재현하는 데 있지 않고, 회화 속 물감의 층, 번짐, 밀도, 충돌, 압력의 흔적을 실제로 존재하는 세계의 조건으로 전환하는 데 있다.
이 작업에서 색은 더 이상 평면 위의 시각적 요소가 아니라 지형, 구조, 경계, 흔적, 사회적 규칙을 형성하는 물질로 작동한다. 두꺼운 유화 물감의 표면은 지층처럼 쌓이고, 번짐은 길과 경계가 되며, 굳은 안료의 능선은 하나의 문명적 질서를 구성하는 법처럼 기능한다. 이러한 물질적 환경 속에서 비인간적 존재들이 움직이고, 흔적을 남기고, 집단을 이루며, 결국 하나의 문명을 형성하고 붕괴한 뒤 다시 순환하는 세계를 상상하였다.
이번 해커톤/전시 데이터와의 연결 방식이번 작업은 아야코 록카쿠 회화에서 드러나는 색의 밀도, 손의 흔적, 표면의 긴장과 물질성을 출발점으로 삼아 진행되었다. 회화의 표면을 하나의 정지된 이미지로 다루기보다, 그 안에 이미 존재하고 있는 색의 흐름과 물질의 운동성을 하나의 환경으로 상상하고, 그 환경 속에서 존재와 구조, 사회적 질서가 형성되는 과정을 영상으로 확장하였다. 즉, 전시 데이터는 단순한 시각적 참고가 아니라, 물질이 환경이 되고 문명이 되는 세계를 구성하는 기본 조건으로 작동하였다.
작업 의도 및 해석 방향
주목한 요소
작업에서 주목한 핵심 요소는 다음과 같다.
손가락으로 직접 밀고 문지른 물감의 두께와 밀도- 서로 충돌하고 흡수되며 표면 위에서 관계를 만드는 색의 흐름-평면 회화의 표면이 지형처럼 읽히는 구조적 가능성-회화적 흔적이 단순한 표현이 아니라 환경적 조건과 사회적 규칙으로 확장될 수 있다는 점 전시를 해석하고 번역한 방식이 작업은 전시에서 주어진 회화적 데이터를 단순히 이미지 차용의 방식으로 사용하지 않았다. 대신 회화의 물질적 특징을 하나의 환경으로 상정하고, 그 환경 속에 이미 존재하는 조형적 존재들이 움직이기 시작한다면 어떤 사회와 문명이 형성될 것인가를 중심 질문으로 삼았다. 즉, 회화의 번짐은 경계로, 안료의 능선은 법으로, 두꺼운 표면은 지형과 건축의 기반으로, 설명할 수 없는 색의 폭발은 신화적 사건으로 번역되었다. 이러한 방식으로 회화적 표면은 감상의 대상이 아니라 사건이 발생하는 환경이 되었고, 영상은 그 환경 안에서 탄생, 부족, 법, 신화, 도시, 탐험, 전쟁, 붕괴, 순환으로 이어지는 비인간 문명의 서사를 형성하게 되었다.
해당 형식을 선택한 이유
생성형 AI 기반 영상 형식을 선택한 이유는 회화의 정지된 표면을 시간성과 사건성을 가진 장면으로 확장하기 위해서이다. 이 작업은 단순히 이미지를 움직이는 것이 아니라, 물질의 조건과 세계의 법칙, 존재의 행동 방식, 사회적 구조를 텍스트 프롬프트를 통해 설계할 수 있는 생성 방식이 필요했다. 생성형 AI는 이러한 조건을 서사형 프롬프트로 입력할 수 있고, 회화적 질감과 구조를 실제로 작동하는 환경처럼 구성하는 데 유효했다.
또한 이번 작업에서는 “이미 존재하는 존재만 움직인다”는 원칙이 매우 중요했다. 따라서 생성형 AI의 자유도를 무한히 열어두지 않고, 이미 합성된 환경 이미지 안에 존재하는 조형 요소만이 움직임의 주체가 되도록 프롬프트를 정교하게 제어하였다. 이는 작업 전체의 미학적 일관성을 유지하기 위한 핵심 선택이었다.
제작 과정
작업의 전개 및 발전 과정작업은 먼저 록카쿠 회화의 물질적 특성을 실제 환경처럼 느껴지는 이미지로 전환하는 단계에서 시작되었다. 이를 위해 회화적 소스와 조형적 물질 소스를 함께 결합하는 이미지 합성 과정을 거쳤다. 회화적 소스로는 선명한 색채의 충돌, 손가락으로 밀린 표면의 흐름, 두꺼운 임파스토 질감, 번지고 겹쳐지는 물감의 층이 사용되었다. 물질적 소스로는 골판지의 섬유 구조, 점토의 균열과 압착된 표면, 나무 파편의 단면감과 질감이 활용되었다. 이 두 요소를 결합해 하나의 환경 이미지를 만들고, 이를 영상 제작의 기준 모델로 설정하였다.
이후 이 환경 이미지를 바탕으로 장면별 프롬프트를 설계하였다. 프롬프트는 단순한 키워드 나열이 아니라, 환경의 상태, 존재의 행동, 사회적 규칙, 사건의 발생, 장면의 조명과 카메라 구조까지 포함하는 방식으로 작성되었다. 생성된 영상들은 이후 편집 과정에서 문명의 단계에 따라 배열되었고, 3분 분량의 하나의 서사 구조로 정리되었다.
작업 과정에서의 주요 고민 지점가장 큰 고민은 생성형 AI가 인간형 캐릭터나 불필요한 오브제를 무작위로 생성하는 문제였다. 특히 얼굴, 눈, 팔다리, 귀여운 캐릭터성, 책이나 종이 같은 언어적 사물은 작업 세계관과 맞지 않았기 때문에 이를 강하게 제한할 필요가 있었다.
또 다른 고민은 장면이 단순한 추상적 움직임에 머무르지 않고 실제 사회처럼 느껴지도록 만드는 것이었다. 단지 떠다니고 충돌하고 사라지는 이미지들은 배경적 장면으로 보일 수 있기 때문에, 부족의 형성, 경계의 생성, 금기의 법, 신화의 탄생, 도시의 축적, 탐험, 전쟁, 붕괴와 순환처럼 문명적 단계가 분명하게 드러나도록 구조를 설계했다.
실험 과정에서의 주요 선택
첫째, 이미 존재하는 존재만 움직이도록 하는 공통 글로벌 프롬프트를 모든 장면에 적용했다.
둘째, 인간형 신체와 얼굴, 눈, 팔다리, 손발을 모두 배제했다.
셋째, 책, 종이, 문서, 글자와 같은 언어적 오브제를 배제했다.
넷째, 질감은 하이퍼리얼하게 유지하되 공간과 사건의 배열은 초현실적으로 구성했다.
다섯째, 장면마다 단순한 비주얼이 아니라 문명의 한 단계가 드러나도록 프롬프트를 서사형으로 길게 설계했다.
여섯째, 사운드는 배경음악이 아니라 물질의 마찰과 압력, 균열과 흐름을 청각적으로 번역하는 방향으로 설계했다.
기술적 설명
사용한 툴, 프로그램, 모델, 워크플로우본 작업은 생성형 AI 이미지/영상 생성 툴을 사용하여 장면을 제작하고, 이후 영상 편집 프로그램을 통해 후반 작업을 진행하는 방식으로 완성되었다.
워크플로우는 다음과 같다.
록카쿠 회화의 질감과 물질적 표면을 바탕으로 환경 이미지 합성
합성 이미지를 기반으로 공통 글로벌 프롬프트, 네거티브 프롬프트, 단계별 서사 프롬프트 작성
생성형 AI 영상 툴에 레퍼런스 이미지와 프롬프트를 함께 입력하여 장면 생성
생성된 장면들을 편집 프로그램에서 재배열
장면 간 전환, 길이, 색감, 크레딧 수정
9:16 원본과 16:9 버전 각각 4K / FHD로 출력
이미지/영상/텍스트 생성 방식이미지 생성 방식은 먼저 환경 합성 이미지를 만드는 방식으로 이루어졌다. 이 이미지는 여러 조형적 재료와 회화적 표면을 결합하여 하나의 환경을 만드는 작업이었고, 이후 모든 영상 생성의 기준 이미지로 사용되었다. 영상 생성 방식은 레퍼런스 이미지 기반 생성 방식과 프롬프트 기반 생성 방식을 병행하였다. 즉, 텍스트 프롬프트만으로 장면을 생성한 것이 아니라, 이미 구성된 환경 이미지에 텍스트 조건을 덧입혀 장면의 사건과 움직임을 제어하는 방식으로 진행되었다.
텍스트는 설명적 문장이 아니라 환경의 법칙과 존재의 행동, 질감, 제한 조건을 동시에 규정하는 설계 텍스트로 사용되었다.
Concept and Point of Departure
This work takes as its starting point the materiality of color and surface structure evident in the paintings of Ayako Rokkaku, expanding painterly matter into the possibility of an environment and a form of civilization through moving images. The core of the work does not lie in reproducing specific paintings, but in translating the layers of paint, diffusion, density, collision, and traces of pressure into the conditions of a world that could plausibly exist.
In this context, color no longer functions as a purely visual element on a flat surface, but operates as a material that forms terrain, structure, boundaries, traces, and even social rules. Thick impasto surfaces accumulate like geological strata; diffusion becomes pathways and borders; hardened ridges of pigment function as laws that organize a form of civil order. Within this material environment, non-human entities move, leave traces, form collectives, and ultimately construct, collapse, and cyclically regenerate a civilization.
Connection to the Hackathon / Exhibition Dataset
This work originates from the density of color, the traces of the hand, and the tension and materiality of surfaces found in Rokkaku’s paintings. Rather than treating the painterly surface as a static image, it is reimagined as a dynamic environment in which the flow of color and the movement of material are already embedded. Within this imagined environment, processes of existence, structure, and social order unfold and are expanded into video form. The exhibition data thus functions not as a visual reference, but as a foundational condition for constructing a world in which material becomes environment and evolves into civilization.
Artistic Intent and Interpretive Direction
Key Elements of Focus
- The thickness and density of paint directly pushed and rubbed by the artist’s fingers
- The flow of color as it collides, absorbs, and forms relationships across the surface
- The structural potential of reading the flat pictorial surface as a form of terrain
- The expansion of painterly traces from expressive marks into environmental conditions and social rules
Method of Interpretation and Translation
Rather than appropriating painterly imagery, this work treats the material properties of painting as a fully realized environment. It poses the central question: if formal elements already present within the painterly surface were to begin moving, what forms of society and civilization would emerge? Diffusion becomes boundary; pigment ridges become law; thick surfaces become the foundation of terrain and architecture; and unexplained bursts of color are translated into mythic events. In this way, the painterly surface is no longer an object of contemplation, but an environment in which events occur. The resulting video constructs a non-human civilizational narrative spanning birth, tribe formation, law, myth, urban accumulation, exploration, conflict, collapse, and cyclical renewal.
Rationale for the Chosen Format
A generative AI-based video format was selected in order to extend the static surface of painting into a domain of temporality and event. This work is not concerned with animating images per se, but with designing the conditions of matter, the laws of a world, the behaviors of entities, and the structures of society through textual prompts. Generative AI enables these conditions to be articulated as narrative-driven prompts and effectively constructs painterly textures and structures as functioning environments.
A key principle in this work is that “only what already exists may move.” Accordingly, the generative process was not left fully open-ended; instead, prompts were precisely controlled so that only formal elements already present within the composed environment images could act as agents of movement. This constraint was essential for maintaining the overall aesthetic coherence of the work.
Production Process
Development and Evolution
The process began by translating the material qualities of Rokkaku’s paintings into images that could be perceived as tangible environments. This involved compositing painterly and material sources. Painterly sources included vivid color collisions, the directional flow of finger-applied paint, thick impasto textures, and layered diffusion. Material sources included the fibrous structure of corrugated cardboard, the cracked and compressed surfaces of clay, and the fractured textures of wood. These elements were combined into a single environmental image, which served as the foundational model for video production.
Based on this environment, scene-specific prompts were developed. These prompts extended beyond simple keywords, incorporating environmental conditions, entity behaviors, social rules, event structures, lighting, and camera composition. The generated scenes were subsequently edited and arranged according to stages of civilization, resulting in a unified narrative of approximately three minutes.
Key Challenges
A primary challenge was the tendency of generative AI to produce human-like characters or unnecessary objects. Elements such as faces, eyes, limbs, anthropomorphic features, and textual objects (e.g., books or documents) conflicted with the conceptual framework and therefore required strict exclusion.
Another challenge was ensuring that the scenes conveyed a sense of a functioning society rather than remaining as abstract motion. To avoid purely decorative or background imagery, the structure was designed to clearly articulate stages such as the formation of tribes, the emergence of boundaries, the establishment of taboo and law, the birth of myth, the accumulation of cities, exploration, conflict, collapse, and cyclical regeneration.
Key Decisions in the Experimental Process
- A global prompt was applied across all scenes to ensure that only pre-existing entities could move
- All anthropomorphic features (faces, eyes, limbs, hands, feet) were excluded
- Linguistic objects (books, documents, text) were excluded
- Textures were maintained at a hyper-real level, while spatial and event structures were composed in a surreal manner
- Prompts were written as extended narrative structures to ensure that each scene represents a stage of civilization
- Sound was designed not as background music, but as an auditory translation of material friction, pressure, fracture, and flow
Technical Description
Tools, Programs, Models, and Workflow
This work was produced using generative AI tools for image and video creation, followed by post-production in video editing software. The workflow is as follows:
- Composition of environmental images based on the textures and material surfaces of Rokkaku’s paintings
- Development of global prompts, negative prompts, and stage-specific narrative prompts
- Input of reference images and prompts into generative AI video tools to produce scenes
- Rearrangement and editing of generated scenes
- Adjustment of transitions, duration, color grading, and credits
- Output in both 9:16 (original) and 16:9 formats, in 4K and FHD resolutions
Image / Video / Text Generation Method
Image generation was based on the creation of composite environmental images, combining multiple material and painterly surfaces into a unified setting. These images functioned as reference models for all subsequent video generation.
Video generation employed both reference image-based and prompt-based methods. Rather than relying solely on text prompts, pre-constructed environment images were combined with textual conditions to control events and movement within each scene.
Text functioned not as descriptive language, but as a form of design script—simultaneously defining environmental laws, entity behavior, material qualities, and constraints.
