김효재는 이미지, 알고리즘, 사운드를 매개로 데이터와 신체감각의 접점을 탐구한다. 그의 작업은 데이터 속에 내재한 패턴이 감각적 경험으로 전환되는 과정을 시각과 청각의 언어로 풀어낸다.
Kim Hyo-jae explores the intersection of data and physical senses through images, algorithms, and sound. The artist’s work translates the inherent patterns within data into sensory experiences, articulating this transformation through visual and auditory languages.
본 작업은 아야코 록카쿠의 시각적 작품을 청각적 감각으로 변환하여 새로운 사운드를 만들어보자는 아이디어에서 출발한다. 이는 단순한 음악을 넘어, 일상의 다양한 소리에 대한 관심을 바탕으로 시각을 청각으로 치환해보는 실험이다.
이번 전시 데이터를 접했을 때, 이를 있는 그대로 차용하기보다는 데이터 고유의 속성을 변환하여 완전히 새로운 결과물을 도출하는 데 목표를 둔다.
아야코 록카쿠 작품에서 소용돌이치는 듯한 ‘배경의 색채’에 주목한다. 다채로운 색이 섞인 캔버스에서 다양한 감각이 뒤섞이는 듯한 강렬한 인상을 받았고, 이러한 경험을 입체적으로 전달하고자 시각 데이터를 청각으로 치환하는 형식을 선택한다.
화면의 컬러 코드와 채도 데이터를 스포이드로 한 칸씩 추출하듯 뽑아내어 사운드로 변환하는 방식으로 작품을 해석한다.
이를 통해 작품에서 느껴지는 시각적 혼돈과 그 이면의 동화적이고 따뜻한 심상이 소리로 어떻게 발현되는지 실험한다.
작품을 1,000칸으로 나누어 AI로 추출한 색상·채도·명도 데이터를 오디오 합성 언어인 ‘슈퍼콜라이더(SuperCollider)’를 통해 사운드로 변환한다. 작업 과정의 가장 큰 고민은 ‘작품의 색채 데이터가 소리로 변환되는 과정을 시각적으로 어떻게 구현할 것인가’였다. 이를 위해 단일 화면에 시간성을 부여하는 방식을 택한다. 데이터 추출 코드 화면, 그림이 스캔되며 소리가 나는 연출, 그리고 록카쿠 특유의 ‘촉각적 에너지’를 담은 반응형 웹캠 작업이 순차적으로 나타나고 사라지게 구성한다. 결과적으로 시각, 청각, 촉각의 세 가지 감각이 한 화면 안에서 유기적으로 어우러지도록 한다.
사용 툴
– AI 및 데이터: ChatGPT, Gemini Canvas, Midjourney, Kling
– 사운드 및 코딩: SuperCollider
– 영상 편집: CapCut
제작 워크플로우
- 데이터 추출 및 사운드 변환 (ChatGPT, SuperCollider)
사진을 1,000칸으로 분할해 히트맵 데이터를 추출하고, 이를 수치화하여 데이터 기반의 사운드를 제작한다. - 배경 영상 생성 (Midjourney, Kling AI)
‘꽃의 그림자’ 배경 이미지를 생성한 후, 움직임을 부여해 동적인 영상으로 변환한다. - 인터랙티브 시각화 (Gemini Canvas)
사운드(주파수/볼륨) 값에 따라 1,000개의 그리드 칸이 실시간으로 반응하도록 오디오 비주얼라이제이션을 프로그래밍한다.
후반 작업 및 편집 (CapCut)
생성된 배경 영상, 시각화 프로그래밍 결과물, 사운드를 최종적으로 결합하고 편집하여 작품을 완성한다.
Concept and Point of Departure
This work begins with the idea of transforming the visual language of Ayako Rokkaku’s paintings into auditory form, generating a new kind of sound. Extending beyond conventional music, it is conceived as an experiment in translating visual perception into sound, grounded in an interest in the diverse sonic textures of everyday life.
Rather than directly appropriating the exhibition dataset, the project aims to transform its inherent properties in order to produce an entirely new outcome. In particular, it focuses on the swirling “background colors” characteristic of Rokkaku’s paintings. The artist was struck by the intense sensory impression created by the blending of diverse colors on the canvas, and chose to translate this experience into sound in order to convey it in a more immersive, multidimensional way.
The work interprets the image by extracting color codes and saturation values—pixel by pixel, as if sampling with an eyedropper—and converting these into sound. Through this process, it explores how the visual chaos and the underlying warmth and fairy-tale-like sensibility of the paintings can manifest in an auditory form.
Method and Structure
The image is divided into 1,000 segments, from which color, saturation, and brightness data are extracted using AI. These values are then translated into sound through the audio synthesis language SuperCollider.
A central challenge in the process was determining how to visually represent the transformation of color data into sound. To address this, the work introduces temporality within a single screen. The composition unfolds sequentially: a data extraction interface, a scanning process in which the image produces sound, and a responsive webcam-based interaction that captures the tactile energy associated with Rokkaku’s practice. Through this structure, visual, auditory, and tactile elements are integrated into a unified sensory experience.
Tools
- AI & Data: ChatGPT, Gemini Canvas, Midjourney, Kling
- Sound & Coding: SuperCollider
- Video Editing: CapCut
Production Workflow
- Data Extraction and Sound Conversion (ChatGPT, SuperCollider)
The image is divided into 1,000 cells, from which heatmap data is extracted and quantified to generate data-driven sound. - Background Video Generation (Midjourney, Kling AI)
A “flower shadow” background image is generated and then animated to create a dynamic visual layer. - Interactive Visualization (Gemini Canvas)
An audio visualization system is programmed so that 1,000 grid cells respond in real time to sound parameters such as frequency and volume. - Post-production and Editing (CapCut)
The generated background visuals, interactive visualization outputs, and sound are combined and edited into the final work.
