김정훈은 신경망이 무언가를 알게 되는 과정을 시각화한다. 반복되는 연산이 만들어내는 수렴과 진동, 그 내부의 구조적 변화를 다양한 차원에서 감각할 수 있는 형태로 번역하는 작업을 이어가고 있다.
Junghun KIM visualizes the process of a neural network coming to know. He translates the convergence and oscillation of repeated computation — and the structural changes within — into forms that can be perceived across multiple dimensions.
Δw ∈ ℝⁿ은 인공 신경망이 한 사람의 텍스트를 학습하는 과정을 있는 그대로 시각화한 작품이다. Δw는 가중치의 변화량(delta weight), 즉 학습의 최소 단위를 의미하며, ℝⁿ은 이 변화가 존재하는 수학적 공간의 차원을 뜻한다.
처음에는 록카쿠 아야코(Rokkaku Ayako) 스타일의 이미지를 AI로 생성하는 것으로 시작했다. 그러나 ‘록카쿠 스타일의 이미지’는 나오지만 거기에 록카쿠 자신은 없다는 것을 깨달았다. 표면만 닮았을 뿐, 그 사람이 왜 그렇게 그리는지에 대해서는 아무것도 담겨 있지 않았다.
록카쿠는 인터뷰에서 자신의 작업을 “그냥 같은 행위를 반복했을 뿐”이라고 말한다. AI의 학습도 마찬가지다 — 같은 연산을 반복하고, 어느 순간 무언가를 아는 상태에 도달한다. 둘 다 과정 자체에 의미가 있다. 이 작품은 그 과정을 기록한다.
전시 데이터와의 연결 방식
록카쿠 아야코가 직접 쓴 텍스트 9편(작업 과정에 대한 회상, 색에 대한 감각, 어린 시절 기억 등)을 docto-lora(SakanaAI)기술에 입력하여 2,396,160개의 신경망 가중치로 변환했다. 이 숫자들이 록카쿠의 텍스트가 AI 내부에서 갖는 형태이다. 아무것도 모르는 빈 모델(0)이 이 목표값을 향해 학습하는 500단계의 과정을 세 가지 차원에서 기록하였다.
주목한 요소
록카쿠의 작업에서 가장 주목한 것은 ‘반복’과 ‘직접성’이다. 록카쿠는 붓을 사용하지 않고 손으로 직접 그린다. 도구나 매개 사이에 아무것도 두지 않는다. AI 학습도 마찬가지로, 그래디언트 디센트(gradient descent)라는 동일한 연산을 수백 번 반복하며 가중치를 조정한다. 이 반복의 구조적 유사성에 주목한다.
전시를 해석하고 번역한 방식
록카쿠의 예술적 과정을 AI의 학습 과정과 병치시킨다. 화면에 보이는 값들은 전부 실제 신경망 파라미터 값이며, 어떠한 시뮬레이션 효과도 적용하지 않는다. 프랙탈이나 유체 시뮬레이션 등 시각적으로 화려한 표현도 시도했으나, 결국 모두 제거한다. 손으로 직접 그리는 록카쿠의 방식에 대한 존중으로, 데이터와 표현 사이에 가능한 한 아무것도 두지 않는다.
해당 형식을 선택한 이유
세 가지 차원(ℝ, ℝ², ℝ³)으로 동일한 학습 과정을 보여주는 형식을 선택한다.
- Δw ∈ ℝ — 가중치를 십진수 수열로 화면에 직접 표시한다. 검정 배경 위의 흰색 숫자들이 학습 과정에서 실시간으로 변화한다. 26개 트랜스포머 레이어의 구조가 수직으로 나열되며, 좌측의 구조선이 모델 아키텍처를 암시한다.
- Δw ∈ ℝ² — 26개 트랜스포머 레이어 × 8 랭크를 가중치 값을 32종의 색상과 형태로 변환하여 2차원 평면에 배치한다. 학습 후반부로 갈수록 색상이 분화하며, 모델 내부의 레이어별 특성 차이가 색의 분포로 드러난다.
- Δw ∈ ℝ³ — 26개 레이어를 반투명 3D 슬래브로 공간에 배치하고 카메라가 궤도를 그리며 촬영한다. 레이어 간의 깊이 관계가 드러난다.
시간 축에는 로그 스케일 압축을 적용하여, 초반의 격렬한 변화(실제로는 1~2초 만에 끝남)를 확대하고, 후반의 미세 조정은 압축한다. 음향은 26개 레이어의 그래디언트 크기를 펜타토닉 스케일로 변환하여 학습의 동역학을 청각적으로 전달한다.
세 차원의 영상은 순차적으로 이어진다. ℝ³까지 감상한 뒤 다시 ℝ으로 돌아오면, 처음에는 숫자의 나열로만 보이던 화면 안에서 레이어의 구조와 학습의 흐름이 읽히기 시작한다. 같은 데이터를 다른 차원에서 바라본 경험이 시선을 바꾼다.
제작 과정
- 텍스트 수집 및 전처리
록카쿠 아야코가 직접 작성한 텍스트 9편을 수집하고, 작가의 목소리만 추출하여 정제한다. - LoRA 가중치 추출
doc-to-lora(SakanaAI) 기술을 사용하여 텍스트를 Gemma-2-2b-it 모델의 LoRA 어댑터 가중치로 변환한다. 26개 레이어 × 8 랭크의 A, B 행렬(2,396,160개 파라미터)을 추출한다. - 학습 시뮬레이션
빈 모델(모든 값이 0)에서 시작하여 추출된 목표 가중치를 향해 Adam 옵티마이저로 500단계 학습을 실행한다. 매 단계마다 전체 가중치 변화를 기록한다. 학습률 0.003, 그래디언트 노이즈 주입(scale 0.15, 학습 진행에 따라 감쇠)을 적용한다. - 시각화 렌더링
- ℝ: Python + Pillow(DejaVu Sans Mono) 기반 커스텀 렌더러를 사용한다. 3840×6828 세로 캔버스에 네이티브 렌더링 후 16:9로 크롭한다. 검정 배경, 흰색 숫자, 균일 밝기를 유지하며 트랜스포머 아키텍처 구조선을 포함한다.
- ℝ²: 32종 색상 + 32종 8×8 픽셀아트 마스크로 인코딩하고, 퀀타일 기반 매핑을 적용한다. 학습 과정에서의 가중치 분포 변화가 색상의 분화로 나타난다.
- ℝ³: ModernGL(OpenGL) 기반 GPU 가속 렌더링을 사용한다. 26개 반투명 텍스처 쿼드를 배치하고 카메라 궤도 회전을 적용한다. 블룸 후처리를 포함하며, 3840×2160(4K), 60fps, HDR10으로 출력한다.
- 음향 합성
26개 레이어의 그래디언트 크기를 펜타토닉 스케일 주파수로 변환하고, 사인파 합성(기본파 + 2차/3차 하모닉)을 적용한다. 학습 진행에 따라 진폭 변조를 수행한다.
후반 작업
세 영상을 순차적으로 연결하고, 페이드 투 블랙(1.5초) 트랜지션을 적용한다. 엔딩 크레딧(나눔고딕코딩)을 추가하며, 4K/FHD × SDR/HDR로 최종 인코딩한다.
1. Breath of Chaos: Composition and Circulation of Particle Swarms / Resonance of the Hand: Accumulation of Painterly Lines and Surfaces
1) Breath of Chaos: Composition and Circulation of Particle Swarms
This work reconstructs three layers of data surrounding the exhibition into a single, breathing field. Colors extracted from the works of Ayako Rokkaku, winter climate data from Seoul, and visitor statistics accumulated during the exhibition period are transformed into a swarm of cube-like particles that continuously attract, repel, and circulate.
These particles are not merely formal elements but visualizations of an atmospheric condition—one produced collectively by artworks, space, weather, and human movement within a shared site.
Rather than explaining or diagramming data, the work translates its rhythms and densities into a sensorial landscape. The aggregation and dispersion of particles, their lingering afterimages, and sudden bursts reveal otherwise invisible environmental changes, suggesting that the exhibition was not a fixed scene but a constantly breathing ecosystem. Here, chaos does not signify disorder, but a state in which heterogeneous forms of information coexist and remain in motion.
2) Resonance of the Hand: Accumulation of Painterly Lines and Surfaces
While based on the same dataset as the first work, this piece reorganizes the visual field through the language of lines and surfaces rather than particles.
Colors extracted from the artworks, along with their scale, spatial placement, climate fluctuations, and visitor movement, are translated into layered painterly strokes that appear scratched, pressed, and overwritten by hand. What matters here is not a single line, but the pressure, trace, and residual rhythm accumulated through their overlap.
Without reproducing specific images, the work reactivates the painterly sensibility of the original works through data-driven movement. The lines that fill the screen sometimes spread like flows, and at other times condense into incisions that seem to wound the surface, translating the sensory memory of the exhibition space into an abstract painterly field.
Ultimately, this work proposes not a way of reading data, but a way of touching and feeling it.
2. Breathing with the Chaos
Breathing with the Chaos is a single-channel video generated from real visitor data, weather data, and color data extracted from the exhibited artworks, recorded during the exhibition period (December 5, 2025 – January 22, 2026). It consists of six video records structured across three modes: art game, data visualization, and 3D visualization. Each segment interprets the same dataset through a different lens.
The work originates from Ayako Rokkaku’s painterly method of directly applying paint with her hands. Her practice, which emphasizes tactile immediacy and bodily energy, is translated here into a digital environment. Mouse actions—clicking, dragging, and navigating—correspond to the gesture of applying paint, rendering invisible energies visible through data and algorithm. The mouse cursor functions as an extension of the finger and a central visual element.
The work begins from the premise that “energy” already exists in the form of data. Visitor statistics, weather conditions, and extracted visual information are understood not as inert numbers, but as living traces of presence.
Focusing on breath, chaos, and tactility, the artist does not treat data as something to be statistically analyzed, but as a material to be fought with, drawn through, and animated. The cursor becomes a finger, the algorithm becomes paint, and the screen becomes a canvas. Chaos, in this work, breathes—formed by the entanglement of multiple visitors, days of weather, and the artist’s embodied actions.
The work adopts the format of recorded gameplay across six web-based environments. This choice allows the viewer to witness how the screen is completed through an active engagement—almost a confrontation—with the energy of the exhibition space itself.
3. Chaos.Weather.Breath
This work takes as its material 50 days of real meteorological data (December 4, 2025 – January 22, 2026) collected at the Total Museum of Contemporary Art during Ayako Rokkaku’s solo exhibition Breathing with the Chaos. By directly linking the exhibition’s central proposition—“breathing with chaos”—to weather, one of nature’s most unpredictable phenomena, the work visualizes data not as abstract numbers but as a living breath.
Rokkaku’s practice—painting with her fingers, working without preparatory sketches, and finding hope within chaos—is translated into a data-driven process. Meteorological data becomes the source of improvisation, generating images without prior composition, and forming a continuous sequence of fifty moments that unfold as a single breath.
Four key variables, selected from 59 meteorological parameters, are translated into Rokkaku’s painterly language. Through this mapping, the work reinterprets her artistic principles within a data–AI framework:
Improvisation: Weather data directly generates prompts without prior composition.
Tactility: Wind speed is translated into touch intensity—from delicate gestures to forceful smears.
Continuous Transformation: A sequence of images evolves into video, forming an endless transformation.
Hope within Chaos: Extreme conditions are rendered into vivid and beautiful visual forms.
Ultimately, the work reveals that even the most unpredictable and impersonal data contains latent aesthetic potential. When fifty days of winter in Seoul converge into a single continuous breath, they become Breathing with the Chaos.
4. Δw ∈ ℝⁿ
Δw ∈ ℝⁿ is a work that visualizes, as it is, the process by which an artificial neural network learns from a single individual’s text. Δw denotes the change in weights—the minimal unit of learning—while ℝⁿ represents the high-dimensional space in which these changes occur.
The work began with attempts to generate images in the style of Ayako Rokkaku. However, it became evident that while the visual surface could be imitated, the essence of the artist—the reason behind her gestures—remained absent.
Rokkaku once described her practice as “simply repeating the same action.” Similarly, AI learning consists of repeated operations that eventually arrive at a state of knowing. This work focuses on that process itself.
Using nine texts written by Rokkaku, the project converts them into 2,396,160 neural network weights through doc-to-LoRA technology. The learning process—from an empty model to the target weights—is recorded over 500 steps and visualized across three dimensions:
Δw ∈ ℝ: Numerical sequences displayed in real time
Δw ∈ ℝ²: Weight values translated into color and form
Δw ∈ ℝ³: Layered spatial structures in a three-dimensional field
No simulation effects are applied; all values correspond to actual neural network parameters. By presenting the same data across different dimensions, the work transforms perception itself—what first appears as abstract numbers gradually reveals structure, hierarchy, and flow.
The piece ultimately positions AI learning and Rokkaku’s artistic repetition as structurally analogous processes, emphasizing the meaning embedded within iteration.
