AV перформанс — рефы · флоу · гайды

100 свежих референсов 2024–2026 по 16 тематикам · ссылки проверены · ★ на карточке собирает «Основы для переноса» (хранится в браузере) · 20.08.2026

Основы для переноса

пока пусто — жми ★ на карточках рефов

Частицы и GPGPU-поля

Memo Akten & Katie Peyton Hofstadter — Superradiance

2024–2026 (тур: Venice Biennale, Tribeca, Jacob's Pillow 2025, Gray Area 2026) · работа ↗ · видео ↗

Техника: Motion capture танцоров + реалтайм-симуляции и генеративные системы с AI; многоэкранная инсталляция/перформанс, где захваченные тела растворяются в поля частиц и материи (песок, вода, атмосфера).

Язык: Тело как облако материи: дыхание и жест перетекают в планетарные ландшафты, граница кожи исчезает — телесность растянута до масштаба экосистемы. Медитативный, а не атакующий AV-язык.

Перенос к нам: Стыкуется с нашими blob_tracker/Kinect-силуэтами: силуэт = эмиттер и поле сил для GPGPU-частиц; бит не дёргает камеру, а «дышит» полем внутри силуэта — медленные curl-noise волны поверх коротких бит-импульсов.

Quayola — Arborescent (мэппинг фасада Casa Batlló)

Техника: Кастомный софт Quayola: алгоритмический рост ветвящихся (arborescent) структур с шумовой симуляцией ветра, проекция на фасад Гауди; алгоритмическая партитура следует росту растений.

Язык: «Скрытая геометрия природы»: ветвление как живопись — структуры прорастают, цепляются за архитектуру и качаются, кадр пишется алгоритмом, а не анимируется вручную.

Перенос к нам: Режим «прорастания» для трейлов: частицы не летают свободно, а ветвятся по полю (branching/L-system на GPU); бит триггерит новое ветвление, тишина = замирание роста; duotone-градиент по возрасту ветки (age-based lookup).

R

Rich & Miyu (Richard Burns & Miyu Burns, Токио) × Kara-Lis Coverdale — Nocturne 3, MUTEK Tokyo (визуалы на POPs; разбор — TouchDesigner Event London Summer 2025)

Техника: TouchDesigner POPs: point clouds из сканов и живого видео, квантизация облаков точек, превращение футажа в плотные системы из миллионов частиц (IMAG-стиль) в реальном времени.

Язык: «Ночной лес и его обитатели»: сканы и видео растворяются в зернистые облака, образы мерцают между фигуративным и абстрактным — узнаваемое тело/лес постоянно распадается в поле точек.

Перенос к нам: Их приём «видео → поле частиц»: кадр камеры/текстура как источник позиций и цвета частиц, решётка квантизации управляется битом — на сильную долю резкий переход figurative↔abstract (крупная сетка → пыль). Прямо ложится на наш пайплайн 1–3M частиц.

U

ULTRACOMBOS × Cicada (Тайвань) — DRIFT IN TIME (премьера в Deep Space 8K, Ars Electronica Festival «Panic»)

Техника: Реалтайм-анализ живых акустических инструментов (рояль, скрипка, виолончель) управляет визуальными трансформациями текучей среды; проекция 8K wall+floor в Deep Space.

Язык: «Память льда»: керны, пыль и пыльца как капсулы времени; тихая, медленная текучая среда, где звук проявляет невидимые следы климатических изменений — AV-язык на полутонах, без клубной атаки.

Перенос к нам: Рецепт «тихого» флоу для эмбиента: не всё от кика — RMS низов → вязкость/затухание среды, спектральный центроид → температура duotone, транзиенты → только микро-рябь на поверхности поля. Отдельный slow-пресет в наших флоу.

D

Derivative (lead dev POPs — Vincent Houzé, автор Fluid Structure 360) — POPs (Point Operators) — TouchDesigner 2025 Official Release

Техника: Первое за десятилетие новое семейство операторов: GPU-compute над точками с атрибутами (позиция, цвет, нормаль) как универсальный примитив для частиц, point clouds, линий; миллионы точек в реалтайме без кастомного GLSL.

Язык: Не артворк, а сдвиг инфраструктуры сцены: частицы перестают быть хаком через TOP-текстуры и становятся первоклассным материалом — вокруг POPs уже строятся живые сеты (Rich & Miyu, Darien Brito).

Перенос к нам: Перевести наши TOP/GLSL GPGPU-циклы на POPs: sim-цепочки и трейлы нативно, аудио/MIDI-мэппинг прямо на атрибуты точек, потолок частиц выше 1–3M; меньше самописного кода — по нашему же правилу «нативные ноды > код».

M

matsuoka-601 (Codrops) — WebGPU Fluid Simulations: High Performance & Real-Time Rendering (демо WebGPU-Ocean, WaterBall)

Техника: MLS-MPM-жидкость на WebGPU compute-шейдерах (atomicAdd вместо дорогого поиска соседей SPH): ~100k частиц реалтайм даже на интегрированной графике; screen-space fluid rendering без построения меша.

Язык: Планка 2025 для веб-жидкости: открытый код, полноценная физика воды в браузере — эталон того, как «наследники Акена» в creative-dev среде переносят GPGPU-поля в WebGPU.

Перенос к нам: Для наших WebGL/WebGPU-флоу: бит впрыскивает импульс в поле скоростей MLS-MPM, duotone-мэппинг по плотности/скорости; screen-space рендер дёшево даёт «жирную» поверхность вместо точечной пыли — контрастный режим к нашим raymarching-сценам.

Монохром и строб-минимализм

Ryoji Ikeda — data-cosm [n°1] (мировая премьера, 180 Studios, Лондон)

Техника: Site-specific инсталляция: гигантский LED-экран на потолке, зрители лежат на полу; многоканальный звук; визуализация научных данных от физики частиц до астрофизики, математически точная синхронизация звука и кадра.

Язык: «Гигантский микроскоп и окно в космос»: ультраплотные потоки данных как белые точки/сетки на глубоком чёрном, резкие полнокадровые вспышки, сканирующие линии, смена масштаба от микро к макро. Холодная клиническая эстетика данных, ноль декоративности.

Перенос к нам: Выстроить 1-3M GPGPU-частиц в сканируемую дата-решётку (grid + jitter), бит = полнокадровая инверсия чёрное↔белое на 1-2 кадра и скачок фазы сканирующей линии; в raymarching — свипы масштаба «микроскоп→космос» по огибающей баса.

R

Robert Henke — FIRST LIGHT (новая AV-комиссия, Barbican Hall, Лондон)

Техника: Лазерный surround-перформанс на кастомном софте FirstLightEngine (MaxMSP): лазерная векторная графика, хейз, стробы; звук и лазерные фигуры генерируются в диалоге в реальном времени.

Язык: «Первый свет» телескопа: фрагментарные эволюционирующие векторные фигуры — тончайшие ослепительные линии в дымке на абсолютно чёрном, точность против неопределённости. Минимальный «бюджет света» — несколько ярких примитивов вместо заливки.

Перенос к нам: Рендерить трейлы частиц как аддитивные лазерные линии с фосфорным послесвечением (trail-буфер с экспоненциальным затуханием); жёсткий лимит ярких примитивов на кадр — 3-5 «лучей» на чёрном; строб-вспышки строго на транзиентах, между ними почти пустой кадр.

N

NONOTAK (Noemi Schipfer & Takami Nakamoto) — NONOTAK — первая сольная выставка в Корее (Sehwa Museum of Art, Сеул)

Техника: Иммерсивные свето-звуковые инсталляции: проекция на полупрозрачные экраны и архитектурные конструкции, кинетика с зеркалами, LED и строб-светильники, жёстко хореографированные под звук секвенции.

Язык: Монохромный свет как скульптурный материал: муар, штриховые решётки и плоскости света, ритмическая хореография от гипнотической до агрессивно-стробной; архитектурная строгость вместо орнамента.

Перенос к нам: Duotone-муар: два слоя полосовых масок поверх частиц, сдвигаемых по фазе огибающей — интерференция «дышит» с музыкой; на бит — кинетический свип световой плоскости сквозь 3D-объём частиц (частицы вспыхивают при пересечении плоскостью).

MONOCOLOR (Marian Essl, Вена) — Entangled Structures — AV-фулдом перформанс (тур 2025: Ars Electronica Deep Space 8K, Lunchmeat/планетарий Праги, CULTVR Cardiff)

2022, тур 2025 · работа ↗ · видео ↗

Техника: Полностью генеративная монохромная графика в реальном времени (TouchDesigner, фулдом-мастер 4096×4096), амбисонический звук; виртуальная абстрактная скульптура из струн-линий.

Язык: Монохромные струны непрерывно меняют связи, собираясь то в жёсткую архитектуру, то в эфемерные летучие структуры; осцилляция между ригидным и органическим — новое поколение школы Икеды, растущее прямо из TD.

Перенос к нам: Струнные частицы: соединять соседей в GPGPU (nearest-neighbor в compute) в нити/пряди, морф «жёсткая решётка ↔ текучая органика» вести спектральным центроидом; медленная орбитальная камера в raymarch-пространстве как в фулдоме.

404.zero (Кристина Карпышева и Александр Лециус) — ISOTRP A/V live (лайв-версия альбома; шоу на ILD 2025, Alfa Kristall)

Техника: Генеративные визуалы на чистом коде (GLSL/собственные тулзы) + модульные синтезаторы; музыка и видео связаны в единую систему — параметры звука напрямую крутят шейдер в реальном времени.

Язык: Медленные монолитные массы шума: FBM/curl-поля как тёмная материя, почти монохром с тяжёлым зерном, гипнотическая медленная эволюция, разрываемая внезапными глитч-сбросами; метафизика пустоты и космоса.

Перенос к нам: Raymarching FBM/curl-noise поля в одном дуотоне (почти-чёрный + грязно-белый) с плёночным зерном и дизерингом; базовый дрейф очень медленный (минуты), а бас-хиты дают мгновенный bit-crush/скачок seed шума — контраст стазиса и удара.

3D-структуры и архитектура

Max Cooper × Architecture Social Club — Lattice 3D/AV (премьера MUTEK Montréal / тур 2025)

Техника: Многослойные проекции на полупрозрачные экраны + лазеры и свет, работающие как единая система. Пайплайн live: Ableton → OSC-триггеры → Resolume, визуал собирается в реальном времени.

Язык: «Экструзия» 3D-структур: решётки и латтисы буквально выпрыгивают из плоскости экранов в зал, зритель оказывается внутри скульптуры из света. Архитектура кадра строится глубиной слоёв, а не текстурой.

Перенос к нам: Сделать псевдо-мультиплан: рендерить GPGPU-частицы в 2-3 слоя глубины с параллаксом и аддитивным смешением «сквозь скрим»; на бит — экструзия инстансированной решётки линий к камере (scale по Z от энвелопа кика).

Christopher Bauder (WHITEvoid) — VEKTOR — Kraftwerk Berlin

Техника: 50 лазеров на прецизионных моторизованных лебёдках синхронно движутся в пространстве (кинетический свет), плюс авторский многоканальный 3D-саундскейп; 2000+ м² индустриального зала.

Язык: Архитектурные пространственные скульптуры из чистых векторных линий света: пространство рисуется лучами, геометрия постоянно перестраивается. Завершение «математического триптиха», начатого SKALAR.

Перенос к нам: Векторно-лучевая эстетика в наших флоу: трейлы частиц вдоль «лазерных» лучей (GL_LINES + glow), дуотон-свечение; бит = синхронный поворот пучков лучей, а raymarching-туман даёт объёмные конусы света вокруг линий.

N

Nonotak (Noemi Schipfer & Takami Nakamoto) — Narcisse — выставка Into The Light, Grande Halle de la Villette, Париж

Техника: Кинетическая инсталляция: сетка квадратных зеркал в непрерывном движении, залитая чистым белым светом, движение синхронизировано со звуковым дизайном.

Язык: Минималистичная оптическая геометрия: свет как строительный материал, отражения перестраивают восприятие пространства. Радикальная монохромная дисциплина — ничего лишнего, только углы, плоскости и ритм.

Перенос к нам: Шейдер «зеркальной сетки»: фолдинг пространства в raymarching через анимированные зеркальные плоскости; частицы отражаются от виртуальных зеркал, бит = дискретный шаг угла зеркал. Держать строгий ч/б-дуотон — прямо наш формат.

M

Mindscape Studio (+ Carmen Lidia Vidu) — Brâncuși — The Birth of Modern Sculpture / Rhapsody — iMapp Bucharest, 10-я юбилейная edition, фасад Дворца Парламента (23 000 м²)

Техника: Крупномасштабный 3D-видеомэппинг на монументальный фасад Дворца Парламента; синхрон с живым оркестром (Bucharest Metropolitan Orchestra).

Язык: Фасад как скульптурный объём: архитектура разбирается и пересобирается светом, скульптурные формы Брынкуши «рождаются» из здания. Крупнейший фасадный AV-холст мира как сцена.

Перенос к нам: Трактовать наш кадр как фасад: SDF архитектурной геометрии (колонны, карнизы), частицы собираются в архитектурные формы на музыкальных фразах и «обрушивают» структуру на дропе; свет-развёртка по граням = аудиореактивная маска.

M

MFO (Marcel Weber) — Свето-пространственный дизайн, CTM Festival 2025, Berghain Night (также Berlin Atonal)

Техника: Гибрид аналога и цифры: UV-свет, стробы, голографические проекции, хейз, кинетический свет; кастомная сценография под конкретное индустриальное пространство.

Язык: Пространство само становится инструментом: не картинка на экране, а объёмы света и тени в дыму, сырая клубная непосредственность вместо стерильного рендера. Gesamtkunstwerk из света, звука и архитектуры зала.

Перенос к нам: Объёмный свет в шейдерах: радиальные god-rays и строб-кадры, квантованные к бит-сетке (строб только на сильную долю); поверх чистых GPGPU-частиц — «аналоговая грязь» (зерно, хроматическое смещение, лёгкий flicker) как пост-эффект.

O

Ouchhh — AI MAZE DATA SCULPTURE — Taiwan Lantern Festival, Тайбэй (классический якорь)

Техника: Лабиринт из 1110 м² LED-панелей с четырёхэтажным монолитом; фасады снаружи и внутри генерируются AI в реальном времени из больших данных города (5G: плотность населения, транспорт) + живой EEG музыканта через OSC.

Язык: Data-painting на архитектурном объёме: абстрактная живопись, непрерывно перерождающаяся из потоков реальных данных. Здание = холст, данные = кисть, realtime вместо запечённого контента.

Перенос к нам: Наш прямой аналог их дата-пайплайна: FFT-полосы аудио как «городские данные» — маппить band-энергии на разные параметры поля частиц (curl, масса, эмиссия); модуляция параметров по WS/OSC уже есть в риге — добавить многоканальный роутинг «поток данных → атрибут».

Лазер и свет как медиум

R

Robert Henke — FIRST LIGHT

Техника: Собственный софт FirstLightEngine (MaxMSP, разрабатывается с 2020) рисует лазерную графику в реальном времени; лазеры LaserAnimation Sollinger, surround-звук, haze и стробы. Премьера-комиссия Barbican Hall, Лондон, 7 ноября 2026.

Язык: Эволюционирующие фрагментарные фигуры в диалоге со звуком и друг с другом; конфликт точности и непредсказуемости как ядро драматургии. Концепт «первого света» телескопа — медленное проявление образа вселенной.

Перенос к нам: Драматургия «телескопа»: GPGPU-частицы из шумового облака постепенно конденсируются в резкие векторные контуры, бит = вспышка «выжигания» контура с persistence-трейлом. Duotone: один чистый спектральный цвет на чёрном, как лазер в дыму.

R

Ryoichi Kurokawa — skadw-

Техника: Иммерсивная инсталляция: туман, 6-канальный свет, 2-канальный звук; узкий луч движется сквозь слои подсвеченного тумана. Art Here 2025 в Лувре Абу-Даби, приз Richard Mille Art Prize (тема «Shadows»).

Язык: Тень как материя, а не отсутствие света: узоры появляются и растворяются в тумане, японское «ма» — интервалы и пустоты формируют пространство. Свет нужен лишь чтобы дать тени тело.

Перенос к нам: Инверсия для raymarching-флоу: рисовать не светом, а вычитанием — negative density «тени» прорезает объёмный туман; тихие участки трека = разрастание тени, бит = луч прорезает мглу. Идеально ложится на наш ЧБ-duotone и правило «бит=движение».

M

Max Cooper × Architecture Social Club — Lattice 3D/AV

Техника: Живая система из проекций, полупрозрачных слоёв-сеток, света и лазеров: слоистая псевдообъёмная картинка «выдавливается» со сцены в зал. Премьера Roundhouse Лондон (март 2025), северо-американская премьера MUTEK Монреаль (август 2025), музыка альбома On Being.

Язык: «Решётка»: плоское изображение расслаивается в объёмную световую скульптуру, лучи и проекции сшивают слои в единое дышащее тело света, синхронное музыке.

Перенос к нам: Слоёная глубина в WebGL: 4-6 полупрозрачных additive-плоскостей частиц с parallax по z, лазерные линии прошивают слои насквозь; высокие частоты двигают передние слои, бас — задние. Трейлы между слоями дают дешёвый объём без raymarching.

E

ER Productions × Sonar Music (Antony Partos, Jono Ma) — Laser Lightfall (Vivid Sydney)

Техника: Аутдор-шоу над бухтой Cockle Bay (Vivid Sydney, 28 мая — 19 июня 2025): хореография массива лазеров под оригинальный саундтрек; 7-минутная арка от одного цвета к полихромному финалу, версии с синхронными фейерверками.

Язык: Макро-драматургия роя: одиночные лучи-«искры жизни» постепенно сходятся и конвергируют в космос цвета; сила — не в кадре, а в строгой семиминутной кривой нарастания.

Перенос к нам: Готовая структура сета для флоу: старт mono-duotone с одним эмиттером-«лучом», с ростом энергии трека добавляются эмиттеры и цветовые пары, финал — все 1-3M частиц конвергируют к точке. Хорошая схема автопилота для VJ Console плейлистов.

Robert Henke — Lumière I–III (классический якорь)

2013–2017, финальный показ — Mapping Festival, Женева, май 2025 · работа ↗ · видео ↗

Техника: Кастомный векторный софт + FM-синтез: звук и лазерный рисунок генерируются из одних и тех же контрольных сигналов в реальном времени; 3-4 высокоточных RGB/белых лазера. Сыграно 70+ раз по всему миру.

Язык: Радикальный минимализм: круги, квадраты, линии, точки, глифы; абсолютная слитность звука и картинки, ограничения лазера возведены в эстетику; тьма и остаточное свечение как часть композиции.

Перенос к нам: Принцип «одного сигнала»: одна аудио-кривая одновременно рисует форму и модулирует тембр — в TD один CHOP управляет и частицами, и параметрами звука. В шейдере: глифы как GL_LINE_STRIP из последовательности точек с bloom, разрыв луча = движение; бит = мгновенная смена глифа.

Christopher Bauder / WHITEvoid — VEKTOR (якорь-масштаб)

Техника: 50 моторизованных движущихся лазеров на 2000 м² Kraftwerk Berlin строят кинетические архитектурные фигуры в дыму; многоканальный саундтрек Баудер впервые написал сам. Третья часть триптиха после SKALAR и DEEP WEB.

Язык: Лазер как архитектура: плоскости и векторные объёмы света медленно перестраивают пространство; синестезия памяти — колокола детства, океан, берлинское техно конца 90-х.

Перенос к нам: Инстансинг «лазерных плоскостей» в TD: веерные fan-меши от точек-источников с фейк-волюметрикой (glow + noise fog), медленная кинетика углов на low-band, бит поворачивает «моторы». Для raymarching-флоу — light shafts сквозь объёмный туман как главный герой, а не фон.

AI-реалтайм и диффузия

Daito Manabe / Rhizomatiks (+ Satoshi Horii, 2bit, Kosaku Namikawa) — Phase Forms

Техника: AV-перформанс (премьера Sónar Barcelona 2025): прекомпозиционное ядро музыки и визуала разворачивается в реалтайме со слоями живых эффектов, генеративной графики и AI-обработок; на Sónar расширен синхронными лазерами и стробами.

Язык: Звук, изображение и свет как один жёстко фазово-синхронизированный организм: ритмические структуры протекают сквозь все медиа одновременно, а не иллюстрируют друг друга. Каждый показ адаптируется под пространство площадки.

Перенос к нам: Взять принцип «свет = ещё один канал частиц»: поверх GPGPU-частиц добавить слой лазероподобных линий/стробов, бьющих строго по onset-детектору, с индивидуальным огибающим на каждый слой (частицы — kick, линии — snare, raymarch-фон — низы). Бит не масштабирует всё сразу, а фазово гоняет энергию между слоями.

Spencer Sterling (cerspense) — Drawing with Light: AI-Driven Visual Synthesis for Real-Time Laser Installations (SIGGRAPH Real-Time Live! 2025)

Техника: StreamDiffusion, интегрированный в TouchDesigner, генерирует изображение в реалтайме, которое конвертируется в векторные контуры и выводится лазерными проекторами — живой AV-акт на сцене SIGGRAPH Real-Time Live! 2025.

Язык: Диффузия не как «видео на экране», а как источник светового рисунка: непрерывно мутирующая картинка редуцируется до светящихся линий — минимализм лазера + непредсказуемость нейросети.

Перенос к нам: Пайплайн «диффузия → контур»: брать edge-detect (Sobel/threshold в TOP или в шейдере) от любого плотного кадра и превращать в GL_LINES/трейлы частиц — наш duotone идеально ложится на «лазерную» эстетику одноцветных линий на чёрном. Аудио рулит порогом экстракции контура: тише — линии распадаются, бит — контур собирается в чёткую фигуру.

dotsimulate (Lyell Hintz) — StreamDiffusionTD (TOX для TouchDesigner, v0.3.x)

Техника: Реалтайм-диффузия внутри TouchDesigner: SDXL-Turbo + TensorRT, несколько одновременных ControlNet, IP-Adapter FaceID, StreamV2V (кэшированное внимание для временнОй связности), FX-процессоры с feedback-петлями; локальный GPU или облако Daydream.

Язык: Стандарт де-факто для живой диффузии на сцене 2025-26: любой TOP-поток становится входом img2img, а параметры генерации — обычными каналами TD, которые можно крутить с MIDI по биту.

Перенос к нам: Прямой мост к нашим флоу: рендер GPGPU-частиц подаётся как входной кадр img2img с низким denoise (0.3–0.5) — частицы остаются композицией, диффузия даёт «живую» фактуру. Аудио-огибающая мапится на denoise strength и веса промпта: бит = всплеск галлюцинации, тишина = чистые частицы. StreamV2V-подход (переиспользование прошлых кадров) — тот же принцип, что наши трейлы.

D

Daito Manabe + Kyle McDonald / Rhizomatiks — Transformirror (новая итерация: Shinjuku Neon Walk, Токио)

2023 / 2025–2026 · работа ↗

Техника: Интерактивное «зеркало» на реалтайм-диффузии: img2img на SDXL Turbo 1024x1024 с параллельным конвейером из нескольких GPU, чтобы держать честный видеопоток; зритель видит себя непрерывно трансформируемым. Повторный показ в Синдзюку (ноябрь 2025 — январь 2026).

Язык: Тело зрителя как единственный входной сигнал: латентное пространство «дышит» вокруг силуэта, превращая отражение в поток чужих материй при сохранении позы и движения.

Перенос к нам: Схема для наших камерных флоу (blob_tracker/Kinect): силуэт с камеры — маска эмиссии частиц и одновременно control-кадр для стилизации. Ключевой инженерный приём — конвейеризация: тяжёлую обработку гнать со сдвигом в 2-3 кадра, пока лёгкий частичный слой держит 60 fps, тогда латентность диффузии не ломает ощущение реалтайма.

C

CoSTAR National Lab (Miles Bernie, Hazel Dixon; Univ. of Surrey, NFTS и др.) — Realtime Conjuring for Live Performance

Техника: R&D-спектакль (импров в формате настольной ролевой игры): одношаговая дистиллированная диффузия NitroFusion генерирует декорации по ходу действия, Unreal Engine — динамические задники, Riffusion/Suno — музыка, ElevenLabs — звук; всё собрано в единый живой продакшн-пайплайн.

Язык: Генерация как сценография импровизации: картинка мира рождается из реплик исполнителей за секунды, зритель наблюдает «колдовство» вживую, ошибки модели встроены в драматургию.

Перенос к нам: Идея one-step distilled диффузии как «дешёвого» слоя: на слабом GPU одношаговая модель может красить фон за десятки миллисекунд, пока частицы живут в основном бюджете кадра. Плюс паттерн «промпт = пресет сцены» для VJ Console: переключение секций трека меняет текстовый промпт, а не шейдер.

Nao Tokui / Qosmo — Emergent Rhythm (AI DJ Project ver.3), MUTEK.JP

Техника: Классический якорь жанра: полностью реалтайм AI-сет — звук генерируется нейросетями без синтезаторов и драм-машин, визуал — Stable Diffusion (свыше 1 млн кадров), исполнитель дирижирует моделями вживую (MUTEK.JP 2022, Sónar+D 2023, DA Zurich).

Язык: «Эмерджентный ритм»: смысл не в отдельных кадрах, а в паттернах, возникающих между несколькими AI-моделями и человеком; визуальные мотивы дрейфуют по масштабам — от клетки до космоса — вслед за музыкой.

Перенос к нам: Приём seed-drift: латентная интерполяция привязана к музыкальной структуре — у нас это медленный морфинг duotone-палитры и параметров raymarch-поля по секциям трека (verse/drop), а бит даёт микро-скачки seed/фазы шума. Движение сквозь пространство параметров вместо резких переключений — то, чего обычно не хватает аудиореактиву.

Органика и биоформы

Marshmallow Laser Feast — Of the Oak (Kew Gardens)

Техника: «Цифровой двойник» реального дуба: LiDAR + фотограмметрия + CT-сканы почвы + впервые георадар корневой системы; реал-тайм видео на 6-метровом LED-портале, мультиканальный звук (9 колонок + 6 в земле), данные биоразнообразия OakEcol.

Язык: Дерево показано не объектом, а живой сетью связей — грибы, насекомые, птицы, дыхание. Потоки «жизненной энергии» текут по ветвям и корням, сезоны сменяются, скрытые слои под землёй становятся видимыми.

Перенос к нам: Частицы, текущие по скелету отсканированной органической формы: point cloud/SDF дерева как поле притяжения для GPGPU-частиц, бит = «вдох» (импульс потока от корней к кроне), duotone-разделение на подземный и надземный слой, трейлы строго вдоль ветвления.

Nefeli Manoudaki, Mert Toka, Iason Paterakis, Diarmid Flatley (UCSB MAT) — Simulacra Naturae: Entangled Biomes (SIGGRAPH 2026 Art Gallery)

Техника: TouchDesigner (мастер-контроль) + Unity + Processing; 50+ млн GPU-агентов трёх популяций (термиты-стигмергия, Physarum, боиды); спайки 131 нейрона мозговых органоидов модулируют поведение агентов; поверх — Stable Diffusion 2.1 c LoRA на микроскопии; синхронизация OSC/MQTT.

Язык: Биосигнал не управляет картинкой напрямую, а работает как ко-творческая сила: нейроритмы мягко ведут рост, форму и атмосферу генеративной экосистемы из нескольких видов агентов.

Перенос к нам: Ключевая идея для нашего рига: аудио-энвелоп подавать не в скорость частиц, а в ПАРАВИЛА агентов (sensor angle/distance, deposit у physarum) — движение становится «выращенным», а не дёрганым. Плюс паттерн: 2–3 популяции агентов с разными правилами пишут в один trail-буфер, бит переключает доминирующую популяцию.

E

Entangled Others (Sofia Crespo & Feileacan McCormick) — (di)atomic garden

2025–2026 · работа ↗

Техника: Реал-тайм перформативная система: счётчик Гейгера у урановой руды ловит события радиоактивного распада, каждое событие мутирует виртуальный сад; изображения (гербарии USDA 1886–1942 + антарктический фитопланктон) закодированы в псевдо-ДНК (G,A,T,C) и реконструируются нейросетями; доступ через браузер.

Язык: Сад как непрерывный процесс роста, мутации и распада: редкие случайные события физического мира прорастают в цифровую органику, ничего не повторяется.

Перенос к нам: Механика «редкое событие = мутация»: сильный онсет/транзиент не просто толкает частицы, а перестраивает правила системы (пересев噪-поля, смена аттрактора, дрейф палитры duotone), между событиями — медленный органический рост. Даёт флоу долгоживущий «генетический» стейт вместо чистой реактивности.

Jakob Kudsk Steensen — The Ephemeral Lake (Hamburger Kunsthalle → Mori Art Museum)

Техника: Live-симуляция экосистемы (Unreal Engine, полевые сканы пустыни Мохаве) + генеративная музыкальная композиция (Okkyung Lee, Lugh O'Neill); мультиэкранная инсталляция и семь световых скульптур, реагирующих на звук.

Язык: Эфемерное пустынное озеро: жизнь возникает и исчезает в реальном времени; кристаллические ландшафты, подземные пещеры, медленная драматургия наполнения и испарения воды.

Перенос к нам: Драматургия «наполнение—испарение» для наших флоу: в тихих частях трека частицы конденсируются в плотную raymarch-поверхность (озеро), на громких — испаряются обратно в облако из 1–3M частиц; долгие тайм-скейлы поверх мгновенного бит=движение.

S

Sage Jenson (mxsage) — классический якорь — physarum / 36 Points

Техника: C++/GLSL (openFrameworks), полностью GPU: 5–10 млн агентов на GTX 1070; двухслойная модель — агентный data map + континуальный trail map (deposit, diffuse, decay); вариации правил Джеффа Джонса плюс «заражения» и коллизии.

Язык: Канонический язык слизевика: ветвящиеся транспортные сети, пульсирующие волны, живая органика, эмерджентно возникающая из простейшего цикла sense→rotate→move→deposit.

Перенос к нам: Прямой блюпринт под наш GPGPU-риг: physarum на ping-pong текстурах (позиции частиц + trail map с blur/decay), аудио в правила — бас расширяет sensor distance (сети толстеют и сливаются), хэты сужают в тонкие нити; duotone маппится с плотности trail map, трейлы получаются бесплатно.

Vincent Houzé — классический якорь — Fluid Structure

Техника: TouchDesigner + реал-тайм fluid solver (его интеграция NVIDIA FleX выложена как открытый FlexCHOP); инфракрасные сенсоры зрителей, LED-тайлы; «data-like» визуализация внутренней структуры жидкого тела.

Язык: Аморфное жидкое тело, которое под внутренними и внешними силами гнётся, рвётся и заново собирается в новые агрегаты; акцент не на поверхности, а на видимой внутренней структуре и связях.

Перенос к нам: Когезия для наших частиц: SPH/FLIP-подобное притяжение соседей + spring к rest-позициям; бит = импульс силы, разрывающий тело на кластеры, между битами — пересборка. Рендер связей между соседними частицами линиями поверх точек — готовый органический трейл-язык для TD и WebGL.

Русская сцена

D

dreamlaser × Владимир Абих — «Словарный запас» (VOCABULARY), INTERVALS Festival

2025–2026 · работа ↗

Техника: Сайт-специфик световая инсталляция на резервуарах бывшей Сормовской нефтебазы в Нижнем Новгороде: шесть строк текста («слова, которые я забыл / потерял / не услышал…») написаны светом на индустриальных цилиндрах конца XIX века, показы вечером 20:00–23:00 на INTERVALS 2025 и 2026.

Язык: Медиапоэзия в руине: текст проступает светом на ржавом металле и гаснет — слова о потерянных словах. Минимум средств, максимум места и тишины вокруг текста.

Перенос к нам: Текст как аттрактор для GPGPU-частиц: SDF-глифы строки, на бит 1M частиц собираются в букву, на спаде рассыпаются в трейлы; duotone «ржавчина/тёплый свет», проекция текста на raymarched-цилиндры.

D

dreamlaser × metanoeia.studio (Sasha Kojjio) — STRATA, INTERVALS Festival 2026

Техника: Масштабная свето-звуковая инсталляция на INTERVALS 2026 (Нижний Новгород, 23–26 апреля), копродукция dreamlaser и metanoeia.studio при поддержке Т-Банка. Kojjio — основатель media.tribe/metanoeia.studio, работает «на стыке света, звука и архитектурного пространства» — из новой волны российских AV-имён.

Язык: Слоистость как образ: «страты» света читают пространство как геологический разрез — слои, глубина, межслойные интерференции вместо единого экрана.

Перенос к нам: Разрезать поле частиц на Z-слои-страты, каждому — своя задержка аудио-огибающей; бас раздвигает слои по глубине, хай-хэты дают шум внутри слоя; в raymarching — стопка полупрозрачных слоёв с интерференцией.

V

VOLNA (СПб: Nikita Golyshev, Snezhana Vinogradova и др.) — Light Art Lab / «Hyperhydrohoffung», Poolbar Festival

Техника: Программируемые световые сценарии для зоны Wohnzimmer фестиваля Poolbar (Фельдкирх, Австрия) в рамках Poolbar Generator Light Art Lab 2025: анимационные секвенции света, интеграция литературных фрагментов в «световые сцены», диапазон состояний от subdued до highly dynamic.

Язык: Аналоговый свет как материя: лучи, туман и медленные смены состояний вместо пиксельных экранов; инсталляция одновременно самостоятельный объект и адаптивная сценография.

Перенос к нам: Волюметрия: raymarched-туман с god rays поверх частиц; и главное — машина состояний световых пресетов (calm→build→peak), которую переключает энергия трека за 8–16 тактов, а не каждый бит: у нас пока реактивность кадр-в-кадр, у VOLNA — драматургия.

S

Signal 2026: digital moss, avenst, Symbol, Tony Marell × Iskandeor Hananov — AV-live / hybrid-live программа фестиваля Signal, Никола-Ленивец

Техника: Signal 2026 идёт прямо сейчас (20–24 августа 2026): 150+ артистов на 6 сценах арт-парка Никола-Ленивец; в лайнапе отдельно маркированы AV-live и hybrid-live сеты — свежая волна российских аудиовизуальных артистов, выросшая из опен-коллов и AV-лаборатории Signal (гранты до 4 млн руб. на арт-программу).

Язык: Российский AV-live как формат: живой звук и генеративный визуал — единый сет, свет и графика встроены в лес и архитектуру парка, а не в чёрный бокс.

Перенос к нам: Формат «AV-сета» для нашего рига: плейлист из 3–4 флоу с бесшовными кроссфейдами по трек-листу (каждый флоу = пресет частиц+шейдера), переходы ведёт огибающая, бит=движение сохраняется внутри каждого флоу.

TUNDRA (СПб) — ROW — голографическая AV-инсталляция (классический якорь; тур 2025: Delft, Carrara, RADAR Bucharest)

2020, тур 2025 · работа ↗ · видео ↗

Техника: Десять LED-голографических дисплеев (спиннинг-фаны), выстроенных в ряд друг за другом; генеративный звук управляет изображением, контент повторяется на соседних слоях с небольшой задержкой — возникает объёмный паттерн-эхо. Награды Japan Media Arts Festival и CITIC (свет).

Язык: Звук, ставший трёхмерным изображением: строки данных «плывут» в воздухе и превращаются в голоса и музыку; глубина создаётся не мешем, а каскадом плоских слоёв с задержкой.

Перенос к нам: Echo-каскад: N инстансов одного поля частиц по Z, каждому слою — аудио-огибающая из ring-buffer с задержкой (layer_i = env[t − i·Δ]); плюс лёгкий параллакс камеры — дешёвая «голография» для 1–3M частиц без объёмных текстур.

Kuflex (Юрий Кувшинов) — сейчас Berlin, резидент IKONO Berlin — Quantum Space (классический якорь; постоянные показы, включая IKONO Berlin)

2015 — показы по наст. время · работа ↗ · видео ↗

Техника: Крупноформатная интерактивная видеопроекция с трекингом тела: движение зрителя (танец, бег, жесты) в реальном времени меняет у частиц траекторию, время жизни, цвет и гравитацию; конфигурации от одного экрана до LED-куба и интерактивного коридора с полом.

Язык: Зритель = частица света: тело как кисть, из «космического хаоса» частиц человек собирает гармонию — эталон телесной интерактивности в российской школе частиц.

Перенос к нам: Взять их карту «тело→параметры частиц» и посадить на аудио: бит → импульс гравитации/взрыв, спектральный центроид → выбор duotone-пары, RMS → lifespan и длина трейлов; следующим шагом подключить наш blob_tracker/Kinect-силуэт как аттрактор — гибрид аудио+тело.

Типографика и данные

S

Studio Dumbar / DEPT — DEMO Festival 2025

Техника: Кураторская платформа кинетической типографики: 600+ моушн-работ из 92 стран на XXL-экранах в 15 городах (в т.ч. 80 экранов вокзала Amsterdam Centraal), формат ~10 секунд на работу; айдентика самого феста — пространственная кинетическая типографика + звуковая айдентика на стыке IDM/эмбиента/хардкора.

Язык: Буква как физическое тело и персонаж: тянется, падает, ломается, глитчится — и всё это в жёстком 10-секундном формате, где идея читается мгновенно. Самый концентрированный срез того, как сейчас выглядит живой кинетический шрифт.

Перенос к нам: Формат «тип-этюдов» для наших флоу: короткие 10-секундные пресеты с одним приёмом каждый; буквам дать физику (масса/пружина/гравитация), управляемую огибающей — бит дёргает пружину, спад её гасит; вертикальная ориентация экрана как отдельный пресет.

F

fuse* — Sál (финал трилогии The Full Circle)

Техника: Живой спектакль с танцовщиками и реалтайм-генеративной графикой: задняя + двойная фронтальная проекция + боковые проекторы = 270° визуального окружения, пространственный звук; премьера 26–27.04.2025, National Taichung Theater (Тайвань). Фирменный язык fuse* — реалтайм-симуляции частиц и объёмные среды.

Язык: Эфирные массы частиц как метафора души и памяти; граница сцены и зала растворяется — изображение не фон, а среда, которая дышит вместе с перформером и звуком.

Перенос к нам: Перенести их 270°-логику «изображение как среда» в raymarching: объёмный туман + GPGPU-частицы с длинными трейлами; два темпа жизни системы — резкое движение/пересборка на бит и медленное «дыхание» плотности тумана между битами, чтобы пауза тоже работала.

K

Ksawery Komputery Studio — Erykah Badu — Mama's Gun '25 Tour (live visuals)

Техника: Кастомная лайв-аудиовизуальная система для тура (Hollywood Bowl, Kings Theatre и др.): генеративная LED-strip инсталляция + контент видеостен, реагирующие в реальном времени на вокал, музыку и энергию зала; неделя препродакшна с артисткой для выработки визуального языка.

Язык: Генеративная система как живой участник ансамбля: визуал слушает голос, а не таймкод. Матричная LED-эстетика с типографским ДНК студии — крупная дискретная точка как «глиф».

Перенос к нам: Разделить огибающую на каналы (вокал/бит через band-split) и дать им разный визуальный отклик: мягкие трейлы частиц на голос, жёсткие пересборки поля на бит; плюс режим «LED-матрица» — квантовать 1–3M частиц в крупную сетку точек, duotone идеально ложится.

R

Ryoji Ikeda — ultratronics [AV live] (классический якорь; активный тур 2025 — L.E.V., Барселона, Лондон, MUTEK)

2022–2025 · работа ↗

Техника: Собственный софт, математическая оркестровка звука и света: растровые поля данных, штрих-коды, битовые матрицы, синусоиды и белые стробы, синхронизированные со звуком с точностью до сэмпла; чистый ч/б минимализм.

Язык: Данные как сырьё и как эстетика: глитч у Икеды — не случайность, а хирургическая точность. Зритель погружён в поток информации, ставший физическим ощущением.

Перенос к нам: Его приём «данные как текстура» для наших GPGPU-флоу: квантовать частицы в строки/столбцы (сканлайны, штрих-код), пересборки паттерна делать мгновенными по биту — без твинов; на сильный транзиент — один кадр чистого белого строба. Идеально для нашего ч/б duotone-канона.

Max Cooper × Ksawery Komputery (Ksawery Kirklewski) — Symphony in Acid (классический якорь; контент лайв-шоу Купера)

Техника: Генеративная типографика в браузере: HTML/CSS/JS + p5.js; текст «Логико-философского трактата» Витгенштейна помаппен на каждый звук трека; существует как интерактивный сайт (symphonyinacid.net), фильм и контент больших экранов лайв-шоу Max Cooper.

Язык: Буква одновременно пиксель и смысл: текстовые сетки дышат, ломаются и собираются в ритме кислотных секвенций; язык — и материал, и сообщение о пределах языка.

Перенос к нам: Глиф-атлас для наших частиц: каждая из 1–3M частиц рендерится буквой из texture atlas (позиции из GPGPU), на пиках энергии частицы «конденсируются» из шума в читаемые слова и снова рассыпаются; ASCII-постпроцесс поверх raymarching-сцены как отдельный duotone-режим.

Тело → частицы (Kinect/depth)

Klaus Obermaier + Ars Electronica Futurelab — Apparition

Техника: Camera-based motion tracking (система Хирокадзу Като): извлечение силуэта танцора из фона, расчёт динамики движения (скорость, направление, интенсивность), real-time физические симуляции, проекция одновременно на тело и задник

Язык: Классический якорь жанра. Тело не «рисует» картинку, а возмущает виртуальную кинетическую среду: пространство расширяется, сжимается, идёт рябью в ответ на движение. Система — не визуализация, а «партнёр по сцене»: генерация отвязана от фиксированной хореографии, важна не поза, а энергия движения

Перенос к нам: Из blob-tracker брать не только центроиды, но производные: скорость, ускорение, площадь силуэта, «разлёт» блобов — и слать в постMessage как каналы энергии. Поле GPGPU-частиц реагирует физикой (стягивание/выталкивание, рябь velocity-field), а бит=движение масштабирует силу воздействия, а не просто триггерит эффект

C

Chris Milk — The Treachery of Sanctuary

Техника: Kinect (SDK for Windows) + openFrameworks для обработки, Unity3D для рендера птиц, кастомный C++ мост между приложениями; три панели 9 м с ретропроекцией теней

Язык: Второй классический якорь: канон «силуэт как эмиттер». Тень зрителя растворяется в стаю птиц (панель 1), птицы разрывают силуэт (панель 2), взмах рук даёт гигантские крылья (панель 3). Трёхактная драматургия: рождение идеи — смерть — преображение. Kinect-силуэт читается как маска, а не как скелет

Перенос к нам: Силуэт из blob-tracker использовать как emission-маску в GPGPU: спавн частиц по контуру/краю силуэта, «отрыв» кусков тела в стаю по биту. Драматургия флоу в 3 фазы-состояния вместо одного бесконечного режима; крупный жест (руки вверх) = переключение фазы через postMessage

U

Utsubo (studio, Осака) — Waves of Connection — Hokusai interactive, Healthcare Pavilion, Expo 2025 Osaka

Техника: WebGPU + Three.js, ~1 млн частиц в реальном времени, fluid-симуляция «Большой волны» Хокусая; Kinect skeletal tracking до 6 человек одновременно, 98" 4K экран

Язык: Прямое доказательство жизнеспособности нашего стека в 2025: веб-рендер (Three.js/WebGPU) держит миллион частиц на выставке мирового уровня. Суставы посетителей — не точки притяжения, а силы, возмущающие жидкостную симуляцию: даже малое движение даёт видимый отклик волны. Мультиюзер из коробки

Перенос к нам: Самый близкий образец: суставы/центроиды из postMessage инжектировать как силы в velocity-field (curl noise / fluid solver на FBO ping-pong), частицы адвектируются полем — так 1-3M частиц отзываются на тело без прямого прохода по всем точкам. Закладывать мульти-blob (до 6 тел) сразу; бит=движение усиливает вязкость/амплитуду поля

A

Adrien M & Claire B — En Amour (Cité de la musique — Philharmonie de Paris)

2024–2025 · работа ↗

Техника: ИК-камеры + анализ сигналов для трекинга публики, кастомный движок на базе eMotion (собственный particle-софт компании), проекция частиц на пол и прозрачные газовые экраны, ~40-минутный цикл

Язык: Иммерсивный интерактив нового поколения: не «один перформер — один эффект», а зал как временная коллективная хореография. Посетители босиком, частицы — свет/пыльца/почерк, реагирующие на присутствие и движение группы. Любовь как направление и цвет: мягкая, «ласковая» физика вместо агрессивного экшена

Перенос к нам: Режим «коллективного поля»: каждый blob = локальный аттрактор/источник в общем поле частиц, визуал живёт и без людей, но расцветает от присутствия. Взять их принцип медленных нежных пресетов (низкая жёсткость пружин, длинные хвосты) как отдельный флоу-пресет; сцены менять по таймлайну + суммарной активности зала, а не только по биту

D

Daito Manabe × ELEVENPLAY (Rhizomatiks) — +1+1+1+ (премьера Aubade Hall, Тояма; затем Asia+ Festival Гонконг)

Техника: 4DViews volumetric capture + real-time motion capture (запись Crescent), алгоритмическая генерация визуала, синхронизация записанных объёмных «двойников» с живыми танцорами, живые струнные

Язык: Тело как данные во времени: захваченные заранее объёмные копии танцоров (точечные/воксельные тела) сосуществуют на сцене с живыми, стирая границу записи и настоящего. Язык — дуэт с собственным призраком: слои времени, наложение, задержка, репликация тела

Перенос к нам: Дешёвая версия их приёма на нашем стеке: логировать pose/blob-данные из postMessage в буфер и проигрывать «призраков» — частичные копии тела со сдвигом времени (2-8 сек) рядом с живым силуэтом. Бит квантует задержку и количество эхо-копий; в TouchDesigner это Trail/Cache на канале трекера

F

fuse* (Модена) — Sál

Техника: Real-time симуляции материи и света вокруг чёрных дыр (разработаны с физиками KU Leuven и University of Toronto), танцор взаимодействует с генеративной системой/ИИ в реальном времени; линия студии — точечные облака и частицы от тела перформера (Dökk, Onirica)

Язык: Свежайший сценический пример «тело ↔ симуляция»: перформер движется внутри научно достоверной модели аккреции и искривления света, тело становится гравитационным центром визуальной вселенной. Смерть и непостоянство как тема, физика как драматургия — не декоративные частицы, а осмысленное поле

Перенос к нам: Флоу «сингулярность»: центроид тела из blob-tracker = гравитационный колодец, частицы уходят на орбиты с линзингом (искажение траекторий в шейдере), скорость движения тела управляет радиусом горизонта. Бит = вспышки аккреции (выброс яркости/спавна на орбитальном кольце). Научные модели полей — хороший источник «дорогих» силовых функций для GPGPU

Скелет-трекинг и поза

D

Daito Manabe × ELEVENPLAY (Rhizomatiks) — +1+1+1+

Техника: Волюметрический захват (4DViews) + мокап четырёх танцовщиц, реал-тайм синхронизация алгоритмической графики с хореографией и струнной партитурой; премьера 18.02.2024, Toyama Aubade Hall

Язык: Тело как данные времени: фигура танцора множится во временных слоях «+1», клоны и сдвиги повторяют жест с задержкой — структура музыки буквально видна как структура движения.

Перенос к нам: Приём «эхо-клонов» скелета: pose из postMessage писать в кольцевой буфер и рисовать частицами 3–5 временных копий фигуры с задержкой; квантовать сдвиг эха по биту (бит=движение) — дешёвый и очень зрелищный эффект для GPGPU-флоу.

U

Utsubo (Осака) — Waves of Connection — интерактивный Хокусай

Техника: Kinect depth-камера, скелет-трекинг до 6 человек одновременно; WebGPU + Three.js, ~1 000 000 частиц во флюид-симуляции; 98" 4K экран; Expo 2025 Osaka, Healthcare Pavilion

Язык: Тело — сила в поле жидкости: «Большая волна» Хокусая отвечает на жест зрителя; никаких инструкций — интеракция открывается сама, когда человек шевелится и волна откликается.

Перенос к нам: Прямой прототип нашего стека: скелет → силовое поле в GPGPU-флюиде 1–3M частиц. Blob-tracker уже сейчас может отдавать силы (центр масс, скорость), Kinect позже добавит суставы. Их планка — 1M частиц в браузере при живом отклике — наш ориентир производительности.

Rhizomatiks × ELEVENPLAY — Syn: Unfolded Horizon of Bodily Senses (Behind The Scene)

Техника: Vicon с мм-точностью, волюметрия танцоров, реал-тайм генерация ряби от стоп виртуального танцора, интерактивный пол, движущиеся стены и стерео-3D проекции; TOKYO NODE, 1500 м², 24 танцора; Gold KUKAN DESIGN AWARD 2024

Язык: Зритель ходит внутри перформанса; виртуальное тело оставляет физический след — рябь расходится из-под стоп танцора, граница между телом, полом и пространством растворяется.

Перенос к нам: Механика «след от стопы»: из pose брать ankle-точки, детектить касание пола (локальный минимум Y + удар бита) и спавнить радиальную волну в поле частиц. Событийная модель «жест → физический след» вместо непрерывного маппинга — сильнее читается зрителем.

R

Random International — Life In Our Minds: Motherflock / II

Техника: Сенсоры присутствия и тела + кастомный интерактивный софт, генеративный flocking-алгоритм (boids-рой бумажных объектов) на большом LED; Nxt Museum, Амстердам, куратор Bogomir Doringer

Язык: Рой как живое существо: стая «читает» тело зрителя — его присутствие отбрасывает цифровую тень, и рой реагирует как единый организм; ощущение разумности возникает из простых правил.

Перенос к нам: Boids-слой поверх GPGPU-частиц: центр масс и скорость blob'а — аттрактор/репеллер стаи, силуэт — запретная зона («цифровая тень»). Бит переключает режимы поведения роя (сбор/рассыпание/преследование) — три состояния дают ощущение живого персонажа без скелета вообще.

J

Jenn Kirby & Larissa O'Grady — The Body Fragmented

2023–2025 · работа ↗

Техника: MediaPipe BlazePose (33 кейпоинта) для захвата жестов композитора; stick-figure видео-партитуры в Max/MSP, 17 клипов с привязкой к параметрам обработки звука; выступления Hugh Lane Gallery 2023, CMC Ireland 2024, статья Frontiers 2025

Язык: Поза как партитура: скелет — не визуальный эффект, а язык записи жеста; скрипачка читает движение как ноты и отвечает телом и звуком — pose estimation становится нотацией.

Перенос к нам: Идея «поза-пресет»: словарь опорных поз (углы суставов из MediaPipe) как триггеры сцен/пресетов флоу через postMessage — распознанная поза работает как MIDI-нота. Дёшево реализуется на нашем blob/pose-мосте и даёт перформеру осмысленный «алфавит» управления визуалом.

M

Memo Akten (классический якорь) — Body Paint

Техника: ИК-камера + эмиттер, компьютерное зрение и моушн-трекинг на openFrameworks/OpenCV; движение конвертируется в краску: штрихи, брызги, подтёки; масштабируется от 4 до 50 м, любое число участников; V&A Decode, Wonderspaces

Язык: Тело-кисть: скорость, размер, ускорение и кривизна жеста дают разный след; изображение гаснет, когда движение останавливается — важен процесс игры, а не финальная картинка.

Перенос к нам: Маппить не позиции, а производные: скорость/ускорение суставов → размер, цвет, турбулентность частиц. И правило авто-затухания: нет движения — флоу умирает. Это делает связь «бит=движение» честной: энергия картинки напрямую равна энергии тела.

C

Chunky Move / Frieder Weiss (классический якорь) — Mortal Engine

Техника: Камерное ИК-слежение за телом (системы Фридера Вайса EyeCon/Kalypso), интерактивные проекции реагируют на движение, лазеры Robin Fox, музыка Ben Frost; хореография Gideon Obarzanek; Helpmann Award 2008, Ars Electronica Honorary Mention 2009

Язык: Свет существует только там, где движение: сцена в темноте, графика рождается из тела и продолжает его — wearable-free трекинг на сцене за 15 лет до MediaPipe, эталон «тело порождает визуал».

Перенос к нам: Правило «тьма по умолчанию»: рендерить только вокруг активного силуэта — blob-маска как маска эмиссии частиц, всё остальное чёрное. Звуковой удар = вспышка-расширение контура тела. Максимальный контраст при минимальном GPU-бюджете — идеально для наших 1–3M частиц.

Танец × технологии

C

Company Wayne McGregor (Wayne McGregor, Nicolas Becker, LEXX) — Deepstaria

Техника: Сцена, покрытая Vantablack Vision (абсолютная темнота) + Bronze AI — цифровой аудио-движок, который в реальном времени непрерывно перекомпоновывает записанную музыку под живой танец; свет Theresa Baumgartner.

Язык: Тело в неизмеримой черноте: свет, звук и танец дышат как один организм-медуза. AI здесь не картинка, а живой музыкант — связь «музыка↔движение» пересобрана: партитура каждый вечер другая, зритель смотрит на отношения танца с пустотой.

Перенос к нам: Инверсия нашего правила «бит=движение»: сделать двунаправленный луп — энергия позы из blob-tracker (postMessage) модулирует не только частицы, но и аудио-параметры (фильтр/дилей в TD Audio CHOP). Абсолютно чёрный фон как «вантаблэк» — WebGL-частицы 1-3M на #000 дают максимальный контраст и дешёвый additive blending; пресет «медуза»: медленный curl-noise, длинные хвосты, движение густое как вода.

S

Studio Wayne McGregor × Jeffrey Shaw / Sarah Kenderdine (nVis), Ravi Deepres, Theresa Baumgartner — On the Other Earth

Техника: Первая «пост-кинематографическая хореографическая инсталляция»: цилиндр nVis — 360° стереоскопический LED-экран 26 млн пикселей (8×4 м), мультимодальные сенсоры, AI, пространственный звук; гиперреальные виртуальные танцоры Company Wayne McGregor и Hong Kong Ballet. Премьера — Biennale Danza 2025, затем Venice Immersive и Лондон.

Язык: Зритель стоит внутри экрана, а танец окружает его со всех сторон; сенсоры считывают присутствие людей, и виртуальные танцоры вступают с ними в интимный контакт. Хореография перестаёт быть сценой «напротив» — становится средой.

Перенос к нам: Модель «виртуальный танцор как контент»: записать сессии поз через наш blob-tracker (позже Kinect-скелет), сохранить как библиотеку поз-клипов и проигрывать их сквозь GPGPU-частицы — танцор из 1-3M точек, который «оживает» при появлении зрителя в кадре. Их sensing instrumentarium = наш postMessage-pose: присутствие/позиция зрителя переключает состояния флоу. Круговое полотно — повод собрать в TD мультивыход на несколько проекторов из одной GPGPU-сцены.

A

AΦE (Aoi Nakamura + Esteban Lecoq) — LILITH.AEON

2024–2026 (премьера 10.2024, тур до SPRING Utrecht 2026) · работа ↗

Техника: LED-куб 3×3 м (Creative Technology), Unreal Engine; AI-модель, обученная на мокапе хореографии AΦE, генерирует новые движения виртуального существа Lilith; трекинг зрителей вокруг куба — Lilith отвечает на их присутствие и жесты в реальном времени.

Язык: Цифровое существо, рождённое из мокапа реальных танцоров: душа между смертью и пробуждением (история криосохранённой девочки). Хореография не проигрывается — генерируется; зритель своим телом «дотанцовывает» произведение.

Перенос к нам: Ближайший по архитектуре референс к нашему стеку: их «зритель у куба → AI-персонаж» = наш «blob-tracker → postMessage pose → флоу». Перенести машину состояний: idle-цикл существа / реакция на приближение / отклик на жест — три режима поведения частичного персонажа. Персонажа собрать из GPGPU-частиц, притягивающихся к скелетным точкам (Kinect в планах — их мокап-подход это подтверждает); при потере зрителя — плавный распад в шум.

A

Alexander Whitley Dance Company (композиторы Galya Bisengalieva и др.) — The Rite of Spring / Mirror (дабл-билл)

2025/2026 · работа ↗

Техника: Живой мокап танцоров + AI-генеративные визуалы на сцене (развитие их пайплайна Anti-Body: инерциальные сенсоры → аватар → кастомный генеративный софт Uncharted Limbo → проекция). «Весна священная» Стравинского как ритуал доверия к ИИ; Sadler's Wells East.

Язык: Танцор — одновременно персонаж, сценография и свет: потоки данных с тела в реальном времени становятся всей визуальной средой. Ритуальная ритмика Стравинского сталкивается с машинной логикой — жертва как «сдача доверия ИИ».

Перенос к нам: Самый прямой рецепт для нас: поток поз (у них — 17 сенсоров, у нас — pose из blob-tracker) вливается в генеративную частичную среду без посредника-аватара — суставы сразу как аттракторы/репеллеры силового поля в GPGPU. «Весна священная» — идеальный тест правила «бит=движение»: жёсткие ритмические удары = импульсы взрыва частиц, синхронизированные с акцентами позы. Взять их принцип «танцор = свет»: яркость сцены выводить из суммарной кинетической энергии скелета.

D

Daito Manabe (Rhizomatiks) × ELEVENPLAY (MIKIKO) — +1+1+1+

Техника: Танц-инсталляция в Toyama Aubade Hall: волюметрический захват и 4D-мокап танцоров (Crescent), проекционный мэппинг (GRID); классические музыкальные структуры, наложенные на современный ритм — тела множатся и сдвигаются во времени.

Язык: Тело, размноженное во времени: «+1» — это клоны танцора, смещённые на доли такта, стирание границы между записью и живым исполнением. Музыкальная форма (канон, фуга) становится хореографическим и визуальным материалом.

Перенос к нам: Техника «эхо тела» для GPGPU: кольцевой буфер поз (история N кадров pose из postMessage в текстуре) → рисуем 3-5 временных клонов силуэта частицами с разным сдвигом и затуханием — дёшево, эффектно, идеально под «бит=движение»: сдвиг клонов квантовать по битовой сетке (1/4, 1/8). В TD — Cache TOP/Feedback как готовый инструмент того же приёма.

Chunky Move (Gideon Obarzanek) + Frieder Weiss + Robin Fox — классический якорь — Mortal Engine

Техника: ИК-камера следит за танцорами; системы Frieder Weiss (EyeCon/Kalypso) в реальном времени генерируют видео, свет и лазер из движения; звук Robin Fox тоже выводится из данных движения. Ноль пре-рендера — ни одного заранее записанного кадра.

Язык: Тело как единственный источник света и тени: проекция не иллюстрирует танец, а физически из него вырастает — пятна, разрывы, ряби рождаются кромкой силуэта. Эталон принципа «всё генерируется из движения» на 18 лет вперёд.

Перенос к нам: Прямой предок нашего blob-tracker: силуэт как маска эмиссии — частицы рождаются только на контуре тела, скорость роя = скорость кромки (optical flow по маске камеры). Принять их манифест как правило флоу: ноль запечённых клипов, только генерация. Лазерные «срезы» Robin Fox — дешёвый постэффект: тонкие линии-сканы через позицию blob'а, вспышка по биту.

Mourad Merzouki / Compagnie Käfig + Adrien M & Claire B — классический якорь — Pixel

2014 (в туре до 2026) · работа ↗ · видео ↗

Техника: Реалтайм-проекции на движке eMotion (Adrien M & Claire B): частицы-«пиксели» ведут себя как физическое вещество — снег, дождь, ткань, волна — и взаимодействуют с хип-хоп танцорами; иллюзия объёмного пространства на плоских поверхностях.

Язык: Диалог тела и цифровой материи: частицы — не декорация, а партнёр по танцу с собственной физикой. Точка света получает вес, упругость, инерцию — и зритель верит, что танцор трогает свет руками.

Перенос к нам: Каталог «агрегатных состояний» для наших 1-3M частиц: снег (падение+ветер), вода (волны от шага), ткань (пружинные связи), рой (boids) — сцены флоу как смена физики одного и того же облака. Коллизии с телом: SDF из силуэта blob-tracker'а — частицы отскакивают/обтекают контур. Их урок сценарности: не один бесконечный эффект, а виньетки по 1-2 минуты со сменой материи — готовая драматургия VJ-сета.

Мокап живьём на сцене

PLAVE / VLAST — Asia Tour «DASH: Quantum Leap» + Encore в Gocheok Sky Dome (Сеул)

Техника: Инерциальный мокап (performers в костюмах в студии VLAST) → реалтайм-стрим позы в концертный зал, аватары в Unreal Engine на LED-экранах арены; двусторонний канал: артисты видят реакцию зала и отвечают спонтанно (не пререндер). 37 000 зрителей за 2 шоу — первая виртуальная группа в главной арене Кореи.

Язык: Виртуальное тело становится стадионным хедлайнером не за счёт картинки, а за счёт живости: ценность — в спонтанной реакции аватара на зал в реальном времени. Граница «наш мир / виртуальный» стирается именно там, где аватар ошибается, шутит и отвечает — т.е. в latency-петле, а не в рендере.

Перенос к нам: Их архитектура «студия мокапа → сеть → зал» = наша связка blob-tracker → postMessage pose → WebGL-флоу: физически разнести захват и рендер, гонять по мосту только скелет/центроиды (килобайты), а не видео. Обязательно строить обратную петлю: зритель должен видеть, что частицы отвечают именно ему, с задержкой <100 мс — это главный источник «живости», важнее плотности частиц.

hololive production (COVER Corp) — hololive English 2nd Concert «Breaking Dimensions», Kings Theatre, Нью-Йорк

Техника: Реалтайм-мокап 15 VTuber-перформеров, 3D-модели с motion-tracked хореографией; сценография из главного экрана во всю сцену + два боковых с другими ракурсами и крупными планами тех же аватаров; три акта («прошлое/настоящее/будущее») со сменой виртуальной сценографии.

Язык: Концерт аватаров как театральная форма: один живой поток движения размножается на несколько экранов-ракурсов, и монтаж ракурсов виртуального тела происходит вживую. Драматургия строится сменой виртуальных «сцен»-миров под секции сета, а не сменой декораций.

Перенос к нам: Мульти-вью одного скелета: один pose-поток из blob-трекера рендерить параллельно в 2-3 флоу с разными камерами/стилями частиц (общий план + «крупный план» рук) — дёшево, т.к. GPGPU-система одна, меняется только проекция. Смену «миров» оформить как пресеты флоу, переключаемые по секциям трека (бит=движение уже даёт сегментацию).

Eminem × Metaphysic (VFX-суперв. Jo Plaete) — Live AI Slim Shady — открытие MTV VMAs, UBS Arena

Техника: Маркерлесс: computer vision сам находит лица в эфирной камере, нейросеть (обученная на архиве 1999 г.) в реальном времени подменяет лица 30-50 перформеров в кадре; GPU-пайплайн встроен в тракт «камера → процессинг → эфирный ПТС» без добавленной латентности прямого эфира.

Язык: «Маска из вычислений» поверх живого тела в прямом эфире: идентичность как live-эффект. Ключевой художественный ресурс — не качество подмены, а то, что она происходит сейчас, на глазах, и масштабируется на толпу двойников.

Перенос к нам: Подтверждение нашей ставки на камеру вместо костюма: маркерлесс по видеотракту работает на бродкаст-уровне. Перенять их дисциплину латентности: бюджет мс на каждый узел (захват → трекер → postMessage → рендер), при перегрузе деградировать качеством (меньше частиц, ниже разрешение поля), но никогда — временем. И приём «толпы двойников»: один pose инстанцировать в N смещённых копий частичного тела.

M

MBC × Isegye Idol, PLAVE, nævis, RIIZE и др. — MBC Virtual Live Festival 2025, Sangam Culture Square, Сеул

Техника: Первый ТВ-фестиваль, где виртуальные и живые айдолы делят одну сцену: реалтайм-рендер + мокап-перформанс + AR-камеры для трансляции (Coupang Play); гибридные номера, где аватар и человек стоят в одном кадре на открытой площадке.

Язык: Нормализация гибридной сцены: виртуальный перформер больше не отдельный жанр, а равноправный участник общего лайнапа. Язык — «дуэт миров»: живое тело и цифровое существо в одном кадре, синхронизированные общим ритмом.

Перенос к нам: Гибридный кадр для наших флоу: blob-силуэт живого человека + его GPGPU-двойник из частиц рядом (а не вместо) — дуэт с собственной копией. Оба слоя вешаем на один бит-клок (бит=движение), смещение двойника по фазе на 1-2 бита даёт «ответ» партнёра. Kinect в планах закроет глубину для честного разделения слоёв человек/аватар.

B

Blanca Li × Backlight (костюмы Maison Chanel) — «Le Bal de Paris» — тур, сезон в La Seine Musicale, Париж

2021, тур до 2025 · работа ↗

Техника: Иммерсивный VR-бал: 10-12 зрителей + 2 профессиональных танцовщика одновременно трекаются целиком (VR-шлемы + body-сенсоры/Vive-трекеры) в зале ~10×10 м; каждый зритель выбирает виртуальный костюм Chanel и танцует внутри общей сцены; 3 акта хореографии. Приз Венецианского фестиваля за Best VR Experience.

Язык: Зритель перестаёт смотреть и становится аватаром: трекаются все тела в комнате, и хореография пишется как сценарий состояний общего пространства, где профессионал ведёт любителя. Костюм — цифровой, тело — своё.

Перенос к нам: Модель «все в кадре — участники»: наш blob-tracker и так видит всех — давать каждому центроиду своё «частичное платье» из частиц (шлейф, ореол), а не общий фон. Хореографию перенести как машину состояний флоу (акт 1/2/3 с разной физикой частиц), переключаемую по времени или по суммарной энергии движения в кадре.

Royal Shakespeare Company × Marshmallow Laser Feast (реж. Robin McNicholas) — «Dream» — живой онлайн-спектакль по «Сну в летнюю ночь» (якорь)

Техника: Мокап-волюм 7×7 м (Vicon + лицевой риг), 7 актёров, рендер в Unreal Engine, живая трансляция 60 000+ зрителям; зрители в виде светлячков в реальном времени вели Пака (EM Williams) через виртуальный лес движением тачскрина/мыши; музыка Philharmonia вживую.

Язык: Аудитория — рой частиц: зрители буквально существуют в сцене как светлячки и влияют на живого мокап-актёра, каждый показ уникален. Лес из частиц и света — не фон, а среда-собеседник, реагирующая на тела актёров.

Перенос к нам: Прямое попадание в стек: «светлячки» — это наши GPGPU-частицы, повышенные до агентов. Сделать в флоу слой частиц-агентов (5-10% от 1-3M), которые притягиваются к рукам/голове из pose-потока, остальные — поле-среда; вход зрителя (клик, вторая камера) — форс-поле. Формула Dream: живое тело в мокапе + аудитория как частицы = ровно наш blob-tracker + WebGL.

Chagall van den Berg — «Calibration» / «Unlocked» — живые AV-сеты с мокапом и перчатками (якорь)

Техника: Полный Xsens-костюм + сенсорные перчатки mi.mu (Glover): жесты и хореография в реальном времени управляют всеми электронными слоями музыки, вокал-эффектами, светом (12 LED-арок B.A.B.Y. в «Unlocked») и реактивными визуалами/аватаром — ничего не записано заранее.

Язык: Тело как единый инструмент: движение не иллюстрирует музыку, а порождает и звук, и картинку одновременно. Мокап-костюм превращён из средства анимации в музыкальный контроллер — жест равен ноте и кадру сразу.

Перенос к нам: Обратить нашу связку «бит=движение» в двустороннюю: не только аудио гонит частицы, но и pose из blob-трекера шлёт tune-параметры обратно (postMessage в аудио-движок): высота рук — фильтр/яркость, разлёт рук — spread эмиттера + ширина стерео. Завести словарь из 3-5 жестов-пресетов (как её Glover-жесты) — это дёшево поверх готового pose-потока и сразу даёт перформеру власть над флоу.

Трекинг зрителей и толпы

Rafael Lozano-Hemmer — Spectral Subjects (Project Atrium, MOCA Jacksonville)

Техника: Термографические камеры Xenics Dione, три колоссальные настенные проекции, кастомный софт: реалтайм-карта температуры зала, частичная система визуализирует рассеивание тепла тел посетителей в кондиционированном воздухе

Язык: Тело зрителя — источник данных без единого жеста: невидимое тепло становится живописным следом. Толпа рисует картину самим присутствием, следы тают и перемешиваются со временем — «спектральные» отпечатки людей живут дольше самих людей

Перенос к нам: Добавить к blob-tracker'у accumulation-буфер «тепла присутствия»: маска человека пишется в текстуру с медленным затуханием, и это поле — источник сил для 1-3M GPGPU-частиц. След живёт и рассеивается после ухода зрителя. Бит = импульс ускоренного рассеивания. В TouchDesigner прототипируется feedback-TOP'ом за вечер

T

teamLab — Universe of Water Particles on a Rock where People Gather (teamLab Borderless, Azabudai Hills)

2024 (реинсталляция музея) · работа ↗

Техника: Реалтайм-физика сотен тысяч частиц воды, льющихся на виртуальную скалу; сенсоры присутствия: человек, вставший на скалу или коснувшийся потока, становится препятствием — вода обтекает его по законам гидродинамики; проекция без границ на стены и пол

Язык: Зритель — не триггер эффекта, а физическое препятствие внутри симуляции. Вода — среда, которая перестраивает всё течение вокруг тел, реакция не точечная, а полевая: толпа меняет русло реки

Перенос к нам: Трактовать blob-контуры из камеры как коллайдеры в velocity-поле частиц: маска силуэта → SDF → отталкивание/обтекание потока. Частицы должны огибать силуэт, а не вспыхивать под ним — это главный признак «дорогой» интерактивности. Прямо ложится на наш postMessage-пайплайн: слать не только pose, но и маску низкого разрешения

Y

Yoichi Ochiai (null2, Signature Pavilion) — null² — Forging Lives, Expo 2025 Osaka

Техника: Деформируемая зеркальная мембрана (98% отражения, 1200 м²), 640 роботических линейных актуаторов гонят волны по фасаду; внутри — зеркальные LED пол/потолок; 3D-скан посетителей (Scaniverse, A-pose), цифровой двойник Mirrored Body, аватары случайно появляются в экспозиции

Язык: Зеркало как интерфейс: среда буквально дышит и деформирует отражение толпы волнами. Каждый зритель отсканирован и получает цифрового двойника, который продолжает жить в инсталляции без него

Перенос к нам: Режим «живого зеркала»: частицы собираются в отражение силуэта (pose из postMessage), а бит = волна деформации, прокатывающаяся по этому отражению. Идея двойника — силуэт зрителя остаётся в сцене после ухода и «доигрывает» его движения (буфер последних поз). Kinect в планах закрывает 3D-скан-часть

M

Marshmallow Laser Feast — Of the Oak (Royal Botanic Gardens, Kew)

Техника: Лидар-скан + фотограмметрия + георадар 250-летнего дуба → цифровой двойник дерева на 6-метровом LED-экране под открытым небом; motion-сенсоры отслеживают движение зрителей, визуал мягко отвечает на приближение и жесты; многоканальный звук

Язык: Деликатная интерактивность: не аттракцион «помахал — вспыхнуло», а присутствие. Зритель влияет на живой организм тонко, почти незаметно — интерактив как дыхание, а не как кнопка

Перенос к нам: Кривая чувствительности: амплитуду движения из blob-tracker'а пропускать через низкочастотный фильтр и нелинейное сжатие, чтобы система отвечала мягким дрейфом, а не дёрганьем. Отдельный урок: лидар-скан статичного объекта как каркас, по которому текут частицы, — годится для наших сцен с фиксированной геометрией

I

Iregular (Daniel Iregui, Монреаль) — PRISM: As Water Falls + Control No Control + Faces + Fortunes (Manar Abu Dhabi)

2025–2026 · работа ↗

Техника: Четыре уличных LED-призмы монументального масштаба; AI-трекинг тела и лица по камерам под открытым небом, генеративные визуально-звуковые системы реального времени — жесты множества людей одновременно формируют композицию

Язык: Уличная толпа как со-автор: интерактив выдерживает N одновременных участников и неконтролируемый свет/погоду. Каждая сессия уникальна — генеративная система не проигрывает пресеты, а сочиняет из жестов

Перенос к нам: Multi-blob режим: вести не одного пользователя, а всех — каждому blob'у свой ID, цвет-роль и подмножество частиц; композиция = сумма вкладов. Из их уличной практики — адаптивный сбор фона в blob-tracker'е (у нас уже есть) и деградация к autonomous-режиму, когда людей нет

R

Random International — Rain Room — классический якорь

2012 (туры по сей день: MoMA, LACMA, Barbican, Sharjah) · работа ↗ · видео ↗

Техника: 3D tracking cameras + сетка управляемых клапанов: непрерывный ливень на 100 м², но над каждым обнаруженным человеком дождь останавливается — сухое пятно движется вместе с телом

Язык: Инверсия реакции: присутствие создаёт не всплеск, а тишину и пустоту. Самый сильный интерактивный жест — то, что НЕ происходит вокруг зрителя. Тело чувствует систему кожей, без экрана

Перенос к нам: Negative space как приём: вокруг blob'а частицы гаснут, замирают или расступаются — движущаяся «зона тишины» вместо шлейфа. На бите — глобальный ливень частиц, в радиусе зрителя он глушится. Дёшево в GPGPU (radial falloff от центроида blob'а) и сразу читается как концепт, а не эффект

U

Universal Everything — Future You — классический якорь

2019 (Barbican, AI: More Than Human; далее в турах) · работа ↗

Техника: Motion capture / pose tracking зрителя перед экраном; синтетический персонаж-«отражение» с 47 000 вариаций облика повторяет и интерпретирует движения, со временем учится и становится ловчее

Язык: Зеркало-персонаж: система не копирует позу, а интерпретирует её чужим телом. Эволюция отражения — от неуклюжего к грациозному — удерживает зрителя дольше любого мгновенного эффекта

Перенос к нам: Прямое попадание в наш postMessage-pose-флоу: частицы собираются в фигуру-отражение по скелету, seed облика — от ID blob'а (каждому зрителю свой персонаж). Параметр «ловкости» растёт со временем сессии: сначала отражение рассыпчатое и запаздывает, через минуту — хлёсткое и попадает в бит

Оптический трекинг без датчиков

I

Iregular (студия, Монреаль) — Fortunes

Техника: Обычные RGB-камеры перед каждой зоной + AI body tracking (без depth-сенсоров); 5 LED-монолитов; генеративный движок перерисовывает силуэты зрителей в реальном времени. MURAL Festival Монреаль 2024, Manar Abu Dhabi 2025.

Язык: Тень как аватар-гадание: тело зрителя не отображается буквально, а постоянно «перерисовывается» генеративной системой — каждое взаимодействие даёт уникальную композицию. Мультизонная структура: одна камера = одна зона = свой визуальный мир.

Перенос к нам: Зонный роутинг для нашего blob-tracker: делим кадр камеры на зоны, каждая зона через postMessage включает свой пресет флоу. Силуэт не рисуем напрямую — «перерисовываем» GPGPU-частицами (стилизованная тень вместо зеркала), смену стиля перерисовки вешаем на бит.

J

Joseph Lindley & Jesse Benjamin (Design Research Works, Lancaster) — Shadowplay

Техника: Источник света + тени участников на экране; захваченный силуэт уходит в генеративную AI-модель (img2img) и возвращается как новая картинка. Показана на ACM TEI 2024 (Корк); ранние версии — V&A, Dutch Design Week, MozFest.

Язык: Тень как промпт: машина не отслеживает тело, а «интерпретирует» его отпечаток. Зритель играет с проекцией теней, AI дорисовывает смысл — язык соавторства человека и модели через самый древний интерфейс (театр теней).

Перенос к нам: Копим маску силуэта с камеры в accumulate-текстуру (память жеста) и используем её как поле рождения/окраски частиц. На сильном бите — «переинтерпретация» накопленной тени: резкий морф пресета. Позже тот же буфер силуэта можно скармливать локальной img2img как оффлайн-постер сессии.

Y

Yunzi Shi, John Bell, Adithya Pediredla (Dartmouth) — Embodied Visions (три инсталляции, SIGGRAPH Asia 2024 Art Papers)

Техника: Веб-камеры + проекторы + ML computer vision (сегментация, гомография). Силуэт зрителя живёт на проекции; алгоритм сравнивает его позу с базой записей прошлых посетителей и при совпадении подменяет живой силуэт чужой записью.

Язык: «Тень с памятью»: изображающий пайплайн (камера→обработка→проекция) сам становится материалом. Твоя тень внезапно оказывается чужой — телесное присутствие сшивается с архивом всех, кто был здесь до тебя.

Перенос к нам: Логируем pose из blob-tracker (postMessage) в кольцевой буфер сессий. Pose-matching на 2D-keypoints (косинусная близость нормализованных скелетов) → триггер «эхо»: частицы воспроизводят траекторию прошлого посетителя поверх живого силуэта. Работает на обычной камере уже сейчас, Kinect не обязателен.

A

Abstract Engine (Токио) — ShadowUp (StereoLight)

Техника: Запатентованный «двухглазый» прожектор: попеременные левый/правый LED дают две системы теней, затворные 3D-очки собирают их в объём. Ноль камер, ноль CG, нулевая задержка, «бесконечное» разрешение; масштаб до уличных площадок 10 000 м². Кейсы: Syn (Rhizomatiks × ELEVENPLAY), Kochi Castle.

Язык: Тень сама — дисплей: реальные тени тел отрываются от стены и повисают в воздухе как трёхмерные объекты. Радикально чистый язык: никакой обработки, только оптика — интерактив с нулевой латентностью как художественный приём.

Перенос к нам: Два переноса: 1) бюджет латентности — держать цепочку камера→blob→частицы <100 мс, иначе эффект «это моя тень» рвётся (у них zero latency — планка); 2) псевдообъём силуэта в WebGL: рендерим тень двумя слоями частиц со стерео-сдвигом по «глубине» blob'а — дешёвый 2.5D без Kinect.

M

Memo Akten [классический якорь] — Body Paint

Техника: ИК-камера + optical flow + компьютерное зрение на openFrameworks: движение тела «кладёт краску» на виртуальный холст; при остановке изображение медленно гаснет. V&A «Decode» 2009, далее мировой тур до 2019.

Язык: Энергия движения как пигмент: не поза, а величина и направление движения рисуют. Замер — и образ тает; система вознаграждает танец, а не позирование. Эталон «движение = материя» для camera-based интерактива.

Перенос к нам: Прямой рецепт нашего «бит=движение»: величина optical flow (или скорость центроидов blob-tracker) → инжект velocity в force-map GPGPU-частиц; decay при неподвижности, чтобы поле «дышало». В TD — opticalFlow TOP → particlesGPU; в WebGL — flow-текстура сэмплится в симуляционном шейдере 1-3M частиц.

R

Rafael Lozano-Hemmer [классический якорь] — Body Movies (Relational Architecture 6)

Техника: Ксеноновые прожекторы 7 кВт с пола + video surveillance tracking (обычные камеры, без глубины): тени прохожих 2-25 м высотой на фасаде 400-1800 м²; портреты горожан видны только внутри теней; при «накрытии» всех портретов сцена меняется.

Язык: Масштаб тени как драматургия: расстояние до источника света превращает любого в великана или карлика, контент существует только внутри тела зрителя. Родоначальник всего shadow-interactive — коллективная игра без единого датчика на человеке.

Перенос к нам: Слой контента, видимый только внутри силуэта: маска из blob-tracker как стенсил — частицы/текстуры проявляются исключительно в границах тела. Высота bbox (≈дистанция до камеры) → LOD: ближе к камере = плотнее и крупнее частицы. Плюс механика коллективной цели (накрыть все объекты силуэтами) как сценарий смены сцен по таймлайну.

Аудиореактив: клуб и VJ

4

404.zero (Кристина Карпышева и Александр Лециус) — ISOTRP A/V live (клубный сет System 108 / Alfa Kristall)

Техника: TouchDesigner + live-coded GLSL, генеративные системы без единого футажа, звук — модульные синтезаторы; звук и картинка — одна алгоритмическая система в реальном времени

Язык: Монохромная «цифровая материя»: шум, математика и электрические сигналы вместо съёмок и сэмплов. Визуал не иллюстрирует музыку — они порождаются одним алгоритмом, самодостаточным и «дегуманизированным»: система живёт сама, зрителю оставлена свобода трактовки. Гипнотические структуры света, идеальные для индустриального клубного пространства.

Перенос к нам: Довести наш принцип «бит=движение» до принципа «одна система»: огибающие полос спектра гнать напрямую в форс-филды GPGPU-частиц без промежуточной логики. Ч/б нойз-эстетика (curl noise + feedback) дёшево масштабируется на 1–3M частиц в WebGL и прощает низкий битрейт проекторов. Держать флоу полностью кодовым — без видеоклипов, только генератив.

D

Daito Manabe × Satoshi Horii (Rhizomatiks) — Phase Forms — 75-минутный AV-лайв (Sónar Barcelona, MUTEK.JP)

Техника: Реалтайм-визуал Rhizomatiks, математические полиритмы как общий каркас музыки и графики, интерактивный интерплей музыка↔картинка

Язык: Визуал строится не «на громкость», а из той же математической структуры, что и композиция: полиритмы, фазовые сдвиги, эволюция паттернов. Музыка и графика — два выхода одного вычисления, поэтому синхрон ощущается абсолютным даже в амбиентных фрагментах без явного бита.

Перенос к нам: Добавить к нашей RMS-огибающей счётчик музыкальной фазы (beat phase / такт / полиритм-LFO в TD) и слать его postMessage в WebGL-флоу: частицы переключают режимы поведения по фазе такта, а не только по амплитуде. Это снимает главную болезнь аудиореактива — «дрожание на каждый кик» — и даёт драматургию внутри лупа.

Anyma (Matteo Milleri) / Afterlife — The End of Genesys — резиденция в Sphere, Лас-Вегас

Техника: Гибрид: UE5 (Nanite/Lumen) + Houdini/C4D пререндер, реалтайм-слои Notch и TouchDesigner, Stable Diffusion, синхронизация disguise по тайм-коду, 16K×16K LED

Язык: Техно-сет как опера в четырёх актах: биомеханический гуманоид — сквозной герой, тема слияния человека и машины. Главный урок — не масштаб, а драматургия: у сет-визуала есть персонаж, арка и акты, а реалтайм-слои вшиты в жёсткий тайм-код шоу.

Перенос к нам: Дать нашему blob-tracker «героя»: силуэт зрителя из камеры — не эффект, а персонаж, проживающий сет (рождение из частиц → распад → возвращение). Строить боевые сеты актами: пресеты-состояния флоу, переключаемые по тайм-коду/MIDI из VJ Console, вместо бесконечного лупа одного эффекта.

W

Weirdcore (классический якорь №1) — Лайв-визуалы Aphex Twin (face tracking толпы, Kinect-«дисморфия») + Yaeji Boiler Room: New York

2009–2024 · работа ↗

Техника: Max/Jitter-реалтайм, face mapping по залу, Kinect body-дисморфия, datamosh, собственный софт; в 2023–2024 — AI-генераторы поверх реалтайма

Язык: Панк-реалтайм: главный контент — сами зрители. Камера находит лица в толпе и уродует/подменяет их на экранах; Kinect растягивает тела в дисморфичные массы. Грязь, юмор и глитч вместо глянца — толпа орёт, увидев себя. Эталон того, что клубный экран сильнее всего работает, когда показывает зал.

Перенос к нам: Прямой блюпринт для нашего blob-tracker: pose из камеры → дисморфия силуэта в частицах (растяжение конечностей по биту, взрыв блоба на дропе). Глитч-эстетика прощает шум и лаг трекинга — недостаток превращается в стиль. Когда придёт Kinect — повторить body-dysmorphia как отдельный флоу.

V

Vincent Houzé (классический якорь №2) — HYBRID, Fluid Structure, Créatures — GPU-симуляции для перформансов

2016–2019 · работа ↗

Техника: TouchDesigner + собственные C++ CHOP/TOP (Bullet, NVIDIA FleX, CUDA-флюиды), GLSL-частицы с межчастичными силами, hardware instancing, Kinect-ввод

Язык: Физика как визуальный язык: миллионы частиц с настоящей динамикой — флюиды, столкновения, boids — вместо текстурных трюков. Красота возникает из простых правил симуляции; танцор через Kinect становится силой внутри поля частиц.

Перенос к нам: Апгрейд наших GPGPU-частиц: добавить divergence-free поле скоростей (curl noise / stable fluids на текстуре) — частицы «текут», а не разлетаются; бит инжектит импульс в поле, а не дёргает позиции. Pose из blob-tracker использовать как эмиттер и препятствие в поле скоростей — его FlexCHOP и GLSL-туторы открыты, паттерны переносимы в WebGL.

T

The NODE Institute + берлинское TD-комьюнити (DJ Hara Katsiki) — TD EVENT BERLIN 24: Immersive VJ Night, Studio1111 — 270° экран 16 000 px

Техника: TouchDesigner-мастеркласс → живой VJ-джем под DJ-сет; иммерсивный клубный экран 270°, формат Open Beamer — несколько виджеев миксуют потоки в реальном времени

Язык: Срез новой волны клубного виджеинга 2024+: TD стал lingua franca сцены, а формат — коллективный джем на панорамном экране, где визуалисты ремиксуют друг друга как диджеи. Клуб превращается в иммерсивное пространство без «сцены и задника».

Перенос к нам: Готовить наши флоу к ultra-wide/панораме: масштабируемый вьюпорт и тайлинг для нестандартных аспектов (270° = несколько проекторов). В VJ Console заложить jam-режим: два флоу одновременно с кроссфейдом/блендом — наш парк из 127 флоу это уже почти Open Beamer.

E

Ezra Miller — Реалтайм-визуалы для лайва Objekt (Islington Assembly Hall) и генеративные AV-системы

2019–2021 · работа ↗

Техника: Собственный софт: Three.js/WebGL, Processing, GLSL-шейдеры; камера-фиды из зала вплетены в генератив, MIDI-синхрон с артистом, микс пререндера и реалтайма

Язык: «Баланс формы и бесформенности»: генеративные системы, запущенные без предопределённого исхода — художник контролирует параметры, но не результат. Зал через камеру становится частью визуальной ткани. Редкий пример боевого клубного WebGL-стека — наш прямой родственник.

Перенос к нам: Blob-tracker как зеркало, а не маска: подмешивать сырой камера-фид в поле частиц (optical flow → скорости GPGPU), чтобы зал буквально шевелил визуал. Принять его принцип «контроль без контроля»: оставлять флоу стохастическую свободу вместо жёсткого маппинга бит→вспышка — сет живёт, а не мигает.

Аудиореактив: генеративные лайвы

Char Stiles — Live GLSL sets (Future Sketches / ICLC 2025 ALGO:RAVE, La Nau)

Техника: Живое написание GLSL-шейдеров (KodeLife) на сцене, код проецируется поверх картинки; дуэты с live-кодером музыки (DJ_Dave, Dan Gorelick); в MIT Future Sketches тянет live-coding в AR

Язык: Экран с кодом — часть визуала, а не служебный слой: зритель видит, как строка кода мгновенно ломает/собирает картинку. Ошибки и правки — драматургия сета. Шейдер как инструмент, на котором играют в реальном времени.

Перенос к нам: Наш фрагментный шейдер частиц уже «инструмент» — сделать режим, где панель тюнов/строки пресетов видимы как HUD-слой поверх флоу (эстетика прозрачного процесса). Бит=движение довести до «бит=правка кода»: по сильной доле переключать один uniform-пресет скачком, как Char перезапускает строку.

DJ_Dave (Sarah Davis) — Live coding set, Nuits Sonores 2026 (Les Grandes Locos, Лион; sold out)

Техника: Электропоп, собираемый с нуля кодом (Sonic Pi) на глазах у зала; экран кода как сценография; регулярные визуал-коллабы с шейдер-кодерами (Char Stiles)

Язык: Algorave вышел из подвалов на большие фестивали: sold-out слот на Nuits Sonores 2026. Поп-структура (куплет/дроп) строится из алгоритмов, и зал танцует под процесс компиляции — прозрачность процесса стала шоу.

Перенос к нам: Дроп = глобальный пресет-свитч: во флоу держать 2-3 «состояния» (breakdown/build/drop) и переключать их по детектору энергии, а не только пульсировать огибающей. HUD со значениями аудио-анализа (BPM, band-огибающие) показывать как часть картинки — дёшево и добавляет «лайвовости».

Malitzin Cortés (CNDSD) + Iván Abreu — AUTO{}Construcción — live cinema coding, AV-концерт (Мехико/Мадрид/Утрехт/Шанхай, показы до 2024)

Техника: «Live cinema coding»: TidalCycles-паттерны секвенируют не только звук, но кинокадры — камеры, свет, аниматоров в 3D-сцене (Processing + Unreal Engine, ML-генерация 3D)

Язык: Музыкальный паттерн = монтаж: одна строка кода одновременно кроит ритм и «режиссирует» 3D-мир (спекулятивная архитектура самостроя). Код управляет камерой и актёрами сцены, а не текстурой-заливкой.

Перенос к нам: Самое переносимое — паттерн управляет КАМЕРОЙ: в наших WebGL-флоу бит должен резать/двигать виртуальную камеру над полем 1-3M частиц (cut по сильной доле, dolly по огибающей), а не только толкать сами частицы. Blob-tracker pose (postMessage) — «актёр» сцены: силуэт как источник импульсов в этой монтажной логике.

T

TOPLAP Barcelona / коллектив ICLC — ALGO:RAVE «Live coding beyond computers», ICLC 2025 @ La Nau (11 актов: Char Stiles, Sol Sarratea, Kate Sicchio & Sarah GHP, Timo Hoogland и др.)

Техника: Клубный алгорейв-формат: цепочка коротких AV-актов, Hydra/TidalCycles/Strudel/GLSL, проекция кода, отдельный audiovisual-вечер в программе конференции

Язык: Срез сцены 2025 в одном лайнапе: живой код как клубная норма, акты по 15-20 минут сменяют друг друга, у каждого свой язык, но единая эстетика «инструмент собирается при зрителе».

Перенос к нам: Формат для нашего VJ Console: сет = плейлист коротких флоу по 5-7 минут со сквозным аудио-анализом и жёсткими стыками по биту (следующий флоу стартует на сильной доле). Лайнап — готовый список имён для дальнейшего разбора техник.

Olivia Jack — Hydra — браузерный live-coding видеосинтезатор (классический якорь; активен: воркшоп на 38C3, дек. 2024)

Техника: WebGL-видеосинт по логике аналогового модуляра: осцилляторы→трансформации→feedback через мультифреймбуферы; входы — webcam, скринкаст, p5-канвас, другие окна Hydra по WebRTC; FFT-аудиореактивность (a.fft[n])

Язык: Модульный синтез картинки в браузере: всё — сигнал, включая камеру и чужое окно; feedback-петля как главный генератор сложности. Одна строка-цепочка функций = целый патч.

Перенос к нам: Прямо наш стек (браузер/WebGL). Взять: (1) feedback-буфер поверх GPGPU-частиц — прошлый кадр как texture-вход даёт шлейфы/рекурсию почти бесплатно; (2) webcam как источник поля сил + маска blob-tracker; (3) их схему a.fft[bin]→параметр как образец для маппинга наших 60Hz-огибающих на tune-параметры флоу.

A

Alex McLean (Yaxu) — Algorave / TidalCycles / Strudel (классический якорь; сооснователь движения, активен на ICLC 2025)

2009-2026 · работа ↗

Техника: TidalCycles (Haskell DSL): музыка как трансформации циклических паттернов — эвклидовы ритмы, полиритмия, реверсы/сжатия паттерна на лету; Strudel — тот же движок на JS в браузере

Язык: Паттерн — первичный объект: не нота и не трек, а правило, порождающее ритм. Танцевальность возникает из алгебры циклов; перформанс — переписывание правил под ногами у зала.

Перенос к нам: Бит=движение апгрейдить с «одного триггера» до паттерн-движка: эвклидов ритм (напр. 5 импульсов на 16 долей) раскладывает удары по секторам/кластерам поля частиц — полиритмия в пространстве. Strudel — JS, можно встроить рядом с флоу как генератор событий и слать их postMessage-ом, как pose.

S

Sabina Covarrubias — «Viaje» (42 мин живой электроники + генеративный Jitter-визуал) и Max for Live-девайсы Obsessum / Digital Dust; воркшоп на Bideotikan, Бильбао

Техника: Max/MSP/Jitter внутри Ableton Live (Max for Live): OpenGL-графика, реагирующая на амплитуду, MIDI и темп-клок сета; визуал упакован в переносимые девайсы с MIDI-маппингом

Язык: Визуал как девайс в DAW: картинка сидит в той же цепочке, что и звук, и питается транспортом сета — темпом, клоком, MIDI-нотами, а не только микрофонной огибающей. Инструментализация: пресет = устройство.

Перенос к нам: Ключевое — beat-phase вместо голой огибающей: тянуть из аудио-анализа BPM-клок и фазу доли в WebGL-униформы (частицы «дышат» в такте, а не дёргаются на транзиентах). Для TD-веток — оформлять аудиореактив как переиспользуемые .tox-девайсы с MIDI-маппингом тюнов, по её модели Max for Live.

Наши флоу — что уже крутится (пульт :5187, 151 пресет)

MUDRA · живая ткань

знак Mudra из 3.2M частиц; заливка перерождается на месте, аура-дымка, одобренная база

пульт → вкладка Mudra · demo-mudra-hands.html

MUDRA · знак литой

сверх-якорь logoAnchor 1.8 — частицы сидят внутри штрихов и букв, айдент-интро

пульт → вкладка Mudra · demo-mudra-hands.html

MUDRA · излучение

равномерные лучи из-за знака к краям, центр с узором всегда чистый

пульт → вкладка Mudra · demo-mudra-hands.html

MUDRA · zero pulse

кольцевая ударная волна от каждого кика через весь знак

пульт → вкладка Mudra · demo-mudra-hands.html

MUDRA · quayola paint

заливка стекает вдоль штрихов — живопись мазками

пульт → вкладка Mudra · demo-mudra-hands.html

MUDRA · arch shock

резкие разлёты, прочерченные кромки — агрессивные пики

пульт → вкладка Mudra · demo-mudra-hands.html

MUDRA · кровь

duotone 404-канона: знак держит чистый тон, кик жжёт нити

пульт → вкладка Mudra · demo-mudra-hands.html

MUDRA · кислота

изумруд-золото duotone, вспышка свечения на бит

пульт → вкладка Mudra · demo-mudra-hands.html

MUDRA · разъёб

бас двигает всю композицию, разлёт на пределе, знак читается

пульт → вкладка Mudra · demo-mudra-hands.html

arch3d · galaxy

спиральный диск 262k частиц, 2 рукава, цвет по глубине

пульт → вкладка Mudra · demo-arch3d.html

arch3d · tunnel

полёт внутри трубы, ультрафиолетовые рёбра; 9 форм + автоморф

пульт → вкладка Mudra · demo-arch3d.html

gyroid topology slice

raymarched-гироид: бас = толщина стен, мид = частота решётки

пульт → вкладка Mudra · demo-gyroid-topology-slice.html

physarum² · sage

слизевик Джонса 2M+ агентов, 6 видов-организмов; бас разъёбывает структуру, кик = рывок скорости

пульт → вкладка Mudra · demo-physarum2.html

physarum² · кружево

мелкоячеистая колония по рефу network_2 Sage Jenson; тишина замирает

пульт → вкладка Mudra · demo-physarum2.html

Гайды и инструменты

Гайд оператора MUDRA

внутри флоу: кнопка «гайд» или ?guide=1 — маппинг звука, 5 форм, ключевые ручки, troubleshooting

локально: :5187/flow/demo-mudra-hands.html?guide=1

Resolume × MCP — полный разбор

официальные MCP-серверы Arena/Wire, 6 комьюнити, REST/WS/OSC, практики и грабли, ~40 источников

TouchDesigner POPs (2025 Release)

новое семейство GPU-операторов точек — наш вектор миграции с TOP/GLSL-хаков

WebGPU Fluid Simulations (Codrops)

MLS-MPM жидкость на compute-шейдерах, открытый код — база для жидкостного флоу

Канон аудиореактива (наш)

ЧБ default · цвет ручкой · бит = движение, не вспышка · LFO только × частоты · тишина = покой