arthew0

Формы

«Сама форма, даже если она совершенно абстрактна и подобна геометрической, имеет свое внутреннее звучание, является духовным существом с качествами, которые идентичны с этой формой»

В. В. Кандинский – О духовном в искусстве

Исходной точкой исследования было произведение О духовном в искусстве Кандинского.

Используя современную технологию компьютерного зрения, удается более детально анализировать изображение: распознавать объекты и следить за ними, выделять контуры и сравнивать формы, создавать картины на основе этих данных. 

Основные методики:

  • выделение палитры цвета
  • выделение формы для каждого цвета
  • анализ формы
  • анализ взаимодействия форм
  • синтез звука на основе полученных данных
Реализовано несколько различных экспериментов, в том числе и в виде аудиовизуальных проектов.





Эксперимент 1. Контурное звучание

2014
OpenFrameworks
Analog Synth

Последовательно проигрывая изображение по контуру, программа изменяет звук, учитывает прямые, повороты и углы. Эти данные содержат информацию об объеме, расположении объектов и плавности линий композиции.

Казимир Малевич супрематизм 1915





Эксперимент 2. Звучание формы

2014
OpenFrameworks
Поиск кореляции ощущения формы и звукового ряда в динамике

Динамика изображения и ее изменение - параметры формирующие характер звука.

На входе алгоритма - черно-белое изображение. С помощью машинного зрения с применением контурного анализа форма раскладывается на набор параметров, управляющих звуком



Эксперимент 3. Эффект буба-кики

2014
OpenFrameworks

Эффект открыт германо-американским психологом Вольфгангом Кёлером в 1929 году - соответствие, которое человеческий разум устанавливает между звуковой оболочкой слова и геометрической формой объекта. Пример синестезии звука и формы. Буба- округлая форма определяет низкое звучание, в свою очередь Кики- остроугольная форма с характерным высокочастотным звукорядом.

Этот принцип был учтен в программном коде аудио-визуальной композиции. Исходя из динамично меняющейся формы, трансформируется звук.



Эксперимент 4. Квадрат

2014
OpenFrameworks
Max/Msp
Korg MS 21

Играть последовательно стороны квадрата. Линия - текущий угол поворота. Что замечательно - сама визуализация стала похожа на супрематическую композицию.







Эксперимент 5. Взаимодействие форм

2014
OpenFrameworks
Max/Msp
  1. идеальное звучание изменяется от сопоставления с другими формами;
  2. оно изменяется также в том же самом окружении (поскольку возможно удержать его), если сдвинуть эту форму с ее направления.

[29]
В. В. Кандинский – О духовном в искусстве




Forms

2016
Аудиовизуальная инсталляция
Проекторы, сетки, датчик глубины.
в рамках выставки «ПРОУН континуум»




AV перфоманс «Цикл»

2015

«Цикл» — совместная работа с Soma. Синтез звука и изображения, где визуальный ряд участвует в создании музыки. Взаимодополняемость стала основой совместной работы. Влияние проекции на звук построено на анализе простых геометрических форм с помощью компьютерного зрения.