Музыка как текст
Feb. 19th, 2021 05:12 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
spamsinkВдруг захотелось странного, но для этого у меня не хватает знаний по предметной области.
С более или менее раннего детства мы знаем, что осмысленные тексты можно подвергать сжатию с потерями, после которого основной смысл (что бы это ни значило) текста всё же сохраняется. Этому нас учили чуть ли не с младшей школы, где мы начинали писать свои первые изложения, потом дело дошло до конспектов, рефератов, у кого-то даже авторефератов...
Раз у нас XXI век на дворе, то неудивительно, что существуют уже и автоматические системы выделения существенных деталей из текста (первое, что нашлось; говорит, что multilanguage, но русского не умеет; впрочем, видно, что их теперь как грибов после дождя).
С другой стороны, мы с того же детства знаем, что сжатию с потерями можно подвергать и сигналы. В частности, мало для кого секрет, что полоса пропускания проводной телефонной линии была от 300 до 3400 Гц (текст при этом остаётся разборчив для почти всех практических применений), ну и о разнообразных методах сжатия музыки с разным соотношением битрейта и качества тоже все наслышаны. Что можно "сжимать" музыку путем прослушивания её в ускоренном темпе, совсем уж очевидно, но для полноты надо и это упомянуть.
А теперь внимание, вопрос: можно ли скрестить эти два-три способа сжатия, и подвергать автоматизированному конспектированию музыкальные формы? И делалось ли это уже?
Навскидку кажется, что музыка, будучи записана как текст, а не как сигнал, должна гораздо более легко поддаваться сжатию, чем текст на естественном языке, поскольку в ней больше повторяемости. Так, может, если какую-нибудь полуторачасовую симфонию записать в нотации, пригодной для автоконспектировщика, и засунуть в него, от неё и останется минут 5-10, как от многостраничной болтологической статьи остается конспект на страничку-две?
В случае с песнями, многие из которых имеют структуру
куплет_со_вступлением - рефрен - [ ещё_куплет - рефрен ] x N раз - проигрыш - рефрен - кода
их можно в простейшем случае сжать до N = 1, или даже до N = 0, или, по максимуму, до
куплет_со_вступлением - рефрен - кода
но для этого уже нужен определенный интеллект.
А с музыкальными формами более сложной структуры неужели это никогда не пробовали? Хотя бы вручную.
Примечание для тех, кто понимает: я в очередной раз вспомнил про алгоритм, который по входной строке строит грамматику, порождающую данную строку.
С более или менее раннего детства мы знаем, что осмысленные тексты можно подвергать сжатию с потерями, после которого основной смысл (что бы это ни значило) текста всё же сохраняется. Этому нас учили чуть ли не с младшей школы, где мы начинали писать свои первые изложения, потом дело дошло до конспектов, рефератов, у кого-то даже авторефератов...
Раз у нас XXI век на дворе, то неудивительно, что существуют уже и автоматические системы выделения существенных деталей из текста (первое, что нашлось; говорит, что multilanguage, но русского не умеет; впрочем, видно, что их теперь как грибов после дождя).
С другой стороны, мы с того же детства знаем, что сжатию с потерями можно подвергать и сигналы. В частности, мало для кого секрет, что полоса пропускания проводной телефонной линии была от 300 до 3400 Гц (текст при этом остаётся разборчив для почти всех практических применений), ну и о разнообразных методах сжатия музыки с разным соотношением битрейта и качества тоже все наслышаны. Что можно "сжимать" музыку путем прослушивания её в ускоренном темпе, совсем уж очевидно, но для полноты надо и это упомянуть.
А теперь внимание, вопрос: можно ли скрестить эти два-три способа сжатия, и подвергать автоматизированному конспектированию музыкальные формы? И делалось ли это уже?
Навскидку кажется, что музыка, будучи записана как текст, а не как сигнал, должна гораздо более легко поддаваться сжатию, чем текст на естественном языке, поскольку в ней больше повторяемости. Так, может, если какую-нибудь полуторачасовую симфонию записать в нотации, пригодной для автоконспектировщика, и засунуть в него, от неё и останется минут 5-10, как от многостраничной болтологической статьи остается конспект на страничку-две?
В случае с песнями, многие из которых имеют структуру
куплет_со_вступлением - рефрен - [ ещё_куплет - рефрен ] x N раз - проигрыш - рефрен - кода
их можно в простейшем случае сжать до N = 1, или даже до N = 0, или, по максимуму, до
куплет_со_вступлением - рефрен - кода
но для этого уже нужен определенный интеллект.
А с музыкальными формами более сложной структуры неужели это никогда не пробовали? Хотя бы вручную.
Примечание для тех, кто понимает: я в очередной раз вспомнил про алгоритм, который по входной строке строит грамматику, порождающую данную строку.
no subject
Date: 2021-02-20 02:23 am (UTC)Наверняка точно так же можно взять звуковой файл, пропустить его через преобразование Фурье со всякой фильтрацией и сделать по нему MIDI.
Но если вместо пианино у нас саксофон или аккордеон, то выйдет конфуз.
no subject
Date: 2021-02-20 03:47 am (UTC)no subject
Date: 2021-02-20 06:05 am (UTC)А вот, кстати, еще такой момент: аранжировка для оркестра - это как бы "расширение" базовой мелодии. Соответственно, урезание оркестровки до нотации для одного инструмента - обратно сжатие.
no subject
Date: 2021-02-20 06:56 am (UTC)И да, "деаранжировка" - это конспектирование в одной размерности, а выделение ключевых мест - в другой.
no subject
Date: 2021-02-20 02:21 pm (UTC)Для превращения музыки из аудио файла в ноты (AMT, Automatic Music Transcription) нонче используют CNN. Причём распознавалка умеет даже ошибки исправлять и менять аранжировку. Представление музыки внутри такой распознавалки можно было бы назвать конспектом, только нечеловеческим, поскольку читать его умеют только роботы.
no subject
Date: 2021-02-22 04:14 am (UTC)no subject
Date: 2021-02-20 02:29 am (UTC)А просто закодировать ноты маловато будет?
no subject
Date: 2021-02-20 03:48 am (UTC)no subject
Date: 2021-02-20 04:05 am (UTC)Ну как, вот целая нота ля, 440 герц, тянется сколько, секунду? 440 колебаний, оцифровано. Очень много бит. А закодировать ноту - ну сколько там, пара байт максимум.
no subject
Date: 2021-02-20 05:01 am (UTC)no subject
Date: 2021-02-20 06:00 am (UTC)no subject
Date: 2021-02-20 07:03 am (UTC)no subject
Date: 2021-02-20 09:00 am (UTC)Гм, а в виде "сырого звука" есть же сжатие МП3. Вот в нем и порыться тем же образом на предмет повторов.
no subject
Date: 2021-02-20 01:34 pm (UTC)no subject
Date: 2021-02-20 06:05 am (UTC)Ну вот ноты это и обеспечивают.
no subject
Date: 2021-02-20 09:04 am (UTC)no subject
Date: 2021-02-20 04:38 am (UTC)no subject
Date: 2021-02-20 05:01 am (UTC)no subject
Date: 2021-02-20 06:05 am (UTC)no subject
Date: 2021-02-20 06:06 am (UTC)Вот.
Есть еще идея, что гугл стрит вью вполне заменяет прогулку по Монмартру или по Толедо.
no subject
Date: 2021-02-20 06:10 am (UTC)no subject
Date: 2021-02-20 06:20 am (UTC)Вот, органика.
no subject
Date: 2021-02-20 07:00 am (UTC)no subject
Date: 2021-02-20 06:58 am (UTC)no subject
Date: 2021-02-20 06:25 am (UTC)no subject
Date: 2021-02-20 07:01 am (UTC)no subject
Date: 2021-02-20 07:59 am (UTC)no subject
Date: 2021-02-20 02:29 pm (UTC)- Тата-рам да-рам дам!
no subject
Date: 2021-02-20 06:58 pm (UTC)Re: Музыка как текст / имеют структуру
Date: 2021-02-22 10:12 am (UTC)Мне кажется, наибольший рассвет в этих алгоритмах должен наблюдаться сейчас в области анализа генетических последовательностей.
Но жизнь, конечно, намного сложнее оказывается, насколько я понимаю.
Вспомнить тот же анекдот, когда Вовочку заставляют извиниться и три раза повторить одну и ту же фразу. (точнее, наоборот)
:-)
В общем, как уже указали, если есть ноты, то я не вижу особой разницы с анализом других последовательностей.
Re: Музыка как текст / имеют структуру
Date: 2021-02-22 10:55 am (UTC)Будто в нашей области люди мало копи-пастят, ведь актуальная проблема!
Много кто пользуется утилитами, которые бы сказали: вот тут у вас, молодой человек, три функции, а отличаются - одной переменной, вот вам текст, как их объединить в одну!
Re: Музыка как текст / имеют структуру
Date: 2021-02-22 07:05 pm (UTC)https://pmd.github.io/latest/pmd_userdocs_cpd.html
Re: чего в музыку-то ударяться / duplicated code with CPD
Date: 2021-02-22 07:47 pm (UTC)А то я был в курсе только одного проекта, который даже в дебиане в виде пакета присутствует:
https://www.dickgrune.com/Programs/similarity_tester/
Забавно, что в моём дистрибутиве есть dev-php/phpmd, но нет самого PMD, от которого он зависит.
Re: Музыка как текст / имеют структуру
Date: 2021-02-22 07:07 pm (UTC)