spamsink: (Default)
[personal profile] spamsink
Подумалось вдруг, как можно было бы дать слепому с рождения человеку почувствовать, что такое радуга: берем тачскрин, человек водит по нему стилусом, а программа переводит пикселы под стилусом из RGB сначала в HSV, а потом в звук: hue - в частоту, скажем в диапазоне фортепиано (с деталями перехода от синего к фиолетовому к пурпурному и снова к красному нужно будет поработать), saturation - в примесь белого шума (баланс белого, яркость, контрастность и насыщенность должны настраиваться, чтобы не утомлять шумом или неинформативным тоном), value - в громкость.
Водить стилусом, понятное дело, можно будет с любой скоростью и в любом направлении; если сделать опцию подавления звука при движении, скажем, справа налево, то можно будет делать "построчное сканирование" картинки для получения общего представления о цветовой гамме.

Если кто-нибудь где-нибудь читал о подобных экспериментах, и о том, что из этого вышло - свистните. Я верю, что и это, как обычно, придумано до меня.

Date: 2009-12-01 01:39 am (UTC)
sanmai: (Bamboo forest)
From: [personal profile] sanmai
Auditory sensory substitution systems
Edited Date: 2009-12-01 01:42 am (UTC)

Date: 2009-12-01 03:03 am (UTC)
From: [identity profile] parovoz.livejournal.com
Не совсем то, но придумано лично мной.

В моей прошлой жизни я писал софт для измерительного стенда. В состав стенда, кроме всего прочего, входили цифровой вольтметр, подключенный к компьютеру, и аналоговый регулируемый вручную источник тока. Источник тока помещался внутри экранированной комнаты, а компьютер - снаружи. В ходе эксперимента требовалось, вращая рукоятку источника тока, установить требуемое напряжение. Чтобы не бегать по десять раз из экранированной комнаты к компу и обратно, я написал программу, которая издавала (с помощью спикера - "Саундбластеры" тогда только-только появились) звук, частота которого была пропорциональна разности измеренного и требуемого напряжений.

однако

Date: 2009-12-01 04:17 am (UTC)
From: [identity profile] cema.livejournal.com
Октава получается разностью частот в два раза (исключая странные тональности). Но всякая волна из видимого диапазона после удвоения из него выходит. А вот если бы человек мог видеть шире, то как выглядела бы "оптическая октава"?

Думаю, в каком-то смысле можно считать аналогом радуги хроматическую гамму, сыгранную в диапазоне немного меньше октавы (допустим, септима), и не на фортепиано, а на скрипке, на одной струне и без дёргания на каждой ступени, а плавно двигаясь между крайними точками. Разница в том, что радуга видна вся сразу, а сыграть все промежуточные звуки такой "септимы" сразу невозможно. Можно приблизить этот эффект взятием хроматического аккорда, но ощущения гармонии это не даст, в отличие от созерцания радуги.

Date: 2009-12-01 04:18 am (UTC)
From: [identity profile] cema.livejournal.com
Почти терменвокс.

Date: 2009-12-01 04:24 am (UTC)
From: [identity profile] parovoz.livejournal.com
Как бы.

Re: однако

Date: 2009-12-01 04:41 am (UTC)
From: [identity profile] cema.livejournal.com
Да, мы видим радугу полосатую, но почему так?

Re: однако

Date: 2009-12-01 05:06 am (UTC)
From: [identity profile] parovoz.livejournal.com
Тогда мы должны видеть не семь цветов, а три.

Re: однако

Date: 2009-12-01 05:13 am (UTC)
From: [identity profile] parovoz.livejournal.com
Я бы не стал так утверждать. Я вот отчетливо вижу семь цветов. И массу оттенков.
From: [identity profile] parovoz.livejournal.com
Сема, кстати, и сказал.

Date: 2009-12-01 05:19 am (UTC)
From: [identity profile] http://users.livejournal.com/_navi_/
Спросил у знакомого (у него слепая жена и он интересуется темой accessibility & usability):
Mike: the smith kettlewell eye institute in san francisco had a project in the 90s
Mike: ski.org
Mike: there was also one at mit media lab
Mike: late 80s.
Mike: none have been well received by blind people for day to day use yet.
Me: because of some inherent problems, or something else?
Mike: the reasons i have heard is that either usefulness is too situational to warrant carrying it around, or for mobility aides like the "seeing cane" most prefer to hear unobstructed to an extra channel of information.
Mike: the latest one is the tongue display which most blind people, while they admit it might work, imagine to be too goofy to be caught dead using.
Mike: hearing doesn't have the bandwidth to allow for overlay channels that vision does. otherwise we couldn't ignore the tv or radio while working or focus on a speaker in a noisy room.

Re: однако

Date: 2009-12-01 08:05 am (UTC)
From: [identity profile] reedcat.livejournal.com
И менно

Date: 2009-12-01 08:58 am (UTC)
From: [identity profile] andaja.livejournal.com
в большинстве случаев зрение нужно в для распознования образов (от простейшего светло-темно до ...). да работает зрение и зрителное восприятие вовсе не попиксельно. то есть если и развивать такую штуку то надо ее с кинеститической частью совмещать. кинестетику использовать на части с относительно большим разрешением, поскольку ей можно вопринимать относительно крупные куски поверхности целиком и передавать на нее ч.б. "картинку" причем с доп. обработкой, а звуковую составляющую использовать исключительно на хроматическую часть, "подкрашивая" кинестетические ощущения. впрочем это и для зрячих будет более чем интересно.
но кабель в мозг вроде уже научились втыкать? я бы от трихроматического зрения не отказался.

Profile

spamsink: (Default)
spamsink

February 2026

S M T W T F S
12345 67
8 91011 121314
15161718 192021
22 2324 25262728

Most Popular Tags

Style Credit

Expand Cut Tags

No cut tags
Page generated Mar. 5th, 2026 06:44 pm
Powered by Dreamwidth Studios