Комп'ютерна програма допомагає сліпим «бачити» за допомогою звуку

Зорові образи перетворюються на послідовності звуків

Людина, сліпа від народження, захоплена новим хобі: Це стало можливим з винаходом системи, яка перетворює зображення на послідовність звуків. Технологія не тільки дозволяє «бачити» сліпим, але і ставить під сумнів багато уявлення неврологів про пристрій мозку.

У 1992 році нідерландський інженер Пітер Мейєр створив vOICe - алгоритм, що перетворює прості чорно-білі фотографії на послідовності звуків. Система сканує зображення зліва направо, перетворюючи форми зображення на звук. Наприклад, діагональна лінія, що йде вгору, зліва направо стає поруч висхідних музичних нот. Більш складні образи, як, наприклад, людина, що сидить у шезлонгу, на перший погляд може здатися спотвореним шумом, але з достатньою підготовкою користувачі можуть навчитися «чути» побутові сюжети.

У 2007 році нейробіолог Амір Амеді і його колеги з Єврейського університету в Єрусалимі почали навчати людей, які народилися сліпими, використовувати vOICe. Незважаючи на відсутність візуальних орієнтирів, після 70-ти годин навчання, люди пройшли від «слуху» простих точок і ліній, до можливості «бачити» складне зображення, що складається з 4500 пікселів. Система, що складається з камери, комп'ютера і навушників, дозволяє незрячому самостійно пересуватися по кімнаті. Через кожні кілька кроків система перетворює знімок, зроблений камерою, на звук, що дозволяє користувачеві визначити положення предметів перед собою.

У програмі навчання 10 годин присвячені розпізнаванню людей та їхніх осіб. До кінця навчання пацієнти здатні розпізнати становище людини в просторі і повторити її позу, про це команда вчених повідомляє у своїх звітах. Додаток EyeMusic для IPhone

Щось дивовижне чекало дослідників при вивченні мозкової активності людей, які проходять навчання. Відомі області мозку, що відповідають за певні почуття, наприклад, зоровий центр. Дослідники вважали, що якщо область мозку не використовується за прямим призначенням, то вона пристосовується для використання в інших цілях. Так, зорові центри сліпих від народження могли б бути задіяні для поліпшення чуток. Але Амеді і його колеги виявили, що активність головного мозку учасників експерименту при інтерпретації людських силуетів проходить в тих же областях, що відповідає за розпізнавання форм у зрячих людей.

Амеді вказує на те, що традиційна модель пристрою мозку не може пояснити цієї активності - суб'єкт тільки чув інформацію, і вчені вважали, що розпізнавання образів неможливо без візуального досвіду в процесі розвитку. Нейробіолог Елла Стрім-Еміт, співавтор Аміра Амеді, вважає, що настав час для нової моделі. За її словами, мозок працює як машина для вирішення завдань, а не як сенсорна машина.

Іон Файн, невролог з університету Вашингтона в Сіетлі, що вивчає зміни мозку. Не беручи участі в проекті, коментуючи роботу Амеді, він зазначає, що вона - найкращий доказ функціональної сталості - області мозку роблять одну і ту ж роботу, навіть при наявності різних типів вхідних сигналів.

«Якщо ця гіпотеза вірна, а докази переконують, що це так, це означає, що ми краще зрозуміли пристрій мозку».

Нещодавно команда Амеді випустила програму, що стала наступником vOICe, вона називається EyeMusic і поширюється, як безкоштовний додаток для iPhone. Новий алгоритм виробляє більш приємні тони і може навіть надати інформацію про колір. Амеді сподівається, що EyeMusic допоможе незрячим користувачам отримати більше незалежності і поліпшить якість їхнього життя.