Управление компом через вебкамеру

Список разделов Общие разделы Слуцкий креатив

Описание: Made in Slutsk. Обсуждаем программы, флеш, музыку, видео и сайты слуцких авторов.

Сообщение #1 Никита Лесников » 06.04.2005, 11:38

Хочу начать с того, что я являюсь владельцем вебкамеры. Сам по себе я этот девайс никогда бы не купил - он мне нужен как собаке пятая нога. Но, как говорится, дареному коню в зубы не смотрят...

За целый год она мне так ни разу и не пригодилась. Пробовал, правда, с её помощью чатиться по модему, но ничего хорошего из этого не вышло - скорости не те.

Недавно думал, что же с ней можно сотворить. И пришла в голову достаточно интересная идея: использовать ее для управления компом. В частности, по положению зрачков глаз на картинке можно приближенно вычислять место, в которое человек смотрит, и ставить туда курсор. Взяв в руку какой-нибудь контрастно раскрашенный предмет (например, яркую авторучку), можно выполнять какие-либо действия движением руки. В конце концов, можно добавить управление голосом, несложное, наподобие используемого в мобилках для голосового набора. IMHO, все это вместе должно быть весьма мощным комплексом.

Очень краткий список применений такой проги:

1. Перемещение курсора (актуально на ноутбуках)
2. Эмуляция тачскрина
3. Graffiti-подобный рукописный ввод (рисуем буквы в воздухе)
4. Быстрый запуск приложений через рисование символов в воздухе
5. Управление браузером/текстовым процессором.
6. Листание страниц в книгочиталках.
7. Берем в руки картонный руль и с комфортом играем в различные автосимуляторы :wink: (ForceFeedback'а только не будет :smile:)
8... продолжать можно долго

Хотя проблем тоже предостаточно. В частности, разрешающая способность обычных камер редко выше VGA, поэтому абсолютно точно определять координаты курсора не получится - для клацанья по большим кнопкам точности хватит, но никак не для рисования.

Кроме того, проблема распознавания зрачков, ручки и т.д. на изображении уже весьма нетривиальна, хотя добиться от нее приемлемой надежности можно. Также не совсем ясно, что делать, когда перед камерой сидят два человека.

Прошу высказать свое мнение по поводу - может ли быть такая прога востребована и стоит ли затрат на разработку (весьма существенных, особенно временных). Просто не знаю, начинать ли проект вообще.
Я не страдаю манией величия - я ей наслаждаюсь
Никита Лесников
Автор темы
100+ сообщений
Возраст: 36
Откуда: Слуцк
Зарегистрирован: 01.08.2004

Сообщение #2 Никита Лесников » 06.04.2005, 17:13

Попробовал вывести необходимые формулы в Mathematica. Ничего хорошего из этого не вышло - слишком много факторов следует принимать во внимание. Сначала казалось, что достаточно знать координаты центров зрачков и расстояние между глазами. Однако если не принимать во внимание такие факторы, как мимика, поворот головы вокруг Oy и Ox, рассчитать "положение взгляда" не получится. Замерять же эти факторы точно еще не умеет никто, не то что я. Кроме того, провел эксперимент - на реальных снимках 320x240 крайние положения глаз (углы экрана) разнятся от силы на 20 пикселов. Учитывая, что центр зрачков можно определить с точностью 2-3 пиксела, получаем всего 6-7 степеней свободы в обоих измерениях - намного меньше, чем ожидалось.

Проще говоря, даже по предварительным расчетам сложность написания такой проги очень велика, а точность и надежность оставляют желать лучшего. С моими навыками в программировании даже браться не стоит.

Тему можно считать закрытой.
Я не страдаю манией величия - я ей наслаждаюсь
Никита Лесников
Автор темы
100+ сообщений
Возраст: 36
Откуда: Слуцк
Зарегистрирован: 01.08.2004

Сообщение #3 Kron » 06.04.2005, 23:21

насколько мне известно, еще не наработано достаточно _мощных_ алгоритмов в области распознавания человеческого лица, а до зрачка думаю дело может и вообще не дойти(рассматриваю именно этот случай с веб-камерой), факторов действительно многовато: чувствительность к свету, болезнь человека, алкоголь в крови, так можно перечислять до бесконечности. думаю проект/алгоритмы/нароботки - в данное время утопичен.

P.S. камеру можно повесить в женсую раздевалку, проекту не будет цены :smilebig:
«Человек без врагов ничего не стоит» (с)
Kron
3000+ сообщений
Аватара
Зарегистрирован: 17.12.2004

Сообщение #4 Werdis » 07.04.2005, 20:46

Блин, ну вы даете!!! Идея - СУПЕР!!! Никогда раньше такого не слышал...

Только почему, вы привязались именно к зрачкам?
Может сделать дисплей монитора "активным"?
Камеру расположить сзади, и по расположению пальца на мониторе водить туда курсор...
Только как кликать - не знаю...

Но идея использовать камеру - это революция в компьтерах!!!
В споре рождается истина. © Сократ
Тогда зачем тратить время??? Werdis © 2010
Werdis M
1000+ сообщений
Аватара
Возраст: 40
Откуда: Слуцк
Зарегистрирован: 18.01.2005

Сообщение #5 VEG » 07.04.2005, 21:17

Werdis, Ну... Обычное кликанье пальцем по экрану, мне кажется, дешевле и удобнее было бы сделать при помощи стандартного тачскрина. Не думаю, что он так дорого стоит, чтобы для экономии начинать извращаться с веб-камерами.
С наилучшими пожеланиями, Евгений
VEG M
Администратор
Администратор
Аватара
Возраст: 37
Откуда: Финляндия
Зарегистрирован: 24.07.2004

Сообщение #6 Никита Лесников » 07.04.2005, 22:02

Только почему, вы привязались именно к зрачкам?

Просто это единственная часть лица (если так можно выразиться), для которой разработаны алгоритмы распознавания, дающие хорошую точность. Используются они в биометрии. Однако, как я уже говорил, они позволяют определить только центр зрачка. А этого недостаточно для более-менее точного определения координат курсора.

Камеру расположить сзади, и по расположению пальца на мониторе водить туда курсор...

Для этого нужно минимум две камеры. По одному снимку невозможно определить расстояние от пальца до монитора. Ну, в крайнем случае придется смирится с тем, что во время "зависания" пальца/ручки над монитором курсор будет носиться как бешеный.

Только как кликать - не знаю...

Голосом / жестом другой руки (как вариант)

Но идея использовать камеру - это революция в компьтерах!!!

Мне так тоже поначалу казалось. Но если подумать получше, такая ли это революция? Сейчас мне кажется, что сильно удобнее обычных мышки и клавы это не будет. Разве что на маленьких ноутбуках...

Не думаю, что он так дорого стоит, чтобы для экономии начинать извращаться с веб-камерами.

Думаю, не думаю... Сколько ты видел компьютеров с тачскринами? В любом случае камера за $10 на порядок дешевле.... А у многих, например у меня, она вообще в качестве "бесплатного дополнения". Почему бы не попытаться найти ей применение? Ради этого собсна все и затевалось...

думаю проект/алгоритмы/нароботки - в данное время утопичен.

К сожалению, уже первые робкие эксперименты приводят к такому выводу... :sad: Хотя, может еще и вернусь когда к этому проекту, когда идеи будут стоящие. Пока даже браться не стоит.
Я не страдаю манией величия - я ей наслаждаюсь
Никита Лесников
Автор темы
100+ сообщений
Возраст: 36
Откуда: Слуцк
Зарегистрирован: 01.08.2004

Сообщение #7 Werdis » 08.04.2005, 20:09

Да-а-а, люди... Вы меня убили...
У самого стоит Web-камера... Думал, найдется ей экстримальное применение... Но видно - не судьба... :cry:
В споре рождается истина. © Сократ
Тогда зачем тратить время??? Werdis © 2010
Werdis M
1000+ сообщений
Аватара
Возраст: 40
Откуда: Слуцк
Зарегистрирован: 18.01.2005

Сообщение #8 asoftby » 10.04.2005, 19:28

Никита Лесников, Желаю удачи !!! Идея, конечно, хорошая, но реальная ли она! Если было бы так все просто, то ведущие иностранные производители придумали такое уже давно, может оно уже присутствует на рынке, хотя ... Если честно, не знаю!
Все гениальное - просто!
asoftby M
250+ сообщений
Аватара
Возраст: 36
Откуда: Слуцк-Минск
Зарегистрирован: 29.01.2005

Сообщение #9 Blackmore » 10.04.2005, 20:12

А что если сделать прогу такую: приставить к телевизору микрофон! И создать прогу каторая на определённом уровне децибел делает определённый команды в компе! Можно просто много всяких фишек придумать! Например оккуратно подвести микрофон и с помощью пульта творить и творить . и канэшна - ПРЫКАЛЫВАЦЦА!
Gimme! Gimme! Gimme!
Blackmore
1000+ сообщений
Аватара
Возраст: 36
Откуда: Масачуччина
Зарегистрирован: 23.01.2005

Сообщение #10 САНЕК » 10.04.2005, 23:23

Blackmore, у тебя планы как у гитлера. А может сделать так что бы пультом управления, давать команды компьютеру "нажав цифру 1 - компьютер взламывает пентагон, цифра 2 - переводит на вашсчет бабки, цифра 3 - компьютер готовит вам обед".
:)
САНЕК M
1000+ сообщений
Аватара
Возраст: 42
Откуда: Дети берутся?!?!?!
Зарегистрирован: 11.08.2004

Сообщение #11 Гость » 13.10.2012, 06:03

Можно сделать особые жесты которые будут отвичать за определёное действие, кпримеру как на сенсарном экране когда листаешь фотки
Гость
Гость


Вернуться в Слуцкий креатив



cron