Кинект на ПК Windows – окно в будущее (опыт использования на ПК)
Kinect FAQ for Windows:
Про Кинект уже написано немало разнообразных обзоров. Поэтому, мой обзор будет несколько сумбурный. Не стремлюсь описать все потаенные стороны этого девайса. Остановлюсь на практической составляющей и краткой истории.
А экскурс в историю начну я, пожалуй, с обзора игровых приставок.
Существует некая большая троица производителей на рынке игровых консолей.
Nintendo – консоль Wii
Sony – PlayStation 3
Microsoft – Xbox 360
В 2006 году мир сотрясла новость о появлении нового поколения игровых контроллеров, Nintendo опередив время выпустила на рынок Wii Remote. Продажи приставки, благодаря концепции нового контроллера резко пошли вверх. Конкуренты не желая пасти задних, решили не оставаться в стороне и стали готовить свои решения.
В 2010 свой контроллер представила Sony. Контроллер имел более высокую точность распознавания чем свой прямой конкурент. Правда, для нас с Вами этот контроллер не представляет никакого интереса, потому как Sony пожадничала и не оставила возможность подключать Move непосредственно к ПК.
И вот спустя месяц после презентации Sony на сцену триумфально выходит Microsoft со своим революционным контроллером Kinect. Инженеры софтверного гиганта откинули все стереотипы и создали принципиально новый тип контроллера.
Кинект имеет целый ряд преимуществ по сравнению с другими конкурирующими продуктами:
- не требует дополнительных устройств,
- оставляет свободными руки,
- распознает движения всего тела, а не только рук,
- распознает движения до 5 человек одновременно,
- распознает голос,
- не требует зарядки или замены батареек,
- умеет определять движения и жесты любой сложности.
Фактически, Кинект – это контроллер без контроллера, это устройство способное распознавать обычные движения человека и передавать их компьютеру для обработки.
Итак, не будем вдаваться в подробности работы устройства, остановим свое внимание лишь на том, что контроллер подключается к приставке по средством несколько модифицированного порта USB. Этот факт заметили еще первые пользователи кинекта, поэтому сразу после выхода устройства началась настоящая охота. Сильные миры сего объявили тысячедоллоровые премии хакерам, которые смогут заставить кинект работать на ПК.
Спустя несколько дней были написаны первые драйвера под кинект, а через пару месяцев официальные комплекты драйверов презентовали разработчики чипсета и сам Микрософт.
Год спустя, опустив неудачные попытки разработчиков, стоит остановить свое внимание на двух основных комплектах драйверов и наборов для разработчиков под Kinect.
1) PrimeSense OpenNI/NITE Framework от создателей центрального чипа. Скачать.
и
2) Microsoft’s Kinect SDK.
PrimeSense первыми создали и открыли свой SDK для ПК программистов.
Поэтому все первые программы для Кинект работают именно под управлением этих драйверов.
Наблюдая за тем как программисты со всего света создают и модернизируют программную среду для работы с контроллером, Микрософт решила пересмотреть свою политику. Они отказались от идеи эксклюзивности Кинекта для консоли XBOX. Контроллеру был дан зеленый свет для выхода на ПК арену.
На данном этапе Микрософт запрещает создавать коммерческое программное обеспечение для своего контроллера. Правда, такая ситуация продлится не долго. Уже 01.02.2012 нам обещан выход финальной версии набора для разработчиков + старт лицензирование коммерческого ПО. Более того, Микрософт всячески способствует разработке ПО для своего контроллера, назначая высокие денежные гранты командам разработчиков. Добавим к этому тот факт что Микрософт обязал всех разработчиков игр выпускать новые игры для XBOX исключительно с поддержкой Кинект. (Ремарка: Подавляющее большинство современных игр вначале разрабатываются под XBOX, а затем портируется на ПК.) Все это позволяет предположить что в ближайшие месяцы мы увидим появление целого комплекса программ, которые будут ориентированы на управление жестами рук и голосом.
Правда, самые нетерпеливые, могут оценить преимущества кинект уже сейчас.
Существует ряд толковых программ, воспользоваться которыми можно и сегодня:
Для этого нам сначала понадобится установить комплект ПО PrimeSense OpenNI/NITE и Microsoft’s Kinect SDK.
После этого, Вам придется в ручную переключать драйвера в диспетчере задач в зависимости от того, какое программное обеспечение Вы выберете:
1) kinemote – набор жестов для управление мышкой и различными программами. Использует PrimeSense Framework. Анонсирован переход на Microsoft’s Kinect SDK в ближайшем будущем.
P.S. Проект имеет высокое юзабилити. Ждем новых версий от разработчика.
2) kinvi – полноценный виртуальный интерфейс для работы с ПК при помощи кинекта. Очень мощная и прогрессивная разработка, поддерживает оба типа SDK.
P.S. К сожалению мне не удалось запустить его на русской винде. Программа выпадает с ошибкой открытия конфиг файла.
3) Kinect Mouse Cursor – простоая, но очень полезная в хозяйстве программа, необходимая для эмуляции хвостатого контроллера. Работает на драйверах Microsoft’s Kinect SDK
4) FAAST – оболочка для эмуляции клавиатуры и мышки при помощи кинекта. Отлично подходит для создания конфигов под игры, в которых не задумана поддержка контроллера. Использует PrimeSense Framework. Анонсирован переход на Microsoft’s Kinect SDK в ближайшем будущем.
P.S. Низкое юзабилити. Простота в настройке. Недавно вышла версия 0.10 которая имеет целый ряд доработок.
5) GlovePIE / FreePIE (новая реинкарнация) – огромный инструментарий для захвата движений при помощи кинекта и преобразование их в команды любых других контроллеров. Поддерживает Microsoft’s Kinect SDK и является лучшим на данный момент проектом для использования контроллера с ПК под управлением Windows.
P.S. Проект бесплатный. Разработчик не богатый человек. Без внешней поддержки ему будет тяжело тянуть на себе такую махину.
6) Win&I, kinclick и другие. Существует еще масса старых проектов от разных разработчиков. Как правило эти проекты имеют ограниченный функционал и на данный момент заморожены.
P.S. Win-and-I – продукт платный. Но настойчивые всегда смогут найти лекарство от жадности. 😉 Не смотря на именитого разработчика, мне продукт не понравился. Слишком много косяков в Wibdows 7.
Скачать файлы можно во вложениях или на сайте производителя.
Итак, что ожидает обычных пользователей в ближайшее время?
Во первых мы можем ожидать активного роста приложений с поддержкой распознавания движений, во вторых, в конце февраля выйдет бета версия windows 8, которая должна иметь глубокую интеграцию с кинект технологиями (распознавание лица, скроулинг и перемещение при помощи движений рук, голосовое управление).
Опираясь на вышеперечисленный анализ можно быть уверенным, что Микрософт готовит нечто огромное. Они готовят революцию в мире контроллеров. Однажды Микрософту удалось изменить ход истории, выпустив на свет OS Windows 3.1
Итак, как же приучить Кинект работать с ПК?
1) для начала купите кинект.
Его стоимость будет колебаться от 100 (за б.у. девайс в штатах) до 300-400 за свеженький вариант девайса, который адаптирован для работы с ПК.
Если вы приобрели вариант кинекта для XBOX, то Вам еще понадобится переходник со стандартного разъема кинект на USB.
Переходник можно легко купить в магазине или сделать самому. Фактически стандартный разъем кинекта – это те же 4 контакта USB + 1 контакт 12 вольт для работы двигателя камеры. 12 вольт можно взять с блока питания Вашего компьютера (любой желтый провод).
2) нужен телевизор. Конечно, монитор тоже подходит, но для полноты эффекта лучше использовать именно ТВ. К тому же, версия кинекта для XBOX имеет слепую зону: 50 см, а значит находиться желательно на расстоянии не менее чем метр от устройства.
3) правильно разместите кинект. Желательно, по середине ТВ, на 15 см ниже или выше кромки экрана. По опыту, даже если Вы разместите его “сикось на кось” и под углом 90 градусов, работать девайс будет, но лучше все же соблюсти рекомендации разработчика. Для правильного размещения необходимо установить контроллер на специальную подставку – крепление для установки Кинект на Ваш телевизор, если у Вас его нет, то Вы всегда можете напечатать его на Вашем 3D принтере.
4) определитесь с комплектом драйверов. Я бы посоветовал избрать Microsoft kinect SDK. Он перспективней. Рискну предположить, что если Микрософт не наломает дров ( уже начал ломать ), то все конкурентные комплекты драйверов в ближайшие 6 месяцев уйдут в тень и поддержка их софта будет бессмысленна.
К тому же лучшее ПО уже сейчас работает именно на драйверах Микрософта. Хотя, и тут зарыта одна собака. Я бы посоветовал использовать последнюю версию. На данный момент прошло всего 11 дней с моменту выхода финальной версии SDK, а это значит, что все существующие программы пока еще адаптированные под версию Бета 2 и не совместимы с финальной версией. Кстати, одним из преимуществ оригинального СДК является то, что в комплекте идет специальное ПО, которое позволяет использовать ваш контроллер как высококачественный 3D сканер. Вы сможете сканировать объекты, а затем легко и просто отсылать их на ваш 3D принтер для печати.
Это все, теперь Вы можете полноценно использовать кинект на Вашем компьютере.
Попробуем воспользоваться им на практике.
Методы применения кинекта в повседневной жизни таковы:
1) Самый простой способ. – Это использовать кинект как высококачественную камеру и микрофон.
Как это сделать?
– Микрофон будет работать сразу после установки Microsoft SDK и дополнительных манипуляций не требует.
– С камерой все немного сложнее.
Для начала необходимо скачать файл KinectCam.ax
Затем зарегистрировать его в системе примерно такой строчкой “ c:windowssystem32regsvr32.exe KinectCam.ax”
Так же, может оказаться что у Вас на компьютере не хватает определенных библиотек. В этом случае Вам необходимо докачать их и переписать в папку с файлом KinectCam.ax
Скачать все необходимые файлы можно во вложении.
После всех этих манипуляций Skype и другие программы начнут видеть Ваш кинект как обычную камеру.
Теперь, проверьте работу камеры с помощью Скайпа, а затем пройди по адресу C: Users [USER] AppData Local KinectCam config.ini
В этом файле можно установить угол наклона камеры, а также другие настройки
2) Для управления всевозможным ПО. По причине того, что Микрософт запрещала выпускать коммерческое ПО до выхода финального SDK, стоящих программ для кинекта сейчас не так уж и много.
Могу посоветовать пару программ для управления курсором и windows в целом: Kinemote или Win&I. Эти программы староваты, зато имеют готовые предустановки для нескольких плееров,браузеров и других программ. У меня они работать нормально не захотели, вероятная причина: новые дрова или новая ОСь.
Использовать их можно, но с рядом существенных оговорок.
Так же, можно использовать программу-конструктор GlovePIE или его новую версию FreePIE, функционал огромный, но для нее готовых скриптов нет, необходимо переделывать под свои нужды чужие скрипты.
3) Третий способ самый правильный. Кинект создавался именно для игр. Только в играх можно раскрыть весь потенциал этого устройства.
Я бы условно поделил все игры на три группы:
3.1) Игры специально созданные для кинекта.
Это самый правильный способ получить удовольствие от игры. За Вас уже все продумали разработчики. Они придумали жесты, адаптировали под них геймплей. Как раз такие игры выходят под XBOX и именно их нам так не хватает на ПК.
Я встречал всего 4 подобные игры, и все они обычные демки, которые позволяют лишь оценить возможности контроллера:
– SkiRanger
– Shape Game Demo
– MotherNature
– ZombieHoldout
3.2) Простенькие игры для ПК.
Такие как Тетрис, Марио и т.д.
Эти программы имеют простейшее управление, а главное, в них можно играть не используя мышь.
Для управления подобными играми подойдет простейший скрипт. Например такой(кунг фу тетрис).
3.3) Высококачественные 3D игры, разработчики которых никогда и не подумывали о совместимости с kinect’ом
Такие как: Skyrim, GTA 5, Mass Effect 3, Batman: Arkham City, да впринципе любая другая игра, в которую Вы бы хотели поиграть
Скрипты для них сложны и многогранны. Игры от первого и третьего лица просто рождены для этого контроллера, только в них Вы можете руками сотворить заклинание или укрыться от пламени дракона воздушным щитом
Приведу в пример glovepie скрипта (кинект мод) для игры в Elder Scrolls 5: Skyrim, The при помощи kinect.
За разработку этого скрипта приношу огромное спасибо господину Mpoor.
Скрипт хороший, но требует калибровки. Вы должы стоять перед кинектом на таком расстоянии, чтобы в отладочной строке по оси X и Z высвечивались нули. Для того чтобы идти вперед шагните вперед, ну и так далее. Описание более сложных функций можно найти в комментариях скрипта.
А вот схожий скрипт для программы FAAST.
Kinect for Windows SDK. Часть 1. Сенсор
- [Kinect for Windows SDK. Часть 1. Сенсор]
- Kinect for Windows SDK. Часть 2. Потоки данных
- Kinect for Windows SDK. Часть 3. Функциональные возможности
- Играем в кубики с Kinect
- Программа, апорт!
Три части обзорной статьи можно считать вводными к двум другим: «Играем в кубики с Kinect» и «Программа, апорт!». Хотя хронологически они идут последними. Более того, за время их написания Microsoft успел выпустить новую версию SDK – 1.5. Какой удар со стороны корпорации!
Как вам должно быть известно, Kinect – это бесконтактный контроллер, т.е. скажем в играх, вместо того, чтобы яростно стучать по клавиатуре или терзать gamepad, вы размахиваете руками и ногами и время от времени голосом даете какие-то команды. Самое время спрятать дорогие китайские вазы X века подальше!
Начинать знакомство с Kinect лучше со знакомства с самим сенсором. Это небольшая черная коробочка с тремя камерами, длиной чуть более 20 см и высотой около 5 см (не считая ножки). Один нюанс – в Kinect две камеры. И это изображение (взято из MSDN) тому подтверждение.
- IR Emitter – Инфракрасный излучатель. Да, это не камера. Его назначение испускать инфракрасные лучи, которые, отражаясь от предметов, попадают назад в сенсор, где их принимает:
- IR Depth Sensor – Инфракрасный приёмник. Собирает отраженные лучи, преобразуя их в расстояние от сенсора до объекта(ов). И таким образом строится, можно сказать, матрица расстояний — целый кадр. Максимальное разрешение 640×480 (30 fps). Если говорить о переводе мне кажется, «ИК приёмник» лучше отражает суть, чем дословный «ИК датчик глубины».
- Color Sensor – Цветная камера. Захват видео с максимальным разрешением 1280×960 (12fps). Угол обзора камеры: 43° по вертикали и 57° по горизонтали (угол обзора дальномера идентичный). Можно выбрать формат картинки: RGB или YUV.
- Microphone Array – набор микрофонов. 4 встроенных микрофона позволяют определить местоположение источника звука и направление звуковых волн. Встроенный обработчик звукового сигнала включает подавление эха и уменьшение шума.
- Tilt Motor – Коррекция наклона. Позволяет программно настраивать наклон сенсора в диапазоне ±27° по вертикали.
Сенсор подключается к компьютеру через USB, хотя, строго говоря, USB устройством не является, т.к. имеет несколько отличную прошивку, нежели стандартное USB устройство. Найти какие-либо комментарии по этому поводу не получилось, но можно предположить, что сделано это исключительно в целях повышения производительности. Вы можете подключить до четырех сенсоров одновременно.
Другой важный аспект аппаратной части – диапазон «рабочих» расстояний, т.е. на каком расстоянии сенсор способен видеть объекты (данные дальномера). И снова картинка помогает продемонстрировать возможности Kinect.
Режим Default Range доступен как для Kinect for Windows, так и для Kinect for XBox, но Near Range доступен только для сенсора Kinect for Windows. Простой пример: для всех объектов в кадре находящихся в пределах Normal Values сенсор вернёт измеренное расстояние, но для объектов, выходящих за этот диапазон, сенсор вернёт либо ноль, либо определенную для каждого диапазона константу (зависит от заданных вами настроек). Одно из существенных отличий SDK 1.5 от 1.0 в том, что теперь в режиме Near Range можно получить информацию о сидящем человеке, это так называемый трекинг сидящей фигуры (seated skeletal tracking). Kinect отслеживает 10 точек: голову, шею и руки. Но об этом чуть позже.
Хочется обратить внимание на различия двух Kinect (XBox и Windows). Первый разрабатывался и тестировался с одним устройством – XBox. Второй же, напротив, должен работать с широким диапазоном устройств (компьютеров), поэтому его кабель короче, а специальное устройство призвано не позволить Kinect подраться с остальной USB периферией. Лицензионное соглашение позволяет использовать Kinect for Windows в коммерческих целях, а Kinect for XBox нет.
Перейдем теперь к установке SDK. В версии 1.5 Microsoft разделил SDK на два пакета. Скачать их можно с официальной страницы:
- Kinect for Windows SDK. Включает APIs и драйверы сенсора.
- Kinect for Windows Developer Toolkit. Включает Kinect Studio (полезный для отладки инструмент), Face Tracking SDK, примеры кода и документация.
Не будем останавливаться на установке SDK, в этом нет ничего сложного или интересного. А вот что действительно интересно так это то, что же разработчик может получить от Kinect? Взглянем на следующие возможности:
- Skeletal Tracking (трекинг человеческой фигуры)
- Face Tracking (трекинг лица)
- Speech Recognition (распознавание речи)
Обзор этих функций вы найдете в следующих частях статьи.
Полезные ссылки:
- Kinect for Windows SDK
- Руководство разработчика. Можно найти примеры на C# (managed code) и на C/C++ (unmanaged code)
- Kinect for Windows Quickstart Series. Серия видео-уроков о возможностях Kinect (весьма полезная для знакомства с устройством).
- Near Mode: What it is (and isn’t). Статья о near mode, хотя написана в преддверии SDK 1.0, но полезна в плане разоблачения некоторых мифов.
- Форумы Kinect for Windows SDK. Здесь можно обратиться за советом к экспертам.