Kinect for windows speech recognition language pack что это

• Kinect for Windows SDK. Часть 1. Сенсор
• Kinect for Windows SDK. Часть 2. Потоки данных
• Kinect for Windows SDK. Часть 3. Функциональные возможности
• Играем в кубики с Kinect
• [Программа, апорт!]

В прошлой статье я затронул тему работы с Microsoft Kinect for Windows и продемонстрировал возможности сенсора на примере игры в кубики. Напомню, что трекинг человеческой фигуры (skeleton tracking) не единственная возможность сенсора, и сегодня мне бы хотелось рассказать о распознавании речи.

Для знакомства с Microsoft Speech Platform мы напишем простое приложение, в котором произвольный объект (например, танчик) будет перемещаться по плоскости. Я не стал добавлять голосовые команды в предыдущий пример по двум причинам. Во-первых, хронологически этот пример появился раньше. А, во-вторых, хотелось сконцентрироваться в каждом примере на отдельной функциональности (такой код проще изучать).

Определим, какие пакеты пригодятся нам:

• Microsoft Speech Platform — SDK. Необходимый пакет. Это платформа и инструментарий для начала работы с распознаванием речи.
• Microsoft Speech Platform — Runtime Languages. Опциональный пакет. По умолчанию, в SDK входит только библиотека для распознавания английской речи. Вы можете скачать дополнительные библиотеки для работы с другими языками.
• Microsoft Kinect for Windows — SDK. Опциональный пакет.

Открою страшную тайну, наличие сенсора не является обязательным условием для возможности распознавания речи. Speech Platform развивается независимо от Kinect, но в тоже время в Kinect SDK вы обязательно найдете примеры с реализацией распознавания речи. Наш пример будет работать как с сенсором, так и с обычным микрофоном.

В первую очередь необходимо понимать, что же собственно программировать. Последовательность действий чрезвычайно проста:

1. выбрать обработчик (engine) распознавания из доступных в системе для требуемого языка;
2. создать словарь команд и передать его в полученный обработчик;
3. установить для обработчика источник аудиосигнала. Это могут быть Kinect, микрофон, аудиофайл;
4. дать команду обработчику для начала распознавания.

Теперь в Visual Studio создадим новый проект WPF Application. Я буду писать на C#.

Начнем с того, что попытаемся найти подключенный сенсор. Класс KinectSensor предоставляет такую возможность с помощью свойства KinectSensors:

KinectSensor kinect = KinectSensor.KinectSensors
    .Where(s => s.Status == KinectStatus.Connected)
    .FirstOrDefault();

Обработчик распознавания речи – класс SpeechRecognitionEngine, его статический метод InstalledRecognizers() помогает получить информацию обо всех установленных в системе обработчиках.

RecognizerInfo info = SpeechRecognitionEngine.InstalledRecognizers()
    .Where(ri => string.Equals(ri.Culture.Name, "en-US", StringComparison.InvariantCultureIgnoreCase))
    .FirstOrDefault();

Нетрудно догадаться, что таким образом мы получаем информацию об обработчике распознавания английской речи (RecognizerInfo), если такой обработчик есть. Метод InstalledRecognizers не возвращает экземпляров обработчиков, а лишь информацию о них. Поэтому следующим шагом будет создание экземпляра обработчика. Просто передаем в конструктор идентификатор обработчика:

var sre = new SpeechRecognitionEngine(info.Id);

Теперь подумаем вот о чем. Нам нужно управлять объектом на плоскости. Какие команды подойду для этого? Думаю, что 4 команд достаточно: UP (вверх), DOWN (вниз), LEFT (влево), RIGHT (вправо). И для разнообразия можно добавить пятую команду EXIT (выход). Замечу, что я писал код для распознавания команд на английском языке, но вы можете выбрать любой другой из 54х доступных. Создаем словарь команд и загружаем его в обработчик распознавания.

var commands = new Choices();
commands.Add("up");
commands.Add("down");
commands.Add("left");
commands.Add("right");
commands.Add("exit");

var gb = new GrammarBuilder(commands) { Culture = info.Culture };
sre.LoadGrammar(new Grammar(gb));

В объекте типа Choices создается список слов (команд) для распознавания. Следующим шагом создается объект грамматики, связанный с культурой команд, и далее грамматика загружается в обработчика распознавания.

Каждое сказанное вами слово, обработчик сравнивает с шаблонами слов в грамматике, чтобы определить, не произнесли ли вы какую-нибудь команду. Но помните, что каждая попытка распознавания сопровождается некоторой вероятностью ошибки, чуть дальше вы увидите это на примере.

Теперь можно определить обработчики для событий распознавания речи. Для нас важно обработать событие SpeechRecognized возникающее, когда обработчик распознавания находит в словаре соответствие произнесенной команде. В объекте SpeechRecognizedEventArgs нам доступно свойство Result в котором можно найти: распознанное слово, величину вероятности того, что слово распознано правильно и многое другое. Два других события SpeechHypothesized и SpeechRecognitionRejected представляют интерес скорее для отладки, нежели для реального использования. Первое событие возникает, когда обработчик распознавания делает предположение распознавания. Второе,- когда обработчик распознавания может определить слово лишь с малой долей вероятности.

private void Sre_SpeechRecognized(object sender, SpeechRecognizedEventArgs e)
{
    // если вероятность распознавания больше 70%
    if (e.Result.Confidence >= 0.7) 
    {
        Action handler = null;
        switch (e.Result.Text.ToUpperInvariant())
        {
            case "UP":
            case "DOWN":
            case "LEFT":
            case "RIGHT":
                handler = () => { /* some actions */ };
                break;
            case "EXIT":
                handler = () => { this.Close(); };
                break;
            default:
                break;
        }

        if (handler != null)
        {
            // обработчик вызывается асинхронно, поэтому действия связанные с обновлением UI необходимо делать через диспетчер
            Dispatcher.BeginInvoke(handler, DispatcherPriority.Normal);
        }
    }
}

Нам осталось только установить источник аудиосигнала и начать распознавание. Здесь хочется отметить особенность Kinect. Аудиопоток готов для работы примерно через 4 секунды после инициализации. Это стоит учитывать и, например, создавать таймер, чтобы запускать распознавание с 4-х секундной задержкой.

Помните, я в начале говорил, что наш код будет работать как с Kinect так и с обычным микрофоном? Для того, чтобы это реализовать достаточно правильно установить источник аудиосигнала.

if (kinect != null)
{
    var audioSource = kinect.AudioSource;
    audioSource.BeamAngleMode = BeamAngleMode.Adaptive;
    var kinectStream = audioSource.Start();

    // захват с микрофонов Kinect
    sre.SetInputToAudioStream(kinectStream, new SpeechAudioFormatInfo(EncodingFormat.Pcm, 16000, 16, 1, 32000, 2, null));
}
else
{
    // будем захватывать аудиосигнал с микрофона установленного по умолчанию
    sre.SetInputToDefaultAudioDevice();
}
// начинаем распознавание. Параметр говорит обработчику распознавания не останавливаться после первой распознанной команды.
sre.RecognizeAsync(RecognizeMode.Multiple);

Что касается UI, то здесь все просто. Рисуем объект любой формы (это может быть даже картинка), я нарисовал танк.

И добавляем анимацию для перемещения. Конечно, чтобы не создавать комичных ситуаций, когда танк движется «боком», я добавил еще и анимацию для разворота в нужную сторону. Пример анимации для выполнения команды LEFT (налево):

<Storyboard x:Key="LEFT">
    <DoubleAnimationUsingKeyFrames Storyboard.TargetProperty="(UIElement.RenderTransform).(TransformGroup.Children)[2].(RotateTransform.Angle)" Storyboard.TargetName="PART_Tank">
        <EasingDoubleKeyFrame KeyTime="0:0:0.5" Value="-90"/>
    </DoubleAnimationUsingKeyFrames>
    <DoubleAnimation Storyboard.TargetProperty="(Canvas.Left)" Storyboard.TargetName="PART_Tank" Duration="0:0:1" By="-30"/>
</Storyboard>

Распознавание в действии:

Файлы исходного кода и скомпилированную версию вы найдете в конце статьи. Обратите внимание, что если вы запускаете скомпилированный пример без установленного Speech SDK, вам необходимо установить Microsoft Speech Platform Runtime и обработчик распознавания английского языка MSSpeech_SR_en-US_TELE.msi

Подводя итог скажу, что Microsoft Speech Platform действительно большой и интересный продукт, я коснулся лишь его малой части. Интересующимся я бы посоветовал посмотреть примеры работы с этой платформой в Kinect SDK, мне кажется это хорошая отправная точка.

В заключение хочется поблагодарить компанию VIAcode за предоставленный для экспериментов сенсор.

Сборка примера без Kinect
Сборка примера с Kinect
Исходный код примера

Kinect for windows speech recognition что это

Так как я видел мой первый Sci-Fi кино фильм, я хотел бы иметь технологии которые они используют. Я до сих пор не видел летающих кораблей в таком масштабе, телепортация устройств, роботов, которые могут танцевать или других подобных устройств. Тем не менее, я нашел кусок этой мечты включенной в приложение Windows Vista — Windows Speech Recognition — Распознавание речи .

Этот инструмент пытается понять, что вы говорите и преобразует произнесенные слова в машиночитаемый ввод, такой как нажатие клавиш или Windows команды, ограничивая тем самым необходимость использования мыши и клавиатуры. В этом уроке я покажу вам, как настроить Windows Speech Recognition — Распознавание речи Windows , и научу как использовать её и дать вам некоторые сведения об общих вопросах по этому приложению. Для того чтобы использовать Windows Speech Recognition – Распознавание речи Windows вам нужен микрофон. Чтобы узнать, как настроить его, читайте статью о том, как установить и настроить микрофон в Vista.

Как установить Windows Speech Recognition

После того как вы установили свой микрофон, вfv нужно тренироваться c Распознаванием речи в Windows , чтобы понять ваш голос. Чтобы сделать это, откройте окно Control Panel – Панель управления и нажмите на Ease of Access – Получить доступ .

Если вы используете классическое управление Группами, перейдите в Control Panel -> Ease of Access Center – Панель управления-> Центр Специальных возможностей . Когда вы находитесь в окне Ease of Access Постой доступ , нажмите на Speech Recognition Options – Функции распознавания речи.

В окне Speech Recognition Options – Функции распознавания речи нажмите на Start Speech Recognition – Начать Распознавание речи .

Появится Мастер установки . Чтобы начать настройку, нажмите на кнопку Next – Следующий.

Выберите устройства микрофон , которые в настоящее время используются и нажмите на кнопку Next – Следующая .

Если следовать данным указаниям , они дадут вам лучший результат. В моем случае, так как я выбрал микрофон с гарнитурой, указания были, как показано ниже. После прочтения и после данной консультации, нажмите кнопку Next – Следующая.

Примечание: Если вы случайно выбрали неверное устройство или вы просто хотите, чтобы вернуться к предыдущей странице Настройка, нажмите на синюю стрелку Back – назад в левом верхнем углу окна мастера установки.

Прочитайте текст вслух, после чего нажмите кнопку Next- Следующая .

Эта процедура, может быть немного с ошибками, поэтому вы можете повторить её несколько раз, и отрегулировать положение микрофона и его расстояние от динамиков .

Примечание: Если вы уже пытались несколько раз сделать настройки, и микрофон еще не работает, закройте мастер и проверьте статю о том, как установить и настроить Микрофон. Когда микрофон установлен правильно, повторите процедуру, описанную в этой статье.

Если вы читали текст и нажали кнопку Next – Далее , мастер скажет, что микрофон был установлен. Нажмите на кнопку Next — Готово.

После настройки микрофона, мастер попытается повысить точность распознавания речи. Мастер установки спросит вашего разрешения, чтобы приложение усовершенствовалось, используя тексты из документов или по почте. После того как вы выберите нужный вариант, щелкните Next — Далее .

В настоящее время мастер даст вам ссылку на карту речи , которая содержит список команд компьютера, на которые он будет отвечать. Если вы нажмете на View Reference Sheet – Показать лист ссылок , Вы можете видеть команды, а также распечатать их.

Когда закончите, нажмите кнопку Next — Далее .

Примечание: лист ссылок можно прочитать и распечатать в любое дополнительное время, просто зайдите в Access -> Speech Recognition Options -> Open the Speech Reference Card — Панель управления-> Специальные возможности-> Параметры распознавания речи-> открыть Карту ссылок речи .

Можно сделать приложение ,которое запускается каждый раз при запуске Windows Vista , проверяя вариант “Run Speech Recognition at startup – Выполнить Распознавание речи при запуске ” . Если вы оставите его без внимания, приложение нужно будет запускать каждый раз в ручную , когда вы захотите его использовать.

Узнайте, как использовать Windows Speech Recognition

Как только вы закончите с настройкой, вам будет предложено пройти урок и научиться его использовать. Нажмите на вход для входа в Учебник.

ВАЖНО: Я не могу дать вам указания о содержании учебника. Я считаю, что руководство хорошо написано и содержит всю необходимую информацию. Пожалуйста, найдите время 10-15 минут, чтобы прочитать это. Хотя это может показаться на первый взгляд разочарованием,но в итоге , вы будете довольны результатами.

Если вы закончили урок, и вы думаете, что Распознавание речи Windows не слышит голосовые команды достаточно хорошо, Вы можете взять тот же учебник снова. Для этого перейдите в параметры Windows Speech Recognition – Распознавание речи и нажмите Take Speech Tutorial – Возьмите Учебник речи .
Если вы прочитали учебник, но вы все ещё чувствуете необходимость улучшения методов в работе с Распознаванием речи в Windows , вы можете сделать еще один учебник на основе чтения текстов. Чтобы открыть и использовать текстовый учебник, нажмите ‘ Train you computer to better understand you – Тренировка вашего компьютера, чтобы лучше понять вас ” находится в окне параметры Speech Recognition Options – Распознавание речи.

Рекомендации: Пройдите уроки ‘ Train your computer to better understand you – Обучение компьютеру, чтобы лучше его понять “ несколько раз. Даже если вы делаете ошибки первые несколько раз, менее чем за 3 дня и пару часов в день, вы будете удивляться, как вы могли жить без этого приложения. Вместо того, чтобы закрыть приложение, просто нажмите остановить прослушивание или нажмите с клавиатуры Ctrl + Windows .

Известные проблемы

Некоторые приложения могут не работать с Распознаванием речи в Windows . Это потому, что приложения должны иметь поддержку текстовых служб. Структура была построена Microsoft, чтобы включить дополнительный ввод текста, распознавание речи и поддержку в приложениях. Таким образом, если разработчики не включили Text Services Framework , когда они построили их применения, Распознавание речи в Windows не будет работать должным образом с их применением.

Распознавание речи в Windows не работает, когда появится предупреждение UAC (User Account Control) . В таких случаях с помощью мыши или клавиатуры, выберите опцию UAC которую вы хотите.

Источник

Как отключить функцию распознавания речи в Windows 10

В этом посте мы расскажем, как отключить Распознавание речи в Windows 10 v1809 . Распознавание речи — это технология, которая используется для управления компьютерами с помощью голосовых команд. С распознаванием речи вы можете произносить команды, на которые компьютер будет реагировать, и вы также можете диктовать текст на компьютер, что устраняет необходимость набирать слова в любом текстовом редакторе или текстовом редакторе. Функция распознавания речи, позволяет общаться с вашим компьютером. Вы можете улучшить свои компьютеры, чтобы лучше понимать свой собственный голос, чтобы улучшить точность дикции. Однако, чтобы повысить его точность, вы должны «обучить особенности». Если вы не нашли его производительность удовлетворительной, следуйте приведенным ниже инструкциям, чтобы отключить его.

Отключить распознавание речи в Windows 10

Чтобы отключить распознавание речи в Windows 10, откройте «Настройки»> «Удобство доступа»> «Речь» и включите или выключите Включить распознавание речи , чтобы включить или отключить эту функцию.

Отключить функцию распознавания речи в Интернете

Онлайновое распознавание речи позволяет вам общаться с Cortana и приложениями, которые используют облачное распознавание речи.

1] через настройки

Чтобы отключить распознавание речи в Интернете в Windows 10:

1. Нажмите « Пуск » и выберите « Настройки ».
2. Перейдите в раздел «Конфиденциальность».
3. Переключитесь на « Речь » и на правой панели сдвиньте переключатель, чтобы отключить функцию « Онлайн распознавание речи ».

Речевые сервисы существуют как на вашем устройстве, так и в облаке. Это связано с тем, что Microsoft собирает необходимую информацию с этих служб, чтобы улучшить взаимодействие с пользователем. Поэтому, чтобы остановить это, отключите параметр Знакомство с вами , а также в разделе « Подписание и ввод персонализации ».

2] с помощью редактора реестра

Откройте диалоговое окно Выполнить , нажав комбинацию Windows + R. В пустом поле диалогового окна введите « regedit » и нажмите « Enter ».

Далее перейдите по следующему адресу:

HKEY_CURRENT_USER Software Microsoft Speech_OneCore Settings OnlineSpeechPrivacy

Проверьте значение по умолчанию HasAccepted в правой панели окна.

• HasAccepted = 1 означает, что онлайн-распознавание речи включено.

Чтобы навсегда отключить эту функцию, дважды нажмите клавишу и измените значение слова D с 1 на 0 .

Пожалуйста, имейте в виду, что даже если вы используете 64-битную Windows, как в моем случае, вы все равно должны создать 32-битное значение DWORD.

Перезагрузите компьютер еще раз, чтобы изменения вступили в силу.

В дальнейшем вам не следует включать функцию распознавания речи в Windows 10.

Источник

Kinect for Windows SDK. Часть 3. Функциональные возможности

Трекинг человеческой фигуры

С помощью такой замечательной функции Kinect способен распознать фигуру человека и его движения. И, на самом деле, даже не одного, а целых шести! В смысле определить, что в поле зрения сенсора находиться до шести людей, но только для двух может быть собрана детальная информация. Взгляните на рисунок:

Лично у меня первый вопрос был: «Почему именно для этих двух перцев он[Kinect] построил полный 20-ти точечный скелет, а у остальных показал только пупки?» Но дело тут не в дискриминации, просто так сенсор действует по умолчанию – для первых двух распознанных фигур строится детальный скелет, остальные довольствуются тем, что их хотя бы заметили. В MSDN есть даже пример, как изменить это поведение, например, чтобы строить детальный скелет для ближайших к сенсору людей.

Точки в построенном скелете называются Joint, что можно перевести как сустав, соединение, узел. Узел мне кажется более адекватным переводом, да и голову называть суставом, как-то не очень хорошо.

Итак, первое, что необходимо сделать в приложении, чтобы получать информацию о фигурах в кадре, это включить нужный поток:

Второе – обработать событие SkeletonFrameReady. Все что остается сделать – извлечь из кадра информацию об интересующих фигурах. Одна фигура – один объект класса Skeleton. Объект хранит данные о состоянии трекинга — свойство TrackingState (построен ли полный скелет или же известно только о местоположении фигуры), данные об узлах фигуры – свойство Joints. По сути это словарь, ключами которого являются значения перечисления JointType. Вот например, захотелось вам получить местоположения левого колена – нет ничего проще!

Значения перечисления JointType оригинально показаны на рисунке витрувианского человека.

До этих строк я писал о 20-ти узловом скелете. Построить который не всегда представляется возможным. Так появился режим, называемый трекинг сидящей фигуры (seated skeletal tracking). В этом режиме сенсор строит не полный 10-ти узловой скелет.

Чтобы Kinect начал распознавать фигуры в этом режиме достаточно установить свойство TrackingMode объекта SkeletonStream во время инициализации потоков:

В режиме трекинга сидящей фигуры сенсор так же может распознавать до шести фигур и отслеживать две фигуры. Но есть и свои особенности. Так, например, чтобы сенсор «заметил» вас необходимо подвигаться, помахать руками, в то время как в режиме распознавания полного скелета достаточно встать перед сенсором. Трекинг сидящей фигуры более ресурсоемкая операция, поэтому будьте готовы к уменьшению FPS.

Другая статья цикла — Играем в кубики с Kinect, целиком посвящена теме трекинга человеческой фигуры.

Распознавание речи

Строго говоря, распознавание речи не является встроенной возможностью Kinect, так как для этого используется дополнительный SDK, а сенсор выступает в роли источника аудиосигнала. Поэтому для разработки приложений распознавания речи потребуется установка Microsoft Speech Platform. По желанию можно устанавливать разные языковые пакеты, а для клиентских машин существует отдельный пакет (speech platform runtime).

В общем случае вариант использования speech platform следующий:

1. выбрать обработчик (engine) распознавания для требуемого языка из доступных в системе;
2. создать словарь и передать его выбранному обработчику. Говоря по-человечески, необходимо решить какие слова ваше приложение должно уметь распознавать и передать их обработчику распознавания в виде строк (нет нужды создавать аудиофайлы со звучанием каждого слова);
3. установить для обработчика источник аудиосигнала. Это могут быть Kinect, микрофон, аудиофайл;
4. дать команду обработчику для начала распознавания.

После этого остается только обрабатывать событие, возникающее всякий раз, когда обработчик распознает слово. Пример работы с этой платформой вы найдете в статье Программа, апорт!

Трекинг лица

В отличие от трекинга фигуры, трекинг лица полностью реализуется программно, на основании данных получаемых из видеопотока (color stream) и потока данных дальномера (depth stream). Поэтому от ресурсов клиентского компьютера будет зависеть то, как быстро будет работать трекинг.

Стоит отметить, что трекинг лица (face tracking) это не то же самое что распознавание лиц (face recognition). Забавно, но в некоторых статьях встречал именно рассказы о том, что в Kinect реализована функция распознавания лиц. Так что же такое трекинг лица и где он может быть полезен?

Трекинг лица – это слежение за лицом человека в кадре с построением 87-ми узловой схемы лица. В MSDN сказано, есть возможность следить за несколькими лицами, но не сказано о верхнем пределе, вероятно, он равен двум (для стольких людей сенсор может построить N узловой скелет). Функционал может быть полезен в играх, чтобы ваш персонаж (avatar) мог передать всю палитру отображаемых на вашем лице эмоций; в приложениях, которые адаптируются под ваше настроение (плаксивое или игривое); в приложениях распознавания лиц, наконец, или даже эмоций (доктор Лайтман?).

Итак, схема. Собственно вот она (схема моей мечты):

Помимо этих 87 узлов, вы можете получить координаты еще для 13: центры глаз, носа, уголки губ и границы головы. SDK даже может построить 3D маску лица, как показано на следующем рисунке:

Теперь, вооружившись общим понимание трекинга лица реализуемого Face Tracking SDK, самое время познакомиться с ним поближе. Face Tracking SDK – это COM-библиотека (FaceTrackLib.dll), входящая в состав Developer Toolkit. Там же есть и проект обертка (wrapper) Microsoft.Kinect.Toolkit.FaceTracking, который можно смело использовать в managed проектах. К сожалению, найти описание обертки не получилось, кроме приведенной ссылки (полагаю, что пока идет активная разработка и пока Face Tracking SDK не включен в состав Kinect SDK, остается только ожидать появление справки в MSDN).

Я остановлюсь лишь на нескольких классах. Центральное место занимает класс FaceTracker, как ни странно. В его задачи входит инициализация обработчика (engine) трекинга и слежение за перемещениями человека в кадре. Перегруженный метод Track, позволяет осуществлять поиск человека по данным с видеокамеры и дальномера. Одна из перегрузок метода принимает фигуру человека — Skeleton, что положительно сказывается на скорости и качестве поиска. Класс FaceModel помогает в построении 3D моделей, а так же занимается трансформацией моделей в систему координат камеры. В проекте Microsoft.Kinect.Toolkit.FaceTracking помимо классов оберток, можно найти и более простые, но не менее полезные типы. Например, перечисление FeaturePoint описывает все узлы схемы лица (см. выше рисунок с 87 точками).

В общем виде алгоритм использования трекинга может выглядеть следующим образом:

1. выбрать сенсор и включить видеопоток (color stream), поток данных дальномера (depth stream) и поток трекинга фигуры (skeleton stream);
2. добавить обработчик события сенсора AllFramesReady, которое возникает, когда кадры всех потоков готовы к использованию;
3. в обработчике события инициализировать FaceTracker (если это еще не сделано) пройтись по найденным в кадре фигурам и собрать для них построенные схемы лиц;
4. обработать схемы лиц (например, показать построенную 3D маску или определить эмоции людей в кадре).

Хочу отметить, что я умышленно не привожу примеры кода, т.к. привести пример в пару строк не получится, а перегружать статью гигантскими многострочными листингами не хочется.

Помните, что качество нахождения лица в кадре зависит как от расстояния до головы, так и от её положения (наклонов). Приемлемыми наклонами головы для сенсора считаются вверх-вниз ±20°, влево-вправо ±45°, наклон на бок ±45°. Оптимальными будут ±10°, ±30° и ±45° для наклонов вверх-вниз, влево-вправо и набок соответственно (см. 3D Head Pose).

Kinect Studio

Когда первый раз пытаешься написать, что-то для Kinect, чувство того, что чего-то не хватает, не покидает ни на минуту. И когда в сотый раз настраиваешь точки останова так, чтобы они сработали именно при определенном жесте, и когда в сотый раз делаешь этот жест перед камерой, вот тогда и понимаешь чего же не хватает на самом деле! Простого эмулятора. Чтобы можно было записать нужные жесты, а потом спокойно сидеть и отлаживаться. Как ни странно, лучи добра посланные разработчиками всего мира, испытавшими разработку для Kinect, достигли цели. В состав Developer Toolkit вошел инструмент под названием Kinect Studio.

Kinect Studio можно рассматривать как отладчик или эмулятор. Его роль чрезвычайно проста, помочь вам записать данные получаемые от сенсора и направить их в ваше приложение. Вы можете снова и снова проигрывать записанные данные, а при желании сохранить их в файл и вернуться к отладке через некоторое время.

Чтобы начать работать с Kinect Studio, вы подключаетесь к приложению и выбираете сенсор. Теперь все готово к тому, чтобы начать запись (recording) данных сенсора или инжекцию (injection) сохраненных данных.

Источник