Есть ли cortana на windows 10

Время на прочтение10 мин

Количество просмотров36K

В этом выпуске нашей серии статей Windows 10 по 10 мы расскажем, о том, как расширить опыт взаимодействия с вашим приложением в Windows 10 на те моменты, когда приложение даже не запущено. Тема прошлой статьи, — живые плитки и уведомления, — раскрывала один из возможных путей, сегодня мы посмотрим, как для этой задачи использовать Кортану, персональную помощницу в Windows 10. В качестве основы для приводимых фрагментов кода мы будем использовать пример AdventureWorks, доступный на GitHub.

Картинка с сайта: habr.com

В данной статье, мы постараемся разобраться, что же собой представляет Кортана, как сделать так, чтобы она поддержала осмысленное взаимодействие с вашими пользователями, что необходимо сделать для интеграции Кортаны в приложение, и далее рассмотрим два способа (из многих), как ваше приложение может взаимодействовать с пользователями в зависимости от сценария.

Что собой представляет Кортана?

Одна из самых интересных возможностей Windows 10 – это персональная помощница Кортана, ранее доступная в Windows Phone. Кортана – это ключевой элемент для общения с Windows 10 на естественном языке. С помощью Кортаны пользователи могут взаимодействовать с Windows (как с самой ОС, так и с вашими приложениями), используя привычный голосовой способ общения с другими людьми.

К примеру, подумайте о вопросах, ответы на которые может дать только ваше приложение и которые человек мог бы задать голосом Кортане: «когда моя следующая поездка?», «найди радиостанцию», «доступен ли Джек?». В свою очередь ваше приложение может ответить на такие вопросы, предоставив ответ Кортане для произнесения и отображения.

Или представьте себе задачи, которые человек мог бы попросить Кортану сделать в контексте вашего приложения: «отмени мою поездку в Лондон», «запомни эту радиостанцию», «напиши Джеку, что я буду позже».

Голосовые команды могут предоставить быстрый доступ к информации внутри приложения. Это своего рода глубокие ссылки в вашем приложении. Также как вы сегодня создаете плитки, чтобы предоставить быстрый доступ к содержимому вашего приложения, вы можете использовать голосовые команды, как быстрый способ «заглянуть» внутрь приложения. И аналогично тому, как вы делаете возможным закрепить ближайшую поездку, созданную в приложении, на экране Пуск, вы также можете разрешить пользователю использовать голосовую команду для Кортаны для доступа к той же самой поездке. Такая возможность сделает ваших пользователей более продуктивными, а взаимодействие с приложением более доступным.

Расширяя Кортану, вы можете улучшить взаимодействие с вашими пользователями и порадовать их возможностью совершать действия быстрыми голосовыми командами. Впрочем, так как это статья не о пользовательских возможностях Кортаны, давайте разберемся, как с ней интегрироваться.

Хей, Кортана, давай поговорим

Так как взаимодействие с Кортаной опирается на голос, то создаваемый опыт взаимодействия должен быть наиболее приближен к естественному диалогу. На MSDN вы найдете общее руководство по дизайну для Кортаны с рекомендациями по построению опыта взаимодействия. Для достижения наилучшего результата, советуем следовать следующим принципам: эффективность, релевантность, ясность и доверие.

Что они означают на практике?

• Эффективность: меньше – это лучше. Будьте кратки и старайтесь сократить количество слов, не теряя при этом смысла.
• Релевантность: не отклоняйтесь от темы. Если я попросил добавить мою любимую песню ABBA в плейлист, не надо мне заодно сообщать о низком заряде батареи. Лучше подтвердите, что через мгновение я смогу насладиться ABBA.
• Ясность: диалог должен соответствовать аудитории. Используйте нормальный повседневный язык вместо жаргона, понятного узкой группе людей.
• Доверие: ответы должны аккуратно отображать, что происходит, и уважать предпочтения пользователей. Если ваше приложение не выполнило задачу, не говорите, что сделали это. Также не стоит возвращать для воспроизведения фразы, которые с точки зрения пользователя не стоило бы произносить вслух.

Заодно вам стоит подумать о локализации взаимодействия с Кортаной, особенно, если вы уже локализовали остальную часть приложения и сделали его глобально доступным. Кортана на сегодня доступна в США, Великобритании, Китае, Франции, Италии, Германии и Испании (анонс про расширение на дополнительные рынки). Локализация поможет вам побудить пользователей чаще использовать Кортану для взаимодействия с вашим приложением.

Учим Кортану, на что нужно отвечать

Кортана использует файл с определениями голосовых команд (Voice Command Definition, VCD), чтобы понять, как именно пользователь может взаимодействовать с вашим приложением, используя голос. Данный файл может быть готовым XML-файлом или генерироваться из кода (вам нужно будет заполнить набор команд в VCD-файле при первом запуске). Ниже приведен пример VCD-файла:

<?xml version="1.0" encoding="utf-8"?>
<VoiceCommands xmlns="http://schemas.microsoft.com/voicecommands/1.1">
  <CommandSet xml:lang="en-us" Name="AdventureWorksCommandSet_en-us">
    <CommandPrefix> Adventure Works, </CommandPrefix>
    <Example> Show trip to London </Example>
 
    <Command Name="showTripToDestination">
      <Example> show trip to London </Example>
      <ListenFor RequireAppName="BeforeOrAfterPhrase"> show trip to {destination} </ListenFor>
      <Feedback> Showing trip to {destination} </Feedback>
      <Navigate/>
    </Command>
 
    <PhraseList Label="destination">
      <Item> London </Item>
      <Item> Dallas </Item>
    </PhraseList>
 
  </CommandSet>
<!-- Other CommandSets for other languages -->
</VoiceCommands>

При активации приложения из события запуска приложения OnLaunched вам нужно вызвать метод InstallCommandSetsFromStorageFileAsync, чтобы зарегистрировать команды, которые Кортана должна распознавать. Имейте в виду, что если устройство восстанавливается из бекапа и ваше приложение переустанавливается, то голосовые команды не восстанавливаются автоматически. Чтобы убедиться, что данные с описанием голосовых команд остаются нетронутыми, вы можете инициализировать VCD-файл при каждом запуске или активации приложения. Но лучше хранить настройку, указывающую, установлен ли уже VCD-файл, и проверять именно этот параметр. Ниже простой пример кода, показывающий, как установить VCD-файл из приложения:

var storageFile = await Windows.Storage.StorageFile.GetFileFromApplicationUriAsync(new Uri("ms-appx:///CortanaVcd.xml"));
 
await Windows.ApplicationModel.VoiceCommands.VoiceCommandDefinitionManager.InstallCommandSetsFromStorageFileAsync(storageFile);

Добавляем динамичность

Теперь, когда вы знакомы с основами, мы можем добавить немного разнообразия во время выполнения. Ниже пример динамичного переключения VCD-файла, который нужно загрузить:

private Windows.ApplicationModel.VoiceCommands.VoiceCommnadDefinition.VoiceCommandSet commandSetEnUs;
 
if (Windows.ApplicationModel.VoiceCommands.VoiceCommandDefinitionManager.InstalledCommandSets.TryGetValue("AdventureWorksCommandSet_en-us", out commandSetEnUs))
{
  // this code will fully replace the destination list
  await commandSetEnUs.SetPhraseListAsync("destination", new string[] {"Chicago", "Seattle", "New York", "Phoenix"});
}

Как мое приложение будет взаимодействовать с Кортаной?

Есть несколько способов, как ваше приложение может общаться с Кортаной. Вот три наиболее типичных пути:

1. Запуск приложения из Кортаны. Помимо того, чтобы просто запустить приложение, вы также можете указать «глубокую» ссылку или команду для выполнения внутри приложения.
2. Простое взаимодействие внутри интерфейса Кортаны (обычно это сохранение/запрос данных через фоновый процесс).
3. Взаимодействие между пользователем и приложение внутри Кортаны.

Запуск приложения

Если у вас сложная задача и вы хотите, чтобы пользователь перешел напрямую в ваше приложение, использовать для этого Кортану – отличная идея! Так как некоторые сложные задачи в реальности могут быть быстрее и аккуратнее выполнены через голосовые команды, это может действительно помочь пользователям.

protected override void OnActivated(IActivatedEventArgs e)
{
  // Was the app activated by a voice command?
  if (e.Kind != Windows.ApplicationModel.Activation.ActivationKind.VoiceCommand)
  {
    return;
  }
 
  var commandArgs = e as Windows.ApplicationModel.Activation.VoiceCommandActivatedEventArgs;
  var navigationParameterString = "";
 
  Windows.ApplicationModel.VoiceCommands.VoiceCommand.SpeechRecognitionResult speechRecognitionResult = commandArgs.Result;
 
  // Get the name of the voice command and the text spoken
  string voiceCommandName = speechRecognitionResult.RulePath[0];
  string textSpoken = speechRecognitionResult.Text;
 
  // The commandMode is either "voice" or "text", and it indicates how the voice command was entered by the user.
  // Apps should respect "text" mode by providing feedback in a silent form.
  string commandMode = this.SemanticInterpretation("commandMode", speechRecognitionResult);
 
  switch (voiceCommandName)
  {
    case "showTripToDestination":
      // Access the value of the {destination} phrase in the voice command
      string destination = speechRecognitionResult.SemanticInterpretation.Properties["destination"][0];
 
      // Create a navigation parameter string to pass to the page
      navigationParameterString = string.Format("{0}|{1}|{2}|{3}",
                    voiceCommandName, commandMode, textSpoken, destination);
 
      // Set the page where to navigate for this voice command
      navigateToPageType = typeof(TripPage);
    break;
 
    default:
      // There is no match for the voice command name. Navigate to MainPage
      navigateToPageType = typeof(MainPage);
      break;
  }
 
  if (this.rootFrame == null)
  {
    // App needs to create a new Frame, not shown
  }
 
  if (!this.rootFrame.Navigate(navigateToPageType, navigationParameterString))
  {
    throw new Exception("Failed to create voice command page");
  }
}

Простое взаимодействие внутри Кортаны для сохранения или запроса данных

Теперь, когда к Кортане подключен ваш VCD-файл, и вы знаете, как осуществлять базовое взаимодействие, давайте посмотрим, как делать более сложные операции. К примеру, вы хотите, чтобы Кортана показала пользователю некоторые данные или наоборот их сохранила. На сайте MSDN есть подробная инструкция по настройке фоновых задач для Кортаны. Вот краткое резюме:

1. Создайте проект Windows Runtime Component в вашем решении
2. Создайте новый класс, реализующий интерфейс IBackgroundTask, который будет работать как сервис приложения
3. В манифейсте вашего UWP-приложения (Package.appxmanifest) добавьте новое расширение для созданного сервиса. Этот шаг подробно описан в MSDN.

Ниже приведен пример фрагмента файла Package.appxmanifest:

<Package>
  <Applications>
    <Application>
      <Extensions>
        <Extension Category="windows.appService"
          EntryPoint=
            "AdventureWorks.VoiceCommands.AdventureWorksVoiceCommandService">
          <AppService Name="AdventureWorksVoiceCommandService"/>
        </Extension>
      </Extensions>
    <Application>
  <Applications>
</Package>

После запуска фоновый сервис приложения имеет 0.5 секунды на вызов метода ReportSuccessAsync. Кортана использует данные, предоставленные приложением, для демонстрации и произнесения голосом ответа, указанного в VCD-файле. Если приложение тратит на возврат результата больше, чем полсекунды, Кортана вставит промежуточный экран, как показано ниже. Кортана отображает временный экран до тех пор, пока приложение не вернет результат через ReportSuccessAsync, но не более 5 секунд. Если приложение не вызвало метод ReportSuccessAsync или любой из методов VoiceCommandServiceConnection для предоставления информации Кортане, пользователь получит сообщение об ошибке и вызов сервиса будет отменен.

Картинка с сайта: habr.com

Вот простой пример кода для реализации IBackgroundTask в сервисе приложения:

using Windows.ApplicationModel.Background;
 
namespace AdventureWorks.VoiceCommands
{
  public sealed class AdventureWorksVoiceCommandService : IBackgroundTask
  {
    public void Run(IBackgroundTaskInstance taskInstance)
    {
      BackgroundTaskDeferral _deferral = taskInstance.GetDeferral();
 
      //
      // TODO: Insert code
      //
      _deferral.Complete();
    }
  }
}

Взаимодействие внутри Кортаны

К этому моменту вы познакомились с основами и готовы реализовать еще более плотное взаимодействие с Кортаной. Приложение может запросить разные типы экрана для поддержки той или иной функциональности:

• Удачное завершение
• Промежуточный
• Прогресс
• Подтверждение
• Неопределенность
• Ошибка

Давайте рассмотрим подробнее один из этих сценариев: неопределенность. Иногда случается так, что у вашего приложения есть несколько вариантов, которые оно может вернуть. В таких ситуациях вам нужно разрешить неуверенность, что же делать дальше. Например, если пользователь выбирал музыку и нужно было решить, что играть дальше: ABBA, Nickelback или White Snake, Кортана может помочь сделать выбор. Фрагмент кода ниже из примера Adventure Works показывает, как разрешить появившуюся в рамках сервиса приложения неопределенность:

// Create a VoiceCommandUserMessage for the initial question.
var userPrompt = new VoiceCommandUserMessage();
userPrompt.DisplayMessage = "Which one do you want to cancel?";
userPrompt.SpokenMessage = "Which Chicago trip do you wanna cancel?";
// Create a VoiceCommandUserMessage for the second question,
// in case Cortana needs to reprompt.
var userReprompt = new VoiceCommandUserMessage();
userReprompt.DisplayMessage = “Which one did you want to cancel?”;
userReprompt.SpokenMessage = "Which one did you wanna to cancel?";
 
// Create the list of content tiles to show the selection items.
var destinationsContentTiles = new List<VoiceCommandContentTile>();
 
// create your VoiceCommandContentTiles
for(int i=0; i < 5; i++)
{
  var destinationTile = new VoiceCommandContentTile();
  destinationTile.ContentTileType = VoiceCommandContentTileType.TitleWith68x68IconAndText;
 
  // The AppContext is optional.
  // Replace this value with something specific to your app.
  destinationTile.AppContext = "id_Vegas_00" + i;
  destinationTile.Title = "Tech Conference";
 
  destinationTile.TextLine1 = "May " + i + "th";
 
  destinationsContentTiles.Add(destinationTile);
}
 
// Create the disambiguation response.
var response = VoiceCommandResponse.CreateResponseForPrompt(userPrompt, userReprompt, destinationsContentTiles);
 
// Request that Cortana shows the disambiguation screen.
var voiceCommandDisambiguationResult = await voiceServiceConnection.RequestDisambiguationAsync(response);
 
if (voiceCommandDisambiguationResult != null)
{
   // Use the voiceCommandDisambiguationResult.SelectedItem to take action.
   // Call Cortana to present the next screen in .5 seconds
   // and avoid a transition screen.
}

Подводим итоги

Мы надеемся, что теперь вы лучше понимаете, насколько легко в ваше приложение можно добавить интеграцию с Кортаной и тем самым улучшить опыт взаимодействия для ваших пользователей. От простого запуска приложения и вплоть до сложных моделей взаимодействия даже без запуска приложения – во всех случаях Кортана действительно может оказаться полезной. Чтобы воспользоваться преимуществами интеграции с Кортаной, вы можете начать с самого простого – добавить новый способ работы с глубокими ссылками в вашем приложении.

Если вы чувствуете, что работа с Кортаной на практике может добавить ценность вашему приложению, не стесняйтесь это реализовать. Как только вы обновите свое приложение, не забудьте заявить о себе в программе DVLUP в номинации “Adding Cortana to your app”, чтобы получить очки и XP за обновление приложения. Расскажите нам, что вы сделали, через твиттер @WindowsDev с хештегом #Win10x10 – мы будем рады узнать, что разработчики создают под Windows.

Дополнительные материалы

Ниже мы приводим несколько ссылок с полезной дополнительной информацией о расширении Кортаны:

• Статья на MSDN: Взаимодействие с Кортаной
• Статья на MSDN: Рекомендации по проектированию Кортаны
• Статья на MSDN: Взаимодействие с фоновым приложением в Кортане
• Отличная статья Николы Метулева о Кортане и работе с речью в Windows. В статье вы найжете занимательные примеры и подробный рассказ о программировании для Кортаны.
• Подробная статья Оливер Матис с лучшими практиками интеграции приложений с Кортаной.

Компания Microsoft выпустила свежее обновление, которое отключает работу голосового помощника Cortana в Windows 10. Оно уже доступно в канале Release Preview (Канал предварительного выпуска), которое предшествует релизу для всех пользователей. 

Картинка с сайта: www.ixbt.com

Этот шаг был сделан вскоре после того, как Microsoft отключила цифрового помощника в Windows 11. Вместо этого компания делает ставку на своё новое решение на основе системы искусственного интеллекта — Windows Copilot. 

Картинка с сайта: www.ixbt.com

Напомним, Cortana — это голосовой помощник эпохи Windows Phone, который дебютировал на настольных компьютерах с Windows 10. Приложение Cortana стало ответом Microsoft на Siri в 2014 году. В своё время Microsoft даже опубликовала серию рекламных роликов, нацеленных на критику голосового помощника Apple.

7 августа 2023 в 18:42

| Теги: Windows, Microsoft

| Источник: WindowsLatest

Эксперты утверждают, что одной из лучших идей разработчиков Windows 10 было добавить в систему голосового помощника Cortana. Такие помощники уже давно используются владельцами мобильных телефонов, но добавление подобного сервиса на компьютер произошло впервые в Windows 10. Cortana пока общается только на английском, китайском и еще нескольких языках, к которым русский, к сожалению, не относится. Интересно, что по умолчанию даже англоязычная Cortana недоступна жителям России и других стран СНГ, но это можно исправить изменив некоторые настройки операционной системы.

Итак, Cortana – это виртуальная голосовая помощница, которая поможет вам без труда сделать заметку, добавит для вас напоминание, узнает расписание поездов или другого транспорта и предоставит необходимую вам информацию, также она может поддерживать с вами беседу, рассказывать шутки, петь песни и многое другое.

Впервые она предстала миру в 2014 году, и с того момента использовалась сначала на Windows Mobile 8.1, а теперь стала отличительной чертой Windows 10.

В Windows 10 она заменяет стандартную поисковую систему и может искать информацию как в интернете, так и на жестком диске. С помощью голосового управления Cortana, кроме поиска информации, может запускать программы, выполнять операции над файлами и даже изменять настройки системы.

Картинка с сайта: geekon.media

Где работает Cortana?

К сожалению, сегодня, далеко не все могут использовать эту программу как личный помощник. Пока она научилась понимать и разговаривать только на шести языках:

• английский;
• немецкий;
• китайский;
• итальянский;
• испанский;
• французский.

Соответственно, работает она только в тех странах, где один из этих языков используется как основной. Со временем, разработчики обещают, что этот голосовой помощник станет доступен во всех странах. Но, если вы не хотите ждать, давайте разберемся, как включить Cortana на Windows 10 в других регионах.

Как включить Cortana на Windows 10 в России

Сам ассистент и его настройки располагаются в поле для поиска, расположенном рядом с кнопкой меню “Пуск”. Но в нашем регионе мы только увидим сообщение о том, что Кортана нам недоступна.

Картинка с сайта: geekon.media

Это происходит потому что язык интерфейса Windows не соответствует тому, который поддерживает данная программа.

Итак, выполните следующие действия, чтобы включить помощника, который сможет общаться с вами на английском языке:

1. Нажмите в меню Пуск кнопку Параметры.
   

   Картинка с сайта: geekon.media

2. В Параметрах Windows перейдите в раздел Время и язык, потом в раздел Регион и язык.
   

   Картинка с сайта: geekon.media

3. В списке регионов выберите, например, США, а в разделе добавления языков – английский.
4. После этого система предложит вам скачать для языка речевой пакет.
   

   Картинка с сайта: geekon.media

5. В пункте распознавания языка выберите английский. Стоит учесть, что так как английский не является вашим родным языком, стоит поставить галочку на пункте о распознавании акцента.
6. Перезагрузите компьютер, чтобы изменения вступили в силу.
7. После этого в настройках включите Cortana как личного голосового помощника – для этого в поиске поставьте “On” на пункте «Cortana can give you suggestions…».
   

   Картинка с сайта: geekon.media

Когда вы выполните действия, можете смело пользоваться Кортаной, так как её использование является бесплатным.

Часто пользователи жалуются на плохую работу программы, аргументируя это тем, что она далеко не всегда выполняет их указания. И дело тут не в неправильной работе помощника, а в том, что программа была настроена для англоязычных пользователей, а потому отлично понимает их речь, но может плохо понимать ваш англоязычный акцент. По этой причине и возникают подобные проблемы.

На видео можно будет наглядно посмотреть, как включить голосовой помощник Cortana на своем компьютере.

Включение Cortana на телефоне

Так же как и на компьютерах, Cortana на телефоне поддерживает те же шесть языков, что и на компьютерах. Но, данные ограничения не уменьшают интерес к ней в русскоязычных и других странах. Но, можно ли подключить Cortana на Windows 10 Mobile, если вы живете в России? Да, для этого будет достаточно поменять следующие настройки:

• регион проживания (США);
• язык интерфейса (английский);
• выключить службу геолокации (на время до перезагрузки телефона).

После перезагрузки у вас появится возможность работы с Cortana, как с личным голосовым помощником.

Картинка с сайта: geekon.media

Вывод

Важно помнить, что, проведя действия по включению Cortana, она будет работать, только на одном из поддерживаемых языков. Если, вы плохо знаете один из этих языков или же ваше произношение оставляет желать лучшего, вам будет удобнее отказаться от идеи использования Cortana, как личного помощника.

Некоторые эксперты утверждают, что в скором времени компания Microsoft выпустит русскоговорящую версию этой программы, аргументируя это тем, что в настройках Windows 10, в разделе дополнительных возможностей уже есть русскоговорящий пакет данных.

Другие же приводят им в пример Kinect, который спустя нескольких лет, так и не обрел в своей базе знаний русский язык или Siri, которая научилась говорить на русском только через пять после запуска англоязычной версии. Нам остается только следить за новостями от Microsoft.