Эмуляция нажатия клавиш windows

Key Manager — это более функциональный вариант программы Key Remapper, которая, кроме переназначения клавиш и кнопок мыши, содержит множество других полезных функций.

Например, Key Manager позволяет переназначать комбинации клавиш и кнопок мыши, последовательности нажатий, долгое нажатие (нажатие и удержание). Переназначать клавиши в зависимости от раскладки клавиатуры. Позволяет представлять действия в виде всплывающих меню, которые можно открывать по горячим клавишам; выполнять, записывать и редактировать макросы нажатий (последовательности нажатий); впечатывать или вставлять текст (в том числе форматированный), мгновенно заполнять формы сайтов; запускать программы и открывать сайты (в параметрах адреса которых можно указать текущий выделенный текст); менять раскладку и регистр выделенного текста; управлять питанием монитора, компьютера; регулировать громкость и устанавливать определенный уровень; выполнять действия над окнами (перемещение, установка конкретного размера) и многое другое.

Key Manager — открывает новые возможности клавиатуры и мыши, позволяя значительно сэкономить время и силы при работе за компьютером. Благодаря гибкому интерфейсу возможно создавать различные действия и выполнять их по нажатию горячих клавиш, кнопок мыши или комбинаций, а также представлять их в виде всплывающего меню. Кроме этого программа имеет мощные средства по переопределению клавиш и кнопок мыши и их блокировке. Переопределение и работу действий можно ограничить или разрешить только в определенных программах и/или окнах.

Key Manager позволяет назначить на обычное, длительное (нажатие и удержание) и последовательное нажатие клавиш, кнопок мыши, прокрутку колеса и комбинации с клавишами-модификаторами, а также всплывающее меню следующие действия:

• Отображение всплывающего меню с другими определенными Вами действиями.

• Вставку определенного Вами текста в обычном или RTF формате в любую программу с возможностью вставлять текущие дату, время, текущий выделенный текст и другие данные на основе шаблонов.

• Нажатие и блокировку клавиш, комбинаций клавиш, нажатие кнопок и осуществление прокрутки колеса мыши.

• Запись и выполнение макросов нажатий клавиш и кнопок мыши с возможностью задавать задержки между нажатиями.

• Выполнять клики, позиционировать и смещать указатель мыши относительно всего экрана, активного окна и предыдущей позиции, с возможностью возвращать указатель в изначальное положение после выполнения действия. Подробнее смотрите во втором видео ниже.

• Запуск любой программы или открытие файла или папки (для создания достаточно просто перетащить ярлык, папку или файл в окно действия).

• Открытие определенной Вами веб-страницы с возможностью использования в адресе текстовых шаблонов, которые позволяют получить и подставить текущий выделенный текст, содержимое буфера обмена и многое другое.

• Мгновенное создание электронного письма с возможностью использования шаблонов.

• Выполнение действий над всеми окнами или над активным (закрыть, свернуть, развернуть на весь экран, восстановить, скрыть, показать, перерисовать, переместить, изменить размер).

• Управление питанием компьютера, питанием монитора, управление звуком компьютера, запуск хранителя экрана и многое другое.

Также в программе есть возможность представить практически любую клавишу или кнопку мыши как пользовательский модификатор и использовать (подобно Alt и Ctrl) в комбинации с другими клавишами, кнопками мыши и модификаторами.

Снимки экрана

Видеопримеры

Как пользоваться программой

Установка программы

Для установки программы скачайте установочный дистрибутив и запустите на установку.

Работа с программой

После установки запустите программу. На экране появится главное окно:

В верхней части этого окна находится панель для работы с профилями, а также кнопки «Пауза» и «Настройки программы»:

Картинка с сайта: atnsoft.ru

Ниже этой панели находится окно, посредством которого осуществляется добавление новых действий и папок, и управление ими.

Для добавления нового действия необходимо кликнуть на строку «(кликните, чтобы добавить)»:

Появится окно, показанное на рисунке:

Картинка с сайта: atnsoft.ru

Большинство действий имеют имя, которое отображается в поле «Имя действия». По умолчанию оно формируется автоматически на основе данных действия.

Поcле добавления, новое действие появляется в древовидном списке главного окна:

Поскольку добавленное в примере действие-папка имеет назначенную комбинацию клавиш LCtrl+LShift+1, оно не только позволяет структурировать все имеющиеся действия, но и позволяет представить содержащиеся в нем действия в виде всплывающего меню.

Для демонстрации этого добавим в вышеуказанное действие-папку три действия. Первое будет вставлять текст, второе запускать программу, а третье заменять долгое нажатие клавиши CapsLock на комбинацию клавиш Ctrl+C (в Windows этой комбинации соответствует команда — «копировать в буфер обмена»).

Для этого кликните по строке «(кликните, чтобы добавить)», которая находится внутри папки:

Выберите в появившемся окне действие «Вставка текста». Далее в поле «Вставляемый текст» напишите какой-нибудь текст, например: «Текст написан:», за которыми следуют текущая дата и время. Чтобы использовать дату и время, необходимо вставить шаблон. Для этого нужно кликнуть кнопку , и в появившемся меню выбрать требуемый вид даты и времени. Вы можете редактировать шаблоны самостоятельно, основываясь на имеющихся примерах. Конечный вид вставляемого сообщения отображается в поле «Предпросмотр»:

Картинка с сайта: atnsoft.ru

При работе с этим действием его имя формируется автоматически. Если Вы хотите определить свое имя для действия — впишите его самостоятельно в поле «Имя действия».

Для добавления действия нажмите «ОК».

Теперь добавьте в папку второе действие. Снова кликните по строке в папке «(кликните, чтобы добавить)» и выберите в списке действие «Запуск программы или файла».

В данном примере будет осуществляется запуск программы MS Word. Для того чтобы указать на программу MS Word, можно кликнуть кнопку «Файл…» и указать исполняемый файл. Это также можно сделать проще, просто перетащив мышью на окно свойств действия ярлык из меню «Пуск» или исполняемый файл из папки требуемой программы, например «C:\Program Files\».

Также назначим запуск этого действия на нажатие комбинации клавиш Ctrl+2 в поле «На клавишу или комбинацию».

В конечном итоге окно будет выглядеть так:

Картинка с сайта: atnsoft.ru

Для добавления этого действия нажмите «ОК».

Теперь добавьте в папку последнее действие — нажатие комбинации Ctrl+С, а также назначте его на длительное нажатие (нажатие и удерживание) клавиши CapsLock.

Для этого снова кликните внутри папки на строку «(кликните, чтобы добавить)» и выберите в списке действие «Клавиша или комбинация».

Кликните мышью в поле «Клавиша или комбинация» и нажмите комбинацию клавиш Ctrl+C.

Напишите в поле «Имя действия» — текст «Копировать».

Кликните в поле «На клавишу или комбинацию» и нажмите клавишу CapsLock и поставьте флажок «Долгое нажатие».

По окончанию окно будет выглядеть так:

Картинка с сайта: atnsoft.ru

Для добавления этого действия нажмите «ОК».

Главное окно в конечном виде будет выглядеть так:

Теперь попробуем, как это работает. Убедитесь, что программа не стоит на паузе и нажмите комбинацию клавиш LCtrl+2 — запустится программа MS Word.

В программе MS Word нажмите комбинацию клавиш LCtrl+LShift+1 — появится меню:

Картинка с сайта: atnsoft.ru

Выберите в меню первый пункт «Текст написан…» — произойдет вставка текста:

Картинка с сайта: atnsoft.ru

Допишите что-нибудь к вставленному тексту, выделите весь текст и нажмите и удерживайте некоторое время клавишу Caps Lock — произойдет внутреннее нажатие комбинации клавиш Ctrl+C — копирование текста в буфер обмена. Выберите в меню программы MS Word — «Правка» -> «Вставить» — вставится текст, скопированный в буфер обмена!!!

Для тренировки Вы можете назначить на обычное нажатие клавиши CapsLock — нажатие комбинации клавиш Ctrl+V (вставить текст), назвав действие «Вставить», тем самым Вы сможете пользоваться буфером обмена, нажимая всего одну клавишу CapsLock. Для копирования — долгое нажатие, для вставки — обычное.

Если Вам требуется изначальная клавиша CapsLock, Вы можете назначить нажатие этой клавиши на другую клавишу или комбинацию, например на Ctrl+CapsLock или Ctrl+Shift+Tab:

Управление действиями и горячие клавиши

Созданные папки и действия Вы можете легко перемещать и копировать (удерживая клавишу Ctrl при перемещении).

Добавлять, изменять и удалять действия и папки Вы можете с помощью контекстного меню или используя следующие горячие клавиши:

Картинка с сайта: habr.com

В перечислении Qt::Key для события QKeyEvent определены 15 типов клавиш управления мультимедиа (см. таблицу в конце статьи). Все они могут быть использованы в фильтре событий (installEventFilter) для обработки нажатия клавиш на мультимедийной клавиатуре (позволяющей управлять аудиоустройством и воспроизведением).
В статье рассмотрена обратная задача — отправка в систему команд управления мультимедиа путем эмуляции нажатия соответствующих клавиш в Windows, Linux и MacOSX (операционные системы упорядочены по времени, потраченному на поиск решения). Представленный в статье материал может быть отправной точкой к дальнейшему изучению вопроса кроссплатформенной отправки событий в цикл обработки системных сообщений.

Прежде чем перейти непосредственно к описанию исходного кода давайте рассмотрим, где вообще может применяться эмуляция мультимедийных клавиш, например:

• создание виджетов управления воспроизведением аудио;
• эмуляция пользовательского ввода при тестировании приложений;
• создание приложения для удаленного управления аудиосистемой. В данном случае приложение на компьютере выступает в качестве сервера, а клиентом является смартфон. Такая связка позволит управлять аудио/видео не вставая с дивана или, например, автоматически ставить на паузу воспроизведение при поступлении входящего звонка;
• создание приложения, «расшаривающего» клавиатуру и мышь на два и более компьютеров по сети (предварительно дополнив представленный код до полного набора клавиш);
• создание систем «умный дом», новых человеко-машинных интерфейсов (управление голосовыми командами и др.).

Так как QEvent позволяет отправлять сообщение только конкретному объекту «внутри» приложения, то стандартными средствами Qt эмулировать нажатия клавиш не получится. Для этого будем использовать системные вызовы Api (в случае с Windows) или соответствующие библиотеки (X Window System в Linux и ряд фреймворков в Mac OS X).
Для удобства описания почти всю реализацию отправки сообщений разместим в функции sendKeyEventToSystem(Qt::Key qtKey), которой передается код клавиши из перечисления Qt::Key. Данная функция и будет вызываться из слотов, например:

void playPauseToogle() {  //слот переключения между воспроизведением и паузой
	postKeyEventToSystem(Qt::Key_MediaTogglePlayPause);
}

Платформенно-зависимый код будем отделять директивами #ifdef OS_TYPE и #endif (еще часть кода на Objective-C вынесем в отдельный файл macx.mm, но об этом позже).

Эмуляция нажатия клавиатуры в Windows

В данной операционной системе за отправку сообщений отвечает функция SendInput. Она позволяет отправлять сообщения с кодами, полный перечень которых представлен на странице MSDN Virtual-Key Codes.
Для использования этой функции необходимо подключить заголовочный файл <Windows.h>.

#ifdef Q_OS_WIN32
    #define WINVER 0x0500
    #include <Windows.h>
#endif

Примеров использования данной функции в интернете много и ее применение не должно вызвать проблем, поэтому сразу привожу код (в части Windows):

sendKeyEventToSystem(Qt::Key qtKey) { //функция эмуляции нажатия клавиши. qtKey - тип клавиши
#ifdef Q_OS_WIN32
    INPUT ip; //устройство ввода
    ip.type = INPUT_KEYBOARD;
    ip.ki.wScan = 0;
    ip.ki.time = 0;
    ip.ki.dwExtraInfo = 0;
//в зависимости от типа клавиши
    switch (qtKey) {
    case Qt::Key_MediaPrevious:
        ip.ki.wVk = VK_MEDIA_PREV_TRACK; //предыдущий трек
        break;
    case Qt::Key_MediaTogglePlayPause:
        ip.ki.wVk = VK_MEDIA_PLAY_PAUSE; //для переключения режима воспроизведения
        break;
    case Qt::Key_MediaNext:
        ip.ki.wVk = VK_MEDIA_NEXT_TRACK; //следующий трек
        break;
    default:
        return;
        break;
    }
	//посылаем событие нажатия клавиши
    ip.ki.dwFlags = 0;
    SendInput(1, &ip, sizeof(INPUT));
    //а затем отжатия клавиши
    ip.ki.dwFlags = KEYEVENTF_KEYUP;
    SendInput(1, &ip, sizeof(INPUT));
#endif
}

Здесь и далее в примерах будут использоваться всего 3 клавиши. В конце статьи приведена таблица соответствия кодов.

Эмуляция нажатия клавиатуры в Linux

Для эмуляции клавиш в Linux, на мой взгляд, проще всего использовать библиотеку разработчиков libXtst (X11 Record extension library).
Для ее получения из пакетов необходимо выполнить команду:

sudo apt-get install libxtst-dev

Также будет необходимо подключить библиотеку в файле проекта:

unix:!macx:LIBS += -lXtst -lX11

В начале файла подключим необходимые заголовочные файлы и определим ряд констант, соответствующих кодам мультимедийных клавиш (дело в том, что в файле X11/keysymdef.h коды для мультимедийных клавиш отсутствуют).

#ifdef Q_OS_LINUX
    #include <X11/Xlib.h>
    #include <X11/extensions/XTest.h>
    #define XF86AudioLowerVolume   0x1008ff11
    #define XF86AudioMute                0x1008ff12 
    #define XF86AudioRaiseVolume   0x1008ff13
    #define XF86AudioPlay               0x1008ff14
    #define XF86AudioStop               0x1008ff15
    #define XF86AudioPrev                0x1008ff16
    #define XF86AudioNext                0x1008ff17
    #define XF86AudioPause            0x1008ff31
#endif

Код эмуляции в части Linux:

#ifdef Q_OS_LINUX
    unsigned int key;
    unsigned int keycode;
    switch (qtKey) {
    case Qt::Key_MediaPrevious:
        key = XF86AudioPrev;
        break;
    case Qt::Key_MediaTogglePlayPause:
        key = XF86AudioPlay;
        break;
    case Qt::Key_MediaNext:
        key = XF86AudioNext;
        break;
    default:
        return;
        break;
    }
    // подключаемся к X
    Display *display;
    display = XOpenDisplay(NULL);
    // получаем код клавиши
    keycode = XKeysymToKeycode(display, key);
    // эмулируем нажатие клавиши
    XTestFakeKeyEvent(display, keycode, 1, 0);
    // эмулируем отжатие клавиши
    XTestFakeKeyEvent(display, keycode, 0, 0);
    // очищаем буфер X
    XFlush(display);
    // отключаемся от X
    XCloseDisplay(display);
#endif

Эмуляция нажатия клавиатуры в Mac OS X

Попытки найти решение для MacOS X не приносили плодов (скупые примеры были написаны на Objective-C), до тех пор, пока в гугле не натолкнулся на статью с хабра Интеграция приложений Qt в среду Mac OS X (с использованием Cocoa и Objective-C++). Мне уже ранее попадалась англоязычная статья, в которой описывалось, как изолировать код C++ для использования в Objective-C приложении. Мне же нужно было совершенно противоположное — изолировать Objective-C код (который выполнял нужные мне функции, но в то же время на который ругался компиллятор). Все оказалось достаточно просто:
1. создал файл macx.mm и разместил в нем Objective-С код (при этом в файле проекта автоматически появилась строка

OBJECTIVE_SOURCES += macx.mm 

2. создал файл macx.h и разместил в нем объявление функции из macx.mm (добавив #include «macx.h» в macx.mm).
3. в файле проекта добавил подключение необходимых фреймворков, в частности:

macx:LIBS += -framework ApplicationServices -framework IOKit

4. Внутри макроса условной компиляции для Mac OS X добавил необходимые хидеры и macx.h.
5. В уже знакомой вам switch-case структуре вставил вызовы новоиспеченной функции.

Таким образом в начале файла у нас появилась конструкция для Mac OS X:

#ifdef Q_OS_MAC
    #include <ApplicationServices/ApplicationServices.h> //оставил для типа UInt8
    #include <IOKit/hidsystem/ev_keymap.h> //коды клавиш
    #include "mac.h" //определение функции для вызова Objective-C кода
#endif

В функцию sendKeyEventToSystem добавляется следующий код:

#ifdef Q_OS_MAC
    switch (qtKey) {
    case Qt::Key_MediaPrevious:
        HIDPostAuxKey( NX_KEYTYPE_PREVIOUS );
        break;
    case Qt::Key_MediaTogglePlayPause:
        HIDPostAuxKey( NX_KEYTYPE_PLAY );
        break;
    case Qt::Key_MediaNext:
        HIDPostAuxKey( NX_KEYTYPE_NEXT );
        break;
    default:
        return;
        break;
    }
#endif

Cодержимое файла mac.mm:

#import <Cocoa/Cocoa.h>
#import <IOKit/hidsystem/IOHIDLib.h>
#import <IOKit/hidsystem/ev_keymap.h>
#include "macx.h"

static io_connect_t get_event_driver(void)
{
    static  mach_port_t sEventDrvrRef = 0;
    mach_port_t masterPort, service, iter;
    kern_return_t    kr;
    if (!sEventDrvrRef)
    {
        // Get master device port
        kr = IOMasterPort( bootstrap_port, &masterPort );
        check( KERN_SUCCESS == kr);

        kr = IOServiceGetMatchingServices( masterPort, IOServiceMatching( kIOHIDSystemClass ), &iter );
        check( KERN_SUCCESS == kr);

        service = IOIteratorNext( iter );
        check( service );

        kr = IOServiceOpen( service, mach_task_self(),
                            kIOHIDParamConnectType, &sEventDrvrRef );
        check( KERN_SUCCESS == kr );

        IOObjectRelease( service );
        IOObjectRelease( iter );
    }
    return sEventDrvrRef;
}

void HIDPostAuxKey(const UInt8 auxKeyCode )
{
  NXEventData   event;
  kern_return_t kr;
  IOGPoint      loc = { 0, 0 };

  // Сообщение о нажатии клавиши
  UInt32      evtInfo = auxKeyCode << 16 | NX_KEYDOWN << 8;
  bzero(&event, sizeof(NXEventData));
  event.compound.subType = NX_SUBTYPE_AUX_CONTROL_BUTTONS;
  event.compound.misc.L[0] = evtInfo;
  kr = IOHIDPostEvent( get_event_driver(), NX_SYSDEFINED, loc, &event, kNXEventDataVersion, 0, FALSE );
  check( KERN_SUCCESS == kr );

  // Сообщение о отжатии клавиши
  evtInfo = auxKeyCode << 16 | NX_KEYUP << 8;
  bzero(&event, sizeof(NXEventData));
  event.compound.subType = NX_SUBTYPE_AUX_CONTROL_BUTTONS;
  event.compound.misc.L[0] = evtInfo;
  kr = IOHIDPostEvent( get_event_driver(), NX_SYSDEFINED, loc, &event, kNXEventDataVersion, 0, FALSE );
  check( KERN_SUCCESS == kr );
}

Заключение:

Для меня было немного странно, что до сих пор не существует открыто доступной кроссплатформенной библиотеки, позволяющей выполнять отправку сообщений (в том числе события клавиатуры, мыши и д.р.). Во всяком случае мне такую библиотеку так и не получилось найти. Представленный код далек от совершенства (представляю, как разрастется switch-case последовательность при добавлении новых клавиш). Но тем не менее пусть это будет небольшой вклад в общую копилку базы знаний о написании кросплатформенных приложений.
В ходе работы над статьей было замечено, что VirtualBox перехватывает нажатия мультимедийных клавиш (проверялось на Ubuntu — c «железа» все работало). Данного недостатка лишена WMWare (проверялось на Mac OS X).

Приложение: Перечень мультимедийных клавиш и их определений (с помощью #define).

Ссылки по теме:
1. Существующие подходы к решению проблемы: C++ (Qt) cross-platform library for simulating keyboard input, sendkeys, send kestrokes, etc
2. Описание функции SendInput и перечень кодов клавиатуры на сайте MSDN.
3. Simulating Mediakey Presses in C & X11 — в статье описывается, как в Linux с помощью утилиты «xev» (в Ubuntu: «sudo apt-get install x11-utils») можно узнать коды клавиш, а также в дополнение статья с archlinux.org.
4. Эмуляция мультимедийных клавиш в MacOS X на языке программирования Python.

Продолжаем рассказывать про автоматизацию рутины на компьютере. Вот что было в предыдущих частях:

Бывает так, что рутины много, а нужные программы не поддерживают макросы и у них нет своего языка для скриптов. В этом случае используют программы для автоматизации разных действий на компьютере.

Action(s)

app.jbbres.com/actions/

Платформа: Windows, macOS.

Эту программу сделали 10 лет назад, и для macOS она уже сильно устарела, но в Windows всё отлично работает. Интерфейс создания скриптов может показаться сложным для новичков. Но если вам нужен полный контроль — она поможет.

Если нужна современная версия для macOS, посмотрите на встроенное приложение Automator. Из коробки он умеет не так много, но есть сторонние расширения. 

Картинка с сайта: thecode.media

AutoIT

autoitscript.com/site/autoit/

Платформа: Windows.

Если вам понравились возможности предыдущей программы, но вы хотите всё контролировать сами и писать свои скрипты, попробуйте AutoIT. В ней используется свой язык, похожий на Бейсик, но с глубоким погружением в системные команды операционной системы. При желании на ней можно запрограммировать даже имитацию работы за компьютером в течение дня — всё будет выглядеть так, как будто человек сидит перед монитором и что-то делает.

Картинка с сайта: thecode.media

Sikuli

sikulix.com

Гитхаб оригинального проекта

Платформа: любая, где можно запустить виртуальную машину Java.

Эта система понимает скрипты на Python, Ruby и JavaScript и поддерживает все языки программирования, связанные с Java (Jython, JRuby, Scala, Clojure и остальные).

Программа основана на распознавании изображений. Её можно обучить нужным иконкам, чтобы она нажимала на них в любой последовательности. Как только нужная картинка появляется на экране, программа её найдёт и выполнит указанные действия. 

Например, её можно научить играть в «Весёлого фермера», чтобы она сама находила на экране морковку, собирала её, отправляла кур спать и поливала грядки.

Картинка с сайта: thecode.media

AutoClickExtreme

autoclickextreme.com/ru/

Платформа: Windows.

Программа заточена на имитацию нажатий мыши и клавиатуры и делает это максимально точно. QA-инженеры иногда используют её для тестирования интерфейсов, чтобы не нажимать всё вручную.

Работает просто: она записывает то, что вы делаете, а потом повторяет. Есть режим обучения, когда программа смотрит за поведением пользователя, а потом выделяет шаблоны повторяющихся действий.

Картинка с сайта: thecode.media

Macro Scheduler

www.mjtnet.com/macro-scheduler.htm

Платформа: Windows.

Самая дорогая программа в подборке, но оно того стоит:

Картинка с сайта: thecode.media