Посмотрел модуль dictation, там так же как и в keydetector есть

    private Set<Integer> keySet = new HashSet<>();
    private Set<Integer> pressedKeys = Collections.synchronizedSet(new HashSet<>());

и ловятся события клавиатуры, проверяются совпадения(аналогично keydetector)
Мне не нравится :)
Предлагаю всю проверку вынести в модуль keyDetector
Мне это представляется простым событием(методом keydetector), на вход объект содержащий набор клавиш для срабатывания и событие срабатывания.
@morfeusys согласен?

в Linux используется английская локаль, агрегат говорит по русски, но англискую строку(03 марч фёрсдэй) думаю локаль нужно брать всегда русскую(точне в соответствии с языком используемым в агрегате)

Установил хакинтош(10.9.3, есть интернет), при установке модуля распознавания речи вылетает:
SEVERE: Cannot deploy maven:com.aggregate:asr-google:1.0.0::asr-google io.vertx.core.impl.NoStackTraceThrowable: No data line is available

 Mar 05, 2016 3:58:50 PM com.aggregate.detector.key.KeyDetector
INFO: Keys: [1, 82, 65038]

нажата только клавиша мыши 1, соответственно 82 и 65038 считаются нажатыми ложно.

Добррый день, планируется ли реализация голосовой активации?

На данный момент любая активация должна сама сообщить когда пора перестать слушать.
Если активировать распознавание по отжатию клавиши(комбинации), то останавливать его можно когда человек перестал говорить. То есть слушать микрофон отдельным процессом и посылать сигнал когда он молчит какое то время. Это можно сделать с помощью sox,
sox -d /tmp/record.flac silence 1 0.1 5% 1 2.8 5%
например здесь после того как человек на 2.8 секунд замолчит(громкость меньше 5%) процесс записи остановится, соответственно можно послать сигнал завершить запись распознавания. Наверное можно сделать более красиво, используя эту библиотеку, но я не нашел обертки для джавы этой либы.
Как поступим? Что используется в Дусе?

Файл pom.xml создан для нового модуля "my-brain" ,Eclipse синхронизировал модуль с всеми необходимыми библиотеками.
Возникает вопрос: Синхронизация проекта в Eclipse c установленным плагином EGit со своим Fork на github.com

что ему нужно от меня?

Я давно задавался вопросом: а что будет, если взять и поставить в Агрегат два модуля синтеза речи, например?
Попробовал поставить TTS от Яндекса и Ивоны. В результате они разговаривают попеременно (очевидно, кому первому досталась фраза, тот и говорит).
В случае онлайн-синтезаторов это, в сущности, не критично. Однако если Агрегат будет снабжён как онлайновыми, так и оффлайновыми модулями синтеза (и распознавания) речи, пользователю может потребоваться выбрать конкретный модуль. Самая очевидная ситуация — отсутствие Интернета или плохая связь с ним.
Мой feature request заключается в возможности (через aggregate.json?) выбирать конкретный модуль распознавания и синтеза речи, с фоллбэком к некоему модулю, который стоит всегда (Google для ASR, например). Тут тоже вопрос тонкий, насчёт фоллбэка: пользователь мог не получать никаких ключей, например. В общем, над этим ещё надо думать, но суть такова :).

edited

Поддержка прямого соединения агрегата и дуси в одной подсети.

Тогда можно будет снизить нагрузку на сервер, уменьшить задержку.

В вики кажется нет упоминаний, возможно ли добавлять новые грамматики из конфига при инициализации модуля в методе start() теоретически можно редактировать/генерировать xml файл, перед привязкой команд к агрегату, но мне представляется это не правильным.

в выводе start_debug.sh очень много всего, иногда лишнего, хотелось бы его фильтровать, самый простой способ перенаправить вывод в grep. Но это почему то не работает.
./start_debug.sh | grep -i "info"
есть идеи почему? Как фильтровать вывод дебага лучше?

Подскажите. Мы все модули кладем в директорию deploy. После запуска батника модули из этой директории исчезают. Это нормально? В терминале правда вижу реакцию на клавиатуру. Значит модуль работает. Только уда он делся?

http://cmusphinx.sourceforge.net/
просьба проголосовать на этом сайте за создание модели русского языка. С ней будет возможность использовать сфинкс как модуль распознавания речи, но и сейчас его можно использовать для активации, натренировав на одно единственное слово/фразу, если я не ошибаюсь это доступно.

else { keySet.addAll(keys.getList()); }

Интересно ,какая структура у этого файла?

С запросом remote всё замечательно, Дуся реагирует. Что делаю не так?

curl -sS -X POST -H "Content-Type: application/json" -H "Accept: application/json"
-d '{"jsonrpc": "2.0", "id": "777", "text": "погода"}' http://api.dusi.mobi/remote/reply

установил все корень C скопировал модули папку deploy

какие логи показать не знаю, посмотрел в pavucontrol на linux.

Вопрос в том рационально ли такое поведение.

У меня в Arch Linux при нажатии клавиш мыши(Thinkpad trackpoint keys) не отображаются коды в выхлопе key-detector.

чтоб меня слушал этот робот?

https://wiki.freedesktop.org/www/Software/dbus/
пояснения что это такое и зачем нужно наверное не нужно.

Доходит до даты и тухнет. Такой же результат выдает и JSON запрос. Это на Ubuntu

@Oire процитирую предыдущий разговор

P.S. У меня всё работает штатно, но модуль tts-yandex из папки deploy не убирается и соответственно в модулях json не появляется.

Попробуй убрать tts-yandex из aggregate.json, запустить агрегат и когда он инициализирует все плагины, обработает удаление, добавить новый ттс

@seniorivn, в том-то и прикол, что у меня в aggregate.json его никогда не было и нет(

@Oire а в консоли он что говорит когда находит jar в deploy? должен вывести ошибку если не смог инициализировать.

@seniorivn, как бы вам сказать... дело в том, что я работаю без зрения, а следовательно, с клавиатуры. И пока я просмотрю консоль, у меня весь экран занимают фидбэки от keyDetector, поэтому я не могу понять, в чём дело :(. По поводу эмоции для каждой фразы... даже не знаю, как это реализовать. Это такой же параметр урла, как и текст, например.

Дмитрий как Вы думаете много пользователей будут пользоваться активацией голоса с таким запуском голосового сервиса гугл:-)

Интересны перспективы расширения проекта на другие языковые рынки.

Предлагаю разработку вынести в ветку dev
А в ветку master мержить только готовые изменения, тогда можно будет настроить auto build

сначала работает нормально, через какое то время/количество использований вот такая ошибка

Mar 03, 2016 2:31:05 PM com.aggregate.detector.key.KeyDetector
INFO: Keyset detected
Mar 03, 2016 2:31:05 PM Dispatcher
INFO: Listening...
Mar 03, 2016 2:31:05 PM Dispatcher
INFO: ASR state: start
Exception in thread "Thread-78" java.lang.IllegalStateException: Queue full
    at java.util.AbstractQueue.add(AbstractQueue.java:98)
    at java.util.concurrent.ArrayBlockingQueue.add(ArrayBlockingQueue.java:312)
    at com.aggregate.asr.google.SpeechRecognizer$RecorderThread.record(SpeechRecognizer.java:161)
    at com.aggregate.asr.google.SpeechRecognizer$RecorderThread.run(SpeechRecognizer.java:148)
Mar 03, 2016 2:31:05 PM Dispatcher
INFO: ASR state: rec
Mar 03, 2016 2:31:05 PM Dispatcher
INFO: ASR state: done

Для начала руками закинуть не сложно, но в дальнейшем хотелось бы обновлять автоматом, можно автоматически билдить из репозитория, но лучше бы наверное обновление бинарных сборок силами агрегата сделать, а на будущее плагин менеджер, понятное дело.

На малине Агрегат запустился. Приятно удивила java на малине, от которой я всегда жду жор памяти и тормозов, поддержка процем присутствует, и как результат - довольно таки неплохо по памяти и быстродействию.
О проблемах при установке я писал на Aggregate G+. Модуль key-detector мне не удалось инсталлировать, так как устанавливал не на "чистую" систему, у меня LAMP плюс куча разного софта. Этот модуль в принципе мне и не нужен был, управляю с модуля gpio.
При запуске, с какого-то перепугу, появилось вот это -

INFO: Module maven:com.aggregate:asr-google:1.0.0::asr-google has been deployed
wiringPiSetup: Must be root. (Did you forget sudo?)

Ну ладно, у Дуси завтра праздник, зайдем с sudo. С конфига убрал удаленный доступ, загрузка - реально веселее. ASR работает с китайским usb микрофоном за чуть более пол бакса. Сие китайское "чудо" с Auto Gain Control умудряется слышать с 2 метров( большее расстояние я не пробовал). Распознавание без проблем. А вот с TTS у меня реальная проблема. Мне удается услышать остатки фразы только при первом запросе. Я слушаю на ящике по HDMI. "Следующий сеанс" возможен только после перезагрузки малины. Звук с TTS RHVoice, установленный на малине, продолжает работать в любом случае.

INFO: Processing Который час
Mar 07, 2016 2:50:29 PM Dispatcher
INFO: Processed in 1116 ms: cmd.datetime.time
Mar 07, 2016 3:02:28 PM Dispatcher
INFO: Listening...
Mar 07, 2016 3:02:28 PM Dispatcher
INFO: ASR state: start
Mar 07, 2016 3:02:28 PM Dispatcher
INFO: ASR state: rec
Mar 07, 2016 3:02:33 PM Dispatcher
INFO: ASR state: done
Mar 07, 2016 3:02:33 PM Dispatcher
INFO: ASR state: end
Mar 07, 2016 3:02:34 PM Dispatcher
INFO: Processing...
Mar 07, 2016 3:02:34 PM Dispatcher
INFO: Processing Который час
Mar 07, 2016 3:02:34 PM Dispatcher
INFO: Processed in 6 ms: cmd.datetime.time
Mar 07, 2016 3:02:48 PM Dispatcher
INFO: Listening...
Mar 07, 2016 3:02:48 PM Dispatcher
INFO: ASR state: start
Mar 07, 2016 3:02:49 PM Dispatcher
INFO: ASR state: rec
Mar 07, 2016 3:02:53 PM Dispatcher
INFO: ASR state: done
Mar 07, 2016 3:02:53 PM Dispatcher
INFO: ASR state: end
Mar 07, 2016 3:02:54 PM Dispatcher
INFO: Processing...
Mar 07, 2016 3:02:54 PM Dispatcher
INFO: Processing время
Mar 07, 2016 3:02:54 PM Dispatcher
INFO: Processed in 2 ms: cmd.datetime.time

Нужны какие-нибудь мысли

Собрал и поставил несколько новых модулей (Дусю, Яндекс.TTS, KeyDetector). В результате элемент modules в моём aggregate.json выглядит вот так:

"modules" : [ "maven:com.aggregate:date-time:1.0.0::date-time", "maven:com.aggregate:dictation:1.0.0::dictation", "maven:com.aggregate:browser:1.0.0::browser", "maven:com.aggregate:key-detector:1.0.0::key-detector", "maven:com.aggregate:asr-google:1.0.0::asr-google", "maven:com.aggregate:dusi:1.0.0::dusi", "maven:com.aggregate:tts-ivona:1.0.0::tts-ivona", "maven:com.aggregate:dusi:1.0.1::dusi", "maven:com.aggregate:date-time:1.0.1::date-time", "maven:com.aggregate:key-detector:1.1.0::key-detector" ]

Хотелось бы иметь модуль, который создаёт базу данных всех команд и ответов.

https://plus.google.com/100859351307218409075/posts/VLqDvZT9ggM

Не то что бы мне лень писать/копипастить json файлы, но было бы проще редактировать уже имеющиеся

При нажатии в настройках Дуси получить новый код ничего не происходит

предположим есть модуль отложенных задач, таймеров, $Text через $Number минут должен запустить $Text в нужный момент. Правильно ли я понимаю, что его нужно передать как result здесь:

vertx.eventBus().publish("asr.result", result);

И главное, как проверить валидность $Text как команды агрегата?

Если ваш модуль имеет другие зависимости, то обязательно включайте их классы в сборку с помощью следующего плагина:
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-shade-plugin</artifactId>
<version>1.6</version>
<configuration>
<createDependencyReducedPom>true</createDependencyReducedPom>
</configuration>
<executions>
<execution>
<phase>package</phase>
<goals>
<goal>shade</goal>
</goals>
</execution>
</executions>
</plugin>
Куда добавлять этот плагин?
Как прописать в нём зависимости?

Хотелось бы иметь графический интерфейс, с текстовым представлением всех команд и ответов, в виде чата и возможностью напечатать новую команду.

Начал проходить процедуру получения API-ключа для asr-google. Их Credentials wizard спрашивает меня, какой из четырёх ключей я хочу получить:

• Server key
• Browser key
• Android key
• IOs Key

А я даже не знаю. Выбрал по наитию Server key, а оно меня спрашивает, от каких IP-адресов разрешать. Опционально, но таки напрягло.
Собственно, вопрос/просьба уточнить в readme, какой ключ нужно получить :).

• добр* утр* * сказал я Дусе и услышал в ответ стандартный набор фраз из скрипта (Доброе утро)

Много статей прочитал по подключению к Git по SSH-ключам. Почти во всех из них используется один из двух способов: либо с помощью puttygen.exe, либо командами ssh-keygen или ssh-add.
Мои попытки сгенерировать ключи, указать пути в переменных среды, привязать ключи к гиту были бесполезны. Либо гит ругался крякозябрами (в случае ssh-agent cmd.exe), либо просто игнорировал всё предложенное...

Issues #39 можно удалить.

Всё из-за пробела. Видимо надо процентную кодировку ссылки сделать. Лог:

INFO: Processing Что показывают по Первому каналу
мар 06, 2016 1:11:17 PM Dispatcher
INFO: Processed in 1 ms: cmd.dusi
мар 06, 2016 1:11:19 PM com.aggregate.dusi.DusiAssistant
INFO: Received: {"speech":"Открываю сайт m.tv.yandex.ru/search?text=Первому каналу&type=channels","sas":false,"text":"Открываю сайт m.tv.yandex.ru/search?text=Первому каналу&type=channels","agent":"LauncherAgent","response_uri":"http://m.tv.yandex.ru/search?text=Первому каналу&type=channels"}
мар 06, 2016 1:11:19 PM com.aggregate.dusi.DusiAssistant
SEVERE: Cannot open URI
java.net.URISyntaxException: Illegal character in query at index 41: http://m.tv.yandex.ru/search?text=Первому каналу&type=channels
at java.net.URI$Parser.fail(Unknown Source)
at java.net.URI$Parser.checkChars(Unknown Source)
at java.net.URI$Parser.parseHierarchical(Unknown Source)
at java.net.URI$Parser.parse(Unknown Source)
at java.net.URI.(Unknown Source)
at com.aggregate.dusi.DusiAssistant.processReply(DusiAssistant.java:88)
at com.aggregate.dusi.DusiAssistant.access$100(DusiAssistant.java:24)
at com.aggregate.dusi.DusiAssistant$WSClient.onMessage(DusiAssistant.java:111)
at org.java_websocket.client.WebSocketClient.onWebsocketMessage(WebSocketClient.java:312)
at org.java_websocket.WebSocketImpl.decodeFrames(WebSocketImpl.java:368)
at org.java_websocket.WebSocketImpl.decode(WebSocketImpl.java:157)
at org.java_websocket.client.WebSocketClient.interruptableRun(WebSocketClient.java:230)
at org.java_websocket.client.WebSocketClient.run(WebSocketClient.java:188)
at java.lang.Thread.run(Unknown Source)

В конфиге прописано
{
"skip-logs" : true,
"key-codes" : [164, 91]

}
Две клавиши определяет правильно, но логирование не отключает.

При установке синтезатора яндекса файл tts-yandex-1.0.0.jar не пропадает из папки deploy, запись в aggregate.json НЕ появляется, однако в папке repository происходит распаковка. Файл конфигурации проверен. Ivona тоже не работает, но установка проходит полностью как надо, его файл конфигурации так же проверен, а статистика с Ivona говорит 0 / 50000 (нет использований). Вывод из консоли

Launching the Aggregate runtime...
ьрЁ 03, 2016 6:11:34 PM Aggregate
INFO: Starting...
ьрЁ 03, 2016 6:11:34 PM Aggregate
INFO: Initializing with C:\Users\Flash\Progs\aggregate-0.0.1-bin\.\conf\aggregat
e.json
ьрЁ 03, 2016 6:11:35 PM Aggregate
INFO: Shell service is started
ьрЁ 03, 2016 6:11:35 PM ModuleRegistry
INFO: Deploying module maven:com.aggregate:browser:1.0.0::browser
ьрЁ 03, 2016 6:11:35 PM ModuleRegistry
INFO: Deploying module maven:com.aggregate:date-time:1.0.0::date-time
ьрЁ 03, 2016 6:11:35 PM ModuleRegistry
INFO: Deploying module maven:com.aggregate:key-detector:1.0.0::key-detector
ьрЁ 03, 2016 6:11:35 PM ModuleRegistry
INFO: Deploying module maven:com.aggregate:asr-google:1.0.0::asr-google
ьрЁ 03, 2016 6:11:35 PM ModuleRegistry
INFO: Deploying module maven:com.aggregate:tts-ivona:1.0.0::tts-ivona
ьрЁ 03, 2016 6:11:35 PM ModuleRegistry
INFO: Deploying without external conf
ьрЁ 03, 2016 6:11:35 PM Aggregate
INFO: Module registry is initialized
ьрЁ 03, 2016 6:11:35 PM ModuleRegistry
INFO: Deploying without external conf
ьрЁ 03, 2016 6:11:35 PM ModuleRegistry
INFO: Deploying with conf C:\Users\Flash\Progs\aggregate-0.0.1-bin\.\conf\key-de
tector.json
ьрЁ 03, 2016 6:11:35 PM ModuleRegistry
INFO: Deploying with conf C:\Users\Flash\Progs\aggregate-0.0.1-bin\.\conf\asr-go
ogle.json
ьрЁ 03, 2016 6:11:35 PM ModuleRegistry
INFO: Deploying with conf C:\Users\Flash\Progs\aggregate-0.0.1-bin\.\conf\tts-iv
ona.json
ьрЁ 03, 2016 6:11:35 PM vertx-stack-resolver
INFO: Resolving com.aggregate:browser:jar:1.0.0
ьрЁ 03, 2016 6:11:39 PM vertx-stack-resolver
INFO: Resolving com.aggregate:date-time:jar:1.0.0
ьрЁ 03, 2016 6:11:40 PM vertx-stack-resolver
INFO: Resolving com.aggregate:key-detector:jar:1.0.0
ьрЁ 03, 2016 6:11:42 PM vertx-stack-resolver
INFO: Resolving com.aggregate:asr-google:jar:1.0.0
ьрЁ 03, 2016 6:11:43 PM vertx-stack-resolver
INFO: Resolving com.aggregate:tts-ivona:jar:1.0.0
ьрЁ 03, 2016 6:11:45 PM vertx-stack-resolver
INFO: Resolving com.aggregate:browser:jar:1.0.0
ьрЁ 03, 2016 6:11:45 PM vertx-stack-resolver
INFO: Resolving com.aggregate:date-time:jar:1.0.0
ьрЁ 03, 2016 6:11:45 PM ModuleRegistry
INFO: Module maven:com.aggregate:browser:1.0.0::browser has been deployed
ьрЁ 03, 2016 6:11:46 PM Dispatcher
INFO: Module maven:com.aggregate:browser:1.0.0::browser has been loaded with 1 c
ommands
ьрЁ 03, 2016 6:11:46 PM vertx-stack-resolver
INFO: Resolving com.aggregate:key-detector:jar:1.0.0
ьрЁ 03, 2016 6:11:46 PM ModuleRegistry
INFO: Module maven:com.aggregate:date-time:1.0.0::date-time has been deployed
ьрЁ 03, 2016 6:11:46 PM Dispatcher
INFO: Module maven:com.aggregate:date-time:1.0.0::date-time has been loaded with
 2 commands
ьрЁ 03, 2016 6:11:47 PM vertx-stack-resolver
INFO: Resolving com.aggregate:asr-google:jar:1.0.0

JNativeHook: Global keyboard and mouse hooking for Java.
Copyright (C) 2006-2015 Alexander Barker.  All Rights Received.
https://github.com/kwhat/jnativehook/

JNativeHook is free software: you can redistribute it and/or modify
it under the terms of the GNU Lesser General Public License as published
by the Free Software Foundation, either version 3 of the License, or
(at your option) any later version.

JNativeHook is distributed in the hope that it will be useful,
but WITHOUT ANY WARRANTY; without even the implied warranty of
MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
GNU General Public License for more details.

You should have received a copy of the GNU Lesser General Public License
along with this program.  If not, see <http://www.gnu.org/licenses/>.

ьрЁ 03, 2016 6:11:47 PM ModuleRegistry
INFO: Module maven:com.aggregate:key-detector:1.0.0::key-detector has been deplo
yed
ьрЁ 03, 2016 6:11:47 PM vertx-stack-resolver
INFO: Resolving com.aggregate:tts-ivona:jar:1.0.0
ьрЁ 03, 2016 6:11:48 PM ModuleRegistry
INFO: Module maven:com.aggregate:asr-google:1.0.0::asr-google has been deployed
ьрЁ 03, 2016 6:11:48 PM ModuleRegistry
INFO: Module maven:com.aggregate:tts-ivona:1.0.0::tts-ivona has been deployed
ьрЁ 03, 2016 6:11:55 PM com.aggregate.detector.key.KeyDetector
INFO: Keys: [162]
ьрЁ 03, 2016 6:11:55 PM com.aggregate.detector.key.KeyDetector
INFO: Keys: [162, 165]
ьрЁ 03, 2016 6:11:55 PM com.aggregate.detector.key.KeyDetector
INFO: Keys: [162, 163, 165]
ьрЁ 03, 2016 6:11:55 PM com.aggregate.detector.key.KeyDetector
INFO: Keyset detected
ьрЁ 03, 2016 6:11:55 PM Dispatcher
INFO: Listening...
ьрЁ 03, 2016 6:11:55 PM Dispatcher
INFO: ASR state: start
ьрЁ 03, 2016 6:11:56 PM Dispatcher
INFO: ASR state: rec
ьрЁ 03, 2016 6:11:58 PM Dispatcher
INFO: ASR state: done
ьрЁ 03, 2016 6:11:58 PM Dispatcher
INFO: ASR state: end
ьрЁ 03, 2016 6:11:58 PM Dispatcher
INFO: Processing...
ьрЁ 03, 2016 6:11:58 PM Dispatcher
INFO: Processing youtube.com
ьрЁ 03, 2016 6:11:58 PM Dispatcher
INFO: Processed in 20 ms: cmd.browser.open
ьрЁ 03, 2016 6:12:11 PM com.aggregate.detector.key.KeyDetector
INFO: Keys: [162]
ьрЁ 03, 2016 6:12:11 PM com.aggregate.detector.key.KeyDetector
INFO: Keys: [162, 165]
ьрЁ 03, 2016 6:12:11 PM com.aggregate.detector.key.KeyDetector
INFO: Keys: [162, 163, 165]
ьрЁ 03, 2016 6:12:11 PM com.aggregate.detector.key.KeyDetector
INFO: Keyset detected
ьрЁ 03, 2016 6:12:11 PM Dispatcher
INFO: Listening...
ьрЁ 03, 2016 6:12:11 PM Dispatcher
INFO: ASR state: start
ьрЁ 03, 2016 6:12:11 PM Dispatcher
INFO: ASR state: rec
ьрЁ 03, 2016 6:12:13 PM Dispatcher
INFO: ASR state: done
ьрЁ 03, 2016 6:12:13 PM Dispatcher
INFO: ASR state: end
ьрЁ 03, 2016 6:12:14 PM Dispatcher
INFO: Processing...
ьрЁ 03, 2016 6:12:14 PM Dispatcher
INFO: Processing ╩юЄюЁ√щ ўрё
ьрЁ 03, 2016 6:12:14 PM Dispatcher
INFO: Processed in 0 ms: cmd.datetime.time

Вопрос по удалению модулей.
Убрать в поле modules ссылку на модуль - это понятно. При этом если используется файл типа tts-yandex.json из директории conf убирать надо?
Вопрос по повторной установки модуля.
Если файл типа tts-yandex.json удалять не надо, то достаточно модуль снова отправить в директорию deploy. Я правильно понимаю?

я пользуюсь и гуглем и Дусей одновременно,например погоду инфа от гугля,как мне прослушать погоду через агрегат?