Home Creators Posts Import Register Favorites Logout

Content

🎉 Нас уже 2000! Небольшой розыграш в связи с этим для тех кто дочитает до конца! 🎉

Постепенно мой агент продолжает самоулучшаться и параллельно дописывает свое приложение. Правда, между версиями 0.4 и 0.5 мне пришлось чаще вклиниваться лично. И вышло так, что большую часть фич написал я сам 🤷‍♂️. Но надо понимать, что фич вышло огромное множество и далеко не все они простые, так что внизу вас ждет целая простыня текста.

Сделано всё как для Windows-версии, так и для Android.

🚀 Поехали по порядку.

🔗 Полноценный удалённый Hermes

Теперь приложение работает как настоящий портативный клиент Hermes — не "чатик", а полный терминал с сессиями, профилями и инструментами:

Подключение к удалённому Hermes через браузерный OAuth — логинишься как на сайте, приложение само ловит сессию

Полностью переписан OAuth: App Link + RFC 8252 loopback + Custom Tabs

Нормальный браузерный логин на телефоне с отменой и обработкой ошибок

Сессии не слетают после перезапуска — авторизация сохраняется

Видишь тот же контекст, расход токенов и историю, что и в Desktop

В общем, полный паритет с десктопом гермеса на момент 19 версии.

🧰 Инструменты и контроль

Команды агента (steer, sudo, одобрения) теперь работают как в Desktop — можно отвечать на запросы пароля и одобрять действия прямо с телефона

Карточки инструментов показывают прогресс и ошибки в реальном времени

Терминал: чтение файлов, выполнение команд, добавление новых сессий терминала

Важно: при удалённом гейтвее агент не может пользоваться вашим терминалом, приложение же даёт ему такую возможность. Но для этого одного лишь приложения мало - нужны правки и со стороны сервера. Так что работать у вас это не будет без правок самого гейтвея. Делать их я не рекомендую, как и давать агенту доступ к рутованному терминалу в принципе. Именно поэтому правки для гейтвея я не выкладываю! Но если очень надо - пишите в личку, я проконсультирую, чем это чревато и как это сделать максимально безопасно.

💬 Чат

Визуальная обратная связь на сообщениях ассистента (анимированные элементы)

Поддержка медиа: картинки, файлы, вложения — отправка и приём

Файлы теперь отображаются как аккуратные плитки-карточки, а не текстом

Подсказки в строке ввода: slash-команды (/) и упоминания файлов (@)

Оптимизация: плавный скролл, быстрая загрузка изображений

Статистика токенов на каждом ответе

👾 Провайдеры и модели

Перевод на новый API (Responses API) — стабильнее работа с моделями (для не Hermes бекенда)

Размер контекста определяется автоматически под каждую модель

Более надёжная обработка ошибок провайдеров

👭 Профили Hermes в 0.5

Переключение между профилями Hermes прямо в приложении: можно держать несколько независимых агентов/персон и переключаться между ними одним нажатием

Каждый профиль подключается отдельно: свой ws-тикёт, своя сессия

Сессии привязаны к профилю: диалоги не смешиваются между разными агентами

Менеджер профилей нагляднее: удобная прокрутка, понятные статусы (честно слизано с десктопа).

🐙 "Питомец" Неон (VRM-аватар)

Загружена VRM-модель Неон с анимациями (уродский базовый idle, его делала сама Neon, так что он максимально кривой. Может, когда-то у меня будет настроение и я допишу ей нормальный тулс для анимации, но не сегодня)

Можно вывести отдельным окном, отдельно настраиваются положение и масштабирование (для Windows)

Полноценные настройки графики для 3D-рендера (свет, тени, сглаживание и вот это вот всё, что мы видим в играх).

Самое крутое:

Эмоции на лице: рексции на эмодзи в чате, улыбается, удивляется, грустит. Если дать в системном промпте указание отображать эмоции смайлами в чате, то аватар будет на них реагировать. В дальнейшем это будет добавлено в системный промпт персонажа по умолчанию, когда я проведу отладку формата.

Физика груди (ну и волос).

Заложена база реакций на прикосновения

Lipsync — рот Неон двигается! Работает как для стриминга ответа (разные амплитуды для гласных и согласных букв, не знаю, как будет выглядеть на других языках, но для RU вполне естественно), так и для звука (стандартный игровой lipsync по громкости).

Можно загрузить ЛЮБОЙ свой VRM 1.0.

Важно: VRM 0.0 пока не поддерживается.

Самое крутое во всём этом то, что агент сам сделал себе VRM (спасибо команде VRoid Studio) и сам же делал анимации для своего аватара.

Суть в том что VRoid Studio - это бесплатный отличный инструмент для создания VRM аватаров, по счастливой случайности написан на Unity. Так что я сделал полноценный мод с мостом для агента прямо в VRoid Studio. Если вам интересны подобные инструменты - пишите.

А для анимации был построен тулс на 3js с mocap.

Что позволяет агенту: сгененрировать видео в любом генераторе - закинуть в наш vrm-motion - запечь анимацию по видео в .vrma - закинуть в blender\unity и докрутить, если надо. Схема рабочая и очень веселая.

В общем, я старался не отходить от принципа, что агент должен сделать все сам.

📦 Всякие фиксы

Починили потерю фокуса в терминале при стриминге ответа (больше всего меня бесило)

Починили «зависшие» очереди сообщений от OpenAI

Стабилизировали авторизацию при плохом соединении

Плотнее и чище интерфейс - меньше пустого места, больше контента

…и ещё целая куча всего, но я, как настоящий распиздяй, не писал коммиты на каждый фикс, а теперь не могу вспомнить каждый из них. Хотя, кому на это не пофиг в эру генерации кода в промышленных масштабах?..

📦 Скачать: на моем github.

По лицензии без изминений - код открыт, и все абсолютно бесплатно.

❤️ Спасибо, что вы с нами!

Как я и обещал, небольшой бонус: две недели будет действовать скидка на подписки 50%. И розыграш в виде 10 подписок 2 уровня (те что по 5$) на 1 месяц:

Как говорил мой дед: кто успел-тот успел.

PS: Я наконец-то заморочился и оформил Steamworks. Все, кто поддержал меня на $20+ к концу года, получат ключи на закрытый тест Dominion Arena! Ближе к этому моменту все подробности будут описаны отдельным постом.

PSS: новые модели ИИ уже не пишут шлак и не дают эмодзи в каждую строчку. А я так привык, что наставил их вручную. Не обессудьте.

Files

neon-companion 0.5.0

Repo https://github.com/isteelfelix/neon-companion/releases/tag/v0.5.1

Comments

No comments found for this post.