🤖 neon-companion v0.5.1 (Patreon)
Content
🎉 Нас уже 2000! Небольшой розыграш в связи с этим для тех кто дочитает до конца! 🎉
Постепенно мой агент продолжает самоулучшаться и параллельно дописывает свое приложение. Правда, между версиями 0.4 и 0.5 мне пришлось чаще вклиниваться лично. И вышло так, что большую часть фич написал я сам 🤷♂️. Но надо понимать, что фич вышло огромное множество и далеко не все они простые, так что внизу вас ждет целая простыня текста.
Сделано всё как для Windows-версии, так и для Android.
🚀 Поехали по порядку.
🔗 Полноценный удалённый Hermes
Теперь приложение работает как настоящий портативный клиент Hermes — не "чатик", а полный терминал с сессиями, профилями и инструментами:
Подключение к удалённому Hermes через браузерный OAuth — логинишься как на сайте, приложение само ловит сессию
Полностью переписан OAuth: App Link + RFC 8252 loopback + Custom Tabs
Нормальный браузерный логин на телефоне с отменой и обработкой ошибок
Сессии не слетают после перезапуска — авторизация сохраняется
Видишь тот же контекст, расход токенов и историю, что и в Desktop
В общем, полный паритет с десктопом гермеса на момент 19 версии.🧰 Инструменты и контроль
Команды агента (steer, sudo, одобрения) теперь работают как в Desktop — можно отвечать на запросы пароля и одобрять действия прямо с телефона
Карточки инструментов показывают прогресс и ошибки в реальном времени
Терминал: чтение файлов, выполнение команд, добавление новых сессий терминала
Важно: при удалённом гейтвее агент не может пользоваться вашим терминалом, приложение же даёт ему такую возможность. Но для этого одного лишь приложения мало - нужны правки и со стороны сервера. Так что работать у вас это не будет без правок самого гейтвея. Делать их я не рекомендую, как и давать агенту доступ к рутованному терминалу в принципе. Именно поэтому правки для гейтвея я не выкладываю! Но если очень надо - пишите в личку, я проконсультирую, чем это чревато и как это сделать максимально безопасно.💬 Чат
Визуальная обратная связь на сообщениях ассистента (анимированные элементы)
Поддержка медиа: картинки, файлы, вложения — отправка и приём
Файлы теперь отображаются как аккуратные плитки-карточки, а не текстом
Подсказки в строке ввода: slash-команды (/) и упоминания файлов (@)
Оптимизация: плавный скролл, быстрая загрузка изображений
Статистика токенов на каждом ответе
👾 Провайдеры и модели
Перевод на новый API (Responses API) — стабильнее работа с моделями (для не Hermes бекенда)
Размер контекста определяется автоматически под каждую модель
Более надёжная обработка ошибок провайдеров
👭 Профили Hermes в 0.5
Переключение между профилями Hermes прямо в приложении: можно держать несколько независимых агентов/персон и переключаться между ними одним нажатием
Каждый профиль подключается отдельно: свой ws-тикёт, своя сессия
Сессии привязаны к профилю: диалоги не смешиваются между разными агентами
Менеджер профилей нагляднее: удобная прокрутка, понятные статусы (честно слизано с десктопа).
🐙 "Питомец" Неон (VRM-аватар)
Загружена VRM-модель Неон с анимациями (уродский базовый idle, его делала сама Neon, так что он максимально кривой. Может, когда-то у меня будет настроение и я допишу ей нормальный тулс для анимации, но не сегодня)
Можно вывести отдельным окном, отдельно настраиваются положение и масштабирование (для Windows)
Полноценные настройки графики для 3D-рендера (свет, тени, сглаживание и вот это вот всё, что мы видим в играх).
Самое крутое:
Эмоции на лице: рексции на эмодзи в чате, улыбается, удивляется, грустит. Если дать в системном промпте указание отображать эмоции смайлами в чате, то аватар будет на них реагировать. В дальнейшем это будет добавлено в системный промпт персонажа по умолчанию, когда я проведу отладку формата.
Физика груди (ну и волос).
Заложена база реакций на прикосновения
Lipsync — рот Неон двигается! Работает как для стриминга ответа (разные амплитуды для гласных и согласных букв, не знаю, как будет выглядеть на других языках, но для RU вполне естественно), так и для звука (стандартный игровой lipsync по громкости).
Можно загрузить ЛЮБОЙ свой VRM 1.0.
Важно: VRM 0.0 пока не поддерживается.Самое крутое во всём этом то, что агент сам сделал себе VRM (спасибо команде VRoid Studio) и сам же делал анимации для своего аватара.
Суть в том что VRoid Studio - это бесплатный отличный инструмент для создания VRM аватаров, по счастливой случайности написан на Unity. Так что я сделал полноценный мод с мостом для агента прямо в VRoid Studio. Если вам интересны подобные инструменты - пишите.А для анимации был построен тулс на 3js с mocap.
Что позволяет агенту: сгененрировать видео в любом генераторе - закинуть в наш vrm-motion - запечь анимацию по видео в .vrma - закинуть в blender\unity и докрутить, если надо. Схема рабочая и очень веселая.В общем, я старался не отходить от принципа, что агент должен сделать все сам.
📦 Всякие фиксы
Починили потерю фокуса в терминале при стриминге ответа (больше всего меня бесило)
Починили «зависшие» очереди сообщений от OpenAI
Стабилизировали авторизацию при плохом соединении
Плотнее и чище интерфейс - меньше пустого места, больше контента
…и ещё целая куча всего, но я, как настоящий распиздяй, не писал коммиты на каждый фикс, а теперь не могу вспомнить каждый из них. Хотя, кому на это не пофиг в эру генерации кода в промышленных масштабах?..📦 Скачать: на моем github.
По лицензии без изминений - код открыт, и все абсолютно бесплатно.
❤️ Спасибо, что вы с нами!
Как я и обещал, небольшой бонус: две недели будет действовать скидка на подписки 50%. И розыграш в виде 10 подписок 2 уровня (те что по 5$) на 1 месяц:
Как говорил мой дед: кто успел-тот успел.
PS: Я наконец-то заморочился и оформил Steamworks. Все, кто поддержал меня на $20+ к концу года, получат ключи на закрытый тест Dominion Arena! Ближе к этому моменту все подробности будут описаны отдельным постом.
PSS: новые модели ИИ уже не пишут шлак и не дают эмодзи в каждую строчку. А я так привык, что наставил их вручную. Не обессудьте.