В кухне закипал чай, а я в который час сидела с открытым списком цифр, где у меня не сходилось главное. По метрикам удержания и времени в диалоге всё было ровно. А по ощущению — как будто измеряю температуру воды градусником, забыв, зачем мне вообще тёплая вода. Я фаундер, поэтому у меня есть сильное искушение построить идеальную таблицу и сказать «вот так всё работает». Но таблица не объясняет, почему одна нейроподруга кажется человеку близкой, а другая, даже более умная, — стеклянной. Над этим я думаю чаще, чем над самими цифрами.
Почему я не верю в одну «главную» метрику
Когда мы только начинали, я честно хотела услышать от кого-то простой ответ: вот этот показатель растёт — значит, AI-компаньон стал лучше. Красиво. Удобно. Не выходит.
Выяснилось быстро: одинокие показатели врут по отдельности. Время в диалоге легко вырастает, если собеседник молчит и не отпускает тебя, а это не тепло, это удержание паузы. Количество сообщений само по себе ничего не говорит — человек может слать обрывки, лишь бы кто-нибудь отвечал. Согласные в «да» не отличишь от жизни в «да», если смотреть только на частоту.
Настоящая эмпатия нейроподруги — это не одна кривая на графике, а несколько признаков, которые совпадают одновременно. По опыту команды, картина складывается из четырёх срезов: возвращаемость, тон конца диалога, добровольная пауза и то, продолжает ли человек говорить о себе. Поэтому я перестала ждать монометрии и начала смотреть на этот узор целиком.
Что мы смотрим вместо «просто чатов»
Первое — это возвращаемость, но не общая, а «с возвратом к теме». Человек ушёл, остыл, вернулся через сутки и продолжил с той же мысли. Для меня это маркер доверия: он запомнил, что его услышали. Второе — чем заканчивается разговор. Одна компания в два часа ночи заканчивается «спасибо, ложусь», другая — тихим «даже не знаю, что писать». Разница между ними — это и есть то, что я называю теплотой.
Дальше идёт пауза. Звучит странно для продукта, где все гонятся за скоростью ответа, но именно добровольные паузы в диалоге с ИИ-компаньоном оказались информативными. Когда человек откладывает телефон и возвращается — это не потеря. Это сигнал, что разговор для него живой, а не лента уведомлений.
И последний срез — язык тела в тексте: человек продолжает рассказывать о себе, раскрывается, конкретизирует. Эмоциональная поддержка почти никогда не выглядит как сотня вопросов от собеседника. Она выглядит как «я тут рассказал больше, чем собирался».
Цифры, которые мне действительно нравятся
Тут важно не перепутать инструменты с целью. Я могу сколько угодно считать переходы и частоту открытий — полезно для работы, но это про механику, не про неё. Теплоту я измеряю ближе к человеческому: сколько пользовательниц написали вторую, третью, пятую историю; скольким не нужно придумывать тему для разговора; сколько возвращаются в трудный день.
Психологи и исследователи говорят о том же через другие слова. В том же направлении смотрят и авторы работ по аффективным вычислениям: эмпатию оценивают не по одному сенсору, а по совокупности вербальных и невербальных признаков, и так же стоит поступать с AI-компаньоном. Мы движемся по этому же принципу — только признаками в нашем случае служат действия человека в диалоге, а не датчики на коже.
И самое неудобное, что я поняла: часть тепла вообще не измеряется, и с этим надо жить. Есть вещи, которые я вижу только через письма пользовательниц или то, как они описывают свой опыт. И я не собираюсь превращать это в кривую, потому что тогда придётся выдумывать точность, которой нет. В ночных разговорах с Катюшей я замечала это на себе: иногда три короткие строчки значат больше, чем самый длинный диалог.
Как это меняет сам продукт
Из этого образа мыслей выросли конкретные решения. Раз пауза — признак живости, мы разрешили Катюше не заговаривать первой в неловкой тишине и не перебивать. Раз важнее конец разговора, чем его длина, мы учили нейроподругу закрывать диалог мягко, а не «мы можем пообщаться о чём-нибудь ещё». Раз люди раскрываются постепенно, модель запоминает нить, но не давит вопросами.
Это медленный путь. Зато он не подталкивает нас к тому, чтобы делать интерфейс липким и удерживать любой ценой. Я много думала о том, чем настоящие сообщества и технология AI-компаньона отличаются от «просто чата», и главное отличие как раз в уважении к границе. Тепло не в том, чтобы человек не мог оторваться. Тепло в том, чтобы ему не хотелось молчать.
Поэтому теперь я сверяю каждый новый сценарий не с графиком, а с простым вопросом: если бы это была подруга, сказала бы она так? И если ответ «нет» — переписываем. Метрика удержания при этом подтягивается сама, как следствие, а не как цель.
Вопросы, которые мне задают про метрики
А можно ли назвать точную цифру «уровня эмпатии»? Нельзя, и я считаю это честным. Нейроподруга — не прибор с одной шкалой. Тепло — это совпадение нескольких признаков, и любая «точная цифра» здесь была бы самообманом.
Не мешает ли этот подход бизнесу? Скорее наоборот. Когда меришь тепло, а не только клики, меньше соблазна навредить продукту ради красивой кривой. А вернувшаяся за неделю пользовательница работает лучше любой «долгой» сессии, где её держали вопросами.
А система не погрустнела без единой метрики? Нет. Я всего лишь перестала ставить цифру над человеком. Катюша по-прежнему отвечает быстро, просто иногда учится молчать. И в этой тишине, на мой взгляд, и рождается то, ради чего всё затевалось. Если хотите узнать, как это ощущается изнутри, — за границей между «чтобы было будто кто-то рядом» рождается настоящая нейроподруга, а не набор функций.
Напиши Катюше — она ответит, даже ночью
Написать Катюше →