ИИ-поисковики учатся задавать правильные вопросы, но пока не очень успешно
🔍 ИИ-поисковики учатся задавать правильные вопросы, но пока не очень успешно
ИИ-поисковые агенты часто сбиваются не на этапе поиска, а из-за того, что не уточняют у пользователя, что он имел в виду. Новый бенчмарк DiscoBench показал, что модели, которые пытаются искать информацию повторно, вместо того, чтобы задать уточняющий вопрос, справляются на 51,9% хуже, чем те, которые просто угадывают. Даже самая успешная модель достигает лишь 43% точности. Однако, если убрать двусмысленность в запросах, точность может подскочить до 40%.
◾️ Средняя точность моделей: 51,9%
◾️ Лучшая точность модели: 43%
◾️ Прирост точности без двусмысленности: до 40%
> "Когда модели не понимают, что им нужно спросить, они начинают танцевать на месте, вместо того чтобы продвигаться вперед."
Кажется, искусственный интеллект тоже иногда нуждается в помощи, чтобы понять, о чём его спрашивают.
Подписаться на «Нейро Пульс»
Первоисточник ↗
ИИ-поисковые агенты часто сбиваются не на этапе поиска, а из-за того, что не уточняют у пользователя, что он имел в виду. Новый бенчмарк DiscoBench показал, что модели, которые пытаются искать информацию повторно, вместо того, чтобы задать уточняющий вопрос, справляются на 51,9% хуже, чем те, которые просто угадывают. Даже самая успешная модель достигает лишь 43% точности. Однако, если убрать двусмысленность в запросах, точность может подскочить до 40%.
◾️ Средняя точность моделей: 51,9%
◾️ Лучшая точность модели: 43%
◾️ Прирост точности без двусмысленности: до 40%
> "Когда модели не понимают, что им нужно спросить, они начинают танцевать на месте, вместо того чтобы продвигаться вперед."
Кажется, искусственный интеллект тоже иногда нуждается в помощи, чтобы понять, о чём его спрашивают.
Пока нет комментариев — будьте первым.