«Просто помічник» або «друг»? Розроблена система, яка оцінює чат-ботів

Новини
10 липня 2020

«Просто помічник» або «друг»? Розроблена система, яка оцінює чат-ботів

Далі

Анастасія
Нікіфорова

Новинний редактор

Анастасія
Нікіфорова

Новинний редактор

Від покупок до терапії і дружби, здається, що є чат для всього. І тепер дослідники з Інституту інформаційних наук (ISI) Інженерної школи Університету Південної Каліфорнії (США) отримали новий спосіб оцінювати розмовні навички чат-ботів Cleverbot або Google Meena. У документі, представленому на конференції AAAI з штучного інтелекту 2020 року, дослідники USC оголосили про нову метриці оцінки відповідей чат-ботів.

Так навіщо потрібна нова метрика в першу чергу? Як пояснив один з її авторів, набагато складніше оцінити, наскільки добре щось на зразок чат-бота спілкується з користувачем, оскільки він може бути діалоговою системою з відкритим доменом, в якій взаємодія в основному містить відкриту інформацію.

Діалогова система — це, по суті, комп’ютерна система, яка включає в себе текст, мова та інші жести для спілкування з людьми. Існує два основних типи. Перший — орієнтовані на завдання діалогові системи. Вони корисні, коли ми хочемо досягти певної мети, такої як бронювання номера в готелі, покупка квитка або бронювання рейсу. Другі — діалогові системи з відкритим доменом, такі як чат-боти, більшою мірою орієнтовані на взаємодію з людьми на більш глибокому рівні, і вони роблять це шляхом імітації розмов між людьми.

Оцінка діалогових систем з відкритим доменом є одним з найбільш важливих етапів у розробці високоякісних систем, підкреслюють вчені. Порівняно з орієнтованими на завдання діалоговими вікнами, в яких користувач спілкується для досягнення визначеної мети, оцінка діалогових систем з відкритим доменом є більш складною. Користувач, який спілкується з діалоговими системами з відкритим доменом, не слід якимось конкретним цілям. Тому оцінка не може бути виміряна на те, чи досяг користувач мети.

У своїй статті дослідники ISI підкреслили, що оцінка діалогових систем з відкритим доменом не повинна обмежуватися тільки конкретними аспектами, такими як релевантність — відповіді також повинні бути дійсно цікавими для користувача.

Дослідження команди підкреслюють, що чатбот повинен бути не просто наданням відповідних відповідей. Надано: Університет Південної Каліфорнії.

Відповіді, які генеруються діалоговою системою з відкритим доменом, допустимі, коли вони актуальні для користувачів і також цікаві, заявляють дослідники. Дослідникам вдалося показати, що включення цікавого аспекту відповідей, який називається оцінкою залученості, може бути дуже корисним для більш точної оцінки діалогових систем з відкритим доменом. Розуміння оцінки допоможе поліпшити чат-ботів і інші подібні діалогові.

Такі чат-боти, як Cleverbot, Meena і XiaoIce, можуть залучати людей до розмови, які більше схожі на бесіду в реальному житті, ніж на діалогові системи, орієнтовані на задачі.

Наприклад, XiaoIce, чат-бот Microsoft для 660 мільйонів китайських користувачів, володіє характером, що імітує розумну дівчинку-підлітка, і поряд з наданням базових функцій помічника AI, вона також може складати оригінальні пісні і вірші, грати в ігри, читати історії і розуміти жарти. XiaoIce описується як «эмпатичный чат-бот», оскільки він намагається встановити зв’язок і створити дружбу з людиною, з яким він взаємодіє.

Ці типи чат-ботів можуть бути корисні для людей, які не соціалізовані, щоб вони могли навчитися спілкуватися, щоб завести нових друзів, підкреслюють дослідники.

Чат-боти з відкритим доменом, які приваблюють людей на більш глибокому рівні, не тільки набирають популярність, але і стають більш просунутими.

І, все ж, основна ціль для взаємодії користувача з цими типами чат-ботів це не тільки розвага, але і для отримання загальних знань.

Наприклад, чат-боти з відкритим доменом можуть бути використані для вирішення більш серйозних проблем.

Деякі з цих чат-ботів призначені для забезпечення підтримки психічного здоров’я людей, які стикаються з депресією або тривогою. Пацієнти можуть використовувати ці системи, щоб отримувати безкоштовні консультації, коли вони їм потрібні. Дослідження, що фінансується Агентством перспективних дослідницьких проектів в області оборони США (DARPA), показало, що людям легше говорити про свої почуття і особистих проблемах, коли вони знають, що спілкуються з чат-ботом, оскільки вони відчувають, що він не буде судити їх.

Чат-боти з відкритим доменом також надзвичайно корисні для людей, які вивчають іноземну мову. Це особливо корисно для людей, які не впевнені у своїх мовних навичках або навіть дуже соромляться спілкуватися з реальними людьми».

Прогнозирующая метрика взаємодії допоможе дослідникам краще оцінити ці типи чат-ботів, а також системи діалогів з відкритим доменом в цілому.

Источник

Описание admin

Рекомендуем прочесть

Tesla представить двофакторну аутентифікацію

Новини 16 серпня 2020 Tesla представить двофакторну аутентифікацію Далі Ильнур Шарафиев Редактор Ильнур Шарафиев Редактор …

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *