Тестирование игр с помощью ботов с искусственным интеллектом
Честное объявление "Требуется помощь" для современного специалиста по контролю качества (QA) включало бы такие фразы, как готовность дежурить 24 часа в сутки 7 дней в неделю, должен любить повторения, обладать идеальной памятью, иметь несколько голов и рук, чтобы ежедневно безупречно выполнять огромное количество задач.
Всем известно, что QA-тестирование - важнейший этап в процессе разработки игр, поскольку оно обеспечивает создание высококачественного игрового процесса, свободного от несоответствий, глюков и ошибок. Чтобы добиться этого, QA отвечает за планирование тестов, анализ рисков, дымовые тесты, исследовательские тесты, поиск ошибок, регрессионные тесты, тестирование всех возможных комбинаций... а затем анализирует результаты тестов и устраняет ошибки с помощью шагов по их воспроизведению.
Стремление к адекватной автоматизации вполне объяснимо и совершенно необходимо. Ключевым элементом этого является модульное тестирование, когда мельчайшие тестируемые части приложения по отдельности проверяются на предмет их правильного функционирования. Разработчики программного обеспечения и специалисты по контролю качества выполняют различные автоматизированные тесты, включая модульные тесты, в процессе разработки. Хотя некоторые из этих тестов можно было бы выполнить вручную, их часто автоматизируют для экономии времени. Однако важно отметить, что автоматизированные тесты не являются серебряной пулей. Если бы существующие решения для автоматизированного тестирования действительно решали проблемы QA, то не было бы того уровня энергии, который мы наблюдаем сегодня в отношении ИИ в тестировании.
QA-тестирование - это работа, требующая высокой степени воображения, творческого анализа, изобретательности и стратегического мышления. Другими словами, для успешной работы необходимы творческие способности и интеллект человека. В отличие от вчерашних средств автоматизации, которые продвигались постепенно, искусственный интеллект, в частности ИИ-боты, стремительно развивают тестирование игр для разработчиков и QA-специалистов, поскольку наконец-то выполняют обещание освободить их время, чтобы сосредоточиться на главном.
Исследовательское тестирование с помощью ботов для выявления ошибок
Исследовательское тестирование с помощью ИИ - одно из самых интересных и по-настоящему преобразующих достижений в области QA за последние годы. Благодаря использованию ботов с искусственным интеллектом, которые умеют исследовать всю игру, можно протестировать большое количество игрового контента всего за несколько кликов. Боты-исследователи могут побывать везде, где только может побывать игрок. Эта передовая технология позволяет специалистам QA более эффективно распределять свое время и сосредоточиться на других важных задачах, что в конечном итоге оптимизирует весь процесс разработки игры.
Это дает обширный и невероятно мощный подход к выявлению ошибок в игре. Развернув несколько исследовательских ботов, каждый из которых автономно перемещается по карте, они могут найти мельчайшие ошибки и недочеты, ходя, бегая, прыгая, карабкаясь и ползая везде, куда только может попасть персонаж (а иногда даже оказываясь там, куда персонаж не должен попадать, выявляя ошибки в планировке уровня). Орда QA-ботов может быстро выявить ошибки, потенциально сэкономив дни, недели или гораздо больше времени, чем при ручном и других методах тестирования.
Исследовательское тестирование начинается с установки бота или ботов в безопасном, заранее определенном месте на уровне. Затем им дается указание исследовать игровую среду с помощью разведывательных движений. Бот сбрасывает исследование при достижении определенных целей или критериев, таких как выпадение из уровня или встреча с аномалиями. Бот может предоставлять тепловую карту исследованных им областей. Несколько ботов могут играть со скоростью, во много раз превышающей скорость игрока-человека. Все боты считывают данные с тепловой карты и добавляют их в нее, что позволяет быстро получать результаты. Это не только снижает нагрузку на QA, поскольку им не нужно посещать каждую координату на карте, но и автоматически собирает игровые данные для каждого отдельного события, которое было вызвано. Кроме того, этот тип тестирования не обязательно проводить в рабочее время. Боты могут быть запущены и в нерабочее время, поэтому, когда утром люди возвращаются в офис, их уже ждет чашка кофе и полный отчет от ботов.
Попутно разработчики и специалисты по контролю качества получают постоянную информацию о работе ботов в виде подробных отчетов. Когда эти данные объединяются со знаниями и опытом специалистов по контролю качества, они получают глубокое представление о механике, структуре и функциональности игры, как никогда раньше.
Боты также могут использоваться в дымовом тестировании для проверки таких важных вещей, как загрузка на карту, и они будут сообщать о любых нулевых ссылках и исключениях. Карта в отчете о тестировании также может быть использована для выявления проблем с коллайдерами. Все это можно объединить с пользовательскими отчетами о событиях, чтобы в отчете о тестировании четко отображались те проблемы, которые вас волнуют, а также полезная отладочная информация: положение бота, переменные состояния игры и действия, предпринятые до срабатывания события. Помимо журналов, можно также предоставлять видеозаписи каждого теста для визуализации и анализа сбоев, ошибок, исключений и предупреждений. Кроме того, отчет о тестировании содержит графики мониторинга производительности, что позволяет разработчику внимательно изучить память и найти утечки.
Используя возможности ботов, QA-специалисты могут добиться беспрецедентной эффективности, что позволит им достичь полного охвата тестирования, ускорить обнаружение ошибок и обеспечить более высокое качество игрового процесса. Человеку остается только планировать тесты, анализировать риски, устранять ошибки и анализировать результаты - то есть заниматься стратегическими элементами QA.