как сделать приложение с тестами
Чек-лист тестирования мобильных приложений
У многих начинающих специалистов в области тестирования возникает вопрос: «А как же протестировать мобильное приложение. С чего начать, какие проверки стоит осуществить?» Данный вопрос актуален, когда они приходят в компанию, где нет документации на проекте, либо это только что появившийся стартап. Чтобы ответить на эти вопросы была подготовлена универсальная шпаргалка, которую можно использовать при тестировании практически любого приложения.
В данный чек-лист вошли только общие характеристики. Естественно, в тестируемом приложении может быть функциональность, для которой нужно применять отдельный подход и создать отдельные сценарии. То же самое верно для производительности, удобства использования, безопасности и прочего тестирования, которое необходимо вашему приложению.
Чек-лист для тестирования мобильных приложений состоит из восьми разделов:
Функциональное тестирование
В данном пункте нам важно убедиться, что наш продукт соответствует нужной функциональной спецификации, упомянутой в документации по разработке.
Что проверяем?
1. Установка/удаление/накатка версий
2. Запуск приложения (отображение Splash Screen)
3. Работоспособность основного функционала приложения
3.1 Авторизация (по номеру телефона/через соц. сети/e-mail)
3.2 Регистрация (по номеру телефона/через соц. сети/e-mail)
3.3 Онбординг новых пользователей
3.4 Валидация обязательных полей
3.5 Навигация между разделами приложения
3.6 Редактирование данных в профиле пользователя
3.7 Проверка оплаты
3.8 Тестирование фильтров
3.9 Бонусы
4. Корректное отображение ошибок
5. Работа с файлами (отправка/получение/просмотр)
6. Тестирование тайм-аутов
7. Тестирование заглушек (не соединения с интернетом/нет, например, товаров и т.д)
8. Тестирование pop-up, алертов
9. Тестирование WebView
10. Скролл/свайп элементов
11. Тестирование PUSH уведомлений
12. Сворачивание/разворачивание приложения
13. Разные типы подключений (сотовая связь/Wi-Fi)
14. Ориентация экрана (альбомная/портретная)
15. Темная/светлая темы
16. Реклама в приложении
17. Шаринг контента в соц. сети
18. Работа приложения в фоне
19. Пагинация страниц
20. Политики конфиденциальности и прочие ссылки на документы
Тестирование совместимости
Тестирование совместимости используется, чтобы убедиться, что ваше приложение совместимо с другими версиями ОС, различными оболочками и сторонними сервисами, а также аппаратным обеспечением устройства.
Что проверяем?
1. Корректное отображение гео
2. Информации об операциях (чеки и т.д.)
3. Различные способы оплаты (Google Pay, Apple Pay)
4. Тестирование датчиков (освещенности, температуры устройства, гироскоп и т.д.)
5. Тестирование прерываний (входящий звонок/смс/push/будильник/режим «Не беспокоить» и т.д.)
6. Подключение внешних устройств (карта памяти/наушники и т.д.)
Тестирование безопасности
Данная проверка нацелена на поиск недостатков и пробелов с точки зрения безопасности приложения.
Что проверяем?
1. Тестирование разрешений (доступ к камере/микрофону/галерее/и т.д.)
2. Данные пользователя (пароли) не передаются в открытом виде
3. В полях, с вводом пароля и подтверждением пароля, данные скрываются астерисками
Тестирование локализации и глобализации
Тестирование интернационализации/глобализации приложения включает тестирование приложения для различных местоположений, форматов дат, чисел и валют, а также замену фактических строк псевдостроками. Тестирование локализации включает тестирование приложения с локализованными строками, изображениями и рабочими процессами для определенного региона.
Что проверяем?
1. Все элементы в приложении переведены на соответствующий язык
2. Тексты зашиты внутри приложения и пользователь в настройках приложения может выставить необходимый язык
3. Тексты зависят от языка в системных настройках
4. Тексты приходят с сервера
5. Корректное отображение форматов дат (ГОД — МЕСЯЦ — ДЕНЬ или ДЕНЬ — МЕСЯЦ — ГОД.)
6. Корректное отображение времени в зависимости от часового пояса
Тестирование удобства использования
Тестирование удобства использования помогает удостовериться в простоте и эффективности использования продукта пользователем, с целью достижения поставленных целей. Иными словами, это не что иное, как тестирование дружелюбности приложения для пользователя.
Что проверяем?
1. Корректное отображение элементов на устройствах с различными разрешениями экранов
2. Все шрифты соответствуют требованиям
3. Все тексты правильно выровнены
4. Все сообщения об ошибках верные, без орфографических и грамматических ошибок
5. Корректные заголовки экранов
6. В поисковых строках присутствуют плейсхолдеры
7. Неактивные элементы отображаются серым
8. Ссылки на документы ведут на соответствующий раздел на сайте
9. Анимация между переходами
10. Корректный возврат на предыдущий экран
11. Поддерживаются основные жесты при работе с сенсорными экранами (swipe back и т.д.)
12. Пиксель-перфект
Стрессовое тестирование
Стрессовое тестирование направлено на определение эффективности производительности приложения в условиях повышенной нагрузки. Стресс-тест в этом контексте ориентирован только на мобильные устройства.
Что проверяем?
1. Высокая загрузка центрального процессора
2. Нехватка памяти
3. Загрузка батареи
4. Отказы
5. Низкая пропускная способность сети
6. Большое количество взаимодействий пользователя с приложением (для этого может понадобиться имитация реальных условий состояния сети)
Кросс-платформенное тестирование
Важный вид тестирования, который необходимо проводить для понимания того, будет ли должным образом отображаться тестируемый продукт на различных платформах, используемых целевой аудиторией.
Что проверяем?
— Работоспособность приложения на различных устройствах разных производителей
Тестирование производительности
Если пользователь устанавливает приложение, и оно не отображается достаточно быстро (например, в течение трех секунд), оно может быть удалено в пользу другого приложения. Аспекты потребления времени и ресурсов являются важными факторами успеха для приложения, и для измерения этих аспектов проводится тестирование производительности.
Что проверяем?
1. Время загрузки приложения
2. Обработка запросов
3. Кэширование данных
4. Потребление ресурсов приложением (например расход заряда батареи)
Программы для создания тестов на компьютере
Создание тестов на компьютере может понадобиться в разных ситуациях: в учебных целях, для личного использования, при публикации развлекательного контента в своем блоге, ради удобного опроса группы лиц на любую тему. В этом помогут специальные программы, функциональность которых будет различаться и соответствовать уровню сложности работы в них. В этом материале мы рассмотрим основные доступные варианты для офлайн-создания тестов.
easyQuizzy
Название этого приложения говорит само за себя: easyQuizzy обладает простым и понятным интерфейсом, что существенно облегчает процесс обучения и создания тестов. Чаще всего она применяется для учебных целей, поскольку здесь можно автоматически вычислить уровень знаний ученика, используя одну из встроенных систем оценивания. Вам предлагается последовательно выполнить все шаги, ведущие к созданию полноценного теста, сперва дав ему имя и добавив общую информацию о нем, а затем один за другим добавляя вопросы. Позволяется добавлять несколько правильных ответов, следовательно, человеку при прохождении понадобится верно найти более одного варианта, чтобы справиться с поставленным вопросом. Проект предлагается донастроить перед генерированием полноценного теста, например, добавив время, ограничивающее продолжительность прохождения, указать систему оценивания, которую мы уже упоминали, изменить методы подачи вопросов и ответов.
Результат остается лишь перепроверить и сохранить, после чего он станет доступен в виде отдельной программы, которая может быть запущена на любом компьютере. Для ее распространения можно использовать как внешние носители информации (диски, USB Flash), так и передачу файла через интернет и локальную сеть. Тестируемый, после ввода своего имени на начальном этапе, получит максимально простое окно, состоящее из вопросов и вариантов ответов, где необходимо выбрать правильный (один или несколько). Если он не знает ответа на вопрос, его предлагается пропустить соответствующей кнопкой. В конце отобразится окошко с результатами и количеством правильных ответов. Программа также предлагает сформировать отчет, который в дальнейшем можно сохранить как отдельный файл (например, для отправки по электронной почте) или распечатать. На официальном сайте есть исчерпывающая информация по работе в приложении, а также информация касательно покупки. Скачать можно 30-дневную пробную версию, после чего потребуется приобрести ключ активации. При оформлении заказа можно выбрать тип плательщика: физическое или юридическое лицо. Софт полностью русифицирован, так как создан украинскими разработчиками.
INDIGO
INDIGO — одна из самых продвинутых систем тестирования, о которой пойдет речь в нашем сегодняшнем материале. Ее главная особенность заключается в официальном одобрении Минкомсвязи, а это значит, что INDIGO рекомендуется для закупок во всех государственных и частных учреждениях в целях проведения оценочных тестирований и социальных опросов учащихся, сотрудников и участников конкурсов. Подобное развитие событий случилось из-за широкой функциональности программы, позволяющей реализовать все поставленные задачи. Начать следует с создания самих тестов. Их структура может быть произвольной, а иерархия расположения вопросов корректируется непосредственно пользователям. Отсутствуют какие-либо ограничения на размеры тестов или их количество, а наличие рамок связано лишь со свободным местом в облаке или на локальном носителе. В INDIGO имеются все инструменты, позволяющие с комфортом создать вопросы и подготовить ответы на них, включая импорт текстовых файлов и печать бланков с ответами. Статистика проведенных опросов может быть экспортирована в Excel, что позволит всегда быть в курсе имеющихся результатов.
Дополнительно устанавливаются правила тестирования, например, минимальный проходной балл или количество разрешенных для выбора ответов. Все эти правила могут быть скорректированы или удалены в любой момент благодаря встроенному редактору. Этот же редактор распространяется и на сами тесты, поэтому никогда не возникнет проблем при надобности изменить один вопрос: это можно сделать буквально за пару минут, сохранив настройки, и они будут сразу же применены для всех пользователей. Теперь затронем тему учетных записей. В INDIGO каждому испытуемому присваивается отдельный профиль с определенными правами. Он использует логин и пароль для авторизации через браузер и может сразу же начинать тестирование. Синхронизация происходит моментально, поэтому на других устройствах будет виден прогресс прохождения опроса или конкурса. Не возникнет трудностей и с введением ФИО юзеров, поскольку данное ПО поддерживает Unicode и всевозможные специальные символы. Стоимость INDIGO зависит от необходимого количества одновременных сеансов, а версия для ознакомления находится бесплатно на официальном сайте.
SunRav TestOfficePro
Следующее программное обеспечение под названием SunRav TestOfficePro состоит из целых трех модулей, каждый из которых отвечает за выполнение определенных функций. tMaker используется для непосредственного создания тестов. В нем имеется простой редактор, позволяющий добавлять неограниченное количество вопросов разной направленности, выбирая требуемые варианты заполнения ответов. Все созданные в этом ПО тесты в любой момент можно экспортировать в поддерживаемые текстовые редакторы или инструменты по управлению электронными таблицами. Тестирование происходит через модуль tTester. Перед прохождением все юзеры осуществляют регистрацию: форма заполняется в соответствии с указанными требованиями. Сам администратор следит за всем процессом, и ему доступно блокирование учетных записей, изменение правил или использование встроенных команд всплывающей консоли. Как нетрудно догадаться, последний модуль tAdmin отвечает за проверку результатов, вывод статистики и отправку всех необходимых сведений в печать. Если возникла надобность создания матрицы с ответами, tAdmin тоже позволит осуществить эту задачу.
Отметим и интересные функции, добавленные в SunRav TestOfficePro. Например, объективность тестирования достигается установкой запрета на выход из программы до окончания опроса, блокировкой рабочего стола и автоматическим закрытием софта после завершения вписывания всех ответов. Сами же вопросы могут быть перемешаны и выпадать в случайном порядке, а устанавливаемые временные рамки позволят не зацикливаться на одном задании или не растягивать весь конкурс на неопределенный промежуток времени. Разработчики SunRav TestOfficePro создали два типа лицензии со своими особенностями. Детальнее о них и о ценах вы узнаете на странице ПО, воспользовавшись указанной ниже ссылкой.
ADTester
ADTester — первое бесплатное приложение для проведения тестов различных направлений, о котором мы сегодня расскажем. Это очень простой инструмент с интуитивно понятным внешним видом и поддержкой русского языка интерфейса. Это поможет начинающим юзерам сразу же после запуска перейти к созданию вопросов, задействовав встроенный конструктор. Ограничений на количество вопросов или ответов не имеется, а также в ADTester нет каких-то блоков по конкретным темам, поэтому здесь можно создавать опросы или конкурсы из любой отрасли. В этом ПО отсутствует функция экспорта документов, однако имеется быстрое перемещение содержимого из открытых текстовых файлов. Вам достаточно выделить и перенести строки, чтобы они автоматически вставились в соответствующую форму в конструкторе. Сложности создаваемым вопросам добавит и функция случайной последовательности. При ее включении каждая учетная запись будет получать перемешанный перечень вопросов и вариантов ответов. В модуле администратора создаются учетные записи, просматриваются результаты и осуществляется управление всем процессом, включая резервное копирование баз данных в текущем состоянии.
Перейдем непосредственно к процедуре проведения опросов. Здесь каждый пользователь может выступать в роли независимой учетной записи или входить в созданную группу без ограничений по количеству участников. Далее происходит заполнение личных данных, если это не было сделано администратором ранее. При надобности в форму разрешается добавлять видео, в дальнейшем они всегда будут доступны для воспроизведения или остановки. Имеющиеся подсказки, созданные в конструкторе, тоже отобразятся, и к ним можно будет вернуться в любой удобный момент. Во время этапа ответов в админ-панели отображается статистика в реальном времени. Там выводится список из всех профилей, имена участников, количество правильных ответов и текущий вопрос. Все это позволяет создать полный контроль за ситуацией. Несомненно, ADTester заметно уступает профессиональным решениям, однако не стоит забывать, что этот инструмент один из немногих бесплатных, поэтому ему простительна часть недостатков.
UniTest System
UniTest System — решение с немного устаревшим интерфейсом, но все еще корректно функционирующее на всех версиях операционных систем Windows. Сразу отметим, что распространяется оно платно, а демонстрационную версию можно скачать в любой момент, чтобы создать свое пробное задание и провести ознакомительное тестирование на одном компьютере. UniTest System, как и многие другие подобные инструменты, разделен на несколько модулей. В первом происходит конструирование вопросов, где рабочая область представлена в виде двух панелей. В верхней указывается сам вопрос, а внизу добавляются плитки с неограниченным количеством ответов. Все эти надписи настраиваются по цветам и стилям, однако общее восприятие картины от этого не меняется — внешний вид все еще выглядит устаревшим и неприятным при долгом использовании софта. Имеется набор настраиваемых горячих клавиш для тех случаев, когда вам захочется ускорить процесс.
После создания и авторизации пользователей все они попадают сразу к форме, где происходит тестирование. Здесь всплывают подсказки от разработчиков, позволяющие разобраться со всем алгоритмом действий даже самому начинающему юзеру. Все задания и варианты ответов будут перемешаны и выведены в случайном порядке, а сложные вопросы можно пропустить, чтобы в любой момент вернуться к ним и выбрать вариант решения. Ответ выбирается путем нажатия левой кнопкой мыши по соответствующей плитке или с помощью клавиш на клавиатуре, а само окно разворачивается в полноэкранный режим. Присутствуют и дополнительные настройки внешнего вида, что поможет абсолютно каждому выставить оптимальные для себя параметры. Мониторинг состояния опроса происходит через отдельную панель. На ней показываются все те сведения, о которых мы уже говорили при обзоре других программ. Доступно и администрирование в реальном времени с возможностью исключения или блокирования учетных записей. UniTest System — очень противоречивое приложение, поэтому мы советуем сначала узнать о нем все и проверить демонстрационную версию перед тем, как решаться на приобретение лицензии.
Конструктор тестов
Название программы Конструктор тестов уже говорит о ее основном предназначении. Практически ничего нового в реализации алгоритмов создания и проведения тестирования здесь нет, отметим лишь пошаговый принцип, представленный в редакторе. Здесь вы перемещаетесь между каждым разделом, параллельно настраивая каждую опцию. Например, сначала устанавливаются общие данные — номер задания, его название, цены вопросов и их максимальное количество. Далее идут дополнительные параметры, где активация или отмена правил осуществляется путем установки галочек. Здесь можно запретить прерывать тестирование, скрывать или показывать правильность ответов и не давать пропускать вопросы. Настраивается и звук, который будет сопровождаться после выбранного варианта. Для каждого задания по желанию настраивается приветственная речь. Обычно здесь пишутся общие правила и полезная информация для участников. В конце остается лишь выбрать систему оценивания и перейти к написанию самих вопросов. Если есть необходимость добавить картинку или звуковое сопровождение, сделайте это тоже в отдельных разделах редактора.
Далее в дело вступают опрашиваемые. Они регистрируют учетную запись или авторизуются под уже созданным именем и могут сразу же приступить к изучению вопросов. На экране отображается лишь одно задание, а сверху всегда показывается тема текущего тестирования. Галочками отмечается один или несколько ответов, а затем происходит перемещение к следующим пунктам. Результаты будут выведены сразу же после установки ответа на последний вопрос. Вы увидите общее число заданий, процент правильных и неправильных выборов, а также набранное количество баллов. Администратор тоже следит за всем этим, просматривая таблицу в соответствующем модуле. Ему доступно обновление в любой момент, оценка состояния или удаление результатов. В демонстрационной версии Конструктора тестов имеются уже заранее заготовленные проекты, а вам останется лишь загрузить ПО, чтобы изучить его и решить, стоит ли его приобретать и какой тип лицензии выбрать.
Айрен
Следующее программное обеспечение под названием Айрен — еще один бесплатный инструмент, подходящий под тематику нашего сегодняшнего материала. Интерфейс в этом софте выполнен в максимально простом виде, а создание вопросов осуществляется буквально за несколько минут банальным добавлением отдельных строк с заданиями и блоков с вариантами ответов, поэтому на данной теме мы не станем останавливаться. Отметим реализацию окна прохождения тестов. На панели слева будут отображаться абсолютно все присутствующие вопросы, и между ними можно перемещаться в любой удобный момент. Справа же выводится текущий вопрос с текстом и изображением, если оно было установлено, а внизу вы видите варианты. При готовности галочка устанавливается возле подходящего пункта и осуществляется переход к следующему заданию.
Существует определенные разновидности выбора вариантов ответа: ручной ввод, один или несколько пунктов, соответствие либо упорядочивание и классификация. Только благодаря подобным опциям можно обратить внимание на Айрен, поскольку не во всех бесплатных приложениях для тестирования реализована подобная возможность. В Айрен преподаватель сразу же может просмотреть результаты, а ученик ознакомится с ними после прохождения последнего вопроса. Еще одна особенность этого ПО — реализация скриптов на языке Pascal. Если вы владеете этим ЯП и желаете создать пользовательские дополнения, выполняющие определенные функции, ничего не помешает задействовать для этого имеющийся интерпретатор. В остальном же Айрен — легкое и удобное решение для проведения простых опросов.
TestMaker
Мы поставили данное программное обеспечение на последнее место, поскольку по своей функциональности оно значительно уступает конкурентам. Здесь присутствуют лишь самые основные функции, позволяющие создать простые опросы. В первую очередь пользователь сталкивается с редактором, где выбирается папка для хранения материалов, создается сам файл и добавляется неограниченное количество вопросов. Типов ответа тоже присутствует несколько, и для каждого задания можно подобрать индивидуальный. В конце остается только задать отведенное время на один вопрос и выбрать систему оценок. Вы самостоятельно решаете, сколько баллов пользователь будет получать за определенный вопрос.
Теперь все пользователи, подключенные к локальной сети, могут загрузить TestMaker и приступить к решению. В конце отобразятся результаты, и сам педагог тоже будет ознакомлен с ними. Больше никаких особенностей в этом решении нет. Самые главные недостатки — отсутствие важных функций, которые есть даже в бесплатных аналогах, и платное распространение. Простая базовая версия обойдется в 5 долларов, а ознакомиться с TestMaker можно только через небольшой демо-режим или самовыполняющийся тест.
Сегодня вы узнали о самых разных программах для создания тестов на компьютере. Все они не имеют ограничений по тематикам, но реализация функций заставляет пользователей подстраиваться и искать компромиссы. Однако приобретение профессионального приложения за круглую сумму решает проблемы, поскольку там имеются все необходимые настройки. Здесь уже каждый юзер делает вывод самостоятельно, стоит ли отдавать деньги за подобное ПО.
Помимо этой статьи, на сайте еще 12450 инструкций.
Добавьте сайт Lumpics.ru в закладки (CTRL+D) и мы точно еще пригодимся вам.
Отблагодарите автора, поделитесь статьей в социальных сетях.
Процесс тестирования мобильных приложений
Тестирование – очень важный этап разработки мобильных приложений.
Стоимость ошибки в релизе мобильного приложения высока. Приложения попадают в Google Play в течении нескольких часов, в Appstore несколько недель. Неизвестно сколько времени будут обновляться пользователи. Ошибки вызывают бурную негативную реакцию, пользователи оставляют низкие оценки и истерические отзывы. Новые пользователи, видя это, не устанавливают приложение.
Мобильное тестирование сложный процесс: десятки различных разрешений экрана, аппаратные отличия, несколько версий операционных систем, разные типы подключения к интернету, внезапные обрывы связи.
Поэтому в отделе тестирования у нас работает 8 человек (0,5 тестировщика на программиста), за его развитием и процессами следит выделенный тест-лид.
Под катом я расскажу как мы тестируем мобильные приложения.
Тестирование требований
Тестирование начинается до разработки. Отдел дизайна передает тестировщикам навигационную схему и макеты экранов, менеджер проекта – требования невидимые на дизайне. Если дизайн предоставляет заказчик, макеты до передачи в отдел тестирования проверяются нашими дизайнерами.
Тестировщик анализирует требования на полноту и противоречивость. В каждом проекте исходные требования содержат противоречивую информацию. Мы их решаем еще до начала разработки. Так же в каждом проекте требования неполны: не хватает макетов второстепенных экранов, ограничений на поля ввода, отображения ошибок, кнопки никуда не ведут. Неочевидны невидимые на макетах вещи: анимации, кеширование картинок и содержимого экранов, работа в нестандартных ситуациях.
Недостатки требований обсуждаются с менеджером проекта, разработчиками и дизайнерами. После 2-3 итераций, вся команда гораздо лучше понимает проект, вспоминает забытый функционал, фиксирует решения по спорным вопросам.
В основном на этом этапе используется basecamp.
Когда требования стали полны и непротиворечивы, тестировщик составляет smoke-тесты и функциональные тесты, покрывающие исходные данные. Тесты деляется на общие и специфические для разных платформ. Для хранения и прогона тестов мы используем Sitechсo.
Например, для проекта Trava на этом этапе было написано 1856 тестов.
Первый шаг тестирования закончен. Проект уходит в разработку.
Билд-сервер
Все наши проекты собираются на TeamCity билд-сервере.
Если менеджер проекта поставит галочку «для тестирования», тестировщикам уходит письмо о новой сборке для тестирования. Ее номер отображается на мониторе в кабинете тестировщиков. Красным отображаются билды выпущенные за последние сутки, их нужно тестировать активнее, чем белые.
Без «волшебного монитора» (кстати, работает на андроиде) часто тестировали старые билды. А новый билд с багами попадал заказчику. Теперь перед прогоном тест-кейсов достаточно взглянуть на монитор, путаница разрешилась.
Тестирование билдов бывает быстрое и полное.
Быстрое тестирование
Быстрое тестирование проводится после завершения итерации разработки, если сборка не пойдет в релиз.
Для начала проводятся smoke-тесты, чтобы понять имеет ли смысл тестировать сборку.
Затем берутся все выполненные задачи и пофикшенные баги за итерацию из Jira и скурпулезно проверяется соответствие результата описанию таска. Если задача включала в себя новые элементы интерфейса, она отправляется дизайнерам для сверки с макетами.
Некорректно выполненные задачи переоткрываются. Баги заносятся в Jira. К не UI багам обязательно прикладываются логи со смартфона. К UI багам скриншоты с пометками что не так.
После этого выполняются функциональные тесты этой итерации. Если были найдены баги не покрытые тест-кейсами, создается новый тест-кейс.
Для андроид приложений запускаются monkey тесты.
По окончании тестирования ставится галочка «тестирование багов пройдено» в билд-сервере (да, название галочки не очень правильное :).
Если в процессе тестирования не было найдено blocker, critical и major багов, ставится галочка «можно показывать заказчику». Ни один билд не отсылается заказчику без одобрения отдела тестирования. (По согласованию с заказчиком иногда высылаются билды с major багами).
Критичность бага определяется по таблице.
После завершения тестирования PM получает подробное письмо-отчет.
Полное тестирование
Полное тестирование проводится перед релизом. Включает себя в себя быстрое тестирование, регресионное тестирование, monkey-тестирование на 100 устройствах и тестирование обновлений.
Регрессионное тестирование подразумевает прогон ВСЕХ тест-кейсов по проекту. Тест-кейсов не только за последнюю итерацию, но и за все предыдущие и общие тест кейсы по требованиям. Это занимает день-три на одно устройство в зависимости от проекта.
Очень важный шаг — тестирование обновлений. Почти все приложения хранят данные локально (даже если это кука логина) и важно удостовериться, что после обновления приложения все данные пользователя сохранятся. Тестировщик скачивает билд из маркета, создает сохраняемые данные (логин, плейлисты, транзации учета финансов), обновляет приложение на тестовую сборку и проверяет, что все на месте. Затем прогоняет smoke-тест. Процесс повторяется на 2-3 устройствах.
Разработчики часто забывают о миграции данных со старых версий и тестирование обновлений позволило нам выявить множество критических ошибок с падениями, удалением пользовательских данных о покупках. Это спасло не одно приложение от гневных отзывов и потери аудитории.
Релизный monkey-тест мы проводим на 10 iOS и 80 Android устройствах при помощи сервиса Appthwack.
В конце полного тестирования, кроме письма, вручную составляется подробный отчет.
Сборка уходит в релиз только при 100% прохождении всех тест-кейсов.
Тестирование внешних сервисов
Тестировать интеграцию с Google Analytics, Flurry или системой статистики заказчика непросто. Бывало, что в релиз уходили сборки с нерабочим Google Analytics и никто не обращал на это внимания.
Поэтому в обязательно порядке для внешних сервисов создается тестовый аккаунт и он проверяется при полном тестировании. Кроме того отправка статистики фиксируется в логах, которые проверяются тестировщиками. При релизе тестовый аккаунт подменяется боевым.
Учет времени
Учет времени тестировщиков производится в отдельном Jira проекте. На составление тест-кейсов, прогон тестов, написание отчетов по проекту заводится отдельная задача и стандартными средствами в ней отмечается затраченное время.
UPD: а расскажите как устроено тестирование у вас, хотя бы сколько тестировщиков на разработчика
Подписывайтесь на наш хабра-блог. Каждый четверг полезные статьи о мобильной разработке, маркетинге и бизнесе мобильной студии.