Часть 1 -> Часть 2 -> Часть 3
Нечасто удается найти качественную аналитику рынка тестирования программного обеспечения. Компания Worksoft провела серьезное исследование, посвященное трендам в автоматизированном тестировании в 2013 году. Предлагаем вашему вниманию русскоязычную интерпретацию отчета об исследовании рынка: 2013 Trends in Automated Testing.
Отчет может быть полезен инженерам по тестированию — исследования помогут сформировать или скорректировать план профессионального развития. Также отчет будет интересен руководителям тестирования и/или разработки — информация поможет при разработке стратегии развития тестирования и обеспечения качества.
Тренды в автоматизированном тестировании в 2013 году
Обзор
В данном отчете представлены результаты исследования отраслевых рынков, проведенного с целью изучения состояния автоматизированного тестирования в операционных компаниях. Масштаб и причины применения автоматизированного тестирования рассматривались для больших компаний, которые используют корпоративные приложения (такие, как SAP®). Ниже представлены факторы, которые влияют на внедрение автоматизированного тестирования, включая анализ бизнес-преимуществ от его использования, а также уровень использования мобильных, облачных технологий и гибких методологий в компаниях.
В ходе исследования было опрошено 699 респондентов из 504 компаний, расположенных преимущественно в Северной Америке и Европе, большинство из которых имеют годовую выручку более 500 млн. долларов (в качестве основной ERP-системы подавляющее большинство компаний (93.4%) используют SAP).
Какие выгоды автоматизированного тестирования наиболее важны для вашей компании?
466 респондентов определили выгоды от автоматизации тестирования:
Примерно 2/3 респондентов (63,8%) указали, что одним из важнейших преимуществ автоматизации тестирования является увеличение эффективности персонала. Следующие три наиболее важные выгоды связаны с качеством: раннее обнаружение дефектов (до конечных пользователей), более высокое качество бизнес-процессов, вероятность обнаружения большего количества дефектов. Пятерку важнейших выгод автоматизации тестирования замкнуло увеличение скорости добавления нового функционала при разработке программного обеспечения.
Респонденты могли выбрать несколько пунктов или указать свой собственный. Интересно, что 13,9% опрошенных назвали только одно преимущество, тогда как 86,1% компаний, использующих автоматизацию тестирования, указали несколько преимуществ. Большинство респондентов выбрали от 3 до 6 выгод. Это довольно неожиданно и явилось еще одним подтверждением того, что рынок в целом признает существенные выгоды от автоматизации тестирования программного обеспечения.
У респондентов была возможность ввести собственные выгоды. Вот некоторые из них:
- «Автоматизация покрывает фактически все регрессионные тесты в стабильных сборках»;
- «Регрессионное тестирование»;
- «Системное регрессионное тестирование после изменения кода»;
Некоторые сомневались относительно плюсов автоматизации тестирования. Они отвечали «мы не используем автоматизацию тестирования» по следующим причинам:
- «Бизнес-процессы в целом не поддаются автоматизации тестирования»;
- «У нас слишком много изменений в коде, чтобы автоматизация тестирования работала эффективно»;
Ещё один респондент высказал мнение о дороговизне автоматизации тестирования:
- «Ведущий тестировщик указал на высокую стоимость разработки и поддержки автоматизированных скриптов»;
Реальность такова, что ведущие современные инструменты автоматизированного тестирования не только обеспечили независимость тест менеджмента и разработки тестовых скриптов, но и доказали свою рентабельность. По сравнению с ручным подходом, с точки зрения экономики, чаша весов склоняется на сторону автоматизации тестирования. Существуют отдельные исследования, подтверждающие эти выводы.
Некоторые респонденты отметили ограничения, присущие инструментам автоматизации тестирования первого поколения:
- «У нас есть автоматизированные скрипты для некоторых участков приложения, которые работают хорошо, если эти участки достаточно стабильны. Однако если мы делаем серьезные изменения в приложении, поддержка автоматизированных скриптов становится сложной».
Один респондент указал несколько преимуществ автоматизации тестирования, однако добавил предостережение: «автоматизация тестирования – это до сих пор инвестирование… большая трудоемкость при внедрении и последующей поддержки».
Ручное тестирование продолжает играть важную роль, даже для организаций, внедривших автоматизацию тестирования. Один из респондентов сообщил, что дополнительно к автоматизации «мы используем ручное тестирование, чтобы проверить дефекты, обнаруженные пользователем и непокрытые тестами».
Некоторое количество респондентов рассказало о будущих планах:
- «Приступаем к внедрению автоматизации тестирования… Но пока не внедрили!»
- «У нас нет автоматизации тестирования сейчас, но мы планируем ее внедрение в ближайшем будущем».
Итак, экономическое обоснование автоматизации тестирования понимают 86% респондентов, выделивших множественные выгоды от её использования. Большинство опрошенных выделило от 3 до 6 преимуществ в следующих областях: эффективность персонала, улучшение качества, увеличение гибкости процессов и контроль за расходами. Одно из наиболее емких утверждений, которое обобщило мнение многих респондентов, было высказано одним из IT профессионалов, использующим автоматизацию тестирования: «Циклы тестирования быстрее, обращений пользователей меньше».
