Max Home IndustryТестирование только шести комбинаций параметров ничем не хуже исчерпывающего тестирования — у NIST есть (бесплатный) инструмент для этого.
Национальный институт стандартов и технологий (NIST) выпустил последнюю версию своего бесплатного инструмента тестирования с новым руководством по его использованию.
Инструмент представляет собой довольно специализированную установку для комбинаторного тестирования, которая называется Advanced Combinatorial Testing System (ACTS). Он может обрабатывать тесты от двухстороннего до шестистороннего взаимодействия. Однако, основанный на исследованиях аварий, это эмпирический вывод, что большинство отказов (от 70 до 95%) вызывается только взаимодействием двух переменных, а почти 100% — не более чем шестью. Таким образом, NIST заключает, что комбинаторное тестирование с 6-сторонним взаимодействием на практике так же хорошо, как и исчерпывающее тестирование. Программа также утверждает, что эффективно реализует тестирование, группируя тесты в покрывающие наборы.
Важно понимать, что предоставленное программное обеспечение только рассчитывает графики тестирования — вы должны фактически реализовать тесты. Например, если у вас есть библиотека кода, которая работает на n мобильных телефонах, каждый из которых использует m браузеров с p языковыми движками, программа сообщит вам, какие комбинации нуждаются в тестировании — затем вам нужно создать конфигурации и выполнить тест. Это означает, что программу ACTS можно использовать в самых разных ситуациях тестирования и встроить в вашу собственную более крупную среду тестирования.
В новом учебном пособии «Практическое комбинаторное тестирование» представлены ключевые концепции и методы, а также объясняется использование программных инструментов для создания комбинаторных тестов. Учебное пособие предназначено для студентов бакалавриата, специализирующихся в области информатики или инженерии, оно доступно по адресу http://csrc.nist.gov/groups/SNS/acts/documents/SP800-142-101006.pdf