Совместное использование тестового кода
Мотивация
Чтобы сделать рабочий процесс CI надёжным и эффективным, крайне важно постоянно поддерживать тестовое покрытие в хорошем состоянии. Совместное использование тестового кода между несколькими пакетами (даже в рамках нескольких веток одного пакета) может значительно помочь:
-
Предотвратить дублирование тестового кода
-
Минимизировать обслуживание тестов
-
Выявлять несовместимости на ранних этапах
В целом, тесты определяют, как работает программное обеспечение, и базовая функциональность многих пакетов меняется не так часто. Мы прилагаем все усилия для сохранения обратной совместимости там, где это возможно. Таким образом, вполне естественно, что для таких компонентов тесты, защищающие спецификацию, могут меняться медленнее, чем ветки дистрибутива.
См. полное обсуждение в ci-list для получения дополнительного контекста.
Реализация
Храните тестовый код в предпочитаемом репозитории и ссылайтесь на тесты из yaml-файла dist-git. Также существует специальное пространство имён tests, предназначенное для хранения интеграционных тестов Fedora CI:
Используйте fedpkg для быстрого клонирования репозиториев из пространства имён tests:
fedpkg clone tests/shell
Примеры
Вот несколько примеров из реальной жизни, где совместное использование тестового кода может повысить долгосрочную эффективность.
SELinux
Несколько пользовательских компонентов SELinux используют общее тестовое покрытие в одном тестовом репозитории selinux:
Ruby
Другой пример — Ruby: имея около 80 пакетов, связанных с Ruby on Rails, было бы полезно и эффективно иметь единое место для интеграционных тестов, которые проверяют правильную работу фреймворка после обновления любого из этих пакетов. И наоборот, поддерживать эти тесты в 80 репозиториях было бы утомительной задачей.
В настоящее время общий репозиторий tests/ruby содержит эти три интеграционных теста для Ruby:
-
systemtap-static-probes-in-ruby — проверка API systemtap в Ruby
-
tls-minimal-version — проверка соблюдения Ruby OpenSSL криптополитик
-
run-basic-rails-application — запуск простого приложения Rails
Оболочка
Существует несколько оболочек, реализующих спецификацию POSIX:
-
bash
-
ksh
-
mksh
-
zsh
-
dash
Все они используют значительный объём общего тестового покрытия, и не имеет смысла фиксировать и поддерживать идентичные тесты в пяти разных репозиториях (+ возможные ветки).
Репозиторий тестов оболочки:
Bash plans/shell.fmf:
summary:
Запустить соответствующие тесты из репозитория тестов оболочки
discover:
how: fmf
url: https://src.fedoraproject.org/tests/shell
filter: component:bash
execute:
how: tmt
environment:
PACKAGES: bash
SH_BIN: bash
Начало работы
Чтобы создать новый репозиторий в пространстве имён tests, используйте команду fedpkg request-tests-repo. Например, чтобы создать общий тестовый репозиторий с именем foo, который будет доступен по адресу https://src.fedoraproject.org/tests/foo.git
-
Настройте аутентификацию в pagure в соответствии с помощью в команде request-repo
fedpkg request-repo -h
-
Запросите новый репозиторий с осмысленным описанием
fedpkg request-tests-repo foo "Описание репозитория"
Want to help? Learn how to contribute to Fedora Docs ›