Совместное использование тестового кода

Мотивация

Чтобы сделать рабочий процесс CI надёжным и эффективным, крайне важно постоянно поддерживать тестовое покрытие в хорошем состоянии. Совместное использование тестового кода между несколькими пакетами (даже в рамках нескольких веток одного пакета) может значительно помочь:

  • Предотвратить дублирование тестового кода

  • Минимизировать обслуживание тестов

  • Выявлять несовместимости на ранних этапах

В целом, тесты определяют, как работает программное обеспечение, и базовая функциональность многих пакетов меняется не так часто. Мы прилагаем все усилия для сохранения обратной совместимости там, где это возможно. Таким образом, вполне естественно, что для таких компонентов тесты, защищающие спецификацию, могут меняться медленнее, чем ветки дистрибутива.

См. полное обсуждение в ci-list для получения дополнительного контекста.

Реализация

Храните тестовый код в предпочитаемом репозитории и ссылайтесь на тесты из yaml-файла dist-git. Также существует специальное пространство имён tests, предназначенное для хранения интеграционных тестов Fedora CI:

Используйте fedpkg для быстрого клонирования репозиториев из пространства имён tests:

fedpkg clone tests/shell

tmt

Включение тестов из удалённого репозитория с помощью tmt выполняется просто:

discover:
    how: fmf
    url: https://src.fedoraproject.org/tests/shell.git

См. документацию шага discover для получения более подробной информации.

Примеры

Вот несколько примеров из реальной жизни, где совместное использование тестового кода может повысить долгосрочную эффективность.

SELinux

Несколько пользовательских компонентов SELinux используют общее тестовое покрытие в одном тестовом репозитории selinux:

Ruby

Другой пример — Ruby: имея около 80 пакетов, связанных с Ruby on Rails, было бы полезно и эффективно иметь единое место для интеграционных тестов, которые проверяют правильную работу фреймворка после обновления любого из этих пакетов. И наоборот, поддерживать эти тесты в 80 репозиториях было бы утомительной задачей.

В настоящее время общий репозиторий tests/ruby содержит эти три интеграционных теста для Ruby:

  • systemtap-static-probes-in-ruby — проверка API systemtap в Ruby

  • tls-minimal-version — проверка соблюдения Ruby OpenSSL криптополитик

  • run-basic-rails-application — запуск простого приложения Rails

Оболочка

Существует несколько оболочек, реализующих спецификацию POSIX:

  • bash

  • ksh

  • mksh

  • zsh

  • dash

Все они используют значительный объём общего тестового покрытия, и не имеет смысла фиксировать и поддерживать идентичные тесты в пяти разных репозиториях (+ возможные ветки).

Репозиторий тестов оболочки:

summary:
    Запустить соответствующие тесты из репозитория тестов оболочки
discover:
    how: fmf
    url: https://src.fedoraproject.org/tests/shell
    filter: component:bash
execute:
    how: tmt
environment:
    PACKAGES: bash
    SH_BIN: bash

Начало работы

Чтобы создать новый репозиторий в пространстве имён tests, используйте команду fedpkg request-tests-repo. Например, чтобы создать общий тестовый репозиторий с именем foo, который будет доступен по адресу https://src.fedoraproject.org/tests/foo.git

  • Настройте аутентификацию в pagure в соответствии с помощью в команде request-repo

    fedpkg request-repo -h
  • Запросите новый репозиторий с осмысленным описанием

    fedpkg request-tests-repo foo "Описание репозитория"