Environment Modules

Введение

Когда имеется несколько программ, служащих одной цели (например, SMTP-серверы, такие как sendmail, exim и postfix; или серверы печати, такие как lprng и cups), обычно их оборачивают с помощью alternatives. Alternatives предоставляет чистый способ установить одновременно множество типов программного обеспечения, служащих одной цели, и направить такие команды, как mail и lpr, на нужные версии.

Однако когда существует несколько вариантов, каждый из которых обслуживает потребности какого-то пользователя и, следовательно, должен быть доступен пользователям одновременно, системы alternatives просто недостаточно, поскольку она действует в масштабах всей системы. Это было реальностью на суперкомпьютерах и кластерах испокон веков, и было разработано несколько реализаций решения: environment modules и Lmod. В настоящее время Fedora использует это в первую очередь для переключения между различными реализациями MPI.

Модули окружения также полезны в ситуациях, когда пакет хочет установить исполняемые файлы, использующие общие имена, которые могут конфликтовать или иным образом засорять /usr/bin. Тогда для использования этих программ необходимо сначала загрузить модуль окружения.

Использование модулей окружения

Чтобы увидеть, какие модули доступны, выполните $ module avail. Чтобы загрузить модуль, выполните, например, $ module load mpi/openmpi-x86_64. Чтобы выгрузить модуль, выполните, например, $module unload mpi/openmpi-x86_64.

Документация upstream-проекта для команды module доступна здесь или с помощью man module.

Создание модулей окружения

Чтобы установить модуль окружения, поместите файл модуля в %{_modulesdir}, который должен разворачиваться в /usr/share/modulefiles. Этот макрос доступен в Fedora и EPEL 7+. Каталог /usr/share/Modules/modulefiles предназначен только для внутренних модулей environment-modules. /etc/modulefiles доступен для использования локальным системным администратором.

Файлы модулей — это обычный текст с необязательным синтаксисом tcl, например модуль окружения для 64-битного OpenMPI mpi/openmpi-x86_64:

#%Module 1.0
#
#  OpenMPI module for use with 'environment-modules' package:
#
conflict                mpi
prepend-path            PATH            /usr/lib64/openmpi/bin
prepend-path            LD_LIBRARY_PATH /usr/lib64/openmpi/lib
prepend-path            PYTHONPATH      /usr/lib64/python2.7/site-packages/openmpi
prepend-path            MANPATH         /usr/share/man/openmpi-x86_64
setenv                  MPI_BIN         /usr/lib64/openmpi/bin
setenv                  MPI_SYSCONFIG   /etc/openmpi-x86_64
setenv                  MPI_FORTRAN_MOD_DIR     /usr/lib64/gfortran/modules/openmpi-x86_64
setenv                  MPI_INCLUDE     /usr/include/openmpi-x86_64
setenv                  MPI_LIB         /usr/lib64/openmpi/lib
setenv                  MPI_MAN         /usr/share/man/openmpi-x86_64
setenv                  MPI_PYTHON_SITEARCH     /usr/lib64/python2.7/site-packages/openmpi
setenv                  MPI_COMPILER    openmpi-x86_64
setenv                  MPI_SUFFIX      _openmpi
setenv                  MPI_HOME        /usr/lib64/openmpi

Файл модуля начинается с магического маркера +#%Module +, где указана версия используемого файла модуля. Текущая версия — 1.0.

Приведённые выше команды добавляют в начало пути bindir 64-битного OpenMPI (скомпилированного с GCC) и добавляют соответствующий путь библиотек. Затем устанавливаются различные переменные окружения.

Также можно установить CFLAGS и LDFLAGS описанным выше способом, но в случае компиляторов MPI это не обязательно, поскольку компиляторы вызываются через обёртки mpicc, mpicxx, mpif77 и mpif90, которые уже содержат необходимые пути включений и библиотек. Кроме того, в случае пакетов разработки переопределение CFLAGS и/или LDFLAGS неразумно, так как это может вызвать проблемы при сборке RPM, поскольку переопределяет %{optflags}.

Документация upstream-проекта для файлов модулей доступна здесь или с помощью man modulefile.

Переключение между реализациями модулей

Переключение между реализациями environment-modules и Lmod выполняется через alternatives. Скрипты инициализации оболочки /etc/profile.d/modules.\{csh,sh} являются ссылками на /etc/alternatives/modules.\{csh.sh} и могут управляться командой alternatives.

Lmod

Lmod — это реализация модулей окружения, написанная на Lua, и может использовать файлы модулей, написанные как на Lua, так и на Tcl. Такие файлы имеют расширение ".lua". Однако такие файлы не должны устанавливаться в /usr/share/modulefiles, чтобы не вызывать проблем, когда используется пакет environment-modules. Вместо этого устанавливайте в %{_datadir}/lmod/lmod/modulefiles/Core.