Руководство системного программиста ↵

Аннотация

Данный документ является руководством системного программиста для Enterprise Cloud Platform VeiL (облачной платформы корпоративного уровня VeiL), далее по тексту - ECP VeiL или программа. ECP VeiL предназначена для создания и администрирования виртуальной инфраструктуры на базе универсальных серверных платформ с архитектурой x86-64.

Документ описывает назначение, структуру ECP VeiL, последовательность установки и настройки программы, рекомендации и требования, исполнение которых необходимо для корректного функционирования ECP VeiL.

Настоящее руководство входит в состав эксплуатационной документации и рассчитано на системного программиста, имеющего навыки работы на персональной электронно-вычислительной машине (ПЭВМ) и администрирования операционных систем (ОС) семейства Linux.

Общие сведения о программе

Назначение программы

ECP VeiL предназначена для решения следующих задач:
- повышение эффективности использования вычислительных ресурсов - возможность запуска нескольких виртуальных серверов (машин) на одном физическом сервере;
- обеспечение выполнения на одном физическом сервере несовместимых приложений - возможность запуска операционных систем семейства Linux и Windows, а также рабочих станций, шлюзов, баз данных и других приложений, несовместимых в рамках одного экземпляра ОС;
- организация общего виртуального пространства - возможность объединять физические серверы в кластер единого управления (далее кластер), который представляется как единый пул для работы на нем виртуальных машин (ВМ) с пользовательскими приложениями;
- повышение доступности и обеспечение непрерывности работы приложений - предоставление функций переноса ВМ на другой сервер кластера без прерывания выполнения пользовательского приложения и самовосстановления ВМ на резервных серверах в кластере;
- повышение удобства управления вычислительными ресурсами - управление несколькими физическими серверами с централизованного Web-интерфейса с повышенной степенью автоматизации для сокращения времени администрирования и понижения порога вхождения персонала.
ECP VeiL обеспечивает создание и администрирование виртуальной инфраструктуры на одном физическом сервере или на группе физических серверов.
ECP VeiL обеспечивает создание и управление следующими типами объектов вычислительной инфраструктуры:
- физический сервер или вычислительный узел (физический сервер, входящий в состав логической группы);
- виртуальная машина;
- виртуальная сеть;
- пул хранения данных;
- виртуальный диск;
- образ оптического диска.
ECP VeiL обеспечивает следующие возможности работы с ВМ:
- запуск 32 и 64-битных гостевых OC на ВМ;
- инсталляции ОС внутри ВМ с образа оптического диска в формате ISO 9660 и UDF.
ECP VeiL обеспечивает следующие виды организации хранилищ данных:
- необщие хранилища;
- общие хранилища.
ECP VeiL обеспечивает использование локальных групп логических томов (LVM - Logical Volume Manager) на вычислительных узлах в качестве локальных (необщих) хранилищ данных.
ECP VeiL обеспечивает поддержку следующих типов переноса ВМ между физическими серверами:
- перенос без приостановки работы ВМ (live migration - живая миграция);
- перенос с приостановкой работы ВМ.
ECP VeiL при помощи средств интерфейса управления обеспечивает выполнение следующих операций:
- создание ВМ с инсталляцией с образа оптического диска;
- уничтожение ВМ (с сохранением ее виртуального жестокого диска и без него);
- редактирование параметров ВМ;
- запуск ВМ;
- остановка ВМ;
- перезагрузка ВМ;
- миграция ВМ на другой сервер;
- создание копии состояния ВМ (снэпшот ВМ);
- восстановление состояния текущей ВМ из копии.
ECP VeiL при создании ВМ обеспечивает возможность задания следующих параметров:
- имя ВМ;
- описание ВМ;
- количество виртуальных процессоров;
- количество оперативной памяти;
- количество дискового пространства;
- количество сетевых интерфейсов и их сопоставление с виртуальными сетями;
- вычислительный узел для запуска ВМ (из состава кластера);
- выбор существующего или создание нового виртуального диска;
- пул для хранения виртуального диска.
ECP VeiL при помощи средств интерфейса управления обеспечивает выполнение следующих операций над виртуальными дисками:
- создание;
- уничтожение;
- подключение диска к ВМ;
- отключение диска от ВМ.
ECP VeiL при создании виртуального диска обеспечивает возможность задать следующие параметры:
- имя виртуального диска;
- пул хранения для размещения виртуального диска;
- количество дисковой памяти.
ECP VeiL обеспечивает возможность работы ВМ в режиме высокой доступности. Работа ВМ в режиме высокой доступности осуществляется путём автоматического перезапуска на резервном вычислительном узле виртуальных машин, которые были запущены на отказавшем вычислительном узле.
Примечания
1. Работа ВМ в режиме высокой доступности возможна только при хранении виртуальных дисков данной ВМ на общем хранилище.
2. Высокая доступность обеспечивается только при объединении физических серверов в кластерную систему.
ECP VeiL обеспечивает время запуска процедуры восстановления работы ВМ, запущенной в режиме высокой доступности, не более 5 мин.
ECP VeiL обеспечивает возможность шифрования канала управления средствами протокола HTTPS.
ECP VeiL обеспечивает вывод в интерфейс управления информации о текущем состоянии каждого физического сервера в кластере. Информации о каждом физическом сервере содержит:
- имя физического сервера;
- описание физического сервера;
- текущее состояние (доступен, недоступен);
- время с момента последнего включения;
- количество ВМ;
- график загрузки процессора (в процентах);
- график загрузки оперативной памяти (в процентах).
ECP VeiL обеспечивает вывод в интерфейс управления следующей информации о каждой ВМ:
- имя ВМ;
- описание ВМ;
- текущее состояние (включена, выключена, приостановлена);
- время с момента последнего включения;
- дата создания ВМ.
ECP VeiL обеспечивает доступ к локальным консолям ВМ через Web-интерфейс управления средствами протокола SPICE.
ECP VeiL обеспечивает занесение в журнал записей о следующих событиях:
- авторизация пользователя в интерфейсе управления;
- ошибка аутентификации пользователя;
- изменение состояния физического сервера (доступен, недоступен);
- добавление нового физического сервера;
- удаление физического сервера;
- время создания ВМ;
- запуск ВМ;
- остановка ВМ;
- уничтожение ВМ;
- миграция ВМ;
- создание копии состояния ВМ (снэпшот ВМ);
- создание резервной копии.
ECP VeiL обеспечивает использование внешних систем хранения данных, подключаемых по протоколу NFS, в качестве общих хранилищ.
ECP VeiL обеспечивает синхронизацию размера окна Web-браузера с окном локальной консоли гостевой ОС при доступе к ВМ через Web-интерфейс управления средствами протокола SPICE.
ECP VeiL обеспечивает возможность подключения к локальным консолям ВМ через «тонкого клиента» средствами протокола SPICE.
ECP VeiL обеспечивает возможность подключения «тонких клиентов» к локальным консолям ВМ только с разрешенных IP-адресов.
ECP VeiL обеспечивает возможность создания копии виртуального диска или образа оптического диска в том же или в другом пуле хранения данных.

Примечание

Операция переноса осуществляется только для виртуальных дисков и образов оптических дисков, не подключенных к ВМ.
В ECP VeiL реализован распределенный коммутатор для обеспечения централизованного управления по созданию и администрированию виртуальных сетей, а также по подключению к ним ВМ.
Распределенный коммутатор в ECP VeiL обеспечивает:
- механизм реализации единого виртуального сетевого пространства на серверах кластера в рамках создания виртуальных сетей;
- создание и настройку сетевых политик виртуальных локальных сетей (VLAN);
- создание агрегированных физических интерфейсов.
ECP VeiL обеспечивает выбор загрузки ВМ в режиме Legacy-MBR или UEFI.
ECP VeiL обеспечивает возможность с помощью опции задавать тип виртуального графического адаптера. В ECP VeiL реализована поддержка следующих типов виртуальных графических адаптеров:
- cirrus;
- vga;
- qxl;
- virtio.
ECP VeiL обеспечивает при создании ВМ выбор готовых настроек виртуального аппаратного обеспечения для ОС семейств Windows и Linux.
ECP VeiL обеспечивает управление виртуальной инфраструктурой с централизованного графического Web-ориентированного интерфейса.
ECP VeiL обеспечивает добавление физических серверов в виртуальную инфраструктуру из интерфейса управления в качестве вычислительных ресурсов и ресурсов хранения данных для размещения на них ВМ.

Примечание

Перед добавлением физического сервера на нем предварительно должно быть установлено программное обеспечение ECP VeiL.
ECP VeiL обеспечивает создание ВМ на физических серверах виртуальной инфраструктуры из интерфейса управления.
ECP VeiL обеспечивает удаление физических серверов из виртуальной инфраструктуры через интерфейс управления.
ECP VeiL обеспечивает создание в интерфейсе управления логических групп физических серверов и внешних систем хранения данных, находящихся на географически удаленных друг от друга площадках (далее локации).
ECP VeiL обеспечивает возможность добавления физических серверов и внешних систем хранения данных в локации и удаления из них.
ECP VeiL обеспечивает создание в интерфейсе управления логических групп из физических серверов и внешних систем хранения данных, реализующих отдельные функции (кластеры).
ECP VeiL обеспечивает возможность использования следующих функций в рамках кластеров:
- миграция ВМ;
- высокая доступность ВМ;
- общий виртуальный распределенный коммутатор;
- учет административных правил размещения ВМ.
ECP VeiL обеспечивает возможность задания идентификаторов (далее тегов) физических серверов и ВМ.
ECP VeiL обеспечивает создание кластеров с количеством физических серверов, начиная с двух.
ECP VeiL обеспечивает возможность ограничения размещения ВМ на физическом сервере, если у них соответствуют или не соответствуют теги при включённой функции учета административных правил размещения ВМ в рамках кластера.
Интерфейс управления ECP VeiL реализован на русском языке.
ECP VeiL обеспечивает подключение внешних блочных разделов энергонезависимых запоминающих устройств (далее LUN) в качестве виртуальных дисков ВМ по протоколу iSCSI.
ECP VeiL обеспечивает использование внешних систем хранения данных, подключаемых по протоколу iSCSI, в качестве общих хранилищ для создания пулов хранения данных.
ECP VeiL обеспечивает возможность подключения централизованной системы хранения данных (ЦСХД) с использованием встроенного API Raidix по протоколу iSCSI.
ECP VeiL обеспечивает возможность автоматического определения реплицируемых и реплицированных LUN из списка обнаруженных на ЦСХД с использованием встроенного API Raidix.
ECP VeiL обеспечивает возможность создания катастрофоустойчивой ВМ на базе реплицируемого и реплицированного LUN ЦСХД, подключённых к разным локациям.
ECP VeiL обеспечивает возможность миграции катастрофоустойчивой ВМ между локациями.
ECP VeiL обеспечивает возможность восстановления катастрофоустойчивой ВМ между локациями.
ECP VeiL обеспечивает возможность переключения реплицируемого LUN в режим реплицированного LUN и наоборот с использованием встроенного API Raidix.
ECP VeiL обеспечивает возможность пользователю восстановить программный модуль управления (далее контроллер) на резервном физическом сервере из состава виртуальной инфраструктуры, в случае отказа основного физического сервера, на котором размещен контроллер.
В ECP VeiL реализована возможность выбора резервного физического сервера из состава виртуальной инфраструктуры, на котором пользователь может восстановить контроллер.
ECP VeiL обеспечивает возможность перемещения контроллера на другой физический сервер из состава виртуальной инфраструктуры без остановки работы ВМ.
ECP VeiL обеспечивает сетевую доступность контроллера после его перемещения на другой физический сервер.
ECP VeiL обеспечивает возможность мониторинга по протоколу SNMP компонентов виртуальной инфраструктуры из ее состава.
ECP VeiL обеспечивает организацию оверлейной L2-сети между физическими серверами, расположенными в разных локациях.
ECP VeiL обеспечивает организацию оверлейной L2-сети между ВМ, запущенными на физических серверах, расположенными в разных локациях.
ECP VeiL обеспечивает проверку на совместимость и соответствие физических серверов и ВМ перед их переносом.
ECP VeiL обеспечивает поддержку ролевой модели безопасности для управления доступом компонентов виртуальной инфраструктуры в интерфейсе управления.
ECP VeiL обеспечивает возможность фильтрации пакетного сетевого трафика, поступающего из сети, внешней по отношению к виртуальной.

Примечание

Внешней сетью считают сеть, не принадлежащую единым сетевым пространствам, определенным виртуальными распределенными коммутаторами.
В ECP VeiL критерии фильтрации основываются на соответствии или несоответствии пакетов поступающего сетевого трафика следующим параметрам:
- IP-адрес источника;
- IP-адрес назначения;
- порт источника;
- порт назначения;
- имя сетевого интерфейса источника;
- имя сетевого интерфейса назначения;
- протокол.
ECP VeiL обеспечивает процедуры корректного и принудительного перезапуска физического сервера, а также процедуры корректного и принудительного выключения физического сервера в виртуальной инфраструктуре из интерфейса управления.
ECP VeiL обеспечивает процедуры корректного и принудительного перезапуска физического сервера, а также процедуры корректного и принудительного выключения физического сервера через интерфейс IPMI.
ECP VeiL при корректном выключении или перезапуске физического сервера из интерфейса управления обеспечивает корректное завершение работы всех ВМ, запущенных на выключаемом или перезапускаемом сервере.
ECP VeiL обеспечивает принудительное выключение ВМ, в случае если ВМ не завершает свою работу в период времени, определенный тайм-аутом, при выполнении корректных процедур выключения или перезапуска физического сервера из интерфейса управления виртуальной инфраструктурой.
ECP VeiL поддерживает и обеспечивает:
- выдачу ВМ IP-адресов, маски сети, IP-адреса шлюза "по умолчанию" и IP-адресов DNS-серверов средствами протокола DHCP или иными средствами;
- настройку диапазона IP-адресов, маски сети, IP-адреса шлюза "по умолчанию" и IP-адресов DNS-серверов, выдаваемых ВМ из графического интерфейса.
ECP VeiL поддерживает и обеспечивает возможность и настройку преобразования частных IP-адресов ВМ в публичные (технология NAPT).
ECP VeiL обеспечивает возможность:
- задания и изменения IP-адресов DNS-серверов для физических серверов виртуальной инфраструктуры;
- смены IP-адреса интерфейса управления на физических серверах из состава виртуальной инфраструктуры без остановки её работы и переконфигурации.
ECP VeiL обеспечивает интеграцию со службой каталогов для хранения учетных записей и данных пользователей (LDAP или AD).
ECP VeiL обеспечивает настройку статических маршрутов из интерфейса управления виртуальной инфраструктурой.
ECP VeiL обеспечивает добавление виртуальной звуковой карты в ВМ.
ECP VeiL обеспечивает монополизацию устройств, подключенных к разъемам PCI и PCI-E, виртуальными машинами.
ECP VeiL обеспечивает:
- возможность загрузки виртуальных дисков в выбранный пул данных в форматах vmdk и Qcow2 через графический Web-интерфейс;
- конвертацию виртуальных дисков формата vmdk в формат Qcow2 при загрузке через графический Web-интерфейс;
- возможность загрузки образов оптических дисков в выбранный пул данных в форматах ISO и UDF через графический Web-интерфейс.
ECP VeiL имеет возможность установки с USB-накопителя.
ECP VeiL позволяет использовать до 480 физических процессоров, ядер или потоков в качестве виртуальных процессоров ВМ на одном физическом сервере.
ECP VeiL позволяет использовать виртуальными машинами до 12 Tбайт физической оперативной памяти на одном физическом сервере.
ECP VeiL позволяет запускать до 1000 ВМ на одном физическом сервере.
ECP VeiL обеспечивает создание копий ВМ без прерывания работы оригинальной ВМ.

Примечание

Это выполняется только в том случае, если виртуальные диски хранятся в виде файлов qcow2 и поддерживают создание снэпшотов.
ECP VeiL обеспечивает:
- создание шаблонов ВМ;
- создание новых ВМ на базе снэпшотов дисков шаблона ВМ (тонкие клоны);
- создание новых ВМ на базе шаблонов.
ECP VeiL обеспечивает возможность ограничения пропускной способности сетевого канала для различных типов трафика на прием и на передачу.
ECP VeiL обеспечивает возможность зеркалирования сетевых портов.
ECP VeiL обеспечивает автоматический перезапуск ВМ на резервном физическом сервере при отключении питания на основном.
ECP VeiL обеспечивает принудительное выключение физических серверов в режиме высокой доступности при отсутствии интерфейса IPMI.
ECP VeiL обеспечивает мониторинг доступности физических серверов через сеть управления, через интерфейс IPMI или через общее хранилище, подключенное по протоколу NFS.
ECP VeiL обеспечивает создание учетных пользователей со следующими ролями:
- администратор;
- администратор безопасности;
- оператор ВМ;
- только чтение.
ECP VeiL обеспечивает возможность:
- очистки журнала событий из Web-интерфейса;
- выгрузки архивного файла журналов из Web-интерфейса.
ECP VeiL обеспечивает вывод детальной информации о подключенных локальных устройствах хранения данных.
ECP VeiL обеспечивает вывод информации с IPMI-датчиков сервера при их наличии.
ECP VeiL обеспечивает возможность мониторинга по протоколу SNMP компонентов:
- ресурсы системы и их использование;
- системное окружение;
- информация о ВМ;
- высокая доступность и катастрофоустойчивость ВМ.
Для мониторинга используется файл с базой управляющей информации (MIB).
ECP VeiL позволяет:
- создавать и запускать ВМ с количеством виртуальных процессоров до 255;
- создавать и запускать ВМ с объёмом оперативной памяти до 4 Тбайт;
- подключать к ВМ виртуальные диски размером до 64 Тбайт.
ECP VeiL обеспечивает создание пулов данных с файловой системой ZFS на подключенных блочных хранилищах.
ECP VeiL обеспечивает возможность использования одного физического сетевого интерфейса несколькими ВМ с применением технологии SR-IOV.
ECP VeiL обеспечивает мониторинг баланса использования ресурсов в кластере и вывод предупреждений в журнал. Мониторинг выполняется на основе следующих метрик:
- загрузка центрального процессора;
- загрузка оперативной памяти;
- среднее отклонение загрузки центрального процессора и оперативной памяти.
ECP VeiL обеспечивает возможность автоматизированного выравнивания использования ресурсов в кластере путем перемещения ВМ между физическими серверами (автоматический режим DRS).
ECP VeiL обеспечивает возможность сбора и вывода информации о подключенных активных сетевых устройствах с применением протокола LLDP.
ECP VeiL обеспечивает возможность зеркалирования трафика, приходящего с сетевых интерфейсов ВМ на сетевые интерфейсы других ВМ и на сетевые интерфейсы физических серверов.
ECP VeiL обеспечивает возможность добавления в ВМ виртуальных графических ускорителей на базе видеокарт NVidia Tesla.
ECP VeiL обеспечивает возможность создания следующих задач по расписанию для ВМ:
- включение;
- выключение;
- принудительное выключение;
- пауза;
- перезагрузка;
- принудительная перезагрузка;
- резервное копирование;
- создание снимка;
- удаление;
- копирование;
- перенос.
ECP VeiL обеспечивает возможность создания следующих задач по расписанию для физических серверов:
- обновление;
- резервное копирование конфигурации.
ECP VeiL обеспечивает возможность добавления резервных физических интерфейсов в распределенный виртуальный коммутатор.
ECP VeiL обеспечивает возможность выбора внутренних интерфейсов распределенного коммутатора при создании виртуальной сети.
ECP VeiL обеспечивает возможность фильтрации в журнале событий по следующим полям:
- пользователю;
- отдельной сущности.
ECP VeiL обеспечивает возможность создания задач для выполнения один раз или со следующей периодичностью:
- раз в час;
- раз в день;
- раз в неделю;
- раз в месяц.
ECP VeiL совместима со следующими видами оборудования:
- серверными платформами общего назначения;
- серверными платформами высокой плотности и блейд-системами;
- сетевыми коммутаторами;
- системами хранения данных;
- гостевыми ОС.

Полный перечень совместимого оборудования находится в разделе Совместимое оборудование.

Требования ↵

Требования к техническим средствам

ECP VeiL функционирует на базе средств вычислительной техники с характеристиками:
- процессор — не менее 2 ядер, частота – не менее 2 ГГц;
- оперативная память — не менее 8 Гбайт;
- постоянное запоминающее устройство — не менее 32 Гбайт (рекомендуется 120 Гбайт);
- интерфейсы сетевые — не менее одного интерфейса 1 Гбит Ethernet.
Примечание

Расчет необходимого места под хранение журналов и статистики на контроллере можно выполнить в соответствии с Состав каталога журналов.
ECP VeiL предназначена для использования на серверных платформах с архитектурой x86-64.
Аппаратные требования к физическому серверу:
- материнская (процессорная) плата и процессор должны поддерживать технологию аппаратной виртуализации: VT-d и VT-х для Intel, AMD-v для AMD или другую аналогичную технологию;
- каждый процессор должен иметь не менее 4 вычислительных потоков;
- объем установленной оперативной памяти должен быть не менее 8 Гбайт;
- каждый сервер должен иметь возможность установки не менее одного накопителя на жёстком магнитном диске (НЖМД) с интерфейсом SATA/SAS;
- объем каждого установленного НЖМД должен быть не менее 120 Гбайт;
- при установке более одного НЖМД все установленные НЖМД должны быть однотипными;
- каждый сервер должен иметь выделенный аппаратный интерфейс управления IPMI;
- каждый имеющийся в системе сетевой интерфейс (кроме IPMI) должен поддерживать технологии не менее 1Гбит Ethernet и Jumbo Frame;
- каждый сервер должен иметь не менее одного полноценного интерфейса PCIe x4/х8/х16 для установки дополнительного сетевого адаптера.
Для установки ECP VeiL на физический сервер необходимо, чтобы данный сервер обладал портом или устройством в соответствии с выбранным методом установки:
- для установки с CD/DVD-диска должен быть внутренний или внешний CD/DVD-привод, а также возможность выбора в BIOS сервера загрузки с диска;
- для установки с USB-накопителя должен быть USB-порт, а также возможность выбора в BIOS сервера загрузки с USB;
- для установки по сети должен быть сетевой интерфейс с поддержкой загрузки по протоколу PXE, а также возможность выбора в BIOS сервера загрузки по сети;
- для установки через IPMI-интерфейс в IPMI-интерфейсе должна быть поддержка подключения ISO-образа для загрузки.
Программные (функциональные) требования к физическому серверу:
- для работы в штатном режиме используется кластер серверов, состоящий не менее чем из 3 физических серверов для среды выполнения ВМ;
- допускается эксплуатация ECP VeiL в составе 1 или 2 физических серверов с/без сети хранения данных с применением ограниченного функционала управления.
Примечание

Ограниченный функционал управления заключается в переводе в ручной режим управляющих механизмов миграции ВМ, отказоустойчивости и распределения ВМ по серверам.
Для корректной и полноценной работы ECP VeiL необходимо:
- не менее одного выделенного интерфейса IPMI;
- не менее одного интерфейса 1 Гбит Ethernet;
- не менее одного интерфейса 10 Гбит Ethernet.
Примечание

Допускается использование двух интерфейсов 1 Гбит Ethernet с ограничением скорости работы операций миграции и дисковых операций ВМ, диски которых находятся на внешних (общих) хранилищах.
Для дисковых подсистем серверов общего назначения, применяемых для хранения данных ВМ, применяются те же требования, что и для сервисов, исполняемых внутри самих ВМ.
Для выбора памяти на серверах кластера ECP VeiL необходимо учитывать, что для одной ВМ может быть выделено виртуальной памяти не более, чем установленной физической памяти.

Важное примечание о совместимости с технологиями VT-d/AMD-Vi (SR-IOV, PCI passthru, vGPU)

В случае необходимости использования технологий VT-d/AMD-Vi (Intel IOMMU, AMD IOMMU) для проброса PCI-устройств либо виртуальных функций (SR-IOV, vGPU, GVT-g) следует убедиться, что в системе отсутствуют следующие устройства:

PCI-e NVMe/SATA контроллеры на чипах Marvell 88SE9120, 88SE9123, 88SE9125, 88SE9128, 88SE9130, 88SE9143, 88SE9172, 88SE9215, 88SE9220, 88SE9230, 88SE9485
PCI-X контроллеры на чипе 88SX6081.

Сетевые адаптеры:

HPE Ethernet 10Gb 2-port 530SFP+ Adapter
HPE Ethernet 10Gb 2-port 530T Adapter
HPE FlexFabric 10Gb 2-port 533FLR-T Adapter
HPE FlexFabric 10Gb 2-port 534FLR-SFP+
HPE FlexFabric 10Gb 2-port 536FLB Adapter
HPE FlexFabric 10Gb 4-port 536FLR-T Adapter
HPE FlexFabric 20Gb 2-port 630FLB Adapter
HPE FlexFabric 20Gb 2-port 630M Adapter
HP StoreFabric CN1100R Dual Port Converged Network Adapter
HPE StoreFabric CN1100R-T Dual Port Converged Network
HPE Synergy 3820C 10/20Gb Converged Network Adapter
HPE Synergy 10Gb 2-port 2820C Converged Network Adapter

В случае крайней необходимости использования данного оборудования следует убедиться, что в BIOS машины отключена технология VT-d/AMD-Vi (SR-IOV в DELL BIOS). В противном случае не гарантируется стабильность работы системы, доступность данных и сетевая связность.

Совместимое оборудование ↵

Совместимые серверные платформы общего назначения

Ниже приведен список серверных платформ общего назначения, на которых успешно прошло тестирование ECP VeiL на полную совместимость.

№ п/п	Производитель	Модель	Конфигурация	Примечание
1	Dell	PowerEdge R730 / 730xd	2x CPU Intel Xeon E5-26** v4
2	Dell	PowerEdge R740 /740xd	2x CPU Intel Xeon Scalable
3	Dell	PowerEdge R750	2 x CPU Intel(R) Xeon(R) Gold 6354	nVidia GRID A40
4	Dell	PowerEdge C4140	2x CPU Intel Xeon Scalable	nVidia GRID P40
5	Lenovo	x3650 M5	2x CPU Intel Xeon E5-26** v4
6	Supermicro	SuperServer SYS-1028gq-trt series	2x CPU Intel Xeon E5-26** v4	nVidia GRID M10 /P100
7	Supermicro	SuperServer SYS-1029gq-trt series	2x CPU Intel Xeon Scalable	nVidia GRID M10 /P100
8	Supermicro	SuperServer SYS-2028gq-trt series	2x CPU Intel Xeon E5-26** v4	nVidia GRID M10 /P100
9	Supermicro	SuperServer SYS-6027R-TRT series	2x CPU Intel Xeon E5-26** v2
10	Supermicro	SuperServer SYS-6028R-TRT series	2x CPU Intel Xeon E5-26** v2
11	Supermicro	SuperServer SYS-6029R-TRT series	2x CPU Intel Xeon Scalable
12	Supermicro	SuperServer SYS-6038R-TXR	2x CPU Intel Xeon E5-26** v3
13	Depo	Storm 4350	4x CPU Intel Xeon E5-46** v2
14	Yadro	Vegman S220	2x CPU Intel Xeon Scalable	nVidia GRID T4
15	T-Platform	E210	2x CPU Intel Xeon E5-26** v4
16	Etegro	Hyperion RS160 G4p	2x CPU AMD Opteron 63**	Требует отключения APIC
17	Huawei	RH1288 V2-85	2x Intel Xeon E5-2670 v2	Nvidia Tesla T4
18	Aquarius	Catfish AQC624CF-1.7RC1	Intel Xeon Gold 6246R 3.4Ghz	Nvidia Tesla A100
18	Graviton	Tundra	Intel(R) Xeon(R) Gold 6226R CPU @ 2.90GHz	Nvidia Tesla V100

Совместимые серверные платформы высокой плотности и блейд-системы

Ниже приведен список серверных платформ высокой плотности и блейд-систем, на которых успешно прошло тестирование ECP VeiL на полную совместимость.

№ п/п	Производитель	Модель	Модели лезвий	Конфигурация	Примечание
1	Supermicro	SuperServer TwinPro2 SYS 6028TP-HTTR	4 независимых лезвия стандартной конфигурации	2x CPU Intel Xeon E5-26** v4
2	Supermicro	SuperServer TwinPro2 SYS-6029TP-HTTR	4 независимых лезвия стандартной конфигурации	2x CPU Intel Xeon Scalable
3	Supermicro	SuperBlade SBE-720E series, 7U, up to 12 nodes	SBI-7128R-C6(N)	2x CPU Intel Xeon E5-26** v4
4	Supermicro	MicroBlade MBE-314E series, Up to 12 nodes	MBI-6128R-T2X	2x CPU Intel Xeon E5-26** v4
5	Supermicro	Blade V5050L, Up to 10 nodes	V210S V210F V210FS	2x CPU Intel Xeon E5-26** v3	V210F - nVidia GRID M10 / P100
6	HP	Proliant BL460c	Gen9	2xXeon E5-2670v3	HP FlexFabric 20Gb 2-port 650FLB Adapter
7	HP	Proliant BL460c	Gen8	2xXeon E5-2670	HP FlexFabric 10Gb 2-port 554FLB Adapter
8	HP	ProLiant BL460c	Gen7	2xXeon E5620	QLogic QMH2562 8Gb FC HBA

Совместимые сетевые коммутаторы

Ниже приведен список сетевых коммутаторов, на которых успешно прошло тестирование ECP VeiL на полную совместимость.

№ п/п	Производитель	Модель	Конфигурация	Примечание
1	Cisco	SG550XG-8F8T	-	-
2	Netgear	XS716T-100NES	-	-
3	D-Link	DXS-1100-10TS	-	-
4	D-Link	DXS-1200-12SC	-	-
5	D-Link	DGS-1100-18	-	-
6	Булат	BS2500-48G4S	-	-
7	Huawei	S6270	-	-
8	Русьтелетех	RTT-A311-24T-4XG	-	-
9	Supermicro	SBM-GEM-X3S+	-	Для установки в шасси SBE-720
10	Supermicro	SBM-XEM-X10SM	-	Для установки в шасси SBE-720
11	Supermicro	MBM-XEM-002	-	Для установки в шасси MBE-314
12	Cisco	Nexus 4500 S Series	-	-

Совместимые системы хранения данных

Ниже приведен список систем хранения данных, на которых успешно прошло тестирование ECP VeiL на полную совместимость.

№ п/п	Производитель	Модель	Конфигурация
1	Raidix	4.6 +	Одноконтроллерная лицензия на 12 дисков на базе сервера общего назначения
2	HPE	MSA-2052	2х контроллерная active-active, SAS SSD, FC+iSCSI hybrid ports
3	Infortrend	Eonstor DS-3012U	2х контроллерная active-active, SATA SSD, FC & iSCSI ports
4	HPE	StorageWorks 4/8 SAN switch	16 active 8G ports, fabric.
5	Huawei	SNS-2624	16 active 16G ports
6	Huawei	SNS-2124	24 active 8G ports
7	Huawei	S5600T

Прочее совместимое аппаратное оборудование

Ниже приведен список прочего аппаратного оборудования, на которых успешно прошло тестирование ECP VeiL на полную совместимость.

№ п/п	Производитель	Модель	Конфигурация	Примечание
1	QLogic	HBA QLA24**
2	QLogic	HBA QLE25**
3	LSI	MegaRaid 9*** series	Требует отключения IOMMU
4	LSI	ServeRaid 5010		Требует отключения IOMMU
5	Marvell	88SE9***		Требует отключения IOMMU
6	Marvell	88SX6081		Требует отключения VT-d/AMD-Vi (SR-IOV в DELL BIOS)

Совместимые гостевые ОС

Ниже приведен список гостевых ОС, которые успешно прошли тестирование в ECP VeiL на полную совместимость.

№ п/п	Производитель	Модель
1	Microsoft	Windows 2012 и позднее
2	Microsoft	Windows 7 и позднее
3	Debian	7 и позднее
4	Red Hat	RHEL 7 и позднее
5	Red Hat	CentOS 7 и позднее
6	РусБитТех	Astra Linux 1.3 и позднее
7	Ubuntu	16.04 и позднее
8	Slitaz	5.0
9	Suse	SLES 12 и позднее
10	Базальт СПО	Simply Linux 9 и позднее
11	Базальт СПО	Альт Рабочая станция 9 и позднее
12	Базальт СПО	Альт Сервер 9 и позднее

Ниже приведен список совместимых гостевых ОС.

Windows

ID	Имя
dos	Microsoft MS-DOS
windows31	Microsoft Windows 3.1
windows95	Microsoft Windows 95
windows98	Microsoft Windows 98
windowsNT	Microsoft Windows NT
windows2000	Microsoft Windows 2000
windowsXP32	Microsoft Windows XP Professional (32-bit)
windowsXP64	Microsoft Windows XP Professional (64-bit)
windowsVistax32	Microsoft Windows Vista (32-bit)
windowsVistax64	Microsoft Windows Vista (64-bit)
windows7x32	Microsoft Windows 7 (32-bit)
windows7x64	Microsoft Windows 7 (64-bit)
windows8x32	Microsoft Windows 8.x (32-bit)
windows8x64	Microsoft Windows 8.x (64-bit)
windows10x32	Microsoft Windows 10 (32-bit)
windows10x64	Microsoft Windows 10 (64-bit)
windows11x64	Microsoft Windows 11 (64-bit)
windowsS2003x32	Microsoft Windows Server 2003 (32-bit)
windowsS2003x64	Microsoft Windows Server 2003 (64-bit)
windowsS2008x32	Microsoft Windows Server 2008 (32-bit)
windowsS2008x64	Microsoft Windows Server 2008 (64-bit)
windowsS2008R2x64	Microsoft Windows Server 2008 R2 (64-bit)
windowsS2012x64	Microsoft Windows Server 2012 (64-bit)
windowsS2016x64	Microsoft Windows Server 2016 (64-bit)
windowsS2019x64	Microsoft Windows Server 2019 (64-bit)
windowsS2022x64	Microsoft Windows Server 2022 (64-bit)

Linux

ID	Имя
chromeos	Chrome OS Linux (64-bit)
coreos	Core OS Linux (64-bit)
ubuntu32	Ubuntu Linux (32-bit)
ubuntu64	Ubuntu Linux (64-bit)
oracle4x32	Oracle Linux 4 (32-bit)
oracle4x64	Oracle Linux 4 (64-bit)
oracle5x32	Oracle Linux 5 (32-bit)
oracle5x64	Oracle Linux 5 (64-bit)
oracle6x32	Oracle Linux 6 (32-bit)
oracle6x64	Oracle Linux 6 (64-bit)
oracle7x64	Oracle Linux 7 (64-bit)
oracle8x64	Oracle Linux 8 (64-bit)
fedora32	Red Hat Fedora (32-bit)
fedora64	Red Hat Fedora (64-bit)
debian4x32	Debian GNU/Linux 4 (32-bit)
debian4x64	Debian GNU/Linux 4 (64-bit)
debian5x32	Debian GNU/Linux 5 (32-bit)
debian5x64	Debian GNU/Linux 5 (64-bit)
debian6x32	Debian GNU/Linux 6 (32-bit)
debian6x64	Debian GNU/Linux 6 (64-bit)
debian7x32	Debian GNU/Linux 7 (32-bit)
debian7x64	Debian GNU/Linux 7 (64-bit)
debian8x32	Debian GNU/Linux 8 (32-bit)
debian8x64	Debian GNU/Linux 8 (64-bit)
debian9x32	Debian GNU/Linux 9 (32-bit)
debian9x64	Debian GNU/Linux 9 (64-bit)
debian10x32	Debian GNU/Linux 10 (32-bit)
debian10x64	Debian GNU/Linux 10 (64-bit)
debian11x32	Debian GNU/Linux 11 (32-bit)
debian11x64	Debian GNU/Linux 11 (64-bit)
veilx64	ECP VeiL (64-bit)
alt9x64	Alt Linux 9 (64-bit)
alt10x64	Alt Linux 10 (64-bit)
alteros	AlterOS (64-bit)
astrasmolenskx64	Astra Smolensk (64-bit)
astraorelx64	Astra Orel (64-bit)
el6x64	Elbrus OS 6 (64-bit)
redos7x64	РЕД ОС (64-bit)
rosax64	ROSA (64-bit)
centos4x32	CentOS 4 (32-bit)
centos4x64	CentOS 4 (64-bit)
centos5x32	CentOS 5 (32-bit)
centos5x64	CentOS 5 (64-bit)
centos6x32	CentOS 6 (32-bit)
centos6x64	CentOS 6 (64-bit)
centos7x64	CentOS 7 (64-bit)
centos8x64	CentOS 8 (64-bit)
centosstream	CentOS Stream (64-bit)
suse8x32	SUSE Enterprise 8 (32-bit)
suse8x64	SUSE Enterprise 8 (64-bit)
suse9x32	SUSE Enterprise 9 (32-bit)
suse9x64	SUSE Enterprise 9 (64-bit)
suse10x32	SUSE Enterprise 10 (32-bit)
suse10x64	SUSE Enterprise 10 (64-bit)
suse11x32	SUSE Enterprise 11 (32-bit)
suse11x64	SUSE Enterprise 11 (64-bit)
suse12x64	SUSE Enterprise 12 (64-bit)
suse15x64	SUSE Enterprise 15 (64-bit)
redhat21	Red Hat Enterprise Linux 2.1
redhat3x32	Red Hat Enterprise 3 (32-bit)
redhat3x64	Red Hat Enterprise 3 (64-bit)
redhat4x32	Red Hat Enterprise 4 (32-bit)
redhat5x64	Red Hat Enterprise 5 (64-bit)
redhat6x32	Red Hat Enterprise 6 (32-bit)
redhat6x64	Red Hat Enterprise 6 (64-bit)
redhat7x64	Red Hat Enterprise 7 (64-bit)
redhat8x64	Red Hat Enterprise 8 (64-bit)
redhat9x64	Red Hat Enterprise 9 (64-bit)
photon	WMware Photon OS (64-bit)

Other

ID	Имя
ibm	IBM OS/2
macos106x32	Apple Mac OS X 10.6 (32-bit)
macos106x64	Apple Mac OS X 10.6 (64-bit)
macos107x32	Apple Mac OS X 10.7 (32-bit)
macos107x64	Apple Mac OS X 10.7 (64-bit)
macos108x64	Apple Mac OS X 10.8 (64-bit)
macos109x64	Apple Mac OS X 10.9 (64-bit)
macos1010x64	Apple Mac OS X 10.10 (64-bit)
macos1011x64	Apple Mac OS X 10.11 (64-bit)
macos1012x64	Apple Mac OS X 10.12 (64-bit)
macos1013x64	Apple Mac OS X 10.13 (64-bit)
macos1014x64	Apple Mac OS X 10.14 (64-bit)
macos1015x64	Apple Mac OS X 10.15 (64-bit)
macos11x64	Apple Mac OS X 11 (64-bit)
macos12x64	Apple Mac OS X 12 (64-bit)
freebsd11x64	FreeBSD 11 (64-bit)
freebsd12x64	FreeBSD 12 (64-bit)
freebsd13x64	FreeBSD 13 (64-bit)
novell51	Novell NetWare5.1
novell6x	Novell NetWare6.x
solaris8	Sun Microsystems Solaris 8
solaris9	Sun Microsystems Solaris 9
solaris10x32	Oracle Solaris 10(32-bit)
solaris10x64	Oracle Solaris 10(64-bit)
solaris11x64	Oracle Solaris 11(64-bit)
vmware4x	VMware ESXi 4.x
vmware5x	VMware ESXi 5.x
vmware6x	VMware ESXi 6.x
vmware7x	VMware ESXi 7.x
ecom1	Serenity Systems eComStation 1
ecom2	Serenity Systems eComStation 2
unixware7	SCO UnixWare 7
openserver5	SCO OpenServer 5
openserver6	SCO OpenServer 6

Ended: Совместимое оборудование

Требования к программному обеспечению

В состав ТОС входят все компоненты, которые необходимы для корректного функционирования ECP VeiL. При соблюдении требования установки/обновления программного обеспечения (ПО) только с репозиториев разработчика гарантируется корректное функционирование ECP VeiL. При необходимости использования дополнительного/стороннего ПО необходимо связаться со службой технической поддержки разработчика.

Требования к квалификации специалистов

Специалист, производящий установку ECP VeiL, должен обладать знаниями, соответствующими специализации Администратор Linux, Администратор сетей передачи данных в областях:

установка ОС Linux семейства Debian/Ubuntu;
настройка ОС Linux семейства Debian/Ubuntu;
настройка и эксплуатация систем на базе Linux KVM;
основы построения сетей передачи данных TCP/IP, VLAN, настройка поддержки Jumbo Frame, LACP, VLAN на коммутаторах.

Ended: Требования

Структура программы

Тип гипервизора

ECP VeiL является гипервизором 1 типа, то есть устанавливается на «голое железо» (bare-metal). Для установки модулей ECP VeiL не требуется отдельной установки базовой ОС общего назначения. Установка модулей производится с дистрибутива непосредственно на физический сервер без предварительной установки дополнительного ПО.

Объем дистрибутива

Объем установочного дистрибутива равен примерно 2 Гбайт.

Структура ПО

В программе реализован принцип модульного построения программного обеспечения, когда каждый отдельный модуль отвечает за решение узкоспециализированной задачи. Все программное обеспечение разделяется на несколько подсистем. Каждая подсистема в свою очередь разделяется на набор модулей, которые реализуют определенную специализированную задачу.

Взаимодействие между модулями организовано на базе прямой адресации объектов в пределах одной подсистемы или же с использованием буферизированных средств взаимодействия (файлы, сокеты и сигналы).
В состав ECP VeiL входят два программных компонента: модуль управления МК и ТОС. Структурная схема ECP VeiL приведена на рис.1.

Рис. 1
МК представляет собой программный комплекс, предназначенный для управления ECP VeiL.

В состав МК входят следующие используемые программные продукты:
- ПО, распространяемое в рамках лицензий GNU/GPL;
- ПО Apache License 2.0.
Web-интерфейс МК, RESTful API-интерфейс и логика управления являются продуктами собственной разработки с применением языков программирования Javascript, Python, bash, С, ruby.

Технологическая операционная система

ТОС — это технологическая операционная система на базе Linux. В ТОС входит комплект совместимых (проверенных) версий ПО, необходимый для корректного функционирования ECP VeiL. Обновление ПО в составе ТОС может проводиться только с использованием сертифицированных репозиториев вендора. Обновления из других источников не допускаются, иначе вендор не несет ответственности за ущерб, нанесенный данным клиента.

Примечание

При соблюдении требования установки (обновления) ПО только с репозиториев разработчика вендора корректное функционирование ECP VeiL. При необходимости использования дополнительного (стороннего) ПО необходимо связаться с технической поддержкой вендора.

Управление ВМ

Управление ВМ обеспечивается модулем-гипервизором qemu-kvm, входящим в состав ТОС. Гипервизор qemu-kvm устанавливается непосредственно на физический сервер вместе с ТОС с дистрибутива ECP VeiL и отдельной установки не требует.

Супервизор узла

Супервизор узла — это python сервис в ТОС под именем в CLI node-engine. Сервис занимается запуском, остановом и мониторингом состояния дочерних демонов.

Список дочерних демонов указан в таблице в порядке очередности запуска (может незначительно меняться в зависимости от версии).

Название	Описание
RpcServer	Сервис связи с контроллером
RpcExecuteDaemon	Сервис выполнения операций от контроллера
DomainStatus	Сервис обработки статистики по ВМ (цикл раз в 5 секунд)
EventCollector	Сервис сбора сообщений о жизненном цикле от виртуальных машин
DomainStatistics	Сервис отправки статусов виртуальных машин контроллеру (цикл раз в 5 секунд)
Ballooning	Сервис балунинга узла (цикл раз в 5 секунд)
StorageStatus	Сервис распознавания всех подключенных хранилищ и их вложенных сущностей (цикл раз в 30 секунд)
HeartBeat	Сервис обновления состояния связи узла с контроллером и кворумом (цикл раз в 15 секунд)
StorageHeartbeat	Сервис связности узла с контроллером и кворумом через файлы в сетевых пулах данных (цикл раз в 5 секунд)
NetworkStatus	Сервис распознавания всех сетевых сущностей на узле (цикл раз в 30 секунд)
ClusterStatus	Сервис определения и работы лидера кластера (цикл раз в 30 секунд)
HardwareStatus	Сервис проверки состояния железа (цикл раз в 180 секунд)
LibvirtCollector	Сервис сбора детальной статистики виртуальных машин (цикл раз в 5 секунд)
ControllerEventListener	Сервис получения дополнительных сообщений от контроллера
SnmpMibExtender	Сервис сбора статистики и расширения стандартного MIB для получения veil-специфичной информации (цикл раз в 30 секунд)
WsDataHandler	Сервис получения сигналов базы данных, фильтрования их и отправления их демону терминации WS-соединений

Супервизор контроллера

Супервизор контроллера — это python сервис в ТОС под именем в CLI controller-engine. Сервис занимается запуском, остановом и мониторингом состояния дочерних демонов.

Список дочерних демонов указан в таблице в порядке очередности запуска (может незначительно меняться в зависимости от версии).

Название	Описание
GRPCManager	Демон связи с узлами
StorageEventListener	Демон, прослушивающий очередь со статусами хранилищ от узлов
NetworkEventListener	Демон, прослушивающий очередь со статусами сети от узлов
DomainEventListener	Демон, прослушивающий очередь со статусами ВМ от узлов
Events	Демон, сохраняющий сообщения о выполненных командах в CLI, сообщениях от узла и от загрузчика файлов
HeartBeatDaemon	Демон, осуществляющий проверку доступности узлов и ставящий задачи на ограждение недоступных узлов (цикл раз в 5 секунд)
NodeControllerManager	Демон управления узлами и контроллером
TaskProcessor	Демон выставления статусов и выполнения success/failed методов функций
TaskPreProcessor	Демон сбора результатов выполнения задач с узлов
MultiTaskProcessor	Демон обработки запросов на выполнение следующей по счету задачи в рамках мультизадач
MultiTaskLevelProcessor	Демон, реализующий логику запуска задач текущего уровня мультизадачи
TaskChecker	Демон запуска задач по расписанию и проверки активных и завершенных задач на узлах (цикл раз в 15 секунд)
TaskProgressWatcher	Демон выставления прогресса задач после получения прогресса от узлов
DomainStatus	Демон обработки статистики ВМ с узлов
StorageStatus	Демон обработки статусов хранилищ с узлов
NetworkStatus	Демон обработки статусов сети с узлов
ClusterStatus	Демон проверки загрузки узлов и доступности ВМ (цикл раз в 90 секунд)
DRSDaemon	Демон распределения нагрузки между узлами (цикл раз в 5 секунд)
Fencer	Демон, осуществляющий ограждение узлов
RecoveryDaemon	Демон, поднимающий ВМ, которые помечены как high available
WsDataHandler	Сервис получения сигналов базы данных, фильтрования и отправления их демону терминации WS-соединений
ControllerHerald	Демон, получающий дополнительную информацию от API и рассылающий ее узлам

Описание сервисов

Примечание

Список сервисов незначительно отличается в зависимости от типа установки и версии.

Пример в CLI

Название	Описание	Расположение или просмотр журналов
controller-engine	Супервизор контроллера	/var/log/veil/controller/controller.log
controller-db (postgresql)	Postgresql (Реляционная база данных супервизора контроллера, работа ведется через PgBouncer)	/var/log/postgresql
controller-web-api	Web-сервер контроллера	/var/log/veil/controller/django.log
controller-web-proxy	Асинхронный прокси-сервер контроллера между nginx и Web-сервером контроллера	/var/log/veil/controller/veil_async.log
controller-web-uploader	Асинхронный сервис контроллера загрузки файлов в пулы данных	/var/log/veil/controller/veil_async.log
controller-log-sender	Асинхронный сервис контроллера отправки логов внешней системе	/var/log/veil/controller/veil_async.log
elasticsearch	Elasticsearch (движок и база данных журналов)	/var/log/elasticsearch-log/veil
controller-websocket	Асинхронный сервис WS-соединений (принимает запросы на подписки пользователей и отправляет данные об изменениях в базе данных подписчикам)	/var/log/veil/controller/veil_async.log
prometheus	Prometheus (база данных статистики)	/var/log/prometheus
node-engine	Супервизор узла	/var/log/veil/node/node.log
node-web-api	Web-сервер узла	/var/log/veil/node/django.log
node-web-proxy	Асинхронный прокси-сервер узла между nginx и Web-сервером контроллера	/var/log/veil/node/veil_async.log
node-web-uploader	Асинхронный сервис узла загрузки файлов в пулы данных	/var/log/veil/node/veil_async.log
node-statistics	Prometheus-node-exporter (сервис сбора статистики о системе)	/var/log/syslog
td-agent	Fluentd based data collector for Treasure Data (сервис сбора журналов системы)	/var/log/td-agent
iscsi	iSCSI initiator сервис	/var/log/syslog
multipath	Device-Mapper Multipath Device Controller	/var/log/syslog
nginx	Граничный Web-сервер	/var/log/nginx
ntp	Сервис синхронизации времени	/var/log/syslog
redis	База данных супервизоров контроллеров и узлов NoSQL	/var/log/redis
beanstalkd	Сервис очередей	/var/log/syslog
snmp	Сервис SNMP	/var/log/syslog
gluster	Сервис кластерного транспорта типа gluster	/var/log/glusterfs
corosync	Сервис кворума кластерного транспорта типа gfs2	/var/log/corosync/corosync.log
dlm	Сервис блокировок и ограждения кластерного транспорта типа gfs2	dmesg
watchdog	Сервис слежения за "здоровьем" системы	/var/log/watchdog
consul	Сервис выбора лидера и базы данных кластера	/var/log/syslog

Схема системных пользователей

Примечание

Схемы системных пользователей контроллера и узла идентичны.

Схема

veil - Общая группа системных пользователей.

veil-admins - Группа SSH-пользователей.

Таблица временных параметров системы

Здесь приведены временные параметры системы, по достижению которых происходит проверка и изменение состояния.

Название	Инициатор	Параметр времени	Описание
Автотестирование системы	cron, CLI, WEB	Ежесуточно (в 1 час 1 минуту ночи)	Происходит проверка файлов конфигураций и контроль статусов сервисов
Сканирование ВМ	Супервизор узла (DomainStatus, LibvirtCollector)	5 секунд	Проверка статусов питания ВМ, связи с агентом, статистики
Сканирование хранилищ	Супервизор узла (StorageStatus)	30 секунд	Сбор всех сущностей хранилищ с размерами
Сканирование сетевых сущностей	Супервизор узла (NetworkStatus)	30 секунд	Сбор всех сущностей сети
Ballooning	Супервизор узла (Ballooning)	5 секунд	Контроль памяти ВМ
HardwareStatus	Супервизор узла (HardwareStatus)	180 секунд	Проверка состояния "железа"
Multitask divisor	Супервизор контроллера (MultitaskProcessor)	4	Количество параллельных задач в последовательных блоках мультизадач

Установка и базовая настройка ↵

Общие сведения

Варианты установки

Выполнить установку ECP VeiL на сервер можно как с физических носителей, таких как DVD-диск и USB-накопитель, так и без использования физических носителей, загрузив ISO-образ по протоколу IPMI или с помощью сервера сетевых установок в среде PXE.

Устройства для установки ECP VeiL могут быть как локальными (диски, SSD, логические диски локального RAID-контроллера), так и сетевыми (FC LUNs).

Независимо от выбранного метода установки существует 2 режима установки: ручной режим и полуавтоматический режим.

При использовании ручного режима установки необходимо самостоятельно выполнить разметку дисков и выбрать диск, на который будет выполнена установка загрузчика Grub, задать пароль от учетной записи root, выбрать часовой пояс и выполнить настройку сетевых интерфейсов.

При использовании полуавтоматического режима, в отличие от ручного, все перечисленные настройки будут заданы автоматически.

Основные требования

Для успешной установки программы на серверную платформу без использования IPMI к ней должны быть подключены следующие устройства:

технологический монитор;
клавиатура;
технологический дисковод DVD-ROM.

В случае невозможности подключить выше перечисленные устройства к серверу или при наличии доступа к серверу по протоколу IPMI или к Web-интерфейсу управления IPMI модуля, следует производить установку используя IPMI.

Подробную информацию о совместимом оборудовании можно найти в разделах Системные требования и Совместимое оборудование.

Примечание

Перед установкой программы на серверную платформу должны быть установлены сетевые карты в соответствии с конструкторской документацией.

Подготовка к работе

Перед началом работы необходимо выполнить следующие действия:

убедиться, что все оборудование комплектно, исправно и соответствует минимальным требованиям. Если в состав кластера виртуализации будет входить оборудование, не входящее в комплект поставки, его также надо подготовить до начала развертывания кластера;
при развертывании кластера в рамках уже существующей инфраструктуры необходимо заранее собрать информацию, требуемую для корректной интеграции ECP VeiL в инфраструктуру. Для оценки объёма необходимой информации перед началом развертывания необходимо ознакомиться с данным руководством;
для корректной работы ECP VeiL необходимо на всех серверах кластера настроить IPMI-интерфейсы таким образом, чтобы они находились в одной подсети. Использование данной подсети для других целей, в том числе в рамках ECP VeiL, не допускается.
Примечания
1. При наличии собственной системы мониторинга и управления по IPMI необходимо учитывать, что управление серверами кластера другими средствами (не самого кластера) по данному протоколу может нарушить его работу. В данном случае исполнитель (разработчик) не несет ответственности за ущерб, нанесенный данным клиента.
2. В общей сложности в рамках ECP VeiL будет функционировать четыре служебные, частично или полностью, изолированные сети. При настройке ECP VeiL необходимо учитывать, что данные сети не смогут быть использованы для других целей в дальнейшем, так как система управления ECP VeiL не позволит их инициализировать, а принудительная (ручная) настройка их может вызвать отказы в работе или снижение производительности системы.
3. Возможна установка ECP VeiL в роли Controller, Node или Controller+Node на ВМ, работающих в средах ECP VeiL, VMware, Oracle Virtualbox, Microsoft Hyper-V, RHEV и других без ограничений.
4. Возможна загрузка образа ВМ с предустановленной ECP VeiL в роли Controller+Node с официального сайта https://veil.mashtab.org по запросу.

Проверка целостности программы

Проверка контрольной суммы установочного компакт-диска

Непосредственно перед установкой должна быть проверена контрольная сумма установочного компакт-диска ECP VeiL. Проверка контрольной суммы осуществляется на ЭВМ с установленной ОС Astra Linux Special Edition версии 1.6 или Debian версии 10.0 и выше.

Примечание

Полученные контрольные суммы совпадают для указанных ОС.

Для проверки контрольной суммы установочного диска необходимо выполнить следующую последовательность действий:

войти в ОС под учетной записью суперпользователя (учетная запись root) и дождаться приглашения ввода консоли;
вставить компакт-диск с дистрибутивом ECP VeiL в дисковод DVD-ROM;
смонтировать компакт-диск с помощью команды
mount /media/cdrom (для ОС Astra Linux Special Edition) или
mount /dev/sr0 /mnt/cdrom (для ОС Debian);
перейти в каталог точки монтирования компакт-диска (каталог с содержимым компакт-диска) с помощью команды
cd /media/cdrom (для ОС Astra Linux Special Edition) или
cd /mnt/cdrom (для ОС Debian).

Примечание

Каталог точки монтирования компакт-диска зависит от настроек рабочего места и может отличаться.

в командной строке набрать команду для подсчета контрольной суммы

find . -type f -exec md5sum {} \; | sort -k2 | md5sum

Примечание

Будьте внимательны при наборе команды.

дождаться окончания выполнения введенной команды и получить на мониторе подсчитанную контрольную сумму;
размонтировать компакт-диск с помощью команды
cd /; umount /media/cdrom (для ОС Astra Linux Special Edition) или
cd /; umount /dev/cdrom (для ОС Debian);
извлечь компакт-диск из дисковода DVD-ROM.

Программа считается готовой к установке, если контрольная сумма, отображенная на мониторе ЭВМ для компакт-диска, совпала с контрольной суммой этого диска, записанной в формуляре.

Предупреждение

При несовпадении контрольных сумм запрещается производить дальнейшие действия по установке программы.

Проверка контрольных сумм файлов компакт-диска

Для оперативной проверки образа ECP VeiL, чтобы убедиться в том, что он не поврежден, в корне установочного диска имеется файл «md5sum.txt» с контрольными суммами файлов диска. Для проверки установочного диска ECP VeiL нужно загрузиться в режиме «Live CD» и перейти на смонтированный носитель дистрибутива ECP VeiL с помощью команды:

cd /run/live/medium/

алее необходимо проверить контрольные суммы файлов с помощью команды:

md5sum -c md5sum.txt

Если все хорошо, то на экране после каждого имени файла появится слово «OK» или «ЦЕЛ».

Варианты установки ↵

Установка с DVD диска

Для успешной установки ECP VeiL необходимо удостовериться в поддержке оборудованием данного метода установки.

Порядок действий

вставить компакт-диск ECP VeiL в дисковод DVD-ROM;
при загрузке сервера активировать опцию Boot menu;
при появлении меню выбрать из списка необходимый привод CD/DVD;
если пункт загрузки с CD/DVD не обнаружен, зайти в BIOS, используя опцию BIOS Setup (в этом же меню или при перезагрузке), и убедиться, что опция загрузки с CD/DVD активирована и необходимый привод CD/DVD есть в списке доступных устройств;
после отображения на экране монитора выбора типа установки перейти к Процесс установки данного руководства.

Установка с USB накопителя

Для успешной установки ECP VeiL необходимо удостовериться в поддержке оборудованием данного метода установки.

Порядок действий

установить USB-накопитель в разъем USB (желательно находящийся на задней панели сервера);
при загрузке сервера активировать опцию Boot menu;
при появлении меню выбрать из списка необходимый USB-накопитель;
если пункт загрузки с USB-накопителя не обнаружен, зайти в BIOS, используя опцию BIOS Setup (в этом же меню или при перезагрузке), и убедиться, что опция загрузки с USB-накопителя активирована и необходимый USB-накопитель есть в списке доступных устройств;
после отображения на экране монитора выбора типа установки перейти к Процесс установки данного руководства.

Подготовка USB-накопителя в ОС Linux

Чтобы создать загрузочный образ ECP VeiL на USB-накопителе, достаточно сделать секторную копию установочного компакт-диска.

В ОС Linux при помощи утилиты выполнить команду dd: sudo dd if=/dev/cdrom0 of=/dev/sdb, где /dev/cdrom0 - имя накопителя с вставленным CD-ROM ИСКП.00021-01, а /dev/sdb - имя USB Flash накопителя.

Подготовка USB-накопителя в ОС Windows через Ventoy

В ОС Windows рекомендуется использовать ПО Ventoy.

Скачивается программа Ventoy. Для использования достаточно распаковать скачанный архив в любую директорию. Запускается Ventoy2Disk.
Выбирается накопитель:

Устанавливается опция "Option - Partition Style - GPT"
Нажать "Install"
Монтируется раздел:

Копируются образ ECP VeiL на соответствующий раздел.
Загрузка с носителя с выбором установки образа ECP VeiL.

Меню Ventoy

Подготовка USB-накопителя в ОС Windows через Rufus

В ОС Windows рекомендуется использовать ПО Rufus со следующими настройками:

перейти в расширенные свойства диска и установить опцию "Добавить исправления для старых BIOS" (рис. 1);

Рис. настройки Руфус1
Рис. 1

использовать режим записи "dd" (рис. 2).

Рис. настройки Руфус2
Рис. 2

Установка через IPMI

Для успешной установки ECP VeiL необходимо удостовериться в поддержке оборудованием данного метода установки.

Интерфейс IPMI позволяет удалённо устанавливать ОС и подключать файл-образ как виртуальный DVD-ROM на сервере или через удаленное хранилище (например, cifs).

Замечания

После выбора в установочном меню пункта установки некоторое время при загрузке установщика экран может ничего не показывать, и в таких случаях рекомендуется перезагрузить сессию KVM.
Рекомендуется использовать образы, находящиеся в той же сети, что и серверы.
Рекомендуется всегда использовать последние прошивки BMC.
В идеальном случае, если BMC это поддерживает, лучше использовать общедоступное хранилище типа cifs/nfs для монтирования образов.
Не рекомендуется ставить одновременно с одного и того же образа более 5 серверов (это индивидуально для каждой сети и имплементации BMC).

Установка по сети

Для успешной установки ECP VeiL необходимо удостовериться в поддержке оборудованием данного метода установки.

Порядок действий

подготовить собственный источник установки по PXE и разместить в нем данные с носителя ECP VeiL в соответствии с инструкцией по настройке ОС, установленной на сервере сетевой установки;
для установки с PXE при загрузке сервера активировать опцию Boot menu;
при появлении меню выбрать из списка необходимый сетевой интерфейс, подключенный к сети с настроенным сервисом PXE установки;
если пункт загрузки по сети не обнаружен, зайти в BIOS, используя опции BIOS Setup (в этом же меню или при перезагрузке), и убедиться, что опция загрузки по сети (с PXE) активирована и необходимый сетевой интерфейс есть в списке доступных устройств;
при установке средствами, предоставляемыми интерфейсом управления IPMI, действовать в соответствии с инструкциями к данному интерфейсу (предоставляются производителем оборудования);
после отображения на экране монитора выбора типа установки перейти к Процесс установки данного руководства.

Установка на USB Flash/SD карты

Мы не гарантируем работоспособность в такой конфигурации, т.к. идёт активная постоянная запись, например, в файлы журналов, и накопитель потребительского класса может быстро исчерпать ресурс по записи. Также всё может просто медленно работать из-за возможно низкого значения iops таких накопителей (не SSD, именно USB Flash & SD). Других ограничений быть не должно, если соответствующий функционал включен в управлении серверами, а также в случае SD карт такой тип (допустим, SDXC для карт большой ёмкости) поддерживается SD контроллером сервера. Это нужно выяснять в документации на сервер.

Установка на сетевые multipath диски

Общий случай multipath устройств

Для включения поддержки установки на multipath устройства (например, FC LUN) сперва следует убедиться в поддержке такой возможности оборудованием. В частности, при загрузке с FC LUN следует верно выбрать последовательность загрузочных устройств в BIOS сервера, а в BIOS FC адаптера следует включить возможность загрузки с него, а также выбрать WWNN/WWPN и номер LUN для всех путей, по которым нужный LUN предоставляет FC фабрика. Для более подробных сведений обратитесь к документации на сервер.

Далее, при загрузке с установочного накопителя следует добавить параметр "disk-detect/multipath/enable=true" в строку загрузки ядра (см.рис.1)

Рис.1

В случае Legacy загрузки редактирование производится выбором нужной строки меню и нажатием Tab, а загрузка с изменённой строкой -- нажатием Enter. В случае UEFI загрузки -- выбором нужной строки меню и нажатием клавиши "e", а загрузка с изменённой строкой -- Ctrl-X.

Замечание

При редактировании строки добавлять параметры следует перед частью "--- quiet", так как эта часть отвечает за добавление параметра "quiet" в строку загрузки целевой (устанавливаемой) системы и должна заканчивать строку.

Установка с применением FCoE адаптеров, требующих активации FCoE

Некоторые адаптеры (например, HPE 630FLB) требуют включения поддержки FCoE со стороны ОС. После этого установка производится аналогично установке на multipath FC LUN.

Для включения этого режима в установщике ECP VeiL следует добавить дополнительно к параметру "disk-detect/multipath/enable=true" также параметр "netcfg/fcoe/enable=true" (см.рис.2)

Рис.2

При этом в процессе установки будет выведен экран с запросом имени адаптера, для которого следует включить поддержку FCoE (см.рис.3)

Рис.3

Если верно указано имя адаптера и сконфигурирована FC/FCoE сеть, на этапе определения дисков появятся Multipath устройства из FC LUN, на которые следует устанавливать систему.

Ended: Варианты установки

Процесс установки ↵

Ручной режим установки

Данный вариант установки используется, если требуется:

настроить сетевые интерфейсы во время установки;
задать пароль от учетной записи root, отличный от стандартного;
осуществить разметку дисков, отличную от стандартной;
самостоятельно задать часовой пояс.

С подробным описанием процесса установки (включая рисунки) можно ознакомиться в разделе Установка программы в Приложениях.

Действия при ошибке установки в режиме UEFI

Описание решения проблемы при сбое на этапе установки GRUB

Порядок действий

Время в BIOS и BMC

Проверьте и при необходимости установите правильное время в BIOS (если время BIOS сильно отстаёт, установка может не пройти). В BMC (при наличии) желательно также установить правильное время.

Установка ECP VeiL выполняется в следующем порядке:

1. Выбор варианта установки

После появления меню установки выбрать один из следующих вариантов: Controller, Controller + Node или Node.

Controller - установка контроллера.
Controller + Node - установка контроллера с возможностью использования собственных свободных вычислительных мощностей в качестве сервера виртуализации.
Node - установка сервера виртуализации.

Install соответствует ручному режиму, Auto - полуавтоматическому.

2. Сетевые настройки

В меню конфигурации сети выбрать необходимый сетевой интерфейс, через который будет проходить подключение к сети с DHCP-сервером, или выбрать ручную настройку, указать интерфейс, а также его настройки, такие как IP-адрес, маску сети и основной шлюз.

Переход к ручной настройке статического IP-адреса сервера можно выполнить двумя способами:

дождаться окна для ввода названия хоста (Hostname) и нажать <Go Back> (рис. 1).

Рис. 1

Далее в окне выбора способа конфигурирования сети выбрать ручную настройку Configure network manually (рис. 2).

Рис. 2
во время автоматической установки сети с DHCP-сервером (этап Configuring the network with DHCP) прервать процесс, нажав Enter (рис. 3).

Рис. 3

Далее подтвердить прерывание автоматической настройки, нажав <Continue> (рис. 4)

Рис. 4

В окне выбора способа конфигурирования сети выбрать ручную настройку Configure network manually (рис. 2).

Для задания статического IP-адреса сервера необходимо ввести следующие параметры:

IP-адрес сервера IP address, на который устанавливается ECP VeiL. IP-адрес сервера зависит от сети и подсети организации. IP-адрес выбирается из любых незанятых адресов в диапазоне подсети, кроме "нулевого". Пример ввода IP-адреса приведен на рис. 5.

Рис. 5
маска подсети Netmask (рис. 6)

Рис. 6
шлюз подсети Gateway (рис. 7)

Рис. 7
DNS-сервер IPv4 Name server addresses (рис. 8)

Рис. 8

3. Имя сервера

Задать имя сервера в меню конфигурации сети и нажать <Continue>.

Примечание

Имя хоста — временное. Оно будет автоматически переназначено впоследствии на UUID узлов в процессе дальнейшей настройки ECP VeiL.

4. Имя домена

Задать имя домена в меню конфигурации сети и нажать <Continue>.

Примечание

Параметр Domain name может остаться пустым.

5. Пароль учетной записи root

Задать пароль для пользователя root в меню задания пользователей и паролей и нажать <Continue>.

6. Повторный ввод пароля учетной записи root

В меню задания пользователя и пароля повторно ввести заданный на предыдущем шаге пароль для пользователя root и нажать <Continue>.

7. Настройка часового пояса

Задать часовой пояс в меню выбора временной зоны и нажать Enter.

8. Разметка дисков

Минимальный размер диска

Размер диска должен быть более 120 GB.

Выбрать объем диска, который будет доступен для группы LVM-томов. Можно указать явно, например, 133.2 GB, в процентах, например, 20 % или использовать максимальное (минимальное) значение, например, "max" или "min". Рекомендуется использовать максимальное значение.

Разметку необходимо делать исходя из типа системы.

Для Legacy системы необходимо изменить выставленные по умолчанию разделы на следующие (см. рис. 9).

Рис. 9

Для UEFI системы необходимо изменить выставленные по умолчанию разделы на следующие (см. рис. 10).

Рис. 10

Далее выбрать Finish partitioning and write changes to disk, нажать Enter и подтвердить конфигурацию, выбрав Yes и потом Enter.

Внимание

Рекомендуемые размеры разделов можно увидеть в Полуавтоматическом режиме.
По умолчанию в ручном варианте разбивки размер раздела подкачки (Swap) делается равным количеству ОЗУ на данном компьютере. При большом количестве ОЗУ и небольшом размере НЖМД возможна ситуация, когда раздел подкачки станет слишком велик, исключая возможность нормальной установки. В таких случаях следует скорректировать размеры разделов вручную.
Детальная информация по расчету раздела журналов приведена в Составе каталога журналов.
Не рекомендуется отходить от схемы LVM разбивки разделов. В случае LVM разбивки в последующем возможно менять размер разделов локального хранилища и журналов, а также перемещать их на другой накопитель. Подробнее см. в Описании команд расширения и перемещения системных разделов

9. Окончание процесса установки

Дождаться окончания процесса установки системы.

Внимание

В случае ошибки на этапе установки базовой системы или разбивки диска следует перезагрузить систему в режиме Veil Live и удалить имеющиеся разделы с НЖМД, на который производится инсталляция, посредством утилит fdisk или dd.

10. Установка загрузчика GRUB

Необходимо выбрать необходимый диск, например, /dev/sda в меню выбора места установки GRUB и нажать Enter.

11. Окончание полной установки

Дождаться окончания полной установки, после чего аппаратная платформа автоматически перезагрузится.

12. Действия после перезагрузки

После перезагрузки сервер некоторое время, которое зависит от мощности аппаратной платформы, будет выполнять необходимую конфигурацию системы. Во время конфигурации Web-интерфейс будет недоступен, а также будет ограничена функциональность CLI-интерфейса. После завершения конфигурации все ограничения будут сняты. Для доступа к CLI-интерфейсу управления необходимо ввести имя пользователя root и пароль, заданный при установке сервера.

Внимание

Для подключения к СУ ECP VeiL используется виртуальный сетевой адаптер. Для обеспечения доступа к СУ ECP VeiL используется выбранный при установке или первый физический сетевой интерфейс в системе, который подключается к виртуальному коммутатору. Данный физический интерфейс должен быть подключен к СУ ECP VeiL до начала установки ПО.

Полуавтоматическая установка

Настройки по умолчанию

Данный вариант установки включает в себя автоматическую разметку дисков и установку загрузчика Grub, автоматическую настройку дисков, автоматический выбор часового пояса, автоматическое задание пароля учетной записи администратора root.

С подробным описанием процесса установки (включая рисунки) можно ознакомиться в разделе Установка программы в Приложениях.

Действия при ошибке установки в режиме UEFI

Описание решения проблемы при сбое на этапе установки GRUB

Время

Время в BIOS и BMC

Проверьте и при необходимости установите правильное время в BIOS (если время BIOS сильно отстаёт, установка может не пройти). В BMC (при наличии) желательно также установить правильное время.

Разметка диска

Минимальный размер диска

Чтобы установщик не задавал дополнительных вопросов по разметке, размер диска должен быть более 120 GB.

Разметка диска в автоматическом режиме будет осуществлена следующим образом:

для UEFI системы:

создан раздел ESP размером 256 МB;
создан загрузочный раздел размером 512 МB;
создана группа томов LVM veil_sys_vg01 на весь оставшийся объём диска со следующими логическими томами:
- swap объёмом 4.1 GB (~3.81 GiB);
- root объёмом 20 GB (~18.63 GiB);
- log_storage объёмом 80 GB (~74.5 GiB);
- local_storage на весь оставшийся объём диска;

для Legacy системы:

создан загрузочный раздел размером 512 МB;
создана группа томов LVM veil_sys_vg01 на весь оставшийся объём диска со следующими логическими томами:
- swap объёмом 4.1 GB (~3.81 GiB);
- root объёмом 20 GB (~18.63 GiB);
- log_storage объёмом 80 GB (~74.5 GiB);
- local_storage на весь оставшийся объём диска;

Учетная запись root

Пароль для учетной записи администратора root будет задан автоматически равным bazalt.

Часовой пояс

Часовой пояс будет выбран при настройке ECP VeiL на основе IP-адреса.

Загрузчик GRUB

Загрузчик Grub будет установлен на диск, на котором была выполнена автоматическая разметка.

Порядок действий

Установка ECP VeiL выполняется в следующем порядке:

1. Выбор варианта установки

После появления меню установки выбрать один из следующих вариантов: Auto Controller, Auto Controller + Node или Auto Node.

Auto Controller - установка контроллера в полуавтоматическом режиме.
Auto Controller + Node - установка контроллера в полуавтоматическом режиме с возможностью использования собственных свободных вычислительных мощностей в качестве сервера виртуализации.
Auto Node - установка сервера виртуализации в полуавтоматическом режиме.

2. Настройка сети в случае отсутствия DHCP

В случае, если в процессе установки не удается получить IP-адреса для всех сетевых интерфейсов, будет предложено настроить сетевые интерфейсы вручную. Для этого выберите сетевой интерфейс и укажите следующие настройки: IP-адрес, маску сети и основной шлюз.

Внимание!

Если в процессе установки удастся получить IP-адреса для сетевых интерфейсов, то они будут сконфигурированы автоматически с использованием протокола DHCP и предложения вручную настроить сетевые интерфейсы выведено не будет.

3. Окончание процесса установки

Дождаться окончания полной установки, после чего аппаратная платформа автоматически перезагрузится.

4. Действия после перезагрузки

После перезагрузки сервер будет некоторое время, которое зависит от мощности аппаратной платформы, выполнять необходимую конфигурацию. Во время конфигурации Web-интерфейс не будет доступен, а также будет ограничена функциональность CLI-интерфейса. После завершения конфигурации все ограничения будут сняты. Для доступа к CLI-интерфейсу управления необходимо ввести имя пользователя root и пароль bazalt.

Внимание!

Для подключения к СУ ECP VeiL используется виртуальный сетевой адаптер. Для обеспечения доступа к СУ ECP VeiL используется выбранный при установке или первый физический сетевой интерфейс в системе, который подключается к виртуальному коммутатору. Данный физический интерфейс должен быть подключен к СУ ECP VeiL до начала установки ПО.

Ended: Процесс установки

Базовая настройка ↵

Изменение сетевых параметров из консоли сервера

Для проверки сетевых настроек сервера, необходимых для сборки кластера, надо подключиться к консоли сервера и авторизоваться пользователю с учетной записью root и паролем, который был задан при установке ПО.

После авторизации в консоли пользователю будет предоставлен доступ в CLI-интерфейс.

Для проверки настроек сетевой подсистемы используется команда net info. Данная команда возвращает настройки виртуального сетевого интерфейса управления veil-mgmt и необходимые настройки физических интерфейсов. На основании полученной информации можно определить, был ли выдан IP-адрес интерфейсу veil-mgmt или нет, и какой физический интерфейс подключен в коммутатор СУ ECP VeiL veil-default.

Для проверки настроек тегов согласно стандарту IEEE 802.1Q для интерфейса veil-mgmt и физического интерфейса используется команда net show vlan. После установки СУ ECP VeiL применяются следующие настройки:

физический интерфейс настроен в режиме trunk и может принимать тегированный трафик согласно стандарту IEEE 802.1Q, а также нетегированный трафик. Тегированный трафик будет иметь тег, соответствующий тегу в заголовке данных. Нетегированный трафик будет иметь тег 0 (vlan id = 0);
интерфейс veil-mgmt настроен в режиме access. При этом принимает трафик только нетегированный (vlan id = 0). Для того чтобы указать определенный тег, необходимо использовать команду net conf vlan.

Для изменения физического интерфейса, подключенного к коммутатору СУ ECP VeiL, используется команда net conf ports.

Для проверки сопоставления имен интерфейсов с физическими портами на самом сервере используется команда net conf ports blink.

Изменение настроек IP-адреса для виртуального сетевого интерфейса управления veil-mgmt выполняется командой net conf ip.

Управление vlan-тегом для физических интерфейсов СУ ECP VeiL выполняется командой net conf vlan.

Синтаксис команды следующий: net conf vlan set -i <interface> -m {access,trunk,native-tagged,native-untagged} [-t <vlan tag>] [-u [<vlan trunks> [<vlan trunks> ...]]].

Данная команда имеет следующие опции:

i - имя порта;
m - режим порта;
t - номер vlan-тега для режимов access, native-tagged и native-untagged. При этом опция u не должна быть указана, если режим порта access, в противном случае порт будет в режиме trunk;
u - номер vlan-тега или тегов для режима trunk. Если не указывать номера, то это означает все номера vlan. Опция не должна быть указана, если режим порта access.

Примечание

Настройка номеров vlan-тегов выполняется согласно стандарту IEEE 802.1Q.

Управление агрегацией для физических интерфейсов СУ ECP VeiL выполняется командой net conf bonds.

Для интерфейса управления veil-mgmt используется команда net conf ports set-default-bond.

Для команд агрегации доступно расширенное описание по ключу -h. Для управления СУ ECP VeiL надо использовать имя коммутатора veil-default. Перечисление физических интерфейсов, объединяемых агрегацией, производится через пробел.

Для всех команд в интерфейсе CLI доступны подсказки. Для использования автоматического дополнения команд необходимо использовать на клавиатуре клавишу «Tab», а для получения подсказки необходимо выполнить команду без аргументов или с ключом «–h». Более подробное описание команд в интерфейсе CLI приведено в разделе CLI.

Технология VROC

В некоторых моделях серверов фирмы Intel используется технология Intel VROC. Intel VROC позволяет собирать рейды из разных типов SSD, будь то PCIeSSD, или же форм-факторы U.2, или привычные бытовые M.2 накопители с помощью специального модуля в процессор.

Выдержка из официальной документации:

Intel® Virtual RAID на CPU (Intel® VROC) — это корпоративное решение RAID, специально разработанное для твердотельных накопителей на базе NVMe.

Примечание

Часто задаваемые вопросы по VROC можно посмотреть по ссылке: https://www.intel.ru/content/www/ru/ru/support/articles/000024550/memory-and-storage.html

Использование VROC

Intel VROC для Linux создан на базе технологии MD RAID, однако обладает расширенным функционалом. Для использования технологии VROC с жёсткими дисками отличными от фирмы Intel необходимо приобрести аппаратный ключ. При конфигурации сервера жёсткими дисками фирмы Intel, например твердотельными накопителями Intel PCIe Gen3 x8, технологию VROC можно использовать без аппаратного ключа.

Таким образом, фирма Intel даёт некоторый бонус при использовании комплектующих собственного производства. При этом, в документации указано, что технология VROC может как заработать, так и не заработать. То есть, производитель не гарантирует работоспособность без аппаратного ключа.

Для использования нужно в BIOS сервера установить режим использования дисков - RAID. После перезагрузки сконфигурировать логический диск в BIOS RAID.

Далее необходимо установить ECP VeiL. В процессе установки необходимо сконфигурировать LVM раздел на логическом диске, который был сконфигурирован в BIOS RAID (Процедура установки ECP VeiL).

Важным условием является то, что в конце установки ECP VeiL необходимо вручную прописать устройство, на которое будет устанавливаться загрузчик Grub (Ручной режим установки данного руководства). Имя устройства можно увидеть в процессе конфигурации разделов LVM. Пример имени устройства - /dev/md126.

Ended: Базовая настройка

Смена роли узла (Node) на узел+контроллер (Node+Controller)

Перед началом работы необходимо выполнить следующие действия:

убедиться, что доступен сервер обновлений.
версия ПО не ниже 4.7.3.

Смена роли

Для смены роли узла (Node) на узел+контроллер (Node+Controller) необходимо в CLI данного сервера выполнить команду system role controller_node.

Проверка

Проверка смены роли узла заключается в следующем:

выполнить в CLI команду version (проверить, что список установленных пакетов соответствует контроллеру);
выполнить в CLI команду services list (проверить, что все сервисы контроллера активны);
проверить, доступен ли Web-интерфейс.

Ended: Установка и базовая настройка

Обновления ↵

Общие сведения об обновлении ECP VeiL

Процедуру установки обновлений рекомендуется выполнять на контроллере после проверки доступности всех узлов ECP VeiL. При запуске установки обновлений на контроллере ECP VeiL происходит синхронное обновление всех доступных контроллеру узлов ECP VeiL.

Внимание!

Рекомендуется производить все работы с обновлениями ECP VeiL на контроллере, убедившись в доступности всех узлов ECP VeiL.

В случае отсутствия доступа к репозиториям ECP VeiL, расположенным по адресу veil-update.mashtab.org, необходимо обеспечить такой доступ или развернуть собственный сервер обновлений с репозиториями ECP VeiL. Как развернуть собственный сервер обновлений с репозиториями ECP VeiL смотрите в разделе Использование собственного сервера обновлений.

Внимание!

Если во время обновления ECP VeiL один или несколько узлов ECP VeiL невозможно обновить, то необходимо выполнить обновление данных узлов в кратчайшее время до соответствующей версии.

Версионность ECP VeiL

Модель версионности ECP VeiL соответствует классической нумерации X.Y.Z-B:

X - мажорная версия. Меняется при крупных релизах. Выходит раз в год. Может не быть обратно совместима с прежними релизами. Требуется смена репозитория для получения обновлений. Требуется перезагрузка после обновления.
Y - минорная версия. Меняется при промежуточных релизах. Выходит раз в 3-4 месяца. Обязательно должна быть обратная совместимость. Требуется смена репозитория для получения обновлений. Иногда (не всегда) рекомендуется перезагрузка после обновления. Перед сменой репозиторией всегда рекомендуется сначала обновиться до последних версий патчей в рамках текущего репозитория.
Z - версия патча. Меняется при исправлении ошибок промежуточных релизов и добавлении нового небольшого функционала. Выходит раз в 2 недели/месяц.
B - номер сборки. Меняется при каждой сборке пакета. Иногда необходима команде ECP VeiL для сверки фактического пакета и сборочного задания.

Порядок обновлений

Все обновления выполняются последовательно, начиная снизу вверх. Сначала обновляется версия патча X.Y.Z, далее минорная версия X.Y.Z, далее мажорная версия X.Y.Z.

В общем случае порядок действий следующий:

Обновить текущую версию ПО до последней версии патча в текущем репозитории (см. установка патчей).
Для обновления минорной версии ПО сменить текущий репозиторий на репозиторий со следующей минорной версией. Обновить минорную версию до последней версии патча. Повторить действия необходимое количество раз, и последовательно обновить минорную версию ПО до последней минорной версии (см. установка минорного обновления).
Для обновления мажорной версии ПО сменить репозиторий с последней минорной версией на репозиторий со следующей мажорной версией. Обновить мажорную версию до последней версии патча. Повторить действие необходимое количество раз, и последовательно обновить мажорную версию ПО до последней мажорной версии (см. установка мажорного обновления).

Последовательность обновлений

Необходимо соблюдать последовательность обновлений. Запрещено обновлять минорные и мажорные версии, пропуская нумерацию. То есть нельзя обновляться, например, с версии 4.2 сразу до версии 4.4. Также крайне рекомендуется перед обновлением минорной версии обновиться до последней доступной на данный момент версии патча. Причиной является необходимость последовательного применения миграций базы данных и возможные подготовительные этапы перед минорным обновлением.

Пример обновления

Рассмотрим пример обновления с версии 4.6.1 до версии 5.0.5:
- смотрим список выпущенных версий;
- видим, что у нашей версии 4.6.1 последняя версия патча 5 (4.6.5);
- обновляемся до последней версии 4.6.5;
- далее переходим к смене минорной версии и меняем репозиторий на prod-470;
- обновляемся до последней версии патча 4.7.6;
- далее переходим к смене мажорной версии и меняем репозиторий на prod-500;
- обновляемся до версии патча 5.0.5.

Стабильность обновлений

Каждый последующий релиз стабильнее предыдущего в общем случае, так как обычно больше времени между релизами тратится над исправлением ошибок и расширением вариаций поведения ПО, чем на добавление нового функционала. Поэтому обновляться всегда рекомендуется до последней версии. В случае выявления ошибок после обновления рекомендуется сразу обратиться к вендору для выпуска оперативного патча.

Обновляться или нет

Если вас всё устраивает и нужным вам функционал работает корректно, то обновляться не стоит. В остальных случаях рекомендуем обновиться до последней версии.

Текущий цикл жизни ПО предусматривает поддержку релизов в течение года.

Базовая версия ПО

Берётся из версии пакета veil-utils, как базового для любого типа инсталляции.

Определение версии ECP VeiL

Версию установленного ECP VeiL можно узнать через Web-интерфейс или при помощи CLI.

Определение версии в Web-интерфейсе контроллера

Определить версию установленного ECP VeiL можно несколькими способами:

В правом нижнем углу Web-интерфейса указана версия ECP VeiL.
Перейти в раздел Настройки - Контроллер основного меню, в открывшемся окне выбрать пункт ПО и Сервисы - ПО. В открывшемся окне будут указаны версия контроллера ECP VeiL и версии основных модулей.
Перейти в раздел Серверы основного меню, выбрать сервер, версию ECP VeiL которого необходимо узнать. В открывшемся окне выбрать пункт ПО и Сервисы - ПО. В данном разделе будет указаны версия ECP VeiL и версии основных модулей.

Определение версии в Web-интерфейсе узла

Чтобы определить версию ECP VeiL, необходимо перейти в раздел Версия ПО основного меню и в открывшемся окне будут указаны версия ECP VeiL и версии основных модулей.

Определение версии в CLI

Определить версию ECP VeiL можно выполнив в CLI следующую команду:

version

В результате выполнения данной команды будут указаны версия контроллера ECP VeiL и версии основных модулей.

Пример вывода определения версии контроллера командой version:

ECP VeiL V4.6.3, JSC “Research institute “Masshtab”

veil-controller-app: 4.6.3-3148

veil-controller-env: 4.6.3-1090

veil-controller-ui: 4.6.3-1075

veil-cli-app: 4.6.3-1128

veil-cli-env: 4.6.3-1024

veil-node-app: 4.6.3-1057

veil-node-env: 4.6.3-874

veil-node-ui: 4.6.3-135

veil-docs: 4.6.3-1217

veil-utils: 4.6.3-1425

Пример вывода определения версии узла командой version:

ECP VeiL V4.6.3, JSC “Research institute “Masshtab”

veil-cli-app: 4.6.3-1128

veil-cli-env: 4.6.3-1024

veil-node-app: 4.6.3-1057

veil-node-env: 4.6.3-874

veil-node-ui: 4.6.3-135

veil-utils: 4.6.3-1425

Описание пакетов

veil-utils - базовый пакет со всеми основными зависимостями, необходимыми для работы основных компонентов ECP VeiL. По нему определяется базовая версия и от него зависят все остальные пакеты. Обновляется всегда первый. Включает в себя систему автотестирования узла.

veil-docs - документация в Web-интерфейсе. Есть только на контроллере. На официальный сайт выкладывается последняя документация из общей ветки разработки каждый раз при сборке пакета.

veil-cli-env - зависимости CLI.

veil-cli-app - CLI.

veil-node-env - зависимости узла.

veil-node-app - супервизор и Web-сервер узла.

veil-node-ui - Web-интерфейс узла.

veil-controller-env - зависимости контроллера.

veil-controller-app - супервизор и Web-сервер контроллера.

veil-controller-ui - Web-интерфейс контроллера.

Механизм обновления ECP VeiL

Во время обновления ECP VeiL выполняет следующие действия:

Блокируется Web-интерфейс с выводом сообщения о том, что идет процесс обновления.
Происходит повторная проверка наличия обновлений.
Если происходит обновление контроллера, то останавливаются все сервисы. В том числе перестают работать Высокая доступность и Динамическое распределение ресурсов между серверами.
Обновляется пакетная база ECP VeiL.
Происходит автотестирование системы.
После завершения обновления контроллера запускаются все сервисы. Высокая доступность и Динамическое распределение ресурсов работают в штатном режиме.
Возобновляется штатная работа Web-интерфейса ECP VeiL.

Безопасность обновлений

Для обеспечения безопасности используется проверка целостности пакетов в репозиториях ECP VeiL на основе хеш-суммы, а файл, содержащий контрольные суммы, подписан закрытым ключом с алгоритмом шифрования RSA 4096. При обновлении производится сверка хеш-сумм и проверка подписи с использованием открытого ключа, который поставляется в комплекте с ECP VeiL. Таким образом, при повреждении пакета или его подмены установка выполнена не будет.

Работа с репозиториями ECP VeiL

Репозитории ECP VeiL

Для каждой минорной версии ECP VeiL существует 2 публичных репозитория: prod и extra. Например, для версий ECP VeiL 4.6.X существует два репозитория: extra-460 и prod-460, включающие в себя пакетную базу с последними патчами.

Основной (prod) репозиторий

В prod репозиториях содержится основная пакетная база ECP VeiL.

Дополнительный (extra) репозиторий

В extra репозиториях содержатся дополнительные пакеты, не входящие в стандартную установку ECP VeiL. При необходимости установить пакет, который не входит в репозитории ECP VeiL, следует сформировать запрос в личном кабинете на добавление такого пакета в extra репозитории.

Пример списка репозиториев

veil-extra-440 (packages: 200)
veil-extra-450 (packages: 118)
veil-extra-460 (packages: 130)
veil-prod-440 (packages: 1210)
veil-prod-450 (packages: 1333)
veil-prod-460 (packages: 1292)

Получение списка репозиториев ECP VeiL

Для получения списка подключенных репозиториев ECP VeiL необходимо выполнить в CLI команду:

system repo get

Пример вывода команды system repo get:

ecp-veil-extra (/etc/apt/sources.list.d/ecp-veil-extra.list):
deb https://veil-update.mashtab.org/extra-460/ veil main

ecp-veil (/etc/apt/sources.list.d/ecp-veil.list):
deb https://veil-update.mashtab.org/prod-470/ veil main

Обновление списка репозиториев ECP VeiL

Для обновления списка подключенных репозиториев ECP VeiL необходимо выполнить в CLI команду:

system repo update [ecp-veil|ecp-veil-extra]

Во время выполнения команды необходимо ввести новый адрес репозитория.

После обновления списка репозиториев на контроллере следует его синхронизировать между узлами.

Постоянная смена сервера обновлений

Следует учитывать, что после обновления пакета veil-utils репозитории будут автоматически изменены на базовые, поэтому, если Вы используете локальный репозиторий для установки патчей, то для постоянной смены репозитория стоит использовать команду system repo host_update [ipv4 or hostname], которая подробно описана в разделе Подключение локального репозитория ECP VeiL . Для установки минорных обновлений следует использовать команду system repo update.

Пример обновления основного репозитория ECP VeiL:

system repo update ecp-veil
veil # system repo update ecp-veil
ecp-veil

Warning! You are about to edit system repository 'ecp-veil'.
 Please note that your changes will be reverted by ECP VeiL autotesting
 (daily at 01:00am or manually) or by update.
 If you want to add a repository permanently, please use another repo file
 by running this command with another name. 

Do you want to proceed with 'ecp-veil' (y/N)?

Пример обновления дополнительного репозитория ECP VeiL:

system repo update ecp-veil-extra
Current file contents: deb http://veil-update.mashtab.org/prod-440-extra/ veil main
Enter new contents: deb http://veil-update.mashtab.org/prod-450-extra/ veil main

Подключение локального репозитория ECP VeiL

Начиная с версии 4.5.3 в ECP VeiL реализована поддержка постоянного подключения локальных репозиториев в случаях, когда недоступны базовые репозитории ECP VeiL.

Внимание!

При подключении локальных репозиториев работа с базовыми репозиториями ECP VeiL осуществляться не будет.

Чтобы подключить локальный репозиторий, необходимо выполнить в CLI следующую команду:

system repo host_update [ipv4 or hostname]

Внимание!

При установке минорных обновлений с локального сервера обновлений для обновления списка репозиториев следует использовать команду system repo update вместо system repo host_update. Подробная информация о команде system repo update содержится в разделе Обновление списка репозиториев ECP VeiL.

В результате использования данной команды будет выполнена смена адреса основного и дополнительного репозиториев на указанный. В отличие от команды system repo update после обновления veil-utils репозитории не будут изменены на базовые.

После обновления списка репозиториев следует его синхронизировать между узлами.

Пример использования команды system repo host_update [ipv4 or hostname]:

system repo host_update 192.168.14.69

Синхронизация репозиториев ECP VeiL

Начиная с версии 4.4.0 введен механизм синхронизации списков репозиториев. Таким образом, после обновления списка репозиториев на контроллере можно синхронизировать списки с остальными серверами, выполнив в CLI команду:

node repo_sync

Синхронизация репозиториев между контроллером и узлами

В случае невозможности автоматической синхронизации списка репозиториев необходимо вручную выполнить изменение репозиториев на каждом узле ECP VeiL.

Кэширование обновлений ECP VeiL

Кэширования обновлений выполняется в CLI контроллера ECP VeiL.

При установке минорных обновлений с базовых репозиториев ECP VeiL из-за высокой суммарной нагрузки на сеть при одновременном обновлении всех узлов рекомендуется использовать механизм кэширования (сохранение файлов обновлений на локальном диске).

Также рекомендуется использовать механизм кэширования при невозможности обеспечить доступ к базовым или локальным репозиториям ECP VeiL во время установки любых обновлений.

Перед кэшированием необходимо выполнить проверку связи с репозиториями ECP VeiL и наличия обновлений, выполнив следующую команду в CLI:

upgrade check

Далее следует выполнить кэширование перед началом обновления на контроллере. Для этого выполнить в CLI следующую команду:

upgrade download

После окончания процесса кэширования необходимо проверить соответствие и целостность кэшированных пакетов, выполнив следующую команду:

upgrade cache

В случае наличия расхождений выполнить кэширование пакетов повторно.

После выполнения кэширования обновлений следует выполнить команду установки обновлений с ключом -l, например:

upgrade start -l

Внимание!

Для кэширования обновлений может потребоваться наличие значительного свободного места на локальном диске.

Использование proxy-сервера

Обновление пакетов с помощью использование proxy-сервера описано в Прокси сервер для обновления пакетов VeiL с контроллера

Проверка наличия обновлений

Проверку наличия обновлений ECP VeiL можно выполнить при наличии доступа к репозиториям соответствующей версии ECP VeiL, как в CLI, так и в Web-интерфейсе контроллера или узла. В случае отсутствия доступа к базовым репозиториям ECP VeiL информацию о выходе новых патчей можно получить в личном кабинете.

Получить информацию о выходе новой минорной (мажорной) версии ECP VeiL, о наличии патчей ECP VeiL при отсутствии доступа к репозиториям ECP VeiL также можно получить в личном кабинете.

Проверка наличия обновлений в Web-интерфейсе контроллера

Выполнить проверку наличия обновлений минорной версии ECP VeiL в Web-интерфейсе контроллера можно несколькими способами.

Пример

Проверка наличия обновлений для контроллера и всех узлов ECP VeiL

В Web-интерфейсе контроллера перейти в раздел Настройки - Контроллер основного меню. Далее выбрать пункт ПО и Сервисы - ПО. В открывшемся окне нажать кнопку Обновление ПО контроллера для проверки наличия обновлений для контроллера или нажать кнопку Обновление ПО контроллера + серверов для проверки наличия обновлений для контроллера и всех подключенных к нему серверов, в том числе и для реплицирующего контроллера.

После проверки, при наличии обновлений, будет предложено установить все имеющиеся обновления.

Пример

Проверка наличия обновлений для отдельного узла ECP VeiL

В Web-интерфейсе контроллера перейти в раздел Серверы основного меню, выбрать сервер и в открывшемся окне выбрать пункт ПО и Сервисы - ПО. Далее нажать кнопку Проверить обновления ПО.

После проверки, при наличии обновлений, будет предложено установить все имеющиеся обновления.

Пример

Проверка наличия обновлений в Web-интерфейсе узла

Для того чтобы выполнить проверку наличия обновлений в Web-интерфейсе узла, необходимо перейти в раздел Версия ПО основного меню. При наличии будут указаны доступные обновления.

Пример

Проверка наличия обновлений в CLI

Для того чтобы выполнить проверку наличия обновлений в CLI, необходимо выполнить следующую команду:

upgrade check

При выполнении данной команды на контроллере будет выполнена проверка наличия обновлений для всех серверов, подключенных к данному контроллеру. При выполнении на узле будет выполнена проверка наличия обновлений для данного узла.

Пример

Процесс обновления ↵

Установка патчей

Сервер обновлений

В случае отсутствия доступа к базовым репозиториям ECP VeiL, расположенным по адресу veil-update.mashtab.org, перед началом обновления необходимо обеспечить такой доступ или развернуть собственный сервер обновлений с репозиториями ECP VeiL. Как развернуть собственный сервер обновлений с репозиториями ECP VeiL, смотрите в разделе Использование собственного сервера обновлений.

Обновление всех узлов через Web-интерфейс контроллера

В Web-интерфейсе контроллера перейти в раздел Настройки - Контроллер основного меню. Далее выбрать пункт ПО и Сервисы - ПО. В открывшемся окне нажать кнопку Обновление ПО контроллера для проверки наличия обновлений для контроллера или нажать кнопку Обновление ПО контроллера + серверов для проверки наличия обновлений для контроллера и всех подключенных к нему серверов, в том числе и для реплицирующего контроллера. При наличии обновлений и доступа к репозиториям ECP VeiL нажать кнопку Обновить все пакеты ПО.

Доступность серверов контроллеру

Перед началом обновлений рекомендуется убедиться в доступности контроллеру всех узлов ECP VeiL.

Запуск обновления

В начале процесса обновления всех пользователей должно "выбросить" из Web-интерфейса контроллера и открыться окно обновления, как показано ниже на рисунке. После завершения Web-интерфейс будет разблокирован, после чего желательно заново открыть или перезапустить вкладку браузера с открытым Web-интерфейсом для получения изменений. Если в какой-то момент обновления Web-интерфейс разблокируется или не заблокируется, но не будет кликабелен, значит процесс обновления ещё идёт и надо подождать.

Процесс обновления

Обновление конкретного узла через Web-интерфейс контроллера

В Web-интерфейсе контроллера перейти в раздел Серверы основного меню, выбрать сервер, далее выбрать пункт ПО и Сервисы - ПО и в открывшемся окне нажать кнопку Проверить обновления ПО. При наличии обновлений нажать кнопку Обновить все пакеты ПО.

Внимание!

Если выбранный сервер не является контроллером, то обновления будут установлены только на выбранный сервер!

Обновление всех узлов через CLI

Для того чтобы убедиться в наличии обновлений и доступа к репозиториям ECP VeiL, необходимо в CLI контроллера выполнить следующую команду:

upgrade check

При наличии обновлений и доступа к репозиториям ECP VeiL выполнить команду установки обновлений:

upgrade start

Кэширование

В отдельных случаях рекомендуется использовать механизм кэширования при установке обновлений. Подробная информация содержится в разделе Кэширование обновлений ECP VeiL.

После завершения процесса обновления ECP VeiL необходимо заново зайти в CLI и Web-интерфейс.

Внимание!

Во время обновления ECP VeiL не будет работать Высокая доступность и Динамическое распределение ресурсов между серверами.

Обновление конкретного узла через CLI

Для того чтобы убедиться в наличии обновлений и доступа к репозиториям ECP VeiL, необходимо в CLI узла выполнить следующую команду:

upgrade check

При наличии обновлений и доступа к репозиториям ECP VeiL выполнить команду установки обновлений:

upgrade start

После завершения процесса обновления ECP VeiL необходимо заново зайти в CLI и Web-интерфейс.

Кэширование

В отдельных случаях рекомендуется использовать механизм кэширования при установке обновлений. Подробная информация содержится в разделе Кэширование обновлений ECP VeiL.

Установка минорного (мажорного) обновления

Сервер обновлений

В случае отсутствия доступа к базовым репозиториям ECP VeiL, расположенным по адресу veil-update.mashtab.org, перед началом обновления необходимо обеспечить такой доступ или развернуть собственный сервер обновлений с репозиториями ECP VeiL. Как развернуть собственный сервер обновлений с репозиториями ECP VeiL смотрите в разделе Использование собственного сервера обновлений.

Последовательность обновлений

Необходимо соблюдать последовательность обновлений. Запрещено обновлять минорные и мажорные версии, пропуская нумерацию. То есть нельзя обновляться, например, с версии 4.2 сразу до версии 4.4. Также крайне рекомендуется перед обновлением минорной версии обновиться до последней доступной на данный момент версии патча. Причиной является необходимость последовательного применения миграций базы данных и возможные подготовительные этапы перед минорным обновлением.

Несоответствие версий вычислительных узлов

Крайне не рекомендуется работать с инфраструктурой, где отличаются даже минорные версии на серверах. Убедитесь, что версии всех серверов после установки или обновления одинаковы. Подробная информация о том, как определить версию ECP VeiL, содержится в разделе Определение версии ECP VeiL.

Обновление всех узлов через CLI с использованием кэширования

Данный метод рекомендуется использовать при установке минорных (мажорных) обновлений ECP VeiL с базовых репозиториев или при невозможности обеспечить доступ к базовым или локальным репозиториям ECP VeiL во время процесса обновления.

Подготовка списка репозиториев

Перед установкой минорного (мажорного) обновления требуется обновить и синхронизировать список репозиториев ECP VeiL. Подробная информация об обновлении и синхронизации списка репозиториев содержится в разделах Обновление списка репозиториев ECP VeiL и Синхронизация репозиториев. Для обновления и синхронизации списков репозиториев нужно выполнить в CLI контроллера следующие команды:

system repo update ecp-veil

Пример

system repo update ecp-veil-extra

node repo_sync

Кэширование обновлений

Далее требуется кэшировать обновления ECP VeiL. Подробная информация о кэшировании обновлений ECP VeiL содержится в разделе Кэширование обновлений ECP VeiL. Для выполнения кэширования обновления ECP VeiL нужно выполнить следующие команды:

upgrade check

upgrade download

upgrade cache

Установка обновлений с использованием локального кэша

Следующим шагом необходимо выполнить обновление всех серверов с использованием локального кэша. Для этого в CLI контроллера нужно выполнить следующую команду:

upgrade start -l

После установки минорного (мажорного) обновления требуется перезагрузить все обновленные узлы.

Внимание!

Во время обновления ECP VeiL сервисы Высокая доступность и Динамическое распределение ресурсов между серверами работать не будут.

Обновление всех узлов через CLI без использования кэширования

Рекомендации

Данный метод рекомендуется использовать при установке минорных (мажорных) обновлений ECP VeiL с локального сервера обновлений ECP VeiL или при отсутствии достаточного свободного места для кэширования обновлений.

Подготовка списка репозиториев

Перед установкой минорного (мажорного) обновления требуется обновить и синхронизировать список репозиториев ECP VeiL. Подробная информация об обновлении и синхронизации списка репозиториев содержится в разделах Обновление списка репозиториев ECP VeiL и Синхронизация репозиториев. Для обновления и синхронизации списков репозиториев при использовании локального сервера обновлений ECP VeiL нужно выполнить в CLI контроллера следующие команды:

system repo update ecp-veil

system repo update ecp-veil-extra

node repo_sync

Внимание

При установке минорных (мажорных) обновлений с локального сервера обновлений для обновления списка репозиториев требуется использовать команду system repo update. Подробная информация о команде system repo update содержится в разделе Обновление списка репозиториев ECP VeiL.

Установка обновлений без использования локального кэша

Следующим шагом необходимо выполнить проверку доступности репозиториев ECP VeiL и запустить обновление всех серверов. Для этого в CLI контроллера нужно выполнить следующие команды:

upgrade check

upgrade start

После установки минорного (мажорного) обновления требуется перезагрузить все обновленные узлы.

Внимание!

Во время обновления ECP VeiL сервисы Высокая доступность и Динамическое распределение ресурсов между серверами работать не будут.

Ended: Процесс обновления

Локальный сервер обновлений

Создание локального сервера обновлений из готового виртуального диска

Загрузить виртуальный диск

Загрузить виртуальный диск с настроенными репозиториями в ECP VeiL. Виртуальный диск с репозиториями актуальной версии в формате qcow2 доступен по ссылке. Там же находится и файл с контрольной суммой MD5 для проверки целостности. Если требуется виртуальный диск с настроенными репозиториями отличной от актуальной версии, то его можно получить по запросу в личном кабинете.

Последовательность

Необходимо соблюдать последовательность обновлений. Запрещено обновлять минорные и мажорные версии, пропуская нумерацию. То есть нельзя обновляться, например, с версии 4.2 сразу до версии 4.4. Также крайне рекомендуется перед обновлением минорной версии обновиться до последней доступной на данный момент версии патча. Причиной является необходимость последовательного применения миграций базы данных и возможные подготовительные этапы перед минорным обновлением.

Создать ВМ

Создать ВМ c типом ОС Linux в ECP VeiL с загруженным виртуальным диском. Обратите внимание, что для стабильной работы ВМ с репозиториями ECP VeiL она должна обладать минимум 2 vCPU и 2 Гбайт ОЗУ, а также должна быть подключена к виртуальной сети БЕЗ L2-связанности. Подробную информацию о создании ВМ и виртуальных сетей смотрите в Руководстве оператора в разделах Создание ВМ и Создание виртуальной сети соответственно.

Настроить сеть ВМ

Выполнить настройку сетевых интерфейсов ВМ можно, подключившись к ней по протоколу SPICE из Web-интерфейса ECP VeiL. Подробную информацию о подключении к ВМ по протоколу SPICE содержится в Руководстве оператора в разделе Терминал.

После подключения необходимо пройти авторизацию. Учетные данные пользователя:

логин - root;

пароль - veilupdate.

Для получения списка сетевых интерфейсов необходимо выполнить следующую команду:

ip a

Для задания сетевых настроек необходимо с помощью редактора nano отредактировать файл /etc/network/interfaces. Для этого выполнить команду:

nano /etc/network/interfaces

и привести открывшейся файл к следующему виду:

# Include files from /etc/network/interfaces.d:
source /etc/network/interfaces.d/*

#The loopback network interface
auto lo
iface lo inet loopback

#The primary network interface
auto eth0
iface eth0 inet static
address 192.168.1.35
gateway 192.168.1.1
netmask 255.255.255.0

где eth0 - сетевой интерфейс, 192.168.1.35 - назначенный IP-адрес, 192.168.1.1 - основной шлюз и 255.255.255.0 - маска сети.

Для применения настроек выполнить команду:

service networking restart

Внимание!

Также вместо задания статических настроек сетевых интерфейсов ВМ можно зарезервировать IP-адрес для ВМ в настройках DHCP.

Подключить локальный сервер обновлений к ECP VeiL

Для подключения локального сервера обновлений при установке патчей следует использовать команду CLI system repo host_update [ipv4 or hostname], а при установке минорных обновлений - system repo update [ecp-veil|ecp-veil-extra]. Подробное описание данных команд приведено в разделах Подключение локального репозитория ECP VeiL и Обновление списка репозиториев ECP VeiL.

После подключения локального репозитория следует выполнить синхронизацию списков со всеми узлами ECP VeiL командой CLI: node repo_sync. Подробная информация о синхронизации списков репозиториев на узлах ECP VeiL содержится в разделе Синхронизация репозиториев ECP VeiL.

Проверка доступности локального репозитория

Для проверки доступности локального сервера обновлений ECP VeiL следует выполнить следующую команду в CLI контроллера:

upgrade check

В случае наличия связи всех узлов с локальным сервером обновлений можно приступать к обновлению ECP VeiL, выполнив в CLI контроллера команду upgrade start. Подробная информация о процессе обновления содержится в разделах Установка патча и Установка минорного обновления.

Самостоятельное создание локального сервера обновлений

Подготовка ВМ

Создать ВМ и выполнить установку ОС "Debian" версии 9 или 10 с последующей настройкой сетевых интерфейсов. Обратите внимание, что для стабильной работы ВМ с репозиториями ECP VeiL она должна обладать минимум 2 vCPU и 2 Гбайт ОЗУ, а также должна быть подключена к виртуальной сети БЕЗ L2-связанности. Подробную информацию о создании ВМ и виртуальных сетях смотрите в Руководстве оператора в разделах Создание ВМ и Создание виртуальной сети соответственно.

Внимание!

Копию репозиториев ECP VeiL можно размещать не только на ВМ, но и в docker контейнере, на физическом сервере и т.д. Основным требованием к размещению локальных репозиториев ECP VeiL является ОС "Debian" 9 или 10.

Установка необходимого программного обеспечения

Для работы репозиториев ECP VeiL требуется установить Web-сервер nginx и утилиту зеркалирования репозиториев apt-mirror. Для установки данного программного обеспечения следует выполнить следующую команду:

apt-get update && apt-get install apt-mirror nginx -y

Зеркалирования репозитория

Перед настройкой следует в личном кабинете получить действующие адреса базовых репозиториев ECP VeiL требуемой версии. Полученные адреса необходимо внести в конфигурационный файл /etc/apt/mirror.list, тем самым приведя его к виду:

############# config ##################
#
# set base_path    /var/spool/apt-mirror
#
# set mirror_path  $base_path/mirror
# set skel_path    $base_path/skel
# set var_path     $base_path/var
# set cleanscript $var_path/clean.sh
# set defaultarch  <running host architecture>
# set postmirror_script $var_path/postmirror.sh
# set run_postmirror 0
set nthreads     20
set _tilde 0
#
############# end config ##############

deb http://veil-update.mashtab.org/prod-440 veil main
deb http://veil-update.mashtab.org/prod-450 veil main

clean http://veil-update.mashtab.org/prod-440
clean http://veil-update.mashtab.org/prod-450

где http://veil-update.mashtab.org/prod-440 и http://veil-update.mashtab.org/prod-450 - адреса базовых репозиториев ECP VeiL.

После внесения базовых репозиториев в конфигурационный файл apt-mirror можно начать процесс зеркалирования, выполнив следующую команду:

su - apt-mirror -c apt-mirror

Начнется загрузка пакетов, может занять продолжительное время, в зависимости от скорости вашего канала.

Публикация репозиториев

Для того чтобы у узлов ECP VeiL был доступ к локальным репозиториям, необходимо их опубликовать с помощью Web-сервера nginx. Для этого нужно привести конфигурационный файл /etc/nginx/sites-enabled/default к виду:

server {
    listen 80 default_server;

    root /var/spool/apt-mirror/mirror/veil-update.mashtab.org;

    server_name _;

    location / {
        try_files $uri $uri/ =404;
        autoindex on;
    }
}

После изменения конфигурации Web-сервера необходимо его перезагрузить, выполнив следующую команду:

nginx -s reload

Подключить локальный сервер обновлений к ECP VeiL

Для подключения локального сервера обновлений при установке патчей следует использовать команду CLIsystem repo host_update [ipv4 or hostname], а при установке минорных обновлений - system repo update [ecp-veil|ecp-veil-extra]. Подробное описание данных команд приведено в разделах Подключение локального репозитория ECP VeiL и Обновление списка репозиториев ECP VeiL.

После подключения локального репозитория следует выполнить синхронизацию списков со всеми узлами ECP VeiL командой CLI: node repo_sync. Подробная информация о синхронизации списков репозиториев на узлах ECP VeiL содержится в разделе Синхронизация репозиториев ECP VeiL.

Проверка доступности локальных репозиториев

Для проверки доступности локального сервера обновлений ECP VeiL следует выполнить следующую команду в CLI контроллера:

upgrade check

В случае наличия связи всех узлов с локальным сервером обновлений можно приступать к обновлению ECP VeiL, выполнив в CLI контроллера команду upgrade start. Подробная информация о процессе обновления содержится в разделах Установка патча и Установка минорного обновления.

Обновление инфраструктуры при отсутствии доступа к сети Интернет

Вариант 1. Через виртуальный диск формата qcow2
Вариант 2. Создание локального репозитория

Вариант 1.

Зайти в ЛК https://lk.mashtab.org/ и сделать запрос на виртуальный диск с обновлениями для нужной версии формата qcow2
Загрузить диск к себе
Создать ВМ с этим диском (ВМ желательно должна работать вне ECP VeiL. Если ВМ будет находится в инфраструктуре ECP VeiL, то обновление желательно выполнять с кэшированием
Настроить сеть в ВМ (логин root, без пароля)
Прописать репозитории на серверах VeiL system repo host_update {адрес ВМ с репозиторием}
Проверить обновления через upgrade check
При наличии доступных обновлений обновиться через upgrade start

Вариант 2. Описание создания пользователем локального репозитория для обновления продуктов VeiL без использования ресурсов интернет

Данные действия производятся на ОС Debian версии 9 или 10.

ВМ, на которой будет развернут локальный репозиторий НЕ должна работать на ECP VeiL.

Актуальные адреса для репозиториев можно получить у службы поддержки.

Устанавливаем утилиту apt-mirror для создания локального зеркала репозитория на выделенный для этого сервер:
```
apt-get update
apt-get install apt-mirror -y
```

Приводим конфиг /etc/apt/mirror.list к виду:

############# config ##################
#
# set base_path    /var/spool/apt-mirror
#
# set mirror_path  $base_path/mirror
# set skel_path    $base_path/skel
# set var_path     $base_path/var
# set cleanscript $var_path/clean.sh
# set defaultarch  <running host architecture>
# set postmirror_script $var_path/postmirror.sh
# set run_postmirror 0
set nthreads     20
set _tilde 0
#
############# end config ##############

deb http://veil-update.mashtab.org/prod-440 veil main
deb http://veil-update.mashtab.org/prod-450 veil main

clean http://veil-update.mashtab.org/prod-440
clean http://veil-update.mashtab.org/prod-450

Создаём локальное зеркало репозитория. Начнется загрузка пакетов, может занять продолжительное время, в зависимости от скорости вашего канала:
```
su - apt-mirror -c apt-mirror
```
Устанавливаем nginx на тот же самый сервер:
```
apt-get install nginx -y
```

Приводим конфиг /etc/nginx/sites-enabled/default к виду:

server {
    listen 80 default_server;

    root /var/spool/apt-mirror/mirror/veil-update.mashtab.org;

    server_name _;

    location / {
        try_files $uri $uri/ =404;
        autoindex on;
    }
}

Обновляем конфиг nginx:
```
nginx -s reload
```
Прописываем репозитории на клиентских машинах ECP VeiL:

Основной репозиторий:

system repo update ecp-veil
Current file contents: deb http://veil-update.mashtab.org/prod-450/ veil main
Enter new contents: deb http://{LOCAL_REPO_SERVER_IP}/prod-470/ veil main

Extra репозиторий (необязательный):

system repo update ecp-veil-extra
Current file contents: deb http://veil-update.mashtab.org/prod-440-extra/ veil main
Enter new contents: deb http://{LOCAL_REPO_SERVER_IP}/prod-450-extra/ veil main

Обновляем клиентские машины ECP VeiL
```
upgrade start
```

Прокси сервер для обновления пакетов VeiL с контроллера

Одним из требований является возможность централизованного обновления пакетов ECP VeiL.

Для того чтобы была возможность обновлять хосты свежими версиями пакетов VeiL, предусмотрена возможность использования кэширующего прокси-сервера пакетов apt-cacher-ng. Прокси-сервер является промежуточным звеном между вышестоящим сервером и хостами. Прокси-сервер устанавливается на контроллер. В задачу прокси-сервера пакетов входит раздача уже скачанных пакетов.

Сервер с обновлениями располагается по адресу - https://veil-update.mashtab.org/.

Здесь есть несколько вариантов развития событий, которые могу возникнуть:

в изолированной подсети, где установлен ECP VeiL, у контроллера есть доступ до внешних серверов.
в изолированной подсети, где установлен ECP VeiL, у контроллера нет доступа до внешних серверов.

Прокси-сервер для обновления пакетов ECP VeiL с контроллера в условиях, когда у контроллера есть доступ до внешних серверов

Настройка хоста прокси для прокси-сервера встроенного в ECP VeiL (каскадное соединение)

Установка настройки только на контроллере.

Без логина и пароля:

upgrade proxy set_proxy_host http://www-proxy.example.net:3128

С логином и паролем:

upgrade proxy set_proxy_host http://myuser:mypassword@www-proxy.example.net:3128

Удаление также только на контроллере:

upgrade proxy unset_proxy_host

Прокси-сервер для обновления пакетов ECP VeiL с контроллера

Перед включением проксирования на ноде необходимо обязательно установить прокси на контроллере.

Для работы прокси-сервера обновлений необходимо включить режим проксирования пакетов на нодах (включая контроллер и резервный контроллер) командой:

upgrade proxy enable

Узлы должны принадлежать какому-либо контроллеру. После включения режима прокси выполняем команду на ноде:

upgrade check upgrade start

Отключение режима проксирования пакетов на узлах выполняется командой:

upgrade proxy disable

Прокси-сервер для обновления пакетов ECP VeiL с контроллера в условиях, когда у контроллера нет доступа до внешних серверов

Для обновления в этом режиме работы понадобится дистрибутивный диск ECP VeiL со "свежей" пакетной базой. Содержимое диска копируется на накопитель, далее в ручном режиме переносится на контроллер в каталог:

/var/cache/apt-cacher-ng/_import

Переходим в Web-интерфейс кэширующего прокси-сервера пакетов apt-cacher-ng:

http://CONTROLLER-IP:3142/acng-report.html

Находим секцию Import и нажатием кнопки Import производим импорт содержимого диска.

Далее мы можем включить проксирование на узлах, как описано в предыдущем пункте.

Hint

На контроллере можно убедиться, что доставка пакетов проксируется командой

nethosgs

В выводе будет показано сетевое взаимодействие, где будет фигурировать apt-cacher-ng.

Ended: Обновления

Первоначальная настройка ↵

Первоначальная настройка ECP VeiL

Вход в систему

Для первоначальной настройки ECP VeiL необходимо авторизоваться в Web-интерфейсе управления кластером с пользователем, имеющим права администратора. Данный интерфейс доступен по адресу СУ ECP VeiL.

При открытии интерфейса управления в браузере откроется окно авторизации, в котором необходимо ввести:

имя пользователя, по умолчанию - admin;
пароль, по умолчанию - veil;
выбрать язык интерфейса.

Лицензирование

Лицензирование в CLI

Проверка зарегистрированного ключа в CLI выполняется командой: system license

Лицензирование в Web-интерфейсе контроллера

После авторизации в Web-интерфейсе при отсутствии ключа или окончании техподдержки автоматически отобразится окно загрузки лицензионного ключа.

Для загрузки другого лицензионного ключа и просмотра действующей лицензии используется раздел Настройки - Лицензирование.

В разделе Настройки - Лицензирование содержится информация по действующему лицензионному ключу ECP VeiL, содержащая:

лицензия на ПО;
e-mail;
компания;
количество серверов;
дней до окончания лицензии;
дней до окончания сервисной поддержки;
дата завершения лицензии;
дата завершения сервисной поддержки.

Если пользователь имеет бессрочную лицензию, то ограничений по времени использования лицензии не будет и будет отражаться следующая информация:

дней до окончания лицензии - "0";
дней до окончания сервисной поддержки - "0";
дата завершения лицензии - "--";
дата завершения сервисной поддержки - "--".

Количество физических процессоров на сервере

Количество используемых физических процессоров на сервере программными средствами не ограничено. При этом количество процессоров не может быть менее количества установленных на сервере и более количества сокетов на сервере.

Для установки лицензионного ключа активации необходимо выполнить следующие действия:

вставить компакт-диск Ключ активации;
нажать на кнопку Выбрать файл лицензии;
в стандартном окне загрузки файлов выбрать файл формата key, находящийся на компакт-диске, и нажать Открыть;
далее обновить информацию по кнопке .

Пользователи и роли

Пользователи

Управление параметрами собственной учетной записи производится в разделе Безопасность - Пользователи или справа в окне при нажатии на профиль пользователя.

Если пользователь является администратором безопасности, то ему будет доступно управление учетными записями других пользователей в разделе Безопасность - Пользователи:

создание нового и деактивация (прекращение работы) имеющегося пользователя;
изменение пароля другого пользователя.

Прекращение работы пользователя в системе осуществляется посредством изменения статуса учетной записи на Неактивный. При этом все действия пользователя, произведенные им ранее и зафиксированные в системных журналах, сохранят связь с этим пользователем.

Удаление пользователя

Пользователь не удаляется при изменении статуса на Неактивный. Это сделано для сохранения истории.

Роли и разграничения доступа

В системе предусмотрен ролевой метод разграничения доступа. Существуют следующие типы пользователей (пользовательские роли):

администратор;
администратор безопасности;
оператор ВМ;
только чтение.

Для пользователя со встроенной учётной записью администратора admin применяется роли администратор и администратор безопасности. Для него доступны все настройки кластера.

При применении ролевой модели система управления кластером считает приоритетными запрещающие правила.

Для пользователя с ролью администратор действует разрешение: полный доступ, кроме разрешений администратора безопасности.

Для пользователя с ролью администратор безопасности действуют следующие разрешения:

управление службами каталогов;
управление SSL-сертификатами;
управление пользователями.

Для пользователя с ролью оператора ВМ действуют следующие разрешения:

управление ресурсами размещения ВМ;
управление пулами данных;
управление ВМ, владельцем которых он является.

Для пользователя с ролью только чтение действует ограничение: чтение всех параметров кластера, кроме параметров и информации безопасности.

Подробное описание разграничения доступа ролей пользователей в таблице.

Настройки ролей

Роли пользователей имеют приоритет - значения от 0 до 32767.

Сумма приоритетов ролей используется при сортировке соответствий служб каталогов для применения наиболее приоритетных ролей к LDAP учетной записи, которая прошла аутентификацию.

Службы каталогов

В системе реализована поддержка авторизации пользователей из Windows AD и FreeIPA посредством LDAP.

Для регистрации внешних пользователей необходимо в разделе Безопасность - Службы каталогов:

добавить подключение к внешнему LDAP-серверу;
для каждого LDAP-сервера настроить сопоставление пользователей (групп пользователей) с ролями системы управления кластером.

Если никакого сопоставления групп или пользователей AD не производилось, то все LDAP-пользователи могут зарегистрироваться в системе и иметь роль оператор ВМ.

В отличие от встроенной базы данных пользователей для Windows AD допускается назначать пользователю или группе роль суперпользователя.

В системе реализована поддержка технологии Single Sigh-On (SSO). Для её подключения необходимо:

на контроллере Active Directory (AD) создать пользователя с соответствующими правами (администратора домена или разрешить набор прав для проверки пользователей через сетевой протокол безопасной идентификации/аутентификации Kerberos);
зарегистрировать в Windows DNS доменное имя для контроллера(ов) ECP VeiL;
сформировать на контроллере домена Kerberos (keytabs) файл, по которому контроллер ECP VeiL будет авторизовываться в AD.

Kerberos (кeytabs) файл загружается для целевой службы каталогов на вкладке Keytabs.

В окне, открывающемся по кнопке Конфигурация SSO, вносятся данные, с которым будет проходить авторизация:

параметры пользователя AD (имя пользователя и пароль);
доменное имя контроллера ECP VeiL (cубдомен).

В данном окне имя пользователя и DNS-имя контроллера ECP VeiL вносится без указания имени домена AD.

Если в качестве основного DNS-сервера для ECP VeiL не установлен DNS Windows AD, то поля url сервера управления AD и список всех url Key Distributed Centers можно указывать в виде IP-адреса контроллера Windows AD.

Ended: Первоначальная настройка

Репликация и резервное копирование ↵

Репликации контроллера ↵

Репликация контроллера

Репликация контроллера используется для предотвращения последствий возможных аварийных ситуаций, связанных с Контроллером ECP VeiL. Также сервер, используемый для репликации, может использоваться в качестве сервера виртуализации, при этом в остальных аспектах эксплуатации, не касающихся репликации, такой сервер не имеет отличий от обычного сервера с установленным ECP VeiL в режиме Node, за исключением отсутствия Web-интерфейса. Все работы, связанные с репликацией, выполняются из CLI на каждом экземпляре контроллера.

Проверка состояния репликации контроллера выполняется следующей командой в CLI:

controller status

Лицезирование при использовании нескольких контроллеров

Подробная информация о лицензировании при использовании механизма репликации содержится в разделе Лицензирование.

Использование репликации в ECP VeiL

Использования репликации и предотвращение последствий аварийных ситуаций, связанных с Контроллером ECP VeiL, включает в себя следующие шаги:

Инициализация связанности между основным и резервным контроллерами, на которых ECP VeiL установлен в конфигурации Controller + Node или в конфигурации Controller.
Назначение соответствующих ролей основному и резервному контроллеру (master и slave).
В случае возникновения аварийной ситуации, связанной с основным контроллером ECP VeiL, перевод реплицирующего контроллера в режим основного контроллера.
После устранения аварийной ситуации контролера перевести его в режим реплицирующего.

Требования к репликации

Для возможности включения репликации контроллера в ECP VeiL необходимо наличие еще одного сервера с установленным ECP VeiL в режиме Controller + Node. Подробная информация об установке ECP VeiL приведена в разделе Установка.

Внимание

Использование сервера с установленным ECP VeiL в режиме Controller + Node для осуществления репликации в качестве самостоятельного контроллера перед инициализацией репликации не допускается.

Инициализация связанности

Инициализация связанности необходима для взаимодействия двух серверов ECP VeiL, установленных в режиме Controller + Node.

Перед инициализацией связанности рекомендуется сделать резервную копию БД основного контроллера. Подробная информация о процессе создания резервной копии БД контроллера содержится в разделе Резервное копирование БД контроллера.

Процесс инициализации связанности

После установки дополнительного экземпляра ECP VeiL в режиме Controller + Node, если контроллеры не находятся в одной подсети, необходимо обеспечить сетевую связанность до основного контроллера.
Инициализировать связь между экземплярами контроллера, используя следующую команду в CLI на каждом контроллере:

controller add <IP второго контроллера>

В ходе выполнения данной команды необходимо будет по запросу ввести пароль пользователя root второго контроллера.

Роли в процессе репликации

Работа контроллера может меняться в зависимости от роли. Назначение роли происходит путем использования команды controller role <роль> в CLI контроллера.

Описание ролей

Alone

alone - роль обособленного, несвязанного репликацией контроллера. Является ролью по умолчанию.

Master

master - роль основного (реплицируемого) контроллера. В отличие от alone контроллер предоставляет связанному контроллеру с ролью slave доступ к данным для обеспечения репликации. При настройке репликации назначение роли master обязательная операция.

Slave

slave - роль резервного (реплицируемого) контроллера. После применения данной роли контроллер начинает попытки подключиться к основному контроллеру с ролью master для получения данных о текущей конфигурации. В результате применения роли slave произойдут следующие изменения в его работе:

прекращение возможности входа в Web-интерфейс;
остановка системы очередей пользовательских и системных задач, если они были;
сервер БД конфигурации кластера переведен в режим репликации.

Назначение ролей при настройке репликации

Назначить роль slave резервному контроллеру. Для этого выполнить следующую команду в CLI резервного контроллера:
```
controller role slave
```
Назначить роль master основному контроллеру. Для этого выполнить следующую команду в CLI основного контроллера:
```
controller role master
```

Действия при аварии контроллера

При аварии, связанной с прекращением работы основного контроллера или с отсутствием связи основного контроллера и остальных серверов ECP VeiL, для обеспечения полного функционирования инфраструктуры ECP VeiL необходимо незамедлительно выполнить перевод резервного контроллера в основной.

После перевода резервного контроллера в основной будет восстановлена работа системы очередей постановки задач, в том числе Высокая доступность и Живая миграция, а также возможность авторизации и работы в Web-интерфейсе ECP VeiL.

Действия при аварии основного контроллера

Перевести резервный контроллер с ролью slave в основной с ролью master, выполнив следующую команду в CLI резервного контроллера:
```
controller role master
```
После восстановления работы аварийного контроллера или при получении доступа к CLI аварийного контроллера перевести его в режим резервного контроллера (slave), выполнив следующую команду:
```
controller role slave
```

Отключение репликации

В случае необходимости отключения репликации нужно перевести основной контроллер, а также, если резервный доступен, то и его, в режим обособленного контроллера и разорвать связанность.

Примечание

После отключения репликации это будут 2 независимых контроллера с полной базой данных! Но контроллер, бывший мастером до отключения репликации, будет управлять всеми узлами, а для резервного они станут неактивными.

Процесс отключения репликации

Перевести основной контроллер, а также, при необходимости, и резервный контроллер, в режим обособленной работы. Для этого необходимо выполнить следующую команду в CLI контроллера:
```
controller role alone
```
Разорвать связанность контроллеров, выполнив следующую команду в CLI контроллера:
```
controller del
```

Свидетель реплицируемых контроллеров

Общее описание

controller-veil-witness - сервис автоматического переключения ролей репликации 2 VeiL контроллеров.

controller-veil-witness является SystemD сервисом с настройками из файла (/etc/default/controller-veil-witness). Настройки должны быть внесены до старта сервиса (после их изменения необходимо рестартовать сервис). Сервис пытается установить SSH соединение до обоих контроллеров и далее периодически проверяет связь до них и их роли. Если контроллер-мастер становится недоступен, свидетель пытается переключить роль slave на master. Если оба контроллера обнаружены как master, то свидетель пытается снова поставить роль master на тот контроллер, который известен как master большее время. При установке роли master на контроллер последний при наличии связи с другим контроллером пытается переключить его в **slave*.

Схема подключений

Детальное описание работы и настроек смотрите ниже.

Требования к установке

Поддерживаемые ОС: на базе Debian/Ubuntu
Зависимости: python3 (>= 3.6), python3-paramiko
Для заполнения настроек при установке необходимо предустановить один из пакетов: whiptail, dialog.

Рекомендуется устанавливать свидетеля отдельно от инфраструктуры под управлением ECP VeiL в виртуальную машину или контейнер.

Установка deb пакета

Скачать deb пакет

sudo dpkg -i controller-veil-witness_*.deb

Установка с репозитория

sudo echo "deb http://veil-update.mashtab.org/extra-500/ veil main" > /etc/apt/sources.list.d/ecp-veil-extra.list
sudo apt update
sudo apt install controller-veil-witness

Настройки и детальное описание

Сервис берёт настройки из файла /etc/default/controller-veil-witness.

Подробное описание смотрите через man: man controller-veil-witness.

Просмотр controller-veil-witness man RU
Просмотр controller-veil-witness man EN

Удаление

sudo apt remove controller-veil-witness

Описание процедуры создания репликации

Инициализировать связь между экземплярами контроллера, используя следующую команду в CLI на каждом контроллере: controller add <IP второго контроллера> В ходе выполнения данной команды необходимо будет по запросу ввести пароль пользователя root второго контроллера.
Назначить роль slave резервному контроллеру. Для этого выполнить следующую команду в CLI резервного контроллера: controller role slave

WEB-интерфейс slave всегда заблокирован
Назначить роль master основному контроллеру. Для этого выполнить следующую команду в CLI основного контроллера: controller role master

Обновление slave из master

Основной контроллер дополнительно к репликации базы циклично кроном синхронизирует по ssh свою конфигурацию с резервным контроллером (ssh ключи контроллера для доступа к узлам, лицензионные ключи, данные контроллера, настройки системы автотестирования, /etc/hosts.d, настройки ntp и openvswitch)
Проверить связность контроллеров: controller status
Перевести резервный контроллер с ролью slave в основной с ролью master, выполнив следующую команду в CLI резервного контроллера: controller role master

Автоматическая смена роли

При смене роли при условии наличия связности между контроллерами роль на втором переключится автоматически.
Проверить связность контроллеров: controller status

Статус pending

Означает недоступность второго контроллера по ssh. Необходимо проверить ssh ключи и сетевую связность контроллеров.

Ended: Репликации контроллера

Резервное копирование БД контроллера

В БД контроллера содержится конфигурация ECP VeiL, включая пользователей и их настройки, информация о виртуальных машинах, подключенных серверах и систем хранения данных, сетевые настройки как физических подключений, так и виртуальных сетей и т.д.

Повреждение БД может вызвать необратимые последствия, поэтому ECP VeiL поддерживает контроль целостности БД, резервное копирование БД и восстановление БД из резервной копии.

Просмотр статистики БД

Для просмотра статистики БД контроллера необходимо в CLI выполнить следующую команду:

controller db_stats

Проверка целостности БД

Для проверки целостности БД контроллера необходимо в CLI выполнить следующую команду:

controller db_check

В случае повреждения базы данных система обнаружит поврежденные или отсутствующие файлы.

Создание резервной копии БД

Для создания резервной копии БД необходимо в CLI выполнить следующую команду:

controller backupdb_create

Резервная копия по расписанию

С версии 5.0.4 можно из Web-интерфейса создавать резервную копию по расписанию.

Внимание

Создание резервной копии БД перезаписывает резервную копию БД, сделанную ранее.

Проверка наличия резервной копии БД

Для проверки наличия резервной копии БД контроллера необходимо в CLI выполнить следующую команду:

controller backupdb_list

Восстановление БД из резервной копии

Для восстановления БД из резервной копии необходимо в CLI выполнить следующую команду:

controller backupdb_restore

Резервное копирование серверов ↵

О резервном копировании ОС ECP VeiL

ECP VeiL поддерживает резервное копирование ОС серверов, установленных как в режиме Controller + Node, так и в режиме Node для восстановления с резервных машинных носителей.

Внимание!

Реализация резервного копирования не рассчитана на сложные разбиения дисков и проверялась на установках в полуавтоматическом режиме. В случае использования пользовательских конфигураций возможно будет тоже работать, но не следует на это надеяться без проверки создания резервной копии и восстановления из нее. К примеру:
- резервная копия не делается с более чем одним разделом типа Linux LVM на диске с корневой файловой системой, но при этом, конечно, сам раздел может содержать несколько LVM-томов и групп томов;
- разметка, отличная от dos и gpt, не поддерживается;
- скорей всего восстановление не будет работать при использовании технологии RAID.

Восстановление из резервной копии ОС ECP VeiL может быть как полным, так и частичным (отдельные файлы и директории).

Файл резервной копии содержит posix-shell скрипт распаковки, архив с конфигурационными файлами, помогающими восстановлению, а также архив со всеми файлами корневой и загрузочной ФС.

Для полного восстановления из резервной копии ОС ECP VeiL понадобится наличие загрузочного DVD-диска ECP VeiL или другой ОС на основе GNU/Linux с базовым набором утилит.

Внимание!

Восстановление из резервной копии выполняется под ОС GNU/Linux с базовым набором утилит. Должны подойти большинство Live CD дистрибутивов, но предпочтительным будет установочный дистрибутив ECP VeiL в режиме VeiL Live, который можно выбрать в загрузочном меню, так как на нем производилось тестирование.

Создание резервной копии сервера ↵

Резервное копирование через CLI

Во время выполнения резервного копирования ОС ECP VeiL корневая файловая система будет "заморожена", соответственно пул данных для файла резервной копии не может находиться в корневой ФС.

Внимание

Рекомендуется в качестве хранения резервной копии ОС ECP VeiL использовать такое хранилище, которое можно подключить к серверу, запущенному в режиме Live CD. VeiL Live CD поддерживает NFS, поэтому для резервного копирования рекомендованным считается соответствующее сетевое хранилище. Не рекомендуется использовать в качестве источника резервных копий диск от узла с установленным ECP VeiL, даже если вы не собираетесь восстанавливать на этот диск, так как вероятен конфликт имен LVM-томов или групп томов.

Для создания резервной копии ОС ECP VeiL необходимо в CLI выполнить следующую команду:

backup-os [ -d | --description < description >] | [ -v | --verbose ] < path to datapool >

где < description> - описание резервной копии ОС ECP VeiL, а < path to datapool > - путь до пула данных, на котором будет создана резервная копия. Резервная копия будет создана в поддиректории пула данных _LIBRARY. Пример команды создания резервной копии ОС ECP VeiL:

backup-os -d "before upgrade, current version 4.2.11\n" /storages/nfs/remote_storage/backups_os/

При успешном выполнении будет создан самораспаковывающийся файл резервной копии ОС этого узла следующего формата:

192.168.122.41__v8fee191e-b2b7-4bf3-be64-05b244f5a2dc.run

Резервное копирование через Web

В окне Серверы – <имя сервера> – Резервные копии содержится список имеющихся резервных копий, включая для каждой из них название, имя пула данных, размер и статус.

В данной вкладке можно создавать резервные копии ОС (операционной системы) с помощью кнопки Создать резервную копию. В открывшемся окне можно выбрать пул данных для сохранения. Если его не указывать, то резервная копия будет создана на базовом пуле данных узла. Также в этом окне имеется текстовое поле Описание, в которое можно внести дополнительную информацию, помогающую более точно идентифицировать файл резервной копии при восстановлении. Это описание можно будет в дальнейшем посмотреть при открытии файла через Web-интерфейс или непосредственно из posix shell.

При создании резервной копии корневая файловая система резервируемого узла "замораживается", поэтому все операции на узле становятся не возможны. При создании резервной копии узла, на котором расположен контроллер, будет также приостановлена работа Web-интерфейса.

Правильным будет создавать резервные копии на сетевых хранилищах NFS, что в дальнейшем сильно упростит восстановление из них, используя VeiL Live загрузку с установочного DVD.

Для загрузки резервной копии из файловой системы необходимо нажать кнопку Загрузка из файловой системы и в открывшемся окне выбрать файл (через стандартное окно загрузки файла) и пул (из раскрывающегося списка). После этого подтвердить операцию, нажав кнопку Отправить.

Для выбора определенной резервной копии с применением фильтра необходимо нажать на кнопку . В открывшемся окне содержатся следующие поля для фильтрации:

Имя файла;
Пул данных – выбор из раскрывающегося списка;
ВМ – выбор из раскрывающегося списка;
Серверы – выбор из раскрывающегося списка.

После настройки фильтра необходимо нажать Применить или Сбросить все.

При открытии файла резервной копии, кроме обычных для файла кнопок (Обновить, Копировать, Скачать, Удалить), имеется кнопка Описание, при нажатии на которую отобразится окно с описанием, внесенном при создании резервной копии. Берется из файла резервной копии, поэтому оно будет доступно, даже если файл был загружен.

При нажатии на название резервной копии открывается окно состояния резервной копии, содержащее следующую информацию:

название;
описание (с возможностью редактирования);
расположение;
название пула данных;
дата и время создания;
дата и время изменения;
сообщения, выдаваемые при работе с резервными копиями с возможностью их сортировки по признакам – По всем типам, Ошибки, Предупреждения, Информационные. Также имеется возможность отображения только непрочитанных сообщений и просмотр событий по дате с выбором интервала дат.

Про восстановление из резервной копии ОС смотрите здесь.

Ended: Создание резервной копии сервера

Восстановление из резервной копии

Восстановление из резервной копии выполняется под ОС GNU/Linux с базовым набором утилит. Должны подойти большинство Live CD дистрибутивов, но предпочтительным будет установочный дистрибутив ECP VeiL в режиме VeiL Live.

Подробная информация о возможностях работы с резервной копией ОС содержится в разделе Работа с резервной копией ОС.

Процесс полного восстановления из резервной копии ОС ECP VeiL

Для полного восстановления из резервной копии ОС ECP VeiL необходимо выполнить следующие действия:

1. Загрузиться в режиме VeiL Live с диска ОС ECP VeiL.

2. Примонтировать ФС с резервной копией.

Примонтируйте файловое хранилище, на котором находятся резервные копии. Пример команды монтирования сетевого хранилища NFS:

sudo mount -t nfs 192.168.8.8:/storages/datapool_of_backups_of_nodes /mnt

где /mnt - путь до директории _LIBRARY, в которой находится резервная копия ОС ECP VeiL.

Внимание

Не рекомендуется использовать в качестве источника резервных копий диск от узла с установленным ECP VeiL, даже если вы не собираетесь восстанавливать на этот диск, так как вероятен конфликт имен LVM-томов или групп томов.

3. Подготовить диск.

Подготовить диск, на который будет производиться восстановление, удалив с него LVM-тома, группы томов и физические LVM-тома. Примеры команд:

   # deactivate all volumes
   sudo vgchange -an
   # remove volume groups with all volumes
   sudo vgremove -y `sudo vgs --noheadings -o vg_name`
   # remove physical volumes
   sudo pvremove `sudo pvs --noheadings -o pv_name`

Внимание

Будьте предельно аккуратны, используя приведенные ниже команды. Они для случая, когда вы точно уверены, что нет других дисков с LVM, иначе можете удалить то, что не собирались.

4. Начать восстановление.

Запустить восстановление ОС ECP VeiL из резервной копии. Так как файл резервной копии является posix-shell скриптом, то запуск восстановления из резервной копии выполняется следующей командой:

sudo sh /mnt/_LIBRARY/192.168.122.41__8fee191e-b2b7-4bf3-be64-05b244f5a2dc.run -v restore /dev/sda

где: /mnt/_LIBRARY/192.168.122.41__8fee191e-b2b7-4bf3-be64-05b244f5a2dc.run - путь к файлу, /dev/sda - целевой диск для восстановления.

Восстановление (опция restore) считается успешным, если последняя строка вывода была следующего вида: Restore to /dev/sda successful., после этого вы можете перезагружаться, загружаясь с восстановленного диска.

5. Перезагрузка после восстановления.

Отмонтировать файловое хранилище командой sudo umount /mnt и перезагрузите сервер. При успешном восстановлении должна произойти загрузка ОС ECP VeiL, которая была восстановлена из резервной копии.

Процесс восстановления отдельных файлов или директорий из резервной копии ОС ECP VeiL

Для восстановления отдельных файлов или директорий из резервной копии ОС ECP VeiL необходимо выполнить следующие действия:

1. Войдите в CLI.

Войдите в CLI сервера, на котором требуется восстановить отдельные файлы или директории из резервной копии. В случае невозможности зайти в CLI загрузитесь в режиме VeiL Live с диска ОС ECP VeiL.

2. Примонтировать ФС с резервной копией.

Примонтируйте файловое хранилище, на котором находятся резервные копии, если оно еще не примонтировано. Пример команды монтирования сетевого хранилища NFS:

sudo mount -t nfs 192.168.8.8:/storages/datapool_of_backups_of_nodes /mnt

где /mnt - путь до директории _LIBRARY, в которой находится резервная копия ОС ECP VeiL.

3. Извлечение файлов и директорий.

Извлеките целевые файлы или директории из резервной копии, выполнив следующую команду:

   sudo sh 192.168.122.41__8fee191e-b2b7-4bf3-be64-05b244f5a2dc.run tar -xC extract-backup/ 'etc/passwd'

где 192.168.122.41__8fee191e-b2b7-4bf3-be64-05b244f5a2dc.run - путь до файла резервной копии, extract-backup/ - путь до директории, в которую будет извлечен файл или директория, 'etc/passwd' - путь к целевому файлу или директории.

4. Отмонтирование ФС, если это необходимо.

Отмонтировать файловое хранилище командой sudo umount /mnt и перезагрузите сервер. При успешном восстановлении должна произойти загрузка ОС ECP VeiL, которая была восстановлена из резервной копии.

Ended: Резервное копирование серверов

Ended: Репликация и резервное копирование

Статистика и журналирование серверов ↵

Стек статистики

Сбор статистики осуществляется через комплект ПО prometheus. На контроллере находится центральный сервис prometheus, который собирает метрики с сервисов node_exporter и domain_exporter с каждого узла.

Примечание

На основе сбора статистики работают сервисы распределения ВМ по узлам, то есть выбор узлов для создания, миграции, восстановления ВМ, поэтому при отказе сервисов данные операции, возможно, будут недоступны.

Команды CLI для работы с сервисами

Для проверки статуса сервисов в CLI есть команды:

Проверка статуса прометеуса на контроллере выполняется командой CLI services list.
Проверка статуса прометеуса на узле (сервис node-statistics) выполняется командой CLI services list.
Проверка базы прометеуса на контроллере выполняется командой CLI system statistics [list|clear|reload|set_storage_time|service].

Порты сервисов

Центральный прометеус на контроллере: порт 9090.
Прометеус статистики узла: порт 9100.
Прометеус статистики ВМ: порт 9177.
Grafana: порт 3000.

Каталог хранения статистики на контроллере

/var/log/prometheus/metrics2

Просмотр и работа с графиками (Grafana)

Grafana — это платформа для визуализации, мониторинга и анализа данных. В рамках ECP VeiL она является дополнительным обособленным инструментом, используемым при необходимости расширенного мониторинга элементов платформы виртуализации. Преднастроенными являются 2 приборные панели: ECP VeiL Node DashBoard для мониторинга данных узла и ECP VeiL Domains DashBoard для мониторинга данных виртуальных машин. По запросу пользователей команда ECP VeiL может добавить базовые настроенные экспортёры прометеуса или другие приборные панели, а также и сам пользователь может добавлять свои панели и источники данных. В дальнейшем планируется автоматическая настройка службы каталогов Grafana при настройке службы каталогов в ECP VeiL.

Запуск/останов Web-интерфейса grafana на контроллере выполняется командами CLI grafana [start|stop].
базовые логин/пароль: admin/admin.
порт 3000 (пример http://192.168.20.120:3000, где 192.168.20.120 адрес контроллера)

Управление временем хранения статистики узлов на контроллере

Выполняется на контроллере командой CLI system statistics set_storage_time.

Базовое значение - 360 часов (15 дней).

Пример управления временем (видно, что было 360 часов и изменилось на 184).

Расчет размера каталога статистики на контроллере

1 вычислительный узел (ВУ) за 1 день при штатной работе условно займет 150 Мб.

Пример расчета

Для 20 ВУ с временем хранения 168 часов (7 дней) каталог будет занимать примерно 21 Гбайт.

Пример расчета

Для 5 ВУ с временем хранения 360 часов (15 дней) каталог будет занимать примерно 11.2 Гбайт.

Пример расчета

Для 30 ВУ с временем хранения 30 дней каталог будет занимать примерно 135 Гбайт.

Итого примерный размер каталога равен

150 Мбайт * количество ВУ * количество дней.

Стек журналирования

Сбор журналов осуществляется с помощью комплекта ПО td-agent + elasticsearch + Kibana. На контроллере находится центральный сервис elasticsearch, который собирает журналы с сервисов td-agent с каждого узла. Сервис td-agent в свою очередь собирает журналы CLI, супервизора узла, Web-сервиса узла, супервизора контроллера, Web-сервиса контроллера, системные журналы. Kibana служит для удобного просмотра в одном месте всех журналов всех узлов. Подробности смотрите в Syslog.

Команды CLI для работы с сервисами

Для проверки статуса сервисов в CLI есть команды:

Проверка статуса elasticsearch на контроллере выполняется командой CLI services list.
Проверка статуса td-agent на узле выполняется командой CLI services list.
Отдельно в Web-интерфейсе выведена кнопка редиректа (перенаправления) на сервис Kibana, находящийся на контроллере. По умолчанию сервис выключен, а включить (выключить) его можно из CLI командой kibana start|stop. Kibana позволяет удобно просматривать и фильтровать все журналы системы. Подробности настройки и фильтрации смотрите на официальном сайте Kibana.

Каталог хранения журналов на контроллере

/var/log/elasticsearch-data/

Управление временем хранения журналов узлов на контроллере

Выполняется на контроллере командой CLI system logging [get_days2keep|set_days2keep].

Базовое значение - 30 дней.

Пример управления временем (видно, что было 30 дней и изменилось на 7).

Расчет размера каталога журналов узлов на контроллере

1 вычислительный узел (ВУ) за 1 день при штатной работе условно займет 200 Мбайт.

Пример расчета

Для 20 ВУ с временем хранения 7 дней каталог будет занимать примерно 28 Гбайт.

Пример расчета

Для 5 ВУ с временем хранения 30 дней каталог будет занимать примерно 30 Гбайт.

Пример расчета

Для 30 ВУ с временем хранения 30 дней каталог будет занимать примерно 180 Гбайт.

Итого примерный размер каталога равен

200 Мбайт * количество ВУ * количество дней.

Очистка журналов elasticsearch

Очистка журналов elasticsearch на контроллере выполняются командой CLI system logging clear.

Состав каталога журналов

Общая информация

Расположение: /var/log

По умолчанию под каталог журналов при установке выделяется 80 Гбайт.

Ротирование

Журналы на контроллере и узлах автоматически ротируются.

Состав каталога журналов

Журналы всех узлов (только на контроллере). Подробное описание смотрите в Стек журналирования.
Статистика всех узлов (только на контроллере). Подробное описание смотрите в Стек статистики.
Журналы сервисов узла: /var/log/.
Журналы дампов крахов процессов: /var/log/crash/.
Журналы общих сервисов VeiL: /var/log/veil/.
Журналы CLI VeiL: /var/log/veil/cli/.
Журналы супервизора узла VeiL: /var/log/veil/node/.
Журналы супервизора контроллера VeiL (только на контроллере): /var/log/veil/controller/.
Резервная копия базы данных контроллера VeiL (только на контроллере): /var/log/veil/controller/db_backup/.
Архивы журнала контроллера VeiL (только на контроллере): /var/log/veil/controller/journal/.

Расчет размера каталога журналов на контроллере

Сильно зависящими от размера инфраструктуры и времени хранения являются размеры каталога журналов всех узлов и статистики всех узлов.

Базовый размер /var/log в режиме установки Preceed равен 80 Гбайт. Оставляем 10 Гбайт под журналы сервисов VeiL и системные, остается 70 Гбайт.

Условный расчет выполняется следующим образом: 150 Mбайт * количество серверов * 15 дней + 200 Мбайт * количество серверов * 30 дней = 8250 Мбайт * количество серверов Имея 70 Гбайт, получаем 8 серверов. В итоге места по умолчанию хватит на 8 серверов на 15 дней хранения статистики и 30 дней хранения журналов.

Общая условная формула для расчёта: (количество серверов * количество дней * 350 Mбайт + 10000 Мбайт) / 1000

Возможные действия при переполнении каталога журналов

Проверить вывод команды df -h.

Пример переполнения раздела журналов (/var/log/)
Запустить в CLI команду log remove_archives, которая рекурсивно удалит все архивы .gz.
Запустить в CLI команду ncdu /var/log/ (с версии 4.6.2), найти и очистить самые крупные файлы с помощью команды, например, > /var/log/syslog.
Уменьшить на будущее время хранения статистики.
Уменьшить на будущее время хранения журналов.
Очистить хранилище журналов с помощью CLI команды system logging clear.
Возможно, для корректной работы потребуется перезапустить часть сервисов: redis, controller-db (postgresql), node-engine, controller-engine.
Запустить в CLI команду system autotest.
Принудительно ротировать файлы журналов можно командой log rotate.

Причины возможного переполнения раздела журналов

Желательно перед очисткой разобраться, почему переполнились журналы, и примять меры по донастройке систем журналирования и ротирования или устранению причины генерации большого количества журналов.

Возможные причины:

Увеличилось количество узлов, и, соответственно, размер журналируемых данных на контроллере. Рекомендуется уменьшить количество времени хранения журналов elasticsearch с помощью команды system logging [get_days2keep|set_days2keep].
Увеличилось количество узлов, и, соответственно, размер собираемой статистики на контроллере. Рекомендуется уменьшить количество времени хранения статистики prometheus с помощью команды system statistics [set_storage_time].
Какое-то ПО постоянно журналирует ошибки. Это может быть как прикладное ПО, так и ошибки оборудования, например, BMC платы или процессора. Необходимо локализовать сервис, посмотрев, какой файл журналов заполняется или syslog, и принять меры по устранению (самим или написать в техподдержку).

Перемещение на другой локальный накопитель или расширение каталога журналов

Описание соответствующих команд CLI

Использование шаблонов для Zabbix на основе MIB-файлов ECP-VEIL

Проверка базы управляющей информации MIB SNMP для ECP VeiL может быть выполнена с помощью MIB браузера.

Можно создать шаблоны для zabbix на основе MIB SNMP или скачать их по ссылке

Создание шаблонов из MIB

Необходимо загрузить и распаковать базу управляющей информации MIB SNMP для ECP VeiL по ссылке
Переходим в данный каталог «Masshtab_ECP_Veil»

Требования к корректной работе скрипа:

sudo apt install snmp snmp-mibs-downloader libsnmp-perl libsnmp-dev python2

Использование скрипта:

python2 SNMP2ZABBIX.py Path-to-MIB-file Base-OID

Пример команды:

python2 ./SNMP2ZABBIX.py ./Masstab_ECP_Veil/NIIMASSHTAB-VEIL-VMINFO-MIB.mib 1.3.6.1.4.1.51290

При выполнение данной команды, будет создан файл с расширением xml. (NIIMASSHTAB-VEIL-VMINFO-MIB.xml)

Импорт шаблонов ECP VEIL в Zabbix

Для импорта необходимо перейти во вкладку «Configuration -> Template -> Import -> Choose File». Выбираем нужный xml-файл и нажимаем на «Импорт/Import». Будет создан шаблон с одноименным названием xml-файла.

Импортируем все шаблоны ECP VEIL.

Разрешаем мониторинг для нужных элементов данных «Configuration -> Template -> Template VEIL -> Items -> Status». Меняем Status = Enabled

Подтверждаем действие Apply

Привязка шаблонов к хосту

Для этого нужно перейти во вкладку «Configuration -> Hosts -> HOST-VEIL -> Template -> Link new templates». Выбираем все шаблоны VEIL. Разрешаем «Configuration -> Hosts -> HOST-VEIL -> Discovery rules -> Template VEIL». Меняем Status = Enabled

Подтверждаем действие Apply

Создание графиков

Для этого нужно перейти во вкладку «Configuration -> Hosts -> HOST-VEIL -> Graphs ->Create graph» или «Configuration ->Templates -> TEMPLATE-VEIL -> Graphs ->Create graph»

Дать название графика, определить параметры и выбрать нужные элементы данных

Получим новый график

Создание триггеров

Для этого нужно перейти во вкладку «Configuration -> Hosts -> HOST-VEIL -> Triggers ->Create Trigger» Дать название триггера и определить выражение когда триггер сработает. После добавления триггера его состояние отображается во вкладке «Monitoring -> Problems»

База управляющей информации MIB SNMP VEIL содержит описание объектов, по которым могут быть построены графики и созданы триггеры. Но для этих объектов должен быть определен числовой тип (unsigned32), а не символьный (DisplayString). Поэтому количество объектов пригодных для построения графиков и триггеров мало.

Ended: Статистика и журналирование серверов

Антивирусные средства ↵

Kaspersky Endpoint Security

ECP VeiL имеет полную программную совместимость с антивирусным средством Kaspersky Endpoint Security.

Установка

Для установки Kaspersky Endpoint Security:

запишите пакет установщика формата DEB на USB накопитель;
вставьте USB накопитель в сервер с ECP VeiL;
зайдите в CLI сервера;
введите команду install-deb;
команда представит список найденных пакетов формата DEB с доступных USB, выберите из списка нужный пакет и установите его в соответствии с разделом «Установка пакета Kaspersky Endpoint Security» руководства администратора антивирусного средства «Kaspersky Endpoint Security для бизнеса – Стандартный Russian Edition».

Первоначальная настройка

Активация антивирусного средства производится при первоначальной настройке и может осуществляться с помощью кода активации или файла ключа.

Для загрузки ключа необходимо зайти в Web-интерфейс ECP VeiL, выбрать доступный для сервера пул данных и загрузить туда ключ со своей локальной машины.

Далее необходимо выполнить первоначальную настройку антивирусного средства в соответствии с разделом «Подготовка программы к работе» руководства по эксплуатации антивирусного средства «Kaspersky Endpoint Security для бизнеса – Стандартный Russian Edition». В ходе эксплуатации активация нового ключа для продления лицензии на антивирусное средство выполняется с помощью «Kaspersky Endpoint Security Center».

Управление

Для управления антивирусным средством с помощью программы «Kaspersky Endpoint Security Center» необходимо установить «Агент администрирования» (аналогично установке Kaspersky Endpoint Security).

Примечание 1

Программа «Kaspersky Endpoint Security Center» функционирует на отдельной персональной электронно-вычислительной машине, находящейся в той же локальной вычислительной сети, что и изделие. Программа «Kaspersky Endpoint Security Center» устанавливается в соответствии с ее эксплуатационной документацией.

Примечание 2

В руководстве администратора на антивирусное средство «Kaspersky Endpoint Security для бизнеса – Стандартный Russian Edition» название устанавливаемого пакета может отличаться от установочного файла.

Запуск и работа

Запуск и работа антивирусного средства «Kaspersky Endpoint Security для бизнеса – Стандартный Russian Edition» выполняется в соответствии с руководством администратора на данное средство и руководством по эксплуатации «Kaspersky Endpoint Security Center».

В CLI сервера доступны команды работы с сервисом kesl system kaspersky [status|stop|start|configure], а также kesl-control.

Dr.Web

ECP VeiL имеет полную программную совместимость с антивирусным средством Dr.Web.

Установка

Подробная информация по установке Dr.Web содержится в документации Dr.Web в разделе Установка универсального пакета.

Для установки Dr.Web необходимо выполнить:

скопируйте пакет установщика формата RUN на сервер ECP VeiL в пул данных через WEB, SSH или FTP;
зайдите в CLI сервера и запустите установщик install-run [путь до RUN файла] \033[96m-- --\033[0m --non-interactive;
после успешного завершения установки удалите пакет установщика формата RUN.

Управление

Для подключения к центральному серверу управления можно загрузить на сервер ECP VeiL сертификаты через ssh или ftp и использовать drweb-ctl esconnect <server>[:port] [options]

Удаление

зайдите в CLI сервера, и перейдите в режим конфигурации системной оболочки выполнив следующую команду shell;
запустите скрипт удаления командой:

env DRWEB_NON_INTERACTIVE=yes /opt/drweb.com/bin/uninst.sh

Ended: Антивирусные средства

Проверка программы

Самотестирование программы

При включении серверной платформы автоматически запускается ECP VeiL и начинается процедура самотестирования, при этом осуществляются проверки целостности файловой системы.

Результаты тестирования

Результаты тестирования выдаются на консоль сервера в процессе загрузки.

В консоли сервера, перед приглашением ввода имени пользователя, отображается IP-адрес, присвоенный интерфейсу управления сервером.

После авторизации в системе суперпользователя root предоставляется интерфейс CLI для управления параметрами сервера из консоли. Этот интерфейс предназначен для настройки параметров, влияющих на целостность системы. Из данного интерфейса можно получить информацию о настройке сетевой подсистемы и произвести устранение неполадок.

Удаленное управление сервером

При наличии на сервере разъема последовательного порта номер 2 (ttyS1, COM2, 115200 бит/с, 8n1) в ECP VeiL предусмотрена возможность работы через этот порт посредством подключения через нуль-модемный кабель с рабочей станции.

При наличии поддержки аппаратурой сервера протокола IPMI Serial-over-Lan (SoL) возможно удаленное управление сервером.

Пример включения SoL в BIOS сервера приведен ниже:

Перенаправление

На клиентской машине устанавливаем утилиту ipmitools.

Установка на ОС Ubuntu выполняется командой:

sudo apt-get install ipmitool

Пример команды проверки текущего статуса питания сервера:

ipmitool -H 192.168.99.1 -U ADMIN -P 4a23t887UP -I lanplus chassis power status

Пример команды рабочего терминала:

ipmitool -H 192.168.99.1 -U ADMIN -P 4a23t887UP -I lanplus sol activate

Возможные сценарии/архитектуры контроллеров и кластеров

Описание ролей

Роль Node

Роль сервера виртуализации, используется для управления сетями, хранилищами, ВМ и т.д..

Роль Controller

Роль используется для управления кластерами серверов из единой консоли.

Роль Controller + Node

Роль является суммарной ролью Node и Controller.

Контроллеры

1 контроллер

1 контроллер с ролью Controller + Node на физическом сервере.
1 контроллер с ролью Controller на физическом сервере.
1 контроллер с ролью Controller в ВМ. Устанавливает на сервер роль Node, затем через Web-интерфейс узла ставится контроллер в ВМ.

2 контроллера

2 контроллера: первый и второй контроллеры с ролью Controller + Node на физических серверах.
2 контроллера: первый и второй контроллеры с ролью Controller на физических серверах.
2 контроллера: первый и второй контроллеры с ролью Controller на ВМ.
2 контроллера: первый контроллер с ролью Controller + Node на физическом сервере, второй контроллер с ролью Controller на ВМ.
2 контроллера: первый контроллер с ролью Controller на физическом сервере, второй контроллер с ролью Controller на ВМ.

Отказоустойчивость контроллеров

Репликация контроллеров (Active/StandBy)
Свидетель контроллеров (автоматическое переключение StandBy на Active при отказе Active)
Резервное копирование БД контроллера

Репликация ВМ с контроллером

Кластер с кворумом и без

Кластер без кворума не может принимать решения при потере сетевой связности с контроллером.
Кластер с кворумом может принимать решения, но возможны разнообразные сложности после появления сетевой связности контроллера с кластером.

Сценарии

1 локация с 1 небольшим кластером: 1 "железный" контроллер с ролью Controller + Node в составе кластера.
1 локация с несколькими кластерами или 1 большим кластером: 1 "железный" контроллер с ролью Controller + Node в составе первого кластера, 2 "виртуальный" контроллер на другом кластере, между ними поднята репликация.
2 локации с несколькими кластерами: 1 "железный" контроллер с ролью Controller + Node в составе первого кластера, 2 "виртуальный" контроллер в другой локации, поднята репликация, поднят свидетель.

Используемые внутренними сервисами порты (список пополняется)

Список портов	Применение
80	Веб-интерфейс(http)
443	Веб-интерфейс(https)
9090	Шина статистики (Prometheus на контроллере)
9100	Шина статистики (Prometheus статистики узла на узле)
9177	Шина статистики (Prometheus статистики ВМ на узле)
3000	Шина статистики (GRAFANA)
6379	REDIS
11300	Шина обмена статусами хранилищ, сети и ВМ между узлами и контроллером
22	SSH
8	ICMP
53	DNS
46003	Шина heartbeat, постановки и проверки выполнения задач между узлами и контроллером
24224	Шина логирования (FLUENTD)
9200, 9300	Шина логирования (ELASTICSEARCH)
9000, 9001(ssl)	Шина логирования (KIBANA)
5404, 5405, 5406	GFS2 (corosync) кластерный транспорт
7777	OCFS2 кластерный транспорт
24007-24008, 38465-38467, 49152-49199	GLUSTER кластерный транспорт
(TCP,UDP)/111	RPC portmapper (используется GLUSTER)
UDP/123	Сервис синхронизации времени (NTP) на контроллере
UDP/161,162	SNMP
9400, 9401	Объектное S3 хранилище (MinIO)
50000-65535	Spice/VNC порты узла
5900-6000	Spice/VNC порты контроллера
5432, 5433	POSTGRES порты узла/контроллера
6081	вебсокеты контроллера
4789	VXLAN туннели
623	IPMI
8300, 8301, 8302, 8500	CONSUL

Порты, используемые при обмене данными между контроллерами и узлом

Источник	Приемник	Протокол	Порт	Применение
Узел	Контроллер	tcp	11300	Beanstalkd
Контроллер	Узел	tcp	9100	Prometheus
Контроллер	Узел	tcp	9177	Prometheus
Контроллер	Узел	tcp	22	SSH
Контроллер	Узел	tcp	46003	GRPC
Узел	Контроллер	tcp	24224	FLUENTD
Узел	Контроллер	tcp/udp	111	NTP
Контроллер	Контроллер	tcp	5432, 5433	POSTGRES
Контроллер	Узел	tcp	50000-65535	Spice/VNC
Контроллер	Узел	udp	623	IPMI

Порты, используемые при обмене данными между узлами

Источник	Приемник	Протокол	Порт	Применение
Узел	Узел	tcp	22	SSH
Узел	Узел	tcp	46003	GRPC
Узел	Узел	tcp	5404, 5405, 5406	GFS2
Узел	Узел	tcp	7777	OCFS2
Узел	Узел	tcp	24007-24008, 38465-38467, 49152-49199, 111	GLUSTER
Узел	Узел	tcp	9400, 9401	MinIO
Узел	Узел	tcp	4789	VXLAN
Узел	Узел	udp	623	IPMI
Узел	Узел	tcp	8300, 8301, 8302, 8500	CONSUL
Узел	Узел	udp	8301, 8302	CONSUL

Порты, используемые при обмене данными между МК (менеджером конфигураций) и ТОС (технологической операционной системой)

Источник	Приемник	Протокол	Порт	Применение
МК	ТОС	tcp	11300	Beanstalkd
МК	ТОС	tcp	9090	Prometheus
МК	ТОС	tcp	6379	REDIS
МК	ТОС	tcp	9300	ELASTICSEARCH
МК	ТОС	tcp	5433	POSTGRES

Сообщения системному программисту

Действия системного программиста должны осуществляться в соответствии с подсказками, выдаваемыми в процессе инсталляции и настройки программы на экране монитора.

Подсказка по командам CLI-интерфейса вызывается командой help.

Перечень принятых сокращений

Сокращение	Описание
ВД	высокая доступность
ВМ	виртуальная машина
МК	менеджер конфигурации
НЖМД	накопитель на жёстком магнитном диске
ОС	операционная система
ПО	программное обеспечение
ПЭВМ	персональная электронно-вычислительная машина
СУ	сеть управления
ТОС	технологическая операционная система
ЦСХД	централизованная система хранения данных
ЭВМ	электронно-вычислительная машина
AD	Active Directory (активный каталог)
ECP	Enterprise Cloud Platform (облачная платформа корпоративного уровня)
SSO	Single Sigh-On (технология единого входа)

Ended: Руководство системного программиста

Руководство оператора ↵

Подготовка к работе

Перед началом работы пользователю необходимо у администратора системы виртуализации получить параметры авторизации (имя учетной записи и пароль), с которыми он в дальнейшем будет работать.

Если учетная запись не была создана, то необходимо воспользоваться учетной записью администратора.

Если не производилась первоначальная настройка системы, то ее необходимо выполнить в следующем порядке:

установить ECP VeiL на все серверы. Установка выполняется в соответствии с руководством системного программиста Установка;
добавить все серверы в кластер, используя Web-интерфейс (Добавление сервера);
подключить сетевые (общие) хранилища (Файловые хранилища, Блочные хранилища);
при необходимости использования высокой доступности (ВД) или другого функционала, недоступного для базового кластера, создать дополнительный кластер и перенести в него серверы (Перемещение сервера);
при управлении одним контроллером группами серверов, сети управления которых отличаются (находятся в разных центрах обработки данных (ЦОД)), внести в разделе Сети — Сетевые настройки для сети управления контроллера статические маршруты до сетей управления остальных групп серверов. Настройка маршрутизации для серверов другой сети управления производится из Command Line Interface (CLI) серверов группы перед их добавлением к контроллеру;
при необходимости использования второго (резервного) контроллера произвести настройку репликации данных (из CLI). Более полное описание приведено в руководстве системного программиста Репликации контроллера;
при необходимости создать и настроить дополнительные коммутаторы, группы интерфейсов (Виртуальные коммутаторы);
для формирования L2-сетевой связанности между локациями настроить туннель (L2-туннели);
создать и настроить виртуальные машины (Создание ВМ).

Общие правила при работе с программой

Важно

ряд объектов помимо функции штатного удаления имеют опцию форсированного удаления;
форсированное удаление объектов должно производиться только компетентным сотрудником. При форсированном удалении не выполняется проверка состояния и связанности удаляемого объекта с другими объектами кластера. Фактически данная операция удаляет запись об объекте из базы данных (БД), что может нарушить работу связанных объектов и (или) привести к потере данных;
восстановление объектов, удаленных таким образом, невозможно, так как все объекты кластера имеют уникальный идентификатор, генерируемый при создании объекта. Созданный заново объект будет иметь новый идентификатор.

Все действия выполняются одинарным нажатием левой клавиши графического манипулятора (далее по тексту — нажатием клавиши) на объект (его изображение или название), на который в данный момент указывает курсор. При этом открываются окна с информацией о состоянии (свойствах) любого объекта кластера, для которого такое окно предусмотрено. Если открытие окна не произошло, значит оно не предусмотрено для этого объекта.

Для комфортной работы с интерфейсом программы рекомендуется разрешение экрана 1920*1080. При меньшем разрешении экрана часть элементов интерфейса может быть скрыта.

Включение программы

Включение программы происходит с помощью запуска сервера (впоследствии ВМ) контроллера, на котором располагается МК. В процессе запуска контроллера автоматически запускаются все службы и сервисы, необходимые для его работы, и становится доступным интерфейс системы управления МК.

Для начала работы пользователю необходимо авторизоваться в системе управления. Для этого необходимо выполнить следующие действия:

проверить следующие возможности браузера, установленного на АРМ, для нормального функционирования интерфейса управления:
- браузер поддерживает протоколы HTTP/HTTPS;
- браузер поддерживает исполнение HTML5 и Type & Java script кода;
- браузер позволяет интерфейсу управления открывать дополнительные окна (вкладки);
осуществить доступ к Web-интерфейсу управления. Для этого пользователю необходимо ввести в строке адреса браузера адрес МК, который был настроен при установке ECP VeiL;
Примечания
1. Если было использовано значение "по умолчанию", то IP-адрес интерфейсу управления назначается автоматически.
2. После установки доступ к Web-интерфейсу автоматически перенаправляется на протокол HTTP.
3. Первоначально для доступа по HTTPS используется самоподписанный сертификат, созданный автоматически в процессе установки ПО. Для корректной работы необходимо заменить HTTPS-сертификат на валидируемый локальным или глобальным центром сертификации.
в Web-интерфейсе управления ввести имя учетной записи и пароля, а также отметить необходимость использования LDAP и выбрать язык из списка;
после первой авторизации в системе в Web-интерфейсе необходимо ввести лицензионный ключ. Для этого необходимо перейти в раздел Настройки – Лицензирование и в окне управления лицензиями нажать на кнопку Выбрать файл лицензии. В стандартном окне загрузки файлов выбрать нужную лицензию и нажать на кнопку Открыть.

Более подробная информация приведена в руководстве системного программиста Первоначальная настройка;
после успешной авторизации пользователь переходит в основное окно интерфейса. При установке автоматически создается базовая локация VeiL default location с базовым кластером VeiL default cluster.

Окно интерфейса

Основное окно

В основном окне интерфейса представлена инфраструктура локаций, включающая информацию об основных объектах, существующих в системе:

кластеры;
серверы;
виртуальные машины;
пулы данных;
файловые сетевые хранилища;
блочные сетевые хранилища;
контроллеры.

Также в этом окне имеются графики, отображающие основные показатели загрузки в реальном времени. Отображаемая загрузка процессоров и памяти кластера указана в процентах от общего количества физических процессоров и памяти в кластере. Индивидуальная загрузка для каждого сервера отображается во вкладке информации о сервере.

При нажатии кнопки происходит автоматическое обновление графиков.

При нажатии кнопки в открывшемся окне существует возможность:

задать начало и конец графика путём выбора даты и времени в открывающемся календаре;
задать интервал между точками;
сброса — выполняется автоматически при нажатии кнопки Сбросить;
применения настроек — выполняется автоматически при нажатии кнопки Применить.

Для того чтобы сразу перейти к объектам инфраструктуры, необходимо нажать на верхнюю строчку с названием объекта и кнопкой .

Дерево ВМ по тэгам (папкам)

В верхней части окна интерфейса есть кнопка открытия дерева ВМ по тэгам (папкам) .

Дерево инфраструктуры

В верхней части окна интерфейса есть кнопка открытия дерева инфраструктуры .

Пинг

В верхней части окна интерфейса есть кнопка открытия окна тестирования прохождения ICMP запросов .

Основное меню

В левой части окна интерфейса находится основное меню, позволяющее управлять системой и содержащее разделы: Локации, Кластеры, Серверы, Пулы ресурсов, Виртуальные машины, Шаблоны ВМ, Хранилища, Сети, Журнал, Безопасность и Настройки.

Разделы основного меню Хранилища, Сети, Журнал, Безопасность и Настройки содержат подразделы.

При переходе от одного раздела (подраздела) к другому в основной рабочей области окна интерфейса изменяется список объектов, относящийся к данному разделу (подразделу). Общую информацию о состоянии объекта можно получить, нажав на его название.

Для того чтобы из любого раздела (подраздела) основного меню вернуться к окну с сетевой инфраструктурой, необходимо нажать на надпись ECP VeiL или кнопку , расположенную в верхней строке интерфейса.

При работе с окнами существует возможность их сворачивания с помощью кнопки в правом верхнему углу. Если окно занимает всю рабочую поверхность, то окно будет выведено на передний план с возможностью его перемещения. В окне при нажатии на кнопку происходит разворачивание окна на весь экран, при нажатии на кнопку происходит сворачивание окна в верхнюю панель, при нажатии на кнопку происходит закрытие окна.

События

В нижней части окна содержится информация о событиях. В случае регистрации в системе ошибок или предупреждений при выполнении операций в нижней строчке окна интерфейса слева появляются соответствующие индикаторы. Цифра рядом с индикатором указывает на количество соответствующих событий. Имеется возможность просмотра и получения информации:

о событиях - с предупреждением и с ошибками;
о задачах - в процессе, успешных, с ошибками, потерянных, частичных и отмененных.

Более подробная информация об этом и о работе с журналами описана в Журнал.

Документация

В правой верхней части окна интерфейса есть ссылка на встроенную документацию ECP VeiL. Нажав на ссылку Документация открывается новое окно, содержащее справочные и эксплуатационные документы для работы с данным ПО.

Профиль пользователя

В правом верхнем углу окна интерфейса отображается имя пользователя, авторизовавшегося в системе, с возможностью посмотреть свой профиль и выйти из системы. Более подробная информация о пользователе описана в Профиль пользователя.

Профиль пользователя

В окне профиля пользователя содержится основная информация пользователя. Кнопка Изменить пароль позволяет изменить свой пароль указав текущий.

Информация о пользователе разделена на следующие группы:

информация;
настройки;
роли и разрешения;
сессии.

Во вкладке Информация отображаются:

логин;
имя (редактируемый параметр);
фамилия (редактируемый параметр);
электронная почта (редактируемый параметр).

Во вкладке Настройки отображаются:

часовой пояс;
дата окончания действия пользователя;
дата окончания действия пароля;
суточный период пользователя;
время начала суточного периода;
время окончания суточного периода;
посылать ошибки на электронную почту;
двухфакторная аутентификация (при включении появляется возможность ввести почту для получения ключей).

Во вкладке Роли и разрешения отображаются:

роли пользователя;
разрешения пользователя.

Во вкладке Сессии для каждой сессии отображаются IP-адрес клиента, агент клиента, статус ("текущая" или нет), дата создания сессии, дата последнего использования.

Управление пользователями подробно описано в Безопасность-Пользователи.

Локации

Локации представляют собой сущности, предназначенные для группирования кластеров. Изначально предполагается, что каждая локация - это отдельный ЦОД или его часть. Кластеры, серверы, сетевые хранилища и другие единицы из состава одной локации должны находиться в одной локальной вычислительной сети (ЛВС), а скорость сетевого соединения между ними должны быть не менее 1 Гбит/с с сетевыми задержками не более 400 мс.

В рамках одной локации допускается использование одного общего сетевого хранилища для всех кластеров, перенос серверов между кластерами.

Также присутствуют ограничения на построение туннелей и катастрофоустойчивой ВМ. Эти единицы кластера могут быть настроены только между разными локациями.

Список всех локаций, включая ее название, количество процессоров (CPU), объем памяти (RAM), количество кластеров, файловых и блочных хранилищ, а также статус локации, можно посмотреть, выбрав раздел Локации основного меню.

Существует возможность обновить, добавить, найти или просмотреть уже существующие локации более подробно.

Для добавления локации необходимо в разделе Локации основного меню нажать кнопку Создать и в открывшемся окне заполнить название (обязательное поле) и описание локации. После этого необходимо нажать кнопку Создать.

Для выбора определенной локации с применением фильтра необходимо в разделе Локации в верхней строчке окна нажать на кнопку и в открывшемся окне заполнить поля:

Имя локации – название искомой локации;
Статус – выбор из раскрывающегося списка («Без фильтра», «Исправно», «Нет соединения» или «Произошла ошибка»);
Теги – выбор из раскрывающегося списка.

После настройки фильтра необходимо нажать Применить или Сбросить все.

Для изменения уже существующей локации необходимо нажать на ее название, после чего в открывшемся окне отобразится информация, разграниченная по следующим группам:

Информация содержит сведения о локации:
- график загрузки cpu_rate_percent (общая загрузка процессорных ресурсов (Central Processing Unit, далее CPU)) и memory_rate_percent (общая загрузка оперативной памяти (Random Access Memory, далее RAM);
- название (редактируемый параметр);
- описание (редактируемый параметр);
- процессоры;
- оперативная память;
- дата и время создания (изменения).
Кластеры содержит список кластеров, входящий в состав локации, включая:
- название кластера;
- локация, где находится кластер;
- сведения о CPU, RAM;
- количество серверов;
- статус.
Хранилища, отображающая общие сетевые хранилища (файловые и блочные) для этой локации.
События, отображающая системные события для этой локации.
Теги, отображающая применяемые к локации метки (теги).

Примечание

При добавлении серверов необходимо указывать локацию, в которую добавляется сервер. Процедура добавления сервера описана в Добавление сервера.

Кнопка Сканировать хранилища локации запускает сканирование и синхронизацию на всех серверах локации следующих хранилищ:

сетевых хранилищ;
блочных сетевых хранилищ;
пулов zfs;
кластерных транспортов;
пулов данных.

Примечание

Поиск пулов данных будет осуществлен на всех (на уже известных и на найденных) хранилищах. Все пулы данных, включая найденные, будут просканированы на предмет содержащихся на них образов, дисков и файлов.

Кластеры ↵

Общие сведения

Кластеры представляют собой сущности, предназначенные для группировки серверов. Изначально предполагается, что каждый кластер — это группа серверов, объединенных ЛВС со скоростью передачи данных более или равно 1 Гбит/с с сетевыми задержками не более 100 мс. Сетевые СХД, подключенные к серверам кластера, используются для хранения дисков ВМ. Для каждого кластера можно настроить параметры высокой доступности ВМ и динамического распределения нагрузки. Также для каждого кластера можно настроить индивидуальные сетевые параметры, применяемые ко всем серверам кластера. В рамках одного кластера можно настроить распределенный виртуальный коммутатор.

Базовый кластер, в состав которого входит контроллер ECP VeiL, имеет ограничение на включение поддержки кластерной файловой системы (ФС) и предназначен для применения к добавляемому серверу организационных операций. Это связано с тем, что большинство кластерных ФС требуют сохранения кворума серверов-клиентов и, в случае отсутствия кворума, серверы могут отключаться для предотвращения повреждения данных. При этом сервер, выполняющий роль контроллера, не может быть огражден для предотвращения потери управления системой.

Базовые сущности

При установке по умолчанию создается базовая локация и кластер. Удалять их запрещено. При создании новых локаций их базовые кластеры создаются автоматически. При удалении локаций удаляются и их базовые кластеры.

Просмотр имеющихся кластеров

Список всех кластеров можно посмотреть в разделе Кластеры основного меню. В этом же окне имеется возможность обновления кластеров, добавление нового кластера, а также поиск кластера по названию.

Для выбора определенного кластера с применением фильтра необходимо в разделе Кластеры в верхней строчке окна нажать кнопку Фильтр и в открывшемся окне заполнить поля:

Имя кластера – название искомого кластера;
Статус – выбор из раскрывающегося списка («Без фильтра», «Исправно», «Нет соединения» или «Произошла ошибка»);
Локация – выбор из раскрывающегося списка;
Теги – выбор из раскрывающегося списка.

После настройки фильтра необходимо нажать Применить или Сбросить все.

Ограничения кластера из 2 серверов

На данный момент прямые ограничения на создание или работу отсутствуют, но нужно учитывать нюансы по тем элементам системы, которые требуют кворума, а именно:

Кластерный транспорт gfs2 при отказе одного из 2 узлов не сможет продолжить работу файловой системы до восстановления этого узла в строй.
Кластерный транспорт gluster при отказе одного из 2 узлов не сможет продолжить работу файловой системы до восстановления этого узла в строй.
Кластер из 2 узлов после включения кворума при потере связи с контроллером не сможет выбрать лидера и перезапустить ВМ.
В кластере из 2 узлов, в составе которого есть контроллер, при выключении контроллера не отработает механизм высокой доступности, то есть ВМ, которые были на контроллере, не перезапустятся на другом узле.

Создание кластера

Создать кластер в составе соответствующей локации для добавления нераспределенных серверов можно в разделе Кластеры основного меню, нажав кнопку Создать. Далее в открывшемся окне нужно ввести уникальное название создаваемого кластера и выбрать его локацию, в которую будет включен созданный кластер.

Внимание!

Перемещение уже добавленного сервера между кластерами в составе разных локаций невозможно!

Информация о кластере

Для просмотра или изменения информации о уже существующем кластере необходимо в разделе Кластеры основного меню выбрать целевой кластер, после чего в открывшемся окне во вкладке Информация отобразится следующая информация:

Кнопка Сканировать хранилища кластера запускает сканирование и синхронизацию на всех серверах кластера следующих хранилищ:

сетевых хранилищ;
блочных сетевых хранилищ;
пулов zfs;
кластерных транспортов;
пулов данных.

Примечание

Поиск пулов данных будет осуществлен на всех (на уже известных и на найденных) хранилищах. Все пулы данных, включая найденные, будут просканированы на предмет содержащихся на них образов, дисков и файлов.

Графики загрузки CPU и RAM кластера

При наличии данных будет сформированы обновляемые в реальном времени графики использования CPU и RAM в процентах.

Для удобства анализа использования аппаратных мощностей кластера можно настроить отображение графиков, нажав на кнопку слева от графиков Задать интервал и в открывшемся окне настроить интервал.

Для увеличения определенного интервала можно нажать на кнопку Масштабировать и в миниатюрном изображении графиков под основными графиками выделить область для просмотра.

Название и описание

Название - уникальное имя кластера. Чтобы его изменить, необходимо нажать кнопку Изменение названия кластера и в открывшемся окне ввести новое уникальное имя кластера, после чего нажать кнопку Сохранить.

Описание - описание кластера. Чтобы его изменить, необходимо нажать кнопку Изменение описания кластера и в открывшемся окне ввести описание, после чего нажать кнопку Сохранить.

Локация

Локация - локация, в которую входит кластер.

Характеристики кластера

Процессоры - общее количество потоков всех узлов кластера.

Оптимальный тип процессора для ВМ определяется по наименьшему совпадению функций (флагов) процессоров всех узлов кластера, и при отсутствии совпадения выводит тип определения «default».

Оперативная память - общий объем доступной оперативной памяти всех узлов кластера.

Кворум кластера

Данный параметр показывает, включен ли механизм поддержания состояния кворума на контроллере. Включение данного параметра необходимо для реализации механизма Высокой доступности. Чтобы изменить состояние кворума кластера, необходимо нажать кнопку настройка кворума Настройки кворума и в открывшемся окне подтвердить действие.

Даты создания и изменения

Дата создания показывает, когда был создан данный кластер.

Дата изменения показывает, когда были внесены изменения в конфигурацию кластера.

Серверы в составе кластера

Вкладка Серверы содержит список физических серверов в табличном виде, включая информацию о каждом из них:

название;
IP-адрес;
сведения о CPU и RAM;
количество ВМ (включенных и всего);
статус.

Перемещение сервера между кластерами в составе одной локации возможно только после перевода сервера в Сервисный режим. Перевод в сервисный режим осуществляется в окне Серверы - <имя сервера>.

Добавление сервера в состав кластера производится в разделе Серверы основного меню при выполнении операции Добавить сервер.

Более подробное описание сервера и операции с ним приведены в разделе Операции с физическими серверами.

Пулы ресурсов в составе кластера

Вкладка Пулы ресурсов содержит список пулов ресурсов в табличном виде, включая информацию о каждом из них:

название;
ВМ;
ограничение памяти;
ограничение CPU.

Также имеется возможность создания нового пула ресурсов и поиска пула с применением фильтра.

Более подробное описание пула ресурсов и операции с ним приведены по ссылке Пулы ресурсов.

Виртуальные машины в составе кластера

Вкладка Виртуальные машины содержит список ВМ кластера в табличном виде, включая информацию о каждой из них:

название;
сервер;
IP-адрес;
количество виртуальных процессоров vCPU;
объём виртуальной оперативной памяти vRAM;
количество виртуальных дисков vDisk;
количество виртуальных сетевых интерфейсов vNIC;
количество сетевых адаптеров vFunc;
количество mediated-устройств vGPU;
статус.

Более подробное описание ВМ и операции с ней приведены по ссылке Операции с ВМ.

Хранилища в составе кластера ↵

Хранилища в составе кластера

В состав каждого кластера могут входить различные хранилища данных и кластерные транспорты, перечисленные во вкладке Хранилища, а именно:

пулы данных;
ZFS пулы;
файловые хранилища;
блочные хранилища;
кластерные транспорты;
тома.

Пулы данных

Вкладка Пулы данных содержит список пулов данных в табличном виде, включая информацию о каждом из них:

название;
тип пула данных;
количество серверов, к которым подключен конкретный пул данных;
количество виртуальных дисков, находящихся на конкретном пуле данных;
количество ISO-образов, находящихся на конкретном пуле данных;
количество файлов, находящихся на конкретном пуле данных;
использованный и общий объем пула данных;
статус.

Также имеется возможность создания нового пула данных и поиска пула с применением фильтра.

Более подробное описание пула данных и операции с ним приведены по ссылке Пулы данных.

ZFS пулы

Вкладка ZFS пулы содержит информацию обо всех ZFS-пулах кластера в табличном виде, а именно:

название;
сервер, на котором развернуто конкретное ZFS-хранилище;
тип ZFS-хранилища;
размер хранилища ZFS;
состояние (Health) хранилища ZFS;
количество локальных устройств хранения данных, используемых для организации ZFS-хранилища;
количество внешних устройств хранения данных, используемых для организации ZFS-хранилища;
статус.

Также имеется возможность создания нового ZFS-пула и поиска ZFS-пула с применением фильтра.

Более подробное описание ZFS-хранилища и операции с ним приведены по ссылке ZFS пулы.

Файловые хранилища

Вкладка Файловые хранилища содержит информацию обо всех файловых хранилищах кластера в табличном виде, а именно:

название;
тип подключения файлового хранилища;
использованный и общий объем конкретного пула данных;
количество созданных пулов данных на файловом хранилище;
количество серверов кластера, к которым подключено файловое хранилище;
статус.

Также имеется возможность добавить файловое хранилище.

Более подробное описание файлового хранилища и операции с ним приведены по ссылке Файловые хранилища.

Блочные хранилища

Вкладка Блочные хранилища содержит информацию обо всех блочных хранилищах кластера в табличном виде, а именно:

название;
тип подключения блочного хранилища;
статус.

Также имеется возможность добавить блочное хранилище.

Более подробное описание блочного хранилища и операции с ним приведены по ссылке Блочные хранилища.

Кластерные транспорты

Вкладка Кластерные транспорты содержит информацию обо всех кластерных транспортах кластера в табличном виде, а именно:

название;
кластер, к которому подключен кластерный транспорт;
тип кластерного транспорта;
статус.

Также имеется возможность добавить кластерный транспорт.

Более подробное описание кластерного транспорта и операции с ним приведены по ссылке Кластерные транспорты.

Тома

Вкладка Тома содержит список подключенных к кластеру томов в табличном виде, включая информацию о каждом из них:

название;
используемый кластерный транспорт;
тип тома;
использованный и общий объем тома;
Gluster статус;
статус тома.

Также имеется возможность создания нового тома.

Более подробное описание тома и операции с ним приведены по ссылке Тома.

Ended: Хранилища в составе кластера

Высокая доступность ↵

Общие сведения

Высокая доступность — это набор механизмов управления, позволяющий восстанавливать работоспособность ВМ без риска повреждения данных при прекращении работы узла кластера.

Механизмы ВД для платформы виртуализации ECP VeiL позволяют повысить отказоустойчивость вычислительной инфраструктуры за счет возможности автоматического восстановления ВМ на резервном физическом сервере в случае сбоя или отказа сервера, на которой она выполнялась. Механизмы ВД возможно активировать на кластере до 96 физических серверов.

ВД ECP VeiL отличается от аналогичных решений тем, что позволяет организовывать инфраструктуру автоматизированного восстановления ВМ на кластере из двух серверов и более (до 96), а также позволяет сохранять работоспособность при отказе более половины серверов виртуализации.

Это достигается тем, что ВД ECP VeiL имеет централизованную архитектуру, встроенную в программный контроллер ECP VeiL. Вследствие чего кворум (согласованность) поддерживается централизованно арбитром контроллера, а не распределенными равнозначными между собой физическими серверами. Только на тех узлах, которые находятся в состоянии кворума, возможна попытка восстановления ВМ на своих вычислительных ресурсах.

Механизм поддержания состояния кворума необходим для предотвращения проблемы с запуском нескольких экземпляров ВМ при потере связности между работоспособными узлами, так как это может повлечь за собой, например, повреждение данных в следствие одновременного выполнения операции записи двух экземпляров ВМ в один участок дисковой памяти. Данная проблема известна под названием «Расщепление» или «Split Brain». Например, достаточность количества работоспособных узлов при распределенном поддержании кворума определяется по формуле n > N/2, где n – количество работоспособных узлов, N – общее количество узлов в кластере. То есть узлы считают, что находятся в состоянии кворума, если количество «видимых» узлов превышает половину от общего количества. Таким образом, в случае отказа более половины серверов, кластер теряет кворум и не предпринимает попыток восстановить на работоспособных серверах отказавшие ВМ.

В ECP VeiL по причине поддержания кворума контроллером кластер может сохранять работоспособность, если отказало больше половины серверов. В таком случае контроллер продолжит восстановление отказавших ВМ на работоспособных серверах. В случае отказа сервера с контроллером возможно активировать резервный контроллер и механизмы ВД ECP VeiL продолжат работу.

Описание механизмов ограждения

IPMI ограждения

Основной частью отказоустойчивости является настройка высокой доступности (ВД) ВМ в составе кластера. Важным моментом защиты ВМ, предотвращающим восстановление ВМ на новом сервере до полной остановки её копии на аварийном оборудовании, является управление сервером по IPMI.

Поэтому без получения от сервера сигнала об ограждении (отключении питания или перезагрузке), ВМ не будет перезапущена на новом сервере. Для серверов, не оборудованных IPMI, предусмотрена возможность признания сервера выключенным автоматически, что теоретически может привести к повреждению диска ВМ из-за попыток записи данных на один диск двумя экземплярами ОС ВМ.

Требования к реализации

Реализация механизмов по типу ограждения IPMI основывается на соблюдении ряда требований:

серверы в составе кластера должны поддерживать управление по протоколу IPMI v2 (LanPlus) по выделенному сетевому интерфейсу. Если IP-адреса управления находятся в сети, отделенной от сети управления ECP VeiL, то в разделе Сети - Сетевые настройки основного меню для контроллера ECP VeiL необходимо прописать маршрут для доступа к IP-адресам IPMI-интерфейсов. Также допускается настройка виртуального внутреннего интерфейса для контроллера с доступом в сеть управления IPMI. Это необходимо для возможности опроса серверов в составе кластера на предмет состояния питания сервера;
на основании состояния питания сервера (Power On/Off, Cycle) принимается решение о возможности запуска ВМ на другом сервере. Это связано с тем, что, если сервер, на котором выполняется ВМ, не был гарантированно выключен, то возможно, что восстановление работы ВМ на новом сервере начнется до окончания её функционирования на сервере, где произошел сбой.

GFS2 кворум

Реализация механизмов в случае наличия кластерного транспорта типа GFS2:

кворум серверов GFS2 может самостоятельно принимать решение об ограждении узлов. Подробности смотрите по ссылке Кластерные транспорты.

Управление высокой доступностью кластера

В данном разделе описывается настройка Высокой доступности (далее «ВД») для кластера. Настройка высокой доступности, применяемая на весь кластер, выполняется в разделе Кластеры основного меню. Для разных кластеров могут быть применены индивидуальные настройки. ВД может применяться как для всего кластера целиком (для всех ВМ кластера), так и выборочно для конкретной виртуальной машины (машин).

Примечание

Необходимо учитывать, что индивидуальные настройки ВМ перекрывают настройки кластера. Настройка ВД для виртуальных машин описана в разделе Виртуальные машины - Высокая доступность.

Включение (отключение) высокой доступности

Для включения или отключения ВД необходимо перевести переключатель Высокая доступность в соответствующее положение. По умолчанию - Выключено.

Включение ВД для кластера будет означать, что для всех ВМ, параметры которых позволяют применить к ним Высокую доступность, будет активирована данная опция.

Включение (отключение) автоматического выбора сервера

Для включения или отключения автоматического выбора сервера необходимо перевести переключатель Автоматический выбор сервера для восстановления ВМ в соответствующее положение. По умолчанию - Выключено.

Включение автоматического выбора сервера для кластера будет означать, что автоматическое восстановление ВМ будет осуществлено на наименее загруженный сервер кластера. Определяется на основе параметра DRS Тип собираемых метрик. Подробнее в разделе DRS - Настройка DRS.

Количество попыток автоматического восстановления ВМ

В некоторых случаях запуск ВМ не удается. Причин может быть множество - к примеру нет доступа к виртуальному диску или сбой СХД. Количество попыток - это изменяемое число попыток запуска ВМ, по истечении которых система считает, что восстановление ВМ невозможно, прекращает попытки запуска ВМ и выключает ВД для этой ВМ. По умолчанию - 5.

Интервал перезапуска

Интервал перезапуска - это пауза (в секундах), применяемая между попытками автоматического восстановления ВМ. По умолчанию - 60 секунд.

Признаки полной загрузки (готовности) ВМ

Для обеспечения правильной очередности включения ВМ (например, до полной загрузки ВМ, обеспечивающей сервис DNS, нет смысла включать другие ВМ, которые не могут работать без DNS) в ECP VeiL предусмотрены два настраиваемых признака:

Истечение заданного времени - время (в секундах), по истечению которого, предполагается, что ВМ будет способна осуществлять свои функции. Очередь автоматического восстановления ВМ приостанавливается (другие ВМ не запускаются) на время ожидания. По умолчанию - 0 секунд.

Запуск гостевого агента ВМ - очередь автоматического восстановления ВМ приостанавливается на время ожидания ответа от гостевого агента ВМ. В случае, если агент по каким-либо причинам не отвечает, предусмотрено максимальное время ожидания (в секундах), по истечению которого, очередь восстановления будет продолжена, вне зависимости от того, получен ли ответ от гостевого агента. Нулевое значение признака означает, что наличие ответа гостевого агента не требуется. По умолчанию - 0 секунд.

Примеры значений и их значения:

ответ от гостевого агента ВМ не требуется. Значение 0 (задержка очереди составляет 0 секунд);
требуется ответ от гостевого агента и максимальное время ожидания 2 минуты. Значение 120. Существует два основных варианта развития событий:
- гостевой агент дал ответ через 50 (к примеру) секунд после включения ВМ и очередь восстановление немедленно продолжена (задержка очереди составляет 50 секунд);
- ответ от гостевого агента не получен за 2 минуты и очередь восстановления продолжена (задержка очереди составляет 2 минуты).

Примечание

Если задать оба признака готовности ВМ, то приоритет будет у того признака, у которого время ожидания больше.

Таблица серверов

Данный функционал позволяет ограничить список серверов, на которых будут восстанавливаться ВМ. Опция будет недоступна при включенном автоматическом выборе целевого сервера для восстановления ВМ.

Примечание

При использовании ограниченного списка серверов, участвующих в ВД, добавляемые в кластер новые серверы попадут в список Нераспределенные серверы.

Сохранение настроек

Если были внесены изменения в настройки ВД, то становится доступна кнопка Сохранить.

Примечание

После изменений настроек ВД важно их сохранить. В противном случае все изменения будут утеряны!

Примечание

В случае успешного сохранения настроек функции ВД будут реализованы вне зависимости от состояния контроллера.

Редактирование очереди автоматического восстановления и настроек ВД всех ВМ кластера

По нажатию кнопки Групповая настройка ВМ открывается диалоговое окно с таблицей всех ВМ кластера. В таблице выведены все параметры ВД для каждой ВМ кластера. Последний столбец таблицы Статус определяется автоматически на основе текущих параметров ВД ВМ и имеет 3 значения:

SUCCESS (настройки ВД корректны и ВМ может быть восстановлена автоматически);
FAILED (настройки ВД не корректны и ВМ не может быть восстановлена автоматически);
DISABLED (ВД отключена).

Для редактирования параметров ВД ВМ необходимо в таблице выделить нужные ВМ и в верхней части заполнить форму настроек.

Пример использования групповой настройки ВД кластера:

По нажатию кнопки Групповая настройка ВМ откроется диалоговое окно с текущими настройками каждой ВМ кластера;
В таблице отметить необходимые ВМ (если выбрано несколько ВМ, и у них совпадают параметры, то они будут отображены в соответсвующих полях формы, если параметры выбранных BM отличаются, то поле в котором параметры различны будет пустым);
Изменить/вписать необходимые настройки (для сохранения индивидуальных значений несовпадающих параметров необходимо оставить их поля незаполненными);
Нажать кнопку Сохранить.

Пример использования высокой доступности ВМ кластера

Сотрудники организации используют виртуальные рабочие столы, службу каталогов (LDAP) и сервер доменных имен (DNS). Служба каталогов, сервер доменных имен и все ВМ сотрудников расположены на сервере А, а сервер Б - резервный. Серверы объединены в кластер В. Высокая доступность кластера В включена с настройками по умолчанию и автоматическим выбором сервера для восстановления ВМ. Выполнены все условия для успешной миграции и восстановления ВМ в рамках кластера В (см. Методику демонстрации работы Высокой Доступности). Все виртуальные машины подлежат восстановлению в случае аварийной остановки любого сервера.

Для корректного восстановления работы данной инфраструктуры следует в первую очередь перезапустить сервер доменных имен, так как и служба каталогов, и ВМ сотрудников используют этот сервис. Следующей ВМ в очереди на восстановление должна быть служба каталогов, так как сотрудники должны пройти аутентификацию на своих ВМ через LDAP. Далее, одновременно, должны быть восстановлены все ВМ сотрудников. Таким образом, очередь восстановления должна быть следующей:

сервер доменных имен;
служба каталогов;
все ВМ сотрудников (999 - номер в очереди по умолчанию).

Далее следует настроить признак готовности для сервера DNS и службы LDAP. Предположим, опытным путем выяснено, что ВМ с сервером DNS запускается 2 минуты, а служба каталогов 3 минуты. В данном случае удобно использовать признак готовности Истечение заданного времени - для сервера DNS 120 сек., а для службы LDAP 180 сек.

Примечание

Как правило, признак Истечение заданного времени используется для тяжелых сервисов, загрузка которых занимает некоторое время уже после старта операционной системы. Если необходима полная загрузка только операционной системы ВМ, то следует использовать признак Запуск гостевого агента ВМ - при получении ответа от агента, очередь восстановления будет продолжена немедленно.

Теперь, в случае потери связи между контроллером и сервером А, будет запущено автоматическое восстановление ВМ на сервере Б в следующем порядке:

запуск сервера доменных имен;
ожидание загрузки сервера доменных имен 120 секунд;
запуск службы каталогов;
ожидание загрузки службы каталогов 180 секунд;
параллельный запуск всех ВМ сотрудников.

Примечание

Если контроллер недоступен в рамках кластера, список задач и событий (связанных с восстановлением ВМ) можно посмотреть на вкладке кластера в веб-интерфейсе любого сервера, входящего в кворум данного кластера.

Методика демонстрации работы Высокой Доступности

Высокая доступность — это набор механизмов управления, позволяющий восстанавливать работоспособность ВМ без риска повреждения данных при прекращении работы узла кластера.

Методика демонстрации

Добавляем IPMI настройки для каждого сервера в кластере.
Выставляем тип ограждения IPMI на кластер или отдельно на каждый сервер (крайне желательно, чтобы это была отдельная сеть от management).
Создаем пул данных одного из типов: nfs, cifs, glusterfs, gluster, gfs2, доступный для всех узлов данного кластера.
Создаем ВМ с дисками на этом пуле данных.
Включаем ВД целиком на кластер или отдельно на каждую ВМ.
Отключаем сетевой кабель management сети (или отключаем питание сервера, или отключаем супервизор узла) из какого-то сервера в кластере.
Наблюдаем процесс, как сервер переходит через 30 секунд в статус ERROR (Ошибка - узел недоступен), затем в статус HERMIT (Ограждается - узел недоступен продолжительное время и его необходимо оградить для перезапуска виртуальных машин на других узлах, возможен мгновенный переход от ERROR в FAILED), затем в статус FAILED (узел был недоступен и его оградили (fence), виртуальные машины могут быть перезапущены на других узлах).
Наблюдаем в журнале задач, как ВМ перезапускаются на других узлах поочередно (имя задачи Восстановление виртуальной машины {domain_name} на узле {node_name}).

ВД на 2 серверах (узел и узел+контроллер)

Восстановление ВМ возможно только в одну сторону - с узла на узел на контроллере.

Неудачное восстановление

Если все попытки восстановления ВМ завершились неудачей, то высокая доступность выключается для этой ВМ, что можно проследить по журналу событий.

Ended: Высокая доступность

DRS ↵

DRS

DRS (система распределения ресурсов) настраивается на кластер и выполняет роль "выравнивателя" выбранного ресурса по всем его узлам.

Описание работы

В начале каждого цикла работы сервиса DRS через заданный интервал (Тайм-аут между проверками и попытками переезда виртуальных машин) происходит группировка узлов кластера в зависимости от Типа собираемых метрик.

Далее считается Cреднеквадратичное (стандартное) отклонение нагрузки узлов кластера в процентах. Если оно меньше или равно Пределу среднеквадратичного отклонения для начала работы DRS, то никаких действий не происходит до следующего цикла. Если отклонение больше заданного значения, то создается карта использования ресурсов кластера, суммированная по узлам, и выбирается наиболее нагруженный сервер.

После чего происходит выбор ВМ, миграция которой удовлетворит требования к нагрузке на все узлы кластера. Для этого для всех включенных ВМ наиболее нагруженного узла последовательно симулируется изменение нагрузки на серверы после миграции на все остальные узлы кластера с последующим расчетом возможного среднеквадратичного отклонения нагрузки кластера. В качестве целевой ВМ и целевого узла для "живой" миграции выбирается та комбинация, после выполнения которой среднеквадратичное отклонение нагрузки на серверы кластера будет минимальным.

Если ВМ для миграции или узел назначения не найдены, то ничего не происходит до следующего цикла.

После отработки механизма предсказания нагрузки система определяет ВМ для миграции, узел-источник и узел назначения.

Далее, если в Режиме создания виртуальных машин и воздействий задан SOFT, то появляется подсказка с предложением миграции ВМ, если же задан HARD, то происходит попытка выполнения миграции целевой ВМ на узел назначения.

Cреднеквадратичное отклонение (подсчёт)

Детальные текущие параметры можно получить для кластера и узла, выполнив GET запросы http://{CONTROLLER_IP}/api/clusters/{CLUSTER_ID}/drs-stats/ и http://{CONTROLLER_IP}/api/clusters/{NODE_ID}/drs-stats/.

Центральный prometheus находится по адресу http://{CONTROLLER_IP}:9090.

Подсчёт domains_mem_deviation_percent

float
cluster.domains_mem_deviation_percent = std(list(cluster.domains_by_node_mem_used_percent.values() or [0]))

dict
cluster.domains_by_node_mem_used_percent = {node.uuid: node.domains_mem_used_percent for node in cluster.active_nodes}

float
node.domains_mem_used_percent = prometheus_client.domains_mem_used(node) / node.memory_count * 100

float
prometheus_client.domains_mem_used(node) = prometheus_client.libvirt_domains_memory_usage_mb_sum(node)

float
prometheus_client.libvirt_domains_memory_usage_mb_sum(node) = scalar((sum(libvirt_mem_stats_actual_kibibytes{node}) - sum(libvirt_mem_stats_usable_kibibytes{node})) / 1024)

Подсчёт domains_cpu_deviation_percent

float
cluster.domains_cpu_deviation_percent = std(list(cluster.domains_by_node_cpu_used_percent.values() or [0]))

dict
cluster.domains_by_node_mem_used_percent = {node.uuid: node.domains_cpu_used_percent for node in cluster.active_nodes}

float
node.domains_cpu_used_percent = prometheus_client.domains_cpu_used_percent(node)

float
prometheus_client.domains_cpu_used_percent(node) = prometheus_client.libvirt_cpu_rate_sum(node) * 100

float
prometheus_client.libvirt_cpu_rate_sum(node) = scalar(avg by (node) (irate(node_cpu_guest_seconds_total{node}[3m])))

Настройка DRS

Вкладка DRS содержит информацию о параметрах динамического управления ресурсами (DRS). DRS настраивается на кластер и выполняет роль сервиса, который выравнивает нагрузку по всем узлам, входящих в кластер.

Включение (отключение) DRS

Для включения или отключения DRS необходимо перевести переключатель DRS в соответствующее положение. По умолчанию - Выключено.

Тайм-аут между проверками и попытками переезда виртуальных машин

Тайм-аут между проверками и попытками переезда виртуальных машин - это интервал проверки загруженности узлов кластера. В случае выявления отклонения выше заданного параметра осуществляется попытка выравнивания нагрузки на узлы путем выдачи предупреждений или "живой" миграции ВМ, в зависимости от режима работы. По умолчанию - 180 секунд.

Предел среднеквадратичного отклонения для начала работы DRS

В начале каждого цикла сервис проверяет отклонение нагрузки на каждый узел кластера от среднего по всем узлам, и, если отклонение превышает заданный предел (предел среднеквадратичного отклонения для начала работы DRS), пытается привезти нагрузку на узлы путем "живой" миграции ВМ к значениям, удовлетворяющим данный параметр. По умолчанию - 2 %.

Типы собираемых метрик

Типы загрузки хостов кластера, по которым каждый цикл происходит выявление отклонений нагрузки. Возможные варианты - CPU, MEMORY, CPU_MEMORY. Для последнего типа высчитывается среднее отклонение для метрик CPU и MEMORY. По умолчанию - MEMORY.

Режим создания виртуальных машин и воздействий

Варианты действий при выявлении отклонения выше заданного параметра предела среднеквадратичного отклонения для начала работы DRS или достижения верхних аварийных уровеней загрузки сервера. Подробная информация о верхних аварийных уровеней загрузки сервера содержится в разделе Пределы ресурсов. Возможные варианты - SOFT, HARD. При выбранном типе SOFT будут выдаваться предупреждения (рекомендации) о миграции определённой ВМ. При выбранном типе HARD ВМ будет выполнена "живая" миграция ВМ. По умолчанию - SOFT.

Сохранение настроек

Если были внесены изменения в настройки DRS, то становится доступна кнопка Сохранить.

Методика демонстрации DRS

DRS настраивается на кластер и выполняет роль выравнивателя выбранного ресурса по всем его узлам.

Методика демонстрации

Создаем в кластере из 2 и более узлов с примерно одинаковым качеством и количеством ресурсов ВМ на одном узле, чтобы максимально использовать ресурсы узла с условиями, что ВМ могут мигрировать на все узлы данного кластера (диски на общем хранилище, интерфейсы подключены к одной виртуальной сети, нет примонтированных устройств, относящихся только к конкретному узлу и т.д.).

Включаем все ВМ.

Переходим во вкладку кластера Настройки DRS.

Включаем DRS:
1. Выбираем нужный нам Тип собираемых метрик: MEMORY. При выборе типа можно увидеть отклонение данной метрики от среднего по кластеру. Работа DRS идёт, пока отклонение выше Предела среднеквадратичного отклонения для начала работы DRS.
2. Выбираем нужный нам Режим создания виртуальных машин и воздействий: SOFT.
3. Таймаут между проверками и попытками переезда виртуальных машин рекомендуется оставлять по умолчанию (180 секунд).
4. Включаем DRS ползунком.
5. Нажимаем кнопку Сохранить.
Проверка создания предупреждений и рекомендаций. Через максимум 180 секунд (Таймаут между проверками и попытками переезда виртуальных машин) в общей вкладке предупреждений или во вкладке предупреждений этого кластера появится рекомендация по миграции одной из ВМ на менее загруженный узел. Также при невозможности миграций каких либо ВМ в кластере появятся предупреждения о невозможности миграции и рекомендации по оптимизации ресурсов кластера.
Включение автоматического режима DRS.
1. Переходим во вкладку кластера Настройки DRS.
2. Выбираем нужный нам Режим создания виртуальных машин и воздействий: HARD.
3. Нажимаем кнопку Сохранить.
Проверка автоматических миграций. Через максимум 180 секунд (Таймаут между проверками и попытками переезда виртуальных машин) ВМ будут мигрировать по одной за цикл. То есть, если таймаут 180 секунд (3 минуты), то за час в одном кластере может мигрировать до 20 ВМ. Следить за миграциями можно в журнале задач.

Ended: DRS

Кворум

Вкладка Кворум содержит информацию обо всех участниках кворума кластера в табличном виде, а именно:

IP-адрес - IP-адрес участника кворума и порт для поддержания связи в рамках кворума;
ID участника кворума;
лидер кворума;
сервер;
версия протокола;
Voter.

Включение кворма кластера является обязательным условием для реализации функцкий высокой доступности в системе. Сервер, определенный как лидер кворума запускает процессы восстановления виртуальных машин, если контроллер недоступен в рамках кластера.

Пределы ресурсов

В разделе отображается информация о состоянии динамического управления ресурсами. Данные настройки предназначены для ограничения загруженности серверов кластера. При изменении базовых настроек необходимо учитывать возможную пиковую нагрузку на сервер. Также данные настройки влияют на распределение ВМ по серверам при срабатывании механизмов ВД и DRS.

Верхний аварийный уровень загрузки процессора

Уровень загрузки процессора в процентах, при котором происходит выключение ВМ. По умолчанию - 85.

Верхний предупредительный уровень загрузки процессора

Уровень загрузки процессора в процентах, при котором появляется предупреждение о высоком уровне загрузки процессора узла (узлов) кластера. По умолчанию - 80.

Верхний аварийный уровень загрузки памяти

Уровень загрузки оперативной памяти в процентах, при котором происходит выключение ВМ. По умолчанию - 85.

Верхний предупредительный уровень загрузки памяти

Уровень загрузки оперативной памяти в процентах, при котором появляется предупреждение о высоком уровне загрузки памяти узла (узлов) кластера. По умолчанию - 80.

Сохранение настроек

Если были внесены изменения в настройки ресурсов, то становится доступна кнопка Сохранить.

События

Во вкладке События содержится список последних событий для кластера с возможностью их сортировки по признакам - По всем типам, Ошибки, Предупреждения, Информационные. Также имеется возможность отображения только непрочитанных сообщений и просмотр событий по дате с выбором интервала дат.

При включении опции Разрешение на использование тегов узлов и ВМ при миграции, HA, DRS при выборе доступных узлов для миграции и восстановления ВМ будут браться только те узлы, у которых стоит такой же тег, как и у ВМ.

При включении дополнительно опции Дополнительное разрешение на использование тегов узлов и ВМ при миграции, HA, DRS, при котором ВМ мигрируют только на те узлы, на которых нет ВМ с таким же тегом при выборе доступных узлов для миграции и восстановления ВМ будут браться только те узлы, у которых стоит такой же тег, как и у ВМ, и на которых нет ВМ с таким же тегом.

Пример настройки и проверки работы Разрешения на использование тегов узлов и ВМ при миграции, HA, DRS

Создайте или выберите нужную ВМ
Проверьте, что ВМ может мигрировать по всем серверам кластера
Создайте тэг
Добавьте тэг ко всем серверам и к ВМ (с версии 4.7.6 при добавлении тэга к пулу ресурсов, он автоматически добавится ко всем ВМ этого пула ресурсов, с версии 5.0.1 при добавлении тэга к пулу ресурсов или кластеру он автоматически добавится ко всем серверам этого пула ресурсов или кластера)
Включите Разрешение на использование тегов узлов и ВМ при миграции, HA, DRS
Проверьте, что ВМ может мигрировать по всем серверам кластера
Уберите тэг от одного из узлов кластера
Проверьте, что ВМ теперь не может мигрировать на этот узел

Пример настройки и проверки работы Дополнительного разрешения на использование тегов узлов и ВМ при миграции, HA, DRS

Создайте или выберите несколько ВМ
Добавьте тэги на эти ВМ и все сервера кластера
Проверьте, что ВМ могут мигрировать по всем серверам кластера
Разнесите (смигрируйте ВМ на разные сервера)
Включите Дополнительное разрешение на использование тегов узлов и ВМ при миграции, HA, DRS
Проверьте, что ВМ теперь не может мигрировать на узел, где есть другая ВМ с таким же тэгом

Сохранение настроек

Если были внесены изменения в настройки тегирования, то становится доступна кнопка Сохранить.

Ended: Кластеры

Серверы ↵

Общая информация

Физические серверы могут добавляться в кластер и удаляться из него. Физические серверы — это основная среда исполнения ВМ. ПО, устанавливаемое на сервер, формирует слой абстрагирования реального аппаратного обеспечения от ресурсов, предоставляемых ВМ. Это позволяет распределять физические ресурсы между ВМ и создавать виртуальные ресурсы (диски, сетевые карты и прочее) для обеспечения корректной работы ВМ и их взаимодействия.

На физических серверах могут размещаться файловые и блочные хранилища для дисков виртуальных машин, хранилища образов CD/DVD-дисков.

Физические серверы также могут предоставлять ресурсы для распределенных хранилищ.

Физические сетевые интерфейсы серверов участвуют в работе виртуальных и распределенных коммутаторов. Важной частью настройки физического сервера является настройка виртуальных и распределенных коммутаторов. На основании этих настроек обеспечивается сетевая связанность внутри кластера и доступ к сетям вне кластера. При добавлении сервера автоматически создается набор базовых сетевых настроек — базовый коммутатор и сетевой интерфейс.

В разделе Серверы основного меню содержится список серверов в табличном виде, включая для каждого из них его название, IP-адрес, сведения о CPU и RAM, количество ВМ (включенных и всего) и статус. Также имеется возможность обновления списка серверов, добавление нового сервера и выбора определенного сервера с применением фильтра.

Для поиска определенного сервера с применением фильтра необходимо в разделе Серверы нажать на кнопку Фильтр в верхней строчке окна. В открывшемся окне содержатся следующие поля для фильтрации:

Имя сервера – имя искомого сервера;
Статус – выбор из раскрывающегося списка («Без фильтра», «Исправно», «Нет соединения» или «Произошла ошибка»);
Файловое хранилище – выбор из раскрывающегося списка;
Пул данных – выбор из раскрывающегося списка;
Кластеры – выбор из раскрывающегося списка;
Локации – выбор из раскрывающегося списка;
Пулы ресурсов – выбор из раскрывающегося списка;
Теги – выбор из раскрывающегося списка.

После настройки фильтра необходимо нажать Применить или Сбросить все.

Информация о сервере

Для просмотра или изменения информации о добавленном сервере в кластере необходимо в разделе Серверы основного меню выбрать целевой сервер, после чего в открывшемся окне во вкладке Информация отобразится следующая информация:

Название и описание

Название - уникальное имя сервера. Чтобы его изменить, необходимо нажать кнопку Изменение названия сервера и в открывшемся окне ввести новое уникальное имя сервера, после чего нажать кнопку Сохранить.

Описание - описание сервера. Чтобы его изменить, необходимо нажать кнопку Изменение описания сервера и в открывшемся окне ввести описание, после чего нажать кнопку Сохранить.

Локация

Локация - локация, в которую входит сервер.

Кластер

Кластер - кластер, в который входит сервер.

IP-адрес сервера

IP-адрес - IP-адрес сервера.

Тип установки

Тип установки - тип установленного ECP VeiL на сервер. Может быть Veil controller + Veil server и Veil server. Veil controller + Veil server соответствует установке Node + Controller, а Veil server - Node.

Даты создания и изменения

Дата создания показывает, когда был добавлен данный сервер.

Дата изменения показывает, когда были внесены изменения в конфигурацию сервера.

Время

Время беспрерывной работы - время работы сервера после последнего старта.

Дата запуска - дата и время последнего запуска сервера.

Системное время - дата и время сервера.

Часовой пояс - часовой пояс на сервере. Чтобы его изменить, необходимо нажать кнопку изменение часового пояса сервера Изменение часового пояса и в открывшемся окне выбрать необходимый часовой пояс, после чего нажать кнопку Отправить.

Мониторинг

Для просмотра используемых ресурсов сервера необходимо в разделе Кластеры основного меню выбрать целевой сервер, после чего в открывшемся окне во вкладке Мониторинг отобразится следующая информация:

Графики загрузки CPU и RAM сервера

При наличии данных будут сформированы обновляемые в реальном времени графики использования CPU и RAM в процентах.

Для удобства анализа использования аппаратных мощностей кластера можно настроить отображение графиков, нажав на кнопку слева от графиков Задать интервал и в открывшемся окне настроить интервал.

Для увеличения определенного интервала можно нажать на кнопку Масштабировать и в миниатюрном изображении графиков под основными графиками выделить область для просмотра.

Использование CPU и RAM

Суммарная текущая частота - рабочая частота CPU сервера.

Текущая нагрузка - текущая нагрузка CPU.

Как считается потребление памяти сервером:

scalar(100 - (avg by (job) (irate(node_cpu_seconds_total{mode="idle"}[3m])) * 100))

Оперативная память - общий объем RAM.

Объем занятой памяти под кэш - объем RAM, занятый под кэширование данных.

Текущая нагрузка оперативной памяти - общий занятый объем RAM.

Как считается потребление памяти сервером:

filters = '{{job="{id}"}}[{interval}s]'.format(id=node.uuid, interval=interval)
memory_rate = prometheus.query(
    metric=f"scalar(100 * (avg_over_time(node_memory_MemTotal_bytes{filters}) "
           f"- avg_over_time(node_memory_MemFree_bytes{filters}) - "
           f"avg_over_time(node_memory_Buffers_bytes{filters}) - "
           f"avg_over_time(node_memory_Cached_bytes{filters})) / "
           f"avg_over_time(node_memory_MemTotal_bytes{filters}))")

Среднее значение загрузки

Среднее значение загрузки в ECP VeiL показывает среднее отношение имеющихся запросов на вычислительные ресурсы к количеству этих самых ресурсов за заданный промежуток времени (1 минута, 5 минут и 15 минут).

Среднее значение загрузки системы за 1 минуту показывает среднее значение загрузки за последнюю минуту.

Среднее значение загрузки системы за 5 минут показывает среднее значение загрузки за последние 5 минут.

Среднее значение загрузки системы за 15 минут показывает среднее значение загрузки за последние 15 минут.

Если среднее значение загрузки:

меньше числа ядер (потоков) CPU, то это означает, что на выполнение всех текущих запросов тратится такое количество тиков, которое меньше доступного количества тиков CPU;
равно числу ядер (потоков) CPU, то это означает, что на выполнение всех текущих запросов тратится такое количество тиков, которое равно доступному количеству тиков CPU;
больше числа ядер (потоков) CPU, то это означает, что на выполнение всех текущих запросов тратится такое количество тиков, которое больше доступного количества тиков CPU (часть запросов ожидают выполнение и не могут быть выполнены своевременно).

Ожидание выполнения запросов может происходить не только по причине загрузки CPU, но и из-за дисковой нагрузки ввода/вывода (запрос не может быть выполнен, пока не будут получены данные с диска и т.д.).

Нагрузка ВМ

Нагрузка процессора ВМ - нагрузка на CPU, которую создают ВМ.

Нагрузка памяти ВМ - используемый ВМ объем RAM.

Количество памяти ВМ - объем RAM, выданный ВМ.

Web-интерфейс узла ↵

Web-интерфейс узла

Просматривать и управлять узлом ECP VeiL Node и его сущностями можно в Web-интерфейсе узла.

Ограничение функций

Если узел подключен к контроллеру, то часть функционала Web-интерфейса узла становится недоступным.

Переход к Web-интерфейсу узла

Из Web-интерфейса контроллера

Для перехода к Web-интерфейсу узла в Web-интерфейсе контроллера ECP VeiL необходимо в окне Серверы – <имя сервера> нажать кнопку Web-интерфейс. После нажатия на указанную кнопку произойдет открытие Web-интерфейса узла в новой вкладке браузера.

В Web-браузере

Для перехода к Web-интерфейсу узла в адресной строке Web-браузера необходимо ввести IP-адрес узла http://<ip адрес>. Произойдет открытие Web-интерфейса узла в Web-браузере.

Авторизация

Для входа в Web-интерфейс узла необходимо ввести имя и пароль учетной записи пользователя узла. У каждого узла ECP VeiL свой список пользователей, независимый от контроллера или других узлов. Подробная информация о пользователях Web-интерфейса узла содержится в разделе Пользователи Web-интерфейса узла.

Пользователь по умолчанию

По умолчанию имя пользователя узла -- admin, пароль -- veil.

Возможности Web-интерфейса узла

Ниже приведен краткий список доступных в Web-интерфейсе узла функций:

Кластер

Просмотр информации о кластере;
Просмотр серверов, которые входят в кластер;
Просмотр ВМ кластера;

Сервер

Просмотр информации о сервере;
Просмотр ресурсов сервера;
Просмотр загруженности сервера;
Доступ к терминалу сервера;
Получение данных с датчиков сервера;
Управление сервером через IPMI;
Просмотр детальной информации о CPU сервера;
Просмотр детальной информации о RAM сервера;
Просмотр детальной информации о HDD сервера;
Проверка наличия обновлений;

Операции с ВМ

Получение списка ВМ сервера и их статус;
Удаление и создание ВМ;
Получение общей информации о ВМ;
Управление питанием ВМ сервера (включение, выключение, пауза);
Доступ к ВМ по протоколу SPICE и VNC;
Настройки удаленного доступа к ВМ;
Получение информации о конфигурации ВМ (опции загрузки, устройство шин и т.д.)
Детальная информация и настройка CPU ВМ;
Детальная информация и настройка RAM ВМ;
Добавление и отключение виртуальных дисков к ВМ;
Монтирование и размонтирование ISO образов к ВМ;

Операции с пулами данных

Получение списка подключенных пулов данных и информации о них;
Создание пулов данных;
Просмотр существующих и загрузка новых файлов;
Просмотр существующих и загрузка новых ISO образов;
Просмотр и удаление существующих, а также создание новых виртуальных дисков;
Просмотр существующих LUN;
Просмотр и подключение файловых хранилищ;

Сетевые настройки

Просмотр информации о внутренних интерфейсах;
Просмотр информации о физических интерфейсах;
Просмотр информации о свободных интерфейсах;
Просмотр таблицы маршрутизации;
Просмотр сетевых настроек интерфейсов;
Просмотр, создание и удаление виртуальных сетей;

Безопасность

Просмотр существующих пользователей;
Создание новых пользователей;
Просмотр журнала событий и задач сервера.

Отсутствующий функционал

В Web-интерфейсе узла недоступны следующие функции, доступные в Web-интерфейсе контроллера:

Общие функции

Управление кластерами ECP VeiL, в том числе объединение узлов в кластер;
Управление локациями ECP VeiL;
Управление другими серверами;
Создание и изменение задач по расписанию;
Создание групповых задач;
Обновление узла;
Изменение названия и описания узла;
Настройка сетевых интерфейсов.

Операции с ВМ

Управление ВМ, которые расположены на других узлах кластера;
Создание и применение Снимков, а также создание Резервных копий ВМ;
Управление и создание Шаблонов.

Операции с пулами данных

Удаление данных с пулов данных;
Загрузка и конвертирование виртуальных дисков;
Сканирование пулов данных;
Управление пулами данных, в том числе удаление;
Добавление блочных СХД.

Безопасность

Управление доступом к терминалу;
Управление доступом по протоколу SSH;
Резервное копирование узла;
Управление настройками NTP серверов и времени.

Информация о сервере

В Web-интерфейсе узла в разделе Информация содержатся следующие сведения:

Уровень загрузки узла

В правом углу интерфейса содержится информация о загрузки системы, а именно:

CPU - текущая нагрузка на CPU в процентах.
Всего RAM - общий объем оперативной памяти узла в гигабайтах.
Используется RAM - общий занятый объем RAM.
Свободно - незанятый объем RAM.
Буфферизовано - объем RAM, занятый под буфферизацию данных.
Кэшировано - объем RAM, занятый под кэширование данных.

Идентификационная информация

Название - уникальное имя сервера.
Описание - описание сервера.
ID узла - уникальный идентификационный номер узла, который генерируется автоматически контроллером.

IP-адрес сервера и контроллера

Адрес управления узла - IP-адрес сервера.
Адрес управления контроллера - IP-адрес контроллера.

Прочая информация

Статус - статус сервера.
Тип ограждения - выбранный тип получения подтверждения того, что аварийный сервер перешел в состояние, не допускающее повреждения ВМ при аварийных ситуациях.
Тип связности - выбранный метод принятия решения о том, что на сервере произошла авария.

Ограждение и связанность

Подробная информация о доступных типах ограждения и типах связанности содержится в разделе Связанность и ограждение

Наличие кворума - параметр, который показывает состояние кворума кластера ECP VeiL.
Статус связи с контроллером - параметр, который показывает наличие или отсутствие связи узла с контроллером ECP VeiL.
Версия ПО - версия установленного ПО ECP VeiL

Пределы ресурсов

Для получения информации о пределах ресурсов на сервере необходимо в разделе Серверы основного меню выбрать целевой сервер, после чего в открывшемся окне во вкладке Оборудование - Пределы ресурсов отобразится следующая информация о состоянии динамического управления ресурсами:

Верхний аварийный уровень загрузки процессора - при достижении CPU данной отметки будет выведено событие с предупреждением, что достигнут аварийный уровень загрузки системы. Также в случае, если включен DRS, выбран режим создания виртуальных машин и воздействий HARD и выбраны типы собираемых метрик CPU или CPU_MEMORY, ECP VeiL предпримет попытки живой миграции ВМ с целью понизить нагрузку на данный сервер.
Верхний предупредительный уровень загрузки процессора - при достижении CPU данной отметки будет выведено событие с предупреждением, что достигнут предупредительный уровень загрузки системы.
Верхний аварийный уровень загрузки памяти - при достижении RAM данной отметки будет выведено событие с предупреждением, что достигнут аварийный уровень загрузки системы.
Верхний предупредительный уровень загрузки памяти - при достижении RAM данной отметки будет выведено событие с предупреждением, что достигнут предупредительный уровень загрузки системы.

DRS

Подробная информация о механизме DRS содержится в разделе DRS.

Кластер

В разделе Кластер Web-интерфейса узла содержится информация о кластере ECP VeiL, в состав которого включен данный узел.

Информация

Во вкладке Информация раздела Кластер содержится название кластера ECP VeiL, в который включен данный узел.

Серверы

Во вкладке Серверы раздела Кластер содержится список серверов, которые входят в кластер.

Виртуальные машины

Во вкладке ВМ раздела Кластер содержится список виртуальных машин, которые существуют в пределах кластера.

Кворум

Во вкладке Кворум раздела Кластер содержится список серверов, которые поддерживают кворум кластера.

Терминал

Некоторые действия при работе с ECP VeiL можно выполнять в терминале (CLI) узла. Подробная информация о командах в терминале находится в разделе CLI.

Получить доступ к CLI можно в Web-интерфейсе узла в разделе Терминал.

Внимание

Невозможно выполнить подключение к терминалу через Web-интерфейс при использовании механизма NAT.

Для входа в CLI ECP VeiL после получения доступа необходимо ввести логин и пароль SSH-пользователя.

Пользователь по умолчанию

В ECP VeiL при установке в автоматическом режиме по умолчанию создается пользователь со следующими учетными данными: логин root и пароль bazalt .

Оборудование ↵

Оборудование

В разделе Оборудование Web-интерфейса узла содержится информация о подключенном к узлу оборудовании, разделенная на группы:

Процессоры
Память
IOMMU
IPMI
Датчики
Статистика HDD

Процессоры

Для просмотра информации об установленных CPU на сервере необходимо в разделе Оборудование перейти во вкладку Процессоры. В открывшемся окне будет указана следующая информация:

Общая информация

Модель - оптимальная модель vCPU для установленных процессоров, которая будет использоваться по умолчанию.

Производитель - производитель физического процессора.

Детальная информация

Далее в табличном виде представлена детальная информация о каждом установленном физическом процессоре:

id - идентификатор процессора.
Семейство - семейство процессора.
Производитель - производитель физического процессора.
Версия - версия (точная модель) процессора.
Максимальная частота - максимальная рабочая частота процессора.
Максимальное количество потоков - Максимальное возможное количество потоков.

Сокеты, ядра и потоки

Сверху в правом углу окна содержится следующая информация о сокетах, ядрах и потоках установленных процессоров:

Количество сокетов - количество процессорных сокетов на материнской плате сервера, в которые установлены физические процессоры.
Количество ядер на сокет - количество процессорных ядер, приходящихся на один сокет.
Количество потоков на ядро - количество потоков, приходящихся на один сокет.
Общее количество потоков - количество потоков на сервер.
Количество NUMA узлов - количество NUMA узлов на сервер.
Архитектура - архитектура установленных физических процессоров в сервер.
Частота процессоров - текущая рабочая частота процессоров.
Доступные функции - раскрывающийся список доступных функций и инструкций физического процессора.

Память

Для получения информации об оперативной памяти сервера в разделе Оборудование перейти во вкладку Память. В открывшемся окне будет указана следующая информация:

Swappiness

Минимальный размер незанятой памяти под кэш;
Процент свободной оперативной памяти в процентах - процент оперативной памяти от общего числа, которая не используется под кэширование данных;
nr_hugepages;
Уровень выделяемой памяти под кэш в условных единицах.

Дедупликации

количество полных сканирований (Full scans);
max_page_sharing;
режим дедуплицирования памяти между NUMA nodes на узле (Merge across nodes);
использующиеся дедуплицированные страницы памяти (Pages shared);
страницы памяти для проверки (Pages to scan);
недедуплицированные страницы памяти (Pages to scan);
быстро меняющиеся страницы памяти для дедуплицирования (Pages volatile);
работа сервиса (Run);
время ожидания между сканированиями (Sleep millisecs);
stable_node_chains;
stable_node_chains_prune_millisecs;
stable_node_dups;
use_zero_pages.

IPMI и датчики

Для просмотра информации, настройки и управления сервером по протоколу IPMI необходимо в разделе Оборудование перейти во вкладку IPMI.

Внимание!

Если аппаратная платформа не имеет IPMI, то управление сервером по протоколу IPMI будет недоступным.

Управление сервером через IPMI

Чтобы отправить серверу команду на выполнение по протоколу IPMI, необходимо нажать кнопку Команды, в открывшемся окне выбрать нужную команду и нажать кнопку Отправить.

Настройка IPMI сервера

Для того чтобы выполнить настройку IPMI сервера, необходимо нажать кнопку Настройки. В открывшемся окне необходимо настроить следующие поля:

IP - это IP-адрес платы управления IPMI.
Пользователь - это имя (логин) учетной записи IPMI, от имени которой будут выполняться все дальнейшие действия.
Пароль - это пароль используемой учетной записи IPMI.

После заполнения всех полей необходимо нажать кнопку Применить.

IPMI over Lan

Перед изменением IPMI настроек убедитесь через Web-интерфейс, что в ВМС сервера включена поддержка запросов по сети (например, опция "IPMI over Lan" в iDRAC). Проверить доступность IPMI можно командой ipmitool -I lanplus -H [ipmi_ip] -U [ipmi_username] -P [ipmi_password] power status. Если при изменении настроек IPMI появляется ошибка Интерфейс IPMI на указанном адресе недоступен c указанными параметрами, то можно посмотреть детальную ошибку в журнале контроллера в CLI командой log controller.

Датчики

В разделе Датчики Web-интерфейса узла содержится список датчиков аппаратной платформы и их статус. Список датчиков и их статус может отличаться в зависимости от аппаратной платформы.

Статистика HDD

В разделе Статистика HDD Web-интерфейса узла содержится список подключенных к серверу дисках и следующая информация о них:

Устройство - идентификатор диска в системе;

Тип подключения - тип подключения диска;

Драйвер - имя устройства в системе.

Также существует возможность получить подробную информацию о диске, такую как идентификационную информацию и результаты SMART диагностики при ее поддержки диском. Для этого следует нажать кнопку Раскрыть. После нажатия отобразится следующая информация:

Идентификационная информация

производитель диска;
модель диска;
серийный номер диска;
доступная емкость диска;
максимальная скорость вращения шпинделя жесткого диска (HDD) или тип диска для твердотельных накопителей (SSD);
форм-фактор диска;
поддержка SMART;

Примечание

Необходимо учитывать, что подключенные по iSCSI и FC (Fiber Channel) блочные устройства LUN определяются гипервизором как локальные устройства. В этом случае в модели устройства IDENTIFY в поле Vendor (производитель диска) будет указан поставщик LUN.

Результаты самодиагностики

В зависимости от типа диска и производителя информация, содержащаяся в результате самопроверки диска, может отличаться. Пример входящей информации в результаты SMART диагностики:

количество переназначенных секторов;
общее время работы диска;
количество полных циклов включения-выключения диска;
текущая температура диска;
состояние пула резервных блоков;
общее количество ошибок, происходящих при записи сектора;
число секторов, являющихся кандидатами на замену.

Ended: Оборудование

Виртуальные машины ↵

Виртуальные машины

Для получения списка ВМ, расположенных на узле, и их управления необходимо перейти в раздел Виртуальные машины.

В разделе Виртуальные машины представлен список ВМ в табличном виде, включающий следующую информацию:

Состояние -- показывает в каком состоянии находится ВМ в данный момент (включена, выключена, на паузе);
Название;
vCPU -- количество выделенных vCPU ВМ;
vRAM -- объем выделенной ВМ оперативной памяти.

Создание и удаление ВМ

В Web-интерфейсе узла существует возможность создания и удаления ВМ.

Создание ВМ

Для создания ВМ необходимо в разделе Виртуальные машины нажать кнопку Создать и в открывшемся окне заполнить следующую информацию:

Название - имя создаваемой ВМ;
Диск - имеющийся на узле виртуальный диск. Если требуется использовать новый виртуальный диск, необходимо его сначала создать. Подробная информация о создании Виртуальных дисков содержится здесь;
Образ ISO - ISO образ диска, который будет подключен к ВМ после создания;
Размер RAM (МБ) - объем выделяемой для ВМ оперативной памяти;
Количество vCPU - количество выделенных vCPU ВМ;
Максимальное количество vCPU - максимальное количество потоков CPU;
Описание.

После чего нажать кнопку Cоздать.

Удаление ВМ

Для удаления ВМ необходимо в разделе Виртуальные машины выбрать целевую ВМ и в открывшемся окне нажать кнопку Удалить, после чего подтвердить действие, нажав кнопку Удалить.

Информация

Для просмотра детальной информации о ВМ необходимо в разделе Виртуальные машины выбрать целевую ВМ и в открывшемся окне во вкладке Информация будут представлены следующие сведения:

Название - название ВМ;
id - UUID ВМ в системе;
Описание - описание ВМ;
Память (ОЗУ) - объем выделяемой ВМ RAM;
Операционная система - семейство операционной системы, установленной на ВМ;
Версия операционной системы - версия установленной на ВМ ОС;
Агент - состояние агента ВМ;
Шаблон - параметр, указывающий на то, является ли ВМ шаблоном или нет;
Всегда включен - параметр, указывающий на то, включен ли автозапуск ВМ;
Дата создания - дата создания ВМ.

Управление ВМ

Управление питанием ВМ

В Web-интерфейсе узла можно управлять питанием ВМ, для этого нужно в разделе Виртуальные машины выбрать целевую ВМ, и в открывшемся окне нажать кнопку Управление и выбрать одно из следующих действий:

Запуск;
Пауза;
Снять с паузы;
Перезагрузка ВМ;
Выключить питание.

Терминал SPCIE

Для получения доступа к ВМ по протоколу SPICE из Web-интерфейса необходимо в Web-интерфейсе узла в разделе Виртуальные машины выбрать целевую ВМ и нажать кнопку Терминал SPICE.

Проблемы с "мышкой" при подключении по SPICE

Попробуйте сменить графический адаптер на qxl (потребуется выключение ВМ);
Попробуйте обновить spice-vdagent до более актуальной версии.

Для запуска Терминала SPICE в полноэкранном режиме в правом верхнем углу Терминала SPICE раскрыть меню дополнительных функций и нажать кнопку Полноэкранный режим.

Для того чтобы отправить сочетание клавиш, необходимо в правом верхнем углу Терминала SPICE раскрыть меню дополнительных функций, нажать кнопку Отправить комбинацию клавиш и выбрать требуемую комбинацию клавиш.

Терминал noVnc

Для получения доступа к ВМ по протоколу Vnc из Web-интерфейса необходимо в Web-интерфейсе узла в разделе Виртуальные машины выбрать целевую ВМ и нажать кнопку Терминал noVNC.

Для запуска Терминала noVNC в полноэкранном режиме с левой стороны Терминала noVNC раскрыть меню дополнительных функций и нажать кнопку Fullscreen.

Для того чтобы отправить сочетание клавиш Ctrl+Alt+Del, необходимо с левой стороны Терминала noVNC раскрыть меню дополнительных функций, нажать кнопку Show Extra Keys и нажать кнопку Send Ctrl-Alt-Del.

Процессоры

Для просмотра детальной информации о процессорах ВМ необходимо в разделе Виртуальные машины выбрать целевую ВМ и в открывшемся окне перейти в раздел Процессоры.

В разделе Процессоры указана следующая информация:

Сокеты - количество сокетов ВМ;
Ядер на сокет - количество ядер на сокет ВМ;
Потоков на ядро - количество потоков на ядро ВМ;
Максимальное количество потоков - максимальное количество потоков ВМ;
Режим определения - режим эмулирования CPU;
Модель - эмулируемая модель процессора;
Приоритет vCPU ВМ - приоритет виртуальных процессоров.

Настройка процессоров

Настройку процессоров можно выполнить с помощью кнопки Настройки, которая при открытии окна Настройки позволяет изменить следующие параметры:

количество vCPU и максимальное количество vCPU. При нажатии кнопки Количество в открывшемся окне необходимо указать количество и максимальное количество процессоров, после чего подтвердить операцию, нажав кнопку OK;
топология процессоров. При нажатии кнопки Топология в открывшемся окне необходимо задать количество сокетов, ядер на сокет и потоков, после чего подтвердить операцию, нажав кнопку OK;
модель процессора. При нажатии кнопки Модель необходимо выбрать из раскрывающегося списка режим определения процессора, после чего подтвердить операцию, нажав кнопку OK;
приоритеты выделения процессорного времени ВМ. При нажатии кнопки Приоритет в открывшемся окне необходимо выбрать из раскрывающегося списка базовый приоритет процессора, детальный приоритет процессора, гарантированное количество vCPU, после чего подтвердить операцию, нажав кнопку Сохранить.

Горячее добавление vCPU

Параметр "Максимальное количество vCPU" стоит ставить больше при планировании увеличивать количество vCPU при включенной ВМ. При изменении max_cpu_count топология подстраивается под этот параметр, то есть включенная ВМ видит именно max_cpu_count vCPU, но при этом только на cpu_count vCPU подключается питание, а (max_cpu_count - cpu_count) vCPU видятся неактивными (без питания).

Топология процессора

Изменение топологии процессора предназначено для удовлетворения требований ОС ВМ. Некоторые ОС не умеют работать с многоядерными процессорами, некоторые ограничивают количество сокетов CPU, а некоторые ОС ограничивают количество ядер на сокет.

Модель процессора

Модель процессора может влиять на функциональность ОС ВМ и на возможность миграции ВМ внутри кластера.

Доступные функции узла можно посмотреть во вкладке узла Оборудование -- Процессоры.

Модель (архитектура) CPU виртуальной машины может быть:

default - назначаются виртуальные процессоры. Если ОС ВМ чувствительна к набору инструкций центрального процессора, то использование виртуальных процессоров может не удовлетворять требованиям ОС ВМ. Доступные функции берутся из модели процессора qemu64;
host-model - модель, аналогичная физическому, с незначительными ограничениями. Доступные функции берутся из узла, где находится ВМ;
host-passthrough - фактическая трансляция полного комплекта инструкций и модели физического процессора. Доступные функции берутся из узла, где находится ВМ;
custom - выбор модели процессора из списка. Необходимо учитывать предоставляемые наборы инструкций выбираемой модели и ограничения для ОС ВМ перед сменой типа процессора на custom. Доступные функции берутся из известного набора инструкций для каждого процессора, определённого в гипервизоре.

Привязка процессоров ВМ к физическим ядрам

Привязка процессоров ВМ к физическим ядрам сильно ограничивает производительность сервера. Эту опцию рекомендуется применять только к высоко нагруженным ВМ, миграция которых невозможна. Физическое ядро, привязанное к CPU виртуальной машины, будет использоваться только для этой ВМ.

Приоритет выделения процессорного времени

Приоритет выделения процессорного времени ВМ может понизить или повысить приоритет выделения ресурсов для ВМ.

Память

Для просмотра детальной информации о выделяемой оперативной памяти ВМ необходимо в разделе Виртуальные машины выбрать целевую ВМ и перейти в открывшемся окне в раздел Память.

В разделе Память указана следующая информация:

Оперативная память - объем выделяемой оперативной памяти ВМ;
Приоритет памяти ВМ - приоритет выделяемой памяти ВМ;
Максимальное значение памяти;
Минимально гарантированная память - параметр для учёта при работе сервиса распределения памяти "ballooning" и при распределении ресурсов узлов.

Настройка памяти

Настройку процессоров можно выполнить с помощью кнопки Настройки, которая при открытии окна Настройки позволяет изменить следующие параметры:

Количество памяти - объем выделяемой оперативной памяти ВМ;
Мин. гарантированные памяти - параметр для учёта при работе сервиса распределения памяти "ballooning" и при распределении ресурсов узлов;
Приоритет памяти ВМ - приоритет выделяемой памяти ВМ;
Max количество памяти.

Для сохранения настроек необходимо нажать кнопку Сохранить.

Добавление ОЗУ в процессе работы ВМ ("на лету")

Реализовано в ECP VeiL c версии 4.0.

ОЗУ "на лету" добавляется кратно 256 Мбайт, и ВМ изнутри видит её как дополнительную DIMM планку памяти.

Драйверы

Для корректной работы добавления ОЗУ "на лету" необходимо перед этим установить комплект virtio драйверов.

Диски

Для просмотра подключенных к ВМ виртуальных дисков необходимо в разделе Виртуальные машины выбрать целевую ВМ и перейти в открывшемся окне в раздел Диски.

В разделе Диски представлена следующая информация о подключенных к ВМ виртуальных дисках:

source - расположение виртуального диска;
target_bus - тип виртуальной шины подключения;
driver_cache - тип кэширования;
vdisk - UUID виртуального диска в системе.

Добавление виртуального диска

Для того чтобы добавить виртуальный диск к ВМ, необходимо нажать кнопку Добавить и в открывшемся окне выбрать имеющийся на узле виртуальный диск. Если требуется использовать новый виртуальный диск, то его необходимо сначала создать. Подробная информация о создании Виртуальных дисков содержится в разделе Создание диска.

Отключение виртуального диска от ВМ

Для того чтобы отключить виртуальный диск от ВМ, необходимо выбрать отключаемый диск и в его строке нажать кнопку Отключить, далее подтвердить действие, нажав кнопку Отключить.

Образы и приводы

Для просмотра информации о виртуальных приводах ВМ необходимо в разделе Виртуальные машины выбрать целевую ВМ и перейти в открывшемся окне в раздел Приводы.

Для просмотра информации о примонтированных к ВМ ISO-образах необходимо в разделе Виртуальные машины выбрать целевую ВМ и перейти в открывшемся окне в раздел Образы, где будет отображена следующая информация:

source - расположение образа диска;
iso - UUID образа диска;
cdrom - UUID привода, через который примонтирован образ диска.

Монтирование ISO-образа

Для того чтобы выполнить монтирование ISO-образа к ВМ, необходимо в разделе Виртуальные машины выбрать целевую ВМ и перейти в открывшемся окне в раздел Образы, где нажать кнопку Добавить, в открывшемся окне выбрать целевой ISO-образ и подтвердить действие, нажав кнопку Подключить.

Размонтирование ISO-образа

Для того чтобы выполнить размонтирование ISO-образа от ВМ, необходимо в разделе Виртуальные машины выбрать целевую ВМ, перейти в открывшемся окне в раздел Образы, выбрать отключаемый образ диска и в его строке нажать кнопку Отключить, далее подтвердить действие, нажав кнопку Отключить.

Интерфейсы

Для просмотра подключенных к ВМ виртуальных сетевых интерфейсов необходимо в разделе Виртуальные машины выбрать целевую ВМ и перейти в открывшемся окне в раздел Интерфейсы.

В разделе Интерфейсы представлена следующая информация о подключенных к ВМ виртуальных интерфейсах:

MAC-адрес виртуального интерфейса;
Виртуальная сеть, к которой подключен данный виртуальный интерфейс;
Драйвер.

Добавление виртуального интерфейса

Для того чтобы добавить виртуальный интерфейс к ВМ, необходимо нажать кнопку Подключить и в открывшемся окне выбрать Виртуальную сеть, к которой будет подключена ВМ через создаваемый интерфейс, при необходимости указать MAC-адрес, а также выбрать NIC драйвер, после чего подтвердить действие, нажав кнопку Подключить.

Отключение виртуального диска от ВМ

Для того чтобы отключить виртуальный интерфейс от ВМ, необходимо выбрать отключаемый виртуальный интерфейс и в его строке нажать кнопку Отключить, далее подтвердить действие, нажав кнопку Отключить.

Видео и звук

Для просмотра конфигурации видео ВМ необходимо в разделе Виртуальные машины выбрать целевую ВМ и перейти в открывшемся окне в раздел Видео.

В разделе Видео содержится следующая информация:

Тип виртуального видеоадаптера;
Память - объем выделяемой оперативной памяти узла под видеопамять ВМ в Гбайтах.
Количество мониторов - количество виртуальных мониторов, подключенных к ВМ.

Для просмотра конфигурации звука ВМ необходимо в разделе Виртуальные машины выбрать целевую ВМ и перейти в открывшемся окне в раздел Звук.

В разделе Звук содержится следующая информация:

Модель виртуального звукового адаптера;
Кодек виртуального звукового адаптера.

Опции загрузки

Для просмотра опций загрузки ВМ необходимо в разделе Виртуальные машины выбрать целевую ВМ и перейти в открывшемся окне в раздел Опции загрузки.

В разделе Опции загрузки содержится следующая информация:

Состояние;
Тип загрузчика - тип используемого для виртуализации загрузчика;
Время ожидания - время ожидания бита успешного включения ВМ.

Удаленный доступ

Для просмотра настроек удаленного доступа к ВМ необходимо в разделе Виртуальные машины выбрать целевую ВМ и перейти в открывшемся окне в раздел Удаленный доступ.

В разделе Удаленный доступ представлена следующая информация о настройках удаленного доступа к ВМ:

Удаленный доступ - состояние удаленного доступа (включено или выключено);
Порт доступа - сетевой порт узла, который может быть использован для подключения к ВМ по протоколу SPICE;
Пароль для доступа - пароль, который должен быть использован для подключения по протоколу SPICE к ВМ через указанный порт доступа.

Изменение пароля доступа

Для того чтобы изменить Пароль для доступа, необходимо нажать кнопку Настройка settings , в открывшемся окне ввести новый пароль и нажать кнопку Изменить.

Устройства шин

Для просмотра устройства шин (виртуальных контроллеров) ВМ необходимо в разделе Виртуальные машины выбрать целевую ВМ и перейти в открывшемся окне в раздел Устройства шин.

В данном разделе представлена следующая информация о системных шинах ВМ, разделенная на подразделы по типам устройств (IDE, PCI, SATA, USB, Virtio-serial), в табличном виде:

Модель виртуального контроллера;
Порядок.

Ended: Виртуальные машины

Хранилища ↵

Пулы данных

Для просмотра информации о пулах данных, подключенных к узлу необходимо перейти в раздел Хранилища, далее Пулы данных, где будет отображена следующая информация в табличном виде:

Название пула данных;
Тип пула данных;
Путь - относительный путь к пулу данных на узле;
Свободно - незанятый объем пула данных;
Размер - общий размер пула данных.

Создание пула данных

Для того чтобы создать пул данных, необходимо нажать кнопку Создать, где в открывшемся окне ввести следующие данные:

Название создаваемого пула данных;
Тип создаваемого пула данных;
Путь - относительный путь к создаваемому пулу данных на узле;
Описание создаваемого пула данных (необязательно).

После чего подтвердить действие, нажав кнопку Создать.

Виртуальные диски

Для просмотра информации о виртуальных дисках, расположенных на узле, необходимо перейти в раздел Хранилища, далее Виртуальные диски, где будет отображена следующая информация в табличном виде:

Название виртуального диска;
Тип виртуального диска;
Путь - относительный путь к виртуальному диску;
Размер - размер виртуального диска.

Создание виртуального диска

Для того чтобы создать виртуальный диск, необходимо нажать кнопку Создать, где в открывшемся окне ввести следующие данные:

Название виртуального диска создаваемого пула данных;
Пул данных, на котором будет создан виртуальный диск;
Размер виртуального диска - доступный ВМ размер создаваемого виртуального диска в Гбайтах;
Предварительно выделить место - отметить, стоит ли предварительно выделить место. Если предварительно выделить место под виртуальный диск, то занимаемый им объем будет равен размеру виртуального диска. В противном случае занимаемый виртуальным диском объем будет равен используемому ВМ объему данного диска.

После чего подтвердить действие, нажав кнопку Создать.

Удаление виртуального диска

Для того чтобы удалить виртуальный диск, необходимо выбрать удаляемый виртуальный диск, после чего в открывшемся окне нажать кнопку Удалить и подтвердить действие, нажав кнопку Далее.

Отключение от ВМ

Перед удалением виртуального диска его следует отключить от всех ВМ. Подробная информация об этом содержится в разделе Виртуальные машины - Виртуальные диски.

Образы ISO

Для просмотра информации об образах ISO, расположенных на узле, необходимо перейти в раздел Хранилища, далее Образы ISO, где будет отображена следующая информация в табличном виде:

Название ISO-образа;
Путь - относительный путь к ISO-образу;
Размер - размер ISO-образа.

Загрузка ISO-образа

Для того чтобы загрузить ISO-образ, необходимо нажать кнопку Загрузить и в открывшемся окне выбрать требуемый ISO-образ.

Удаление ISO-образа

Для того чтобы удалить ISO-образ, необходимо выбрать удаляемый ISO-образ, после чего в открывшемся окне нажать кнопку Удалить и во вновь открывшемся окне подтвердить действие, нажав кнопку Далее.

Отключение от ВМ

Перед удалением ISO-образа его следует отключить от всех ВМ. Подробная информация об этом содержится в разделе Виртуальные машины - Размонтирование ISO образа.

Файлы

Для просмотра информации о файлах, расположенных на узле, необходимо перейти в раздел Хранилища, далее Файлы, где будет отображена следующая информация в табличном виде:

Название файла;
Путь - относительный путь к файлу;
Тип файла;
Размер - размер файла.

Загрузка Файла

Для того чтобы загрузить Файл, необходимо нажать кнопку Загрузить и в открывшемся окне выбрать требуемый Файл.

LUNs

Для просмотра информации о подключенных к узлу LUN, расположенных на узле, необходимо перейти в раздел Хранилища, далее LUNs, где будет отображена следующая информация в табличном виде:

Путь - iSCSI имя;
Серийный номер;
Размер;
Устройство - путь к устройству к системе;
Статус устройства.

ZFS

Для просмотра информации о подключенных к узлу ZFS хранилищах, расположенных на узле, необходимо перейти в раздел Хранилища, далее ZFS, где будет отображена следующая информация в табличном виде:

Название ZFS-хранилища;
Тип ZFS-хранилища;
Размер;
Health - состояние;
Точка монтирования - относительный путь точки монтирования хранилища.

Чтобы посмотреть детальную информацию о конкретном ZFS хранилище, необходимо нажать на название соответствующего ZFS хранилища и в открывшемся окне отобразится следующая информация:

Название ZFS-хранилища;
Тип ZFS-хранилища;
Размер;
Свободное пространство;
Health - состояние;
Точка монтирования - относительный путь точки монтирования хранилища.

В таблице представлены локальные устройства, участвующие в организации ZFS-хранилища, и следующая информация о них:

Название - локальное устройство, участвующее в организации ZFS-хранилища;
Размер - объем локального устройства;
Health - состояние;
spare - является ли устройство устройством горячего резервирования;
cache - используется ли устройство для кэширования данных ZFS-хранилища;
log - используется ли устройство для ведения целевого журнала ZFS.

Ended: Хранилища

Сеть ↵

Сетевые настройки

Для того чтобы посмотреть текущие настройки сетевых интерфейсов, необходимо перейти в раздел Сеть-Сетевые настройки.

Доменные имена

В данном подразделе содержатся значения текущих настроек DNS, а именно:

DHCP - параметр, отвечающий за то, получает ли узел настройки DNS по протоколу DHCP;
Домен - имя домена, в который входит узел;
Интерфейс, к которому применима данная настройка. Если пустой, то ко всем;
DNS серверы - список DNS серверов, к которым обращается сервер;
Поддомены.

Шлюз

В данном подразделе содержатся значения текущих настроек основных шлюзов, а именно:

DHCP - параметр, отвечающий за то, получает ли узел адрес основного шлюза по протоколу DHCP;
Шлюз - основной шлюз;
Интерфейс, к которому применима данная настройка.

Маршруты

В данном подразделе отображается таблица маршрутизации, в которую входят следующие данные:

Назначение маршрута. Если маска сети не указана, то используется /32;
Интерфейс, на котором используется данный маршрут. Если пусто, то может использоваться на любом интерфейсе;
Шлюз - IP- адрес узла сети, через который осуществляется доступ в подсеть назначения;
Метрика - значение, описывающее приоритет маршрута. Чем ниже значение, тем более приоритетный маршрут.

Сетевые сущности

В Web-интерфейсе узла предусмотрена возможность получения информации о сетевых сущностях. Также для некоторых сетевых сущностей реализована возможность управления этими сетевыми сущностями. К сетевым сущностям узла относятся:

Виртуальные сети и коммутаторы
Свободные интерфейсы
Физические интерфейсы
Внутренние интерфейсы
Агрегированные интерфейсы

Виртуальные сети и коммутаторы

Для просмотра существующих коммутаторов сервера необходимо в разделе Сеть-Сетевые сущности перейти во вкладку Коммутаторы.

Для просмотра существующих виртуальных сетей сервера необходимо в разделе Сеть-Сетевые сущности перейти во вкладку Виртуальные сети.

Подробная информация о виртуальных сетях

Для того чтобы получить подробную информацию о виртуальной сети, необходимо выбрать целевую виртуальную сеть и в открывшемся окне будет отображена следующая информация, разделенная на группы:

Информация

Название виртуальной сети.

Подключение к физической сети

Название интерфейса подключения.

Подключенные ВМ к виртуальной сети

В табличном виде приведены подключенные к данной сети/коммутатору ВМ.

ВМ - название ВМ;
MAC - MAC-адрес виртуального интерфейса ВМ, с помощью которого осуществляется подключение к данной сети/коммутатору;
switch - дублирование названия сети/коммутатора, зачем это здесь?
target_dev - видимо интерфейс на хосте, который отдан ВМ?

Удаление виртуальной сети

Для того чтобы выполнить удаление, необходимо выбрать виртуальную сеть/коммутатор и в открывшемся окне нажать кнопку Удалить, после чего подтвердить действие, нажав кнопку Удалить.

Создание виртуальной сети

Для того чтобы создать виртуальную сеть/коммутатор, необходимо нажать кнопку Создать и ввести в открывшемся окне следующие данные:

Название виртуальной сети/коммутатора;
Подключение, через которое будет выполнено подключение сети к серверу;
MTU - максимальный размер полезного блока данных одного пакета;
VLAN - тег виртуальной сети согласно стандарту 802.1Q;
VNI сетевого идентификатора VXLAN.

После ввода данных необходимо нажать кнопку Создать.

Интерфейсы ↵

Свободные интерфейсы

Для просмотра свободных интерфейсов сервера необходимо в разделе Сеть-Сетевые сущности перейти во вкладку Интерфейсы, выбрать Свободные, далее отобразится следующая информация в табличном виде:

Название интерфейса;
Модель интерфейса;
MAC-адрес интерфейса;
MTU - максимальный размер полезного блока данных одного пакета.

Подробная информация о свободных интерфейсах

Для того чтобы получить подробную информацию о свободном интерфейсе, необходимо выбрать целевой виртуальный интерфейс и в открывшемся окне будет отображена следующая информация:

Название;
MAC-адрес;
pci_info
Изготовитель;
Модель;
Драйвер;
Версия драйвера;
Состояние линка;
Поддержка SR-IOV;
Включен SR-IOV;
vf_count;
Включен в агрегацию;
Подключение (vswitch);
Неразборчивый режим - включен ли неразборчивый режим;
max MTU - максимально возможный размер полезного блока данных одного пакета;
MTU - текущий максимальный размер полезного блока данных одного пакета.

Физические интерфейсы

Для просмотра физических интерфейсов сервера необходимо в разделе Сеть-Сетевые сущности перейти во вкладку Интерфейсы, выбрать Физические, далее отобразится следующая информация в табличном виде:

Название интерфейса;
Модель интерфейса;
Поддержка SR-IOV;
Включен SR-IOV;
Неразборчивый режим - включен ли неразборчивый режим;
MTU - текущий максимальный размер полезного блока данных одного пакета;
MAC-адрес интерфейса;
Включен в агрегацию;
Состояние линка;
Состояние порта;
Подключение (vswitch).

Подробная информация о физических интерфейсах

Для того чтобы получить подробную информацию о физическом интерфейсе, необходимо выбрать целевой физический интерфейс и в открывшемся окне будет отображена следующая информация:

Название;
MAC-адрес;
pci_info;
Изготовитель;
Модель;
Драйвер;
Версия драйвера;
Состояние линка;
Поддержка SR-IOV;
Включен SR-IOV;
vf_count;
Включен в агрегацию;
Подключение (vswitch);
Неразборчивый режим - включен ли неразборчивый режим;
max MTU - максимально возможный размер полезного блока данных одного пакета;
MTU - текущий максимальный размер полезного блока данных одного пакета.

Внутренние интерфейсы

Для просмотра внутренних интерфейсов сервера необходимо в разделе Сеть-Сетевые сущности перейти во вкладку Интерфейсы, выбрать Внутренние, далее отобразится следующая информация в табличном виде:

Название интерфейса;
Модель интерфейса;
MAC-адрес интерфейса;
MTU - максимальный размер полезного блока данных одного пакета.

Подробная информация о внутренних интерфейсах

Для того чтобы получить подробную информацию о внутреннем интерфейсе, необходимо выбрать целевой внутренний интерфейс и в открывшемся окне будет отображена следующая информация:

Название;
MAC-адрес;
IP-адрес узла в сети;
Маска подсети;
DHCP - параметр, показывающий использует ли сервер протокол DHCP для получения сетевых настроек этого интерфейса;
Режим VLAN;
тег VLAN;
Транки;
MTU - текущий максимальный размер полезного блока данных одного пакета.

Агрегированные интерфейсы

Ended: Интерфейсы

Ended: Сеть

Журнал ↵

События

Для просмотра журнала событий сервера необходимо в разделе Журнал перейти во вкладку События, где отобразится следующая информация в табличном виде:

Сообщение - описание совершившегося события;
Тип события;
Дата создания записи о событии.

Детальная информация о событии

Для того чтобы получить детальную информацию о событии, необходимо нажать на интересующее событие и в открывшемся окне будет отображена следующая информация:

Сообщение - описание совершившегося события;
Пользователь, от имени которого было зафиксировано событие;
Тип события;
Дата создания записи о событии.

Задачи

Для просмотра журнала задач сервера необходимо в разделе Журнал перейти во вкладку Задачи, где отобразится следующая информация в табличном виде:

Сообщение - название задачи;
Статус задачи;
Дата создания задачи.

Детальная информация о задаче

Для того чтобы получить детальную информацию о задаче, необходимо нажать на интересующую задачу и в открывшемся окне будет отображена следующая информация:

Название задачи;
Результат выполнения задачи;
Пользователь, от имени которого было зафиксировано событие;
Время выполнения задачи в секундах;
Дата создания задачи;
Дата завершения задачи;
Статус задачи;
Список событий, относящихся к данной задаче в табличном виде.

Ended: Журнал

Пользователи

Для просмотра пользователей Web-интерфейса узла необходимо перейти в раздел Пользователи, где будет отображена следующая информация о существующих пользователях в табличном виде:

Пользователь - имя пользователя;
Статус пользователя.

Просмотр детальной информации о пользователе

Для того чтобы получить детальную информацию о пользователях, необходимо нажать на интересующего пользователя и в открывшемся окне будет отображена следующая информация:

Пользователь - имя пользователя;

Создание нового пользователя

Для того чтобы создать нового пользователя, необходимо нажать кнопку Создать и в открывшемся окне ввести следующие данные:

Пользователь - имя пользователя;
Пароль;
Группы - роли, назначенные пользователю.

Ended: Web-интерфейс узла

Управление физическими серверами ↵

Добавление сервера

Добавление сервера происходит при нажатии в верхней строчке окна кнопки Добавить и заполнения в открывшемся окне следующей информации:

IP-адрес контроллера

IP-адрес контроллера, который будет использован для управления платформой. Для его выбора необходимо раскрыть список и выбрать соответствующий контроллер.

Локация, кластер и название сервера

Локация - локация, из состава которой будет добавлен сервер.

Кластер - кластер, куда будет добавлен сервер.

Локацию и Кластер можно выбрать из раскрывающегося списка доступных локаций и кластеров.

Чтобы задать Название сервера, необходимо его ввести в соответствующее поле. Название должно быть уникальным.

Данные сервера

Для добавления сервера необходимо указать следующие данные: IP-адрес сервера, SSH пользователь, SSH порт и SSH пароль.

IP-адрес сервера необходимо указать в соответствующем поле. Форма записи IP-адреса - 192.168.1.1.

IP-адрес

IP-адрес, используемый для управления кластером, должен выбираться исходя из настроек IP-адресов, присвоенных интерфейсам управления серверов. Интерфейс, не являющийся интерфейсом управления, может быть ограничен встроенным межсетевым экраном (МСЭ) и не пропускать трафик с управляющими командами.

SSH пользователь - по умолчанию root. Если политика безопасности запрещает использовать root, то следует предварительно создать другого пользователя с необходимым набором прав. Для того чтобы задать SSH пользователя, его имя необходимо ввести в соответствующее текстовое поле.

SSH порт - порт для входящих SSH-подключений. По умолчанию 22. Если политика запрещает использовать порт 22 для входящих SSH-подключения, его следует предварительно сменить на сервере. Для того чтобы задать SSH порт, необходимо ввести его в соответствующее поле.

SSH пароль - пароль от пользователя, введенного в поле SSH пользователь. При автоматической установке пароль от учетной записи root - bazalt.

Проверка соединения

После того как все данные были введены, рекомендуется выполнить проверку соединения. Для этого необходимо нажать кнопку Проверить соединение. В случае, если не удалось выполнить тестовое соединение, необходимо проверить корректность введенных данных сервера и его доступность по сети контроллеру.

Дополнительные настройки

Описание - это любой текст, который будет отображаться в соответствующем поле сервера.

Форсированное добавление используется, если сервер уже участвовал ранее в составе (в том числе другого) кластера VeiL или ранее был удален из состава кластера форсированно. Эта операция принудительно заменяет привязку сервера к контроллеру.

Применение настроек

Для применения настроек необходимо нажать кнопку OK.

В процессе добавления на сервере настраиваются базовые объекты, необходимые для включения в состав кластера. Процесс добавления выполняется в фоновом режиме, а пользователь возвращается к списку серверов.

В процессе создания статус сервера в общем списке серверов - создается. После успешного добавления сервера статус сервера изменится на исправно. В случае возникновения ошибки необходимо проверить вводимые данные и обратиться к журналам для выявления неисправности.

Шифрованный канал

После добавления сервера к контроллеру управление сервером идёт по шифрованному каналу с ключом RSA длиной 1024.

Hostname

После добавления сервера к контроллеру выбранный при установке «hostname» узла сменится на системный ID (UUID v4). Общение между контроллером и узлом происходит именно по нему, поэтому ручная корректировка его в «hosts» не допускается! Следует учитывать, что файл «hosts» одинаковый на всех узлах системы. При необходимости ручной корректировки надо зайти в CLI контроллера и добавить новый файл в каталог /etc/hosts.d/ c необходимым сопоставлением имени и IP-адреса, после чего ввести команду sudo /usr/local/sbin/veil-hosts -c. Далее можно проверить файл hosts.

Сервисный и стандартный режим

Сервисный режим предназначен для проведения обслуживания сервера или миграции его в другой кластер. Перевод сервера в сервисный режим возможен только после выключения или миграции всех ВМ этого сервера.

После активации сервисного режима становится доступна операция перевода узла в другой кластер и перевод в стандартный (активный) режим.

Перевод сервера в сервисный режим

Для перевода в сервисный режим необходимо нажать в окне Серверы – <имя сервера> кнопку Сервисный режим. При переводе в сервисный режим есть три опции: автоматическая миграция всех ВМ, автоматическое выключение всех ВМ и выключение сервера.

При включенной опции Автоматическая миграция всех ВМ узла перед переводом сервера в сервисный режим будет выполнена попытка миграции всех ВМ на другие серверы в рамках кластера.

При включенной опции Автоматическое выключение всех ВМ узла перед переводом сервера в сервисный режим будет выполнена попытка параллельного выключения всех ВМ. Если ВМ мягко не выключатся в течении 3 минут, то тогда они будут выключены по питанию.

Внимание!

Все ВМ, которые не имеют возможности мигрировать, а также другие сущности, расположенные на этом сервере, перейдут в состояние failed.

При включенной опции Выключение сервера через 1 минуту после перехода сервер после успешного перехода в сервисный режим будет выключен через 1 минуту.

Перевод сервера в стандартный режим

Для того чтобы сервер из сервисного режима перевести в стандартный, необходимо в окне Серверы – <имя сервера> нажать кнопку Стандартный режим.

Проверка связанности

Перед переводом сервера в стандартный (активный) режим необходимо во вкладке ПО и Сервисы - Сервисы запустить проверку по кнопке Проверка связи с супервизором узла, чтобы убедиться, что сетевая связность между сервером и контроллером присутствует, и он готов к работе.

Автотестирование узла

Автотестирование узла используется для автоматического выявления сбоев в работе и нарушений конфигураций сервера.

Во время автотестирования узла система автоматически исправит выявленные неисправности. Если выявленную неисправность система не может автоматически исправить, то она сообщит о наличии такой неисправности.

Внимание!

В случае, если сервер недоступен контроллеру или на узле не запущена служба node-engine, то задача автотестирования на узле завершится со статусом LOST.

Запуск автотестирования узла

Для того чтобы запустить автотестирование узла, необходимо в окне Серверы – <имя сервера> нажать кнопку Автотестирование узла, после чего подтвердить действие в открывшемся окне.

Перезагрузка сервера

Выполнить перезагрузку сервера можно несколькими способами: через CLI и Web-интерфейс.

Внимание!

Перед перезагрузкой необходимо выключить или перенести все ВМ, расположенные на сервере, после чего перевести его в Сервисный режим.

Перезагрузка через CLI

Для того чтобы выполнить перезагрузку, необходимо получить доступ к CLI и выполнить в CLI команду reboot.

Быстрая перезагрузка

Команда reboot -k или reboot --kexec позволяет перезагрузить узел без повторного прохождения фазы инициализации оборудования, PCI ROMs и GRUB, при помощи механизма kexec. Это позволяет быстро перезагрузить узел, например, после обновления ядра. Для примера, использование ключа --kexec команды reboot сокращает время перезагрузки на сервере HPE BL460c G7 в среднем на 4 минуты при прочих равных условиях. В редких случаях в силу разных алгоритмов подготовки системы к перезагрузке и разной специфики дисковых подсистем время перезагрузки с этим ключом, напротив, больше времени обычной перезагрузки за счёт более долгого отключения системы, поэтому следует экспериментально проверять практическую пользу применения данного ключа на конкретной инсталляции.

Перезагрузка через Web-интерфейс

Для того чтобы выполнить перезагрузку, необходимо в окне Серверы – <имя сервера> – Оборудование – IPMI нажать кнопку перезагрузить или нажать кнопку принудительно перезагрузить для принудительной перезагрузки.

IPMI

Для работы IPMI необходимо, чтобы аппаратная платформа имела поддержку и были сделаны соответствующие настройки в ECP VeiL. Информация о том, как настроить IPMI в ECP VeiL, содержится в разделе Настройка IPMI сервера.

Выключение сервера

Выполнить выключение сервера можно несколькими способами: через CLI и Web-интерфейс.

Внимание!

Перед выключением сервера необходимо выключить или перенести все ВМ, расположенные на сервере, после чего перевести его в Сервисный режим.

Выключение через CLI

Для того чтобы выполнить выключение сервера, необходимо получить доступ к CLI и выполнить в CLI команду shutdown.

Внимание!

После выключения через консоль без доступа к IPMI сервера может потребоваться физический доступ к серверу для его включения.

Выключение через Web-интерфейс

Для того чтобы выполнить выключение сервера, необходимо в окне Серверы – <имя сервера> – Оборудование – IPMI нажать кнопку выключить .

IPMI

Для работы IPMI необходимо, чтобы аппаратная платформа имела поддержку и были сделаны соответствующие настройки в ECP VeiL. Информация о том, как настроить IPMI в ECP VeiL, содержится в разделе Настройка IPMI сервера.

Перемещение сервера в другой кластер

В ECP VeiL реализовано перемещение узлов между кластерами в пределах одной локации.

Внимание

При переводе узла в другой кластер необходимо убедиться в том, что он не участвует в кластерных транспортах.

Процесс перемещения

Для перемещения сервера в другой кластер необходимо перевести сервер в Сервисный режим. Подробная информация о переводе сервера в сервисный режим содержится в разделе Перевод сервера в сервисный режим.

Далее в окне Серверы – <имя сервера> нажать кнопку Переместить и выполнить операцию переноса, выбрав целевой кластер.

После перемещения сервера необходимо перевести сервер в стандартный режим. Подробная информация о переводе сервера в стандартный режим содержится в разделе Перевод сервера в стандартный режим.

Терминал

Некоторые действия при работе с ECP VeiL можно выполнять в терминале (CLI) узлов как с ролью контроллер+нода, так и нода. Подробная информация о командах в терминале находится в разделе CLI.

Получить доступ к CLI можно несколькими способами: подключившись к узлу по протоколу SSH, в Web-интерфейсе или напрямую, используя IPMI сервера или подключенные клавиатуру и "мышь".

Терминал

Для получения доступа к терминалу узел должен быть включен!

Для входа в CLI ECP VeiL после получения доступа необходимо ввести логин и пароль SSH-пользователя.

Пользователь по умолчанию

В ECP VeiL при установке в автоматическом режиме по умолчанию создается пользователь со следующими учетными данными: логин root и пароль bazalt .

Подключение в Web-интерфейсе

Для получения доступа к терминалу в Web-интерфейсе необходимо в окне Серверы – <имя сервера> нажать кнопку Терминал. После нажатия кнопки окно терминала откроется в новой вкладке браузера.

Терминал

Также возможно получить доступ к терминалу через Web-интерфейс узла. Информация о том как это сделать находится в разделе Терминал в Web-интерфейсе узла.

Внимание

Невозможно выполнить подключение к терминалу через Web-интерфейс при использовании механизма NAT.

Подключение по протоколу SSH

Для получения доступа к терминалу по протоколу SSH необходимо в приложении, которое имеет функционал подключения по протоколу SSH, например, Putty, выполнить подключение и ввести учетные данные SSH-пользователя.

SSH

Если в настройках сервера Статус SSH - Выключен, то подключение к терминалу доступно только в Web-интерфейсе.

IPMI

В случае, если аппаратная платформа сервера, на которую установлен ECP VeiL, поддерживает управление сервером по IPMI, можно перейти к IPMI из Web-интерфейса ECP VeiL.

Для того чтобы появилась возможность перехода к IPMI сервера, необходимо выполнить настройку IPMI. Описание настройки смотрите в разделе Настройка IPMI сервера.

Переход к IPMI сервера

Для получения доступа к IPMI в Web-интерфейсе необходимо в разделе Серверы выбрать целевой сервер и нажать кнопку IPMI. После нажатия на указанную кнопку произойдет открытие IPMI в новой вкладке браузера.

Управление питанием по IPMI

Для управления питанием сервера необходимо перейти в Web-интерфейсе в раздел Серверы, выбрать целевой сервер, далее перейти во вкладку Оборудование и в раскрывшемся списке выбрать IPMI. В открывшемся окне будут доступны следующие действия:

Запуск сервера. Для того чтобы выполнить запуск сервера, необходимо нажать кнопку запустить ;
Приостановка работы сервера. Для того чтобы приостановить работу сервера, необходимо нажать кнопку приостановить ;
Перезагрузка сервера. Для того чтобы выполнить перезагрузку сервера, необходимо нажать кнопку перезагрузить ;
Принудительная перезагрузка сервера. Для того чтобы выполнить принудительную перезагрузку сервера, необходимо нажать кнопку принудительно перезагрузить ;
Выключение сервера. Для того чтобы выполнить выключение сервера, необходимо нажать кнопку выключить .

Внимание!

Перед управлением питанием сервера необходимо перевести его в Сервисный режим, нажав кнопку Сервисный режим!. После окончания работ, связанных с управлением питанием сервера, необходимо перевести его в Стандартный режим, нажав кнопку Стандартный режим. Подробная информация о Сервисном и стандартном режимах приведена в разделе Сервисный и стандартный режим.

Удаление сервера

В окне состояния выбранного сервера имеется возможность удаления сервера.

Для удаления сервера из кластера необходимо:

нажать кнопку Удалить сервер и в открывшемся окне заполнить поля о сервере:
- SSH-пользователь;
- SSH-пароль;
- SSH-порт.
Если использовались параметры по умолчанию, то необходимо заполнить поля следующим образом:
- SSH-пользователь - root;
- SSH-пароль, который был задан при установке ОС сервера;
- SSH-порт - 22;
после заполнения подтвердить удаление, нажав кнопку Удалить.

Внимание

Перед удалением сервера из кластера необходимо проверить, все ли данные объекты от него отключены или удалены, так как в составе кластера с сервером связаны многие другие объекты кластера.
Штатное удаление проводит проверку на связанность удаляемого объекта с другими в составе кластера. Предупреждение о наличии связанных объектов будет отображаться при попытке удаления.
С сервером могут быть связаны:
- файловые (локальные), блочные и распределенные хранилища;
- виртуальные машины, их шаблоны, диски, резервные копии;
- образы CD/DVD-дисков;
- физические сетевые интерфейсы, привязанные к ВМ или ВК.
Если сервер находится в аварийном состоянии (недоступен для управления) и связанные с данным сервером объекты не нужны или не могут быть отключены или удалены из кластера штатным образом, то удаление сервера будет произведено форсированно.
Если сервер принадлежит кластеру, на котором поднят кластерный транспорт типа Gluster, то следует убедиться, что ни одному тому Gluster не принадлежат в качестве разделов какие-либо ZFS пулы сервера, даже удалённые на данный момент. В противном случае удаление сервера завершится ошибкой.

Замена узла, принадлежащего кластерному хранилищу Gluster:

В случае, если избыточность и архитектура тома позволяют сохранять работоспособность (прим.1)

при отсутствии одного из узлов:

Остановить все разделы томов Gluster, расположенные на заменяемом узле
Отмонтировать датапулы Gluster и тома Gluster от заменяемого узла
Удалить заменяемый узел из кластерного транспорта в свойствах кластерного транспорта
Вывести заменяемый узел из кластера VeiL
Добавить заменяющий узел к кластеру VeiL
При необходимости настроить внешнюю сеть на заменяющем узле
При необходимости создать ZFS пулы для замены разделов томов Gluster, располагавшихся на заменённом узле
Провести переконфигурацию кластерного транспорта Gluster
При необходимости провести замену остановленных разделов томов Gluster на свежесозданные ZFS пулы

В случае, если том не обладает избыточностью: (разделы на заменяемом узле должны быть исправны)

При наличии достаточного свободного места на разделах тома, остающихся на прочих узлах кластера (прим.2) (смотрится в расширенных свойствах тома), удалить разделы с заменяемого узла и дождаться завершения задачи, проверить успешность миграции данных в выводе задачи
Если свободного места недостаточно или миграция данных прошла неуспешно, выполнить п.п. 5-8 предыдущего списка (ввести заменяющий узел), и далее:
Заменить разделы томов Gluster с заменяемого узла на ZFS пулы заменяющего узла
Отмонтировать датапулы Gluster и тома Gluster от заменяемого узла
Удалить заменяемый узел из кластерного транспорта в свойствах кластерного транспорта
Вывести заменяемый узел из кластера VeiL

Note

При проектировании тома следует учитывать, что разделы, составляющие один подтом и обеспечивающие избыточности, должны располагаться на разных узлах так, чтобы при отказе одного из узлов прочие составляющие подтом разделы продолжали быть доступны раздел "Важность выбора последовательности разделов ..."

Note

Более подробно описано в разделе "Удаление разделов из тома"

Ended: Управление физическими серверами

Оборудование сервера ↵

Процессоры

Для просмотра информации об установленных CPU на сервер необходимо в разделе Серверы основного меню выбрать целевой сервер, после чего в открывшемся окне во вкладке Оборудование - Процессоры отобразится следующая информация о CPU:

Сокеты, ядра и потоки

Количество сокетов - количество процессорных сокетов на материнской плате сервера, в которые установлены физические процессоры.

Количество ядер на сокет - количество процессорных ядер, приходящихся на один сокет.

Количество потоков на ядро - количество потоков, приходящихся на один сокет.

Общее количество потоков - количество потоков на сервер.

Количество NUMA узлов - количество NUMA узлов на сервер.

Физические процессоры

Архитектура - архитектура установленных физических процессоров в сервер.

Общая максимальная частота - суммарная частота всех потоков сервера.

Модель - оптимальная модель vCPU для установленных процессоров, которая будет использоваться по умолчанию.

Детальная информация о физических процессорах

Процессоры - раскрывающийся список, в котором установленные процессоры упорядочены по их идентификатору. Для просмотра детальной информации необходимо выбрать интересующий процессор. В раскрывающемся меню будет приведена следующая информация:

Семейство - семейство процессора.
Производитель - производитель физического процессора.
Максимальная частота - максимальная рабочая частота процессора.
Версия - версия процессора.
Статус - текущий статус процессора.

Занятые ВМ процессоры

Занятые ВМ процессоры - раскрывающийся список индивидуально присвоенных ВМ ядер (потоков) физических процессоров. Настройка присвоения ядер (потоков) влияет на конечную производительность ВМ и описана в разделе Присвоение ядер (потоков).

Доступные функции

Доступные функции - раскрывающийся список доступных функций и инструкций физического процессора.

Тип - тип процессора.

IPMI

IPMI-управление сервером необходимо для операций ограждения (при авариях) и управления электропитанием серверов в составе кластера в режиме динамического управления питанием в кластере. Также на основании ответа Baseboard Management Controller (BMC) сервера принимается решение о запуске ВМ на другом сервере кластера.

Настройка доступа по IPMI-интерфейсу сервера необходима для использования типа ограждения IPMI при настройке связности узла (в окне Серверы – <имя сервера> – Настройка связанности). При нажатии кнопки Настройки - Получить IP происходит опрос ВМС сервера на предмет текущих сетевых настроек первого канала управления IPMI. Если IP-адрес не отобразился, то стоит проверить работоспособность BMC платы сервера или ввести адрес вручную.

Есть ли жизнь без IPMI?

Есть, но с некоторыми ограничениями в плане ограждения сервера.

Управление питанием по IPMI

Для управления питанием сервера необходимо перейти в Web-интерфейсе в раздел Серверы основного меню, выбрать целевой сервер, далее перейти во вкладку Оборудование и в раскрывшемся списке выбрать IPMI. В открывшемся окне будут доступны следующие действия:

Запуск сервера. Для того чтобы выполнить запуск сервера, необходимо нажать кнопку запустить .
Приостановка работы сервера. Для того чтобы приостановить работу сервера, необходимо нажать кнопку приостановить .
Перезагрузка сервера. Для того чтобы выполнить перезагрузку сервера, необходимо нажать кнопку перезагрузить .
Принудительная перезагрузка сервера. Для того чтобы выполнить принудительную перезагрузку сервера, необходимо нажать кнопку принудительно перезагрузить .
Выключение сервера. Для того чтобы выполнить выключение сервера, необходимо нажать кнопку выключить .

Внимание!

Перед управлением питанием необходимо перевести сервер в Сервисный режим, нажав кнопку Сервисный режим!. После окончания работ, связанных с управлением питанием сервера, необходимо перевести сервер в Стандартный режим, нажав кнопку Стандартный режим. Подробная информация о Сервисном и стандартном режимах приведена в разделе Сервисный и стандартный режим.

Просмотр показаний датчиков IPMI

Для получения списка датчиков IPMI и их показаний необходимо нажать кнопку Запросить состояние датчиков .

Настройка IPMI сервера

Для того чтобы выполнить настройку IPMI сервера, необходимо перейти в Web-интерфейсе в раздел Серверы основного меню, выбрать целевой сервер, далее перейти во вкладку Оборудование, в раскрывшемся списке выбрать IPMI и нажать кнопку Настройки. В открывшемся окне необходимо настроить следующие поля:

IP-адрес IPMI - это IP-адрес платы управления IPMI. Его можно получить автоматически, нажав кнопку Получить IP. Если автоматическое получение IP-адреса не работает или полученный IP-адрес некорректный, то необходимо проверить работоспособность BMC платы или ввести его вручную в соответствующее поле.
Имя пользователя IPMI - это имя (логин) учетной записи IPMI, от имени которой будут выполняться все дальнейшие действия.
Пароль IPMI - это пароль от используемой учетной записи IPMI.

После заполнения всех полей необходимо нажать кнопку Сохранить.

IPMI over Lan

Перед изменением IPMI настроек убедитесь через Web-интерфейс, что в ВМС сервера включена поддержка запросов по сети (например, опция "IPMI over Lan" в iDRAC). Проверить доступность IPMI можно командой ipmitool -I lanplus -H [ipmi_ip] -U [ipmi_username] -P [ipmi_password] power status. Если при изменении настроек IPMI появляется ошибка Интерфейс IPMI на указанном адресе недоступен c указанными параметрами, то можно посмотреть детальную ошибку в журнале контроллера в CLI командой log controller.

Варианты использования IPMI

Для удобного мониторинга состояния датчиков материнской платы.
Для связности контроллера с сервером и его ограждения. Подробное описание смотрите в Настройки связности.
Для использования кластерного транспорта типа gfs2. Подробное описание смотрите в Кластерные транспорты.
Для watchdog. Подробное описание смотрите в Кластерные транспорты.

Проверка IPMI

Базовая команда: ipmitool -I lanplus -H {ip} -U {username} -P {password} {subset} {action}

Параметры:

subset: 'power' if action not in ('sensor', 'sdr') else ''

action: soft, cycle, on, off, reset, status, sdr, sensor

Пример получения статуса питания

ipmitool -I lanplus -H {ip} -U {username} -P {password} power status

Сведения о HDD

В ECP VeiL поддерживаются диски и созданные на них блочные тома объемом до 100 Тбайт.

Для просмотра информации об установленных HDD на сервер необходимо в разделе Серверы основного меню выбрать целевой сервер, после чего в открывшемся окне во вкладке Оборудование - Сведения о HDD отобразится следующая информация о всех установленных HDD на сервер:

Основная информация о диске

ID диска - уникальный ID диска.
CONN_TYPE - тип подключения диска.
DRIVE_NAME - имя устройства в системе.

Идентификационная информация

IDENTIFY - раскрывающийся список идентификационной информации, который может отличаться в зависимости от модели и производителя диска. Как правило, идентификационная информация содержит следующие данные:

производитель диска;
модель диска;
серийный номер диска;
доступная емкость диска;
максимальная скорость вращения шпинделя жесткого диска (HDD) или тип диска для твердотельных накопителей (SSD);
форм-фактор диска;
поддержка SMART;

Примечание

Необходимо учитывать, что подключенные по iSCSI и FC (Fiber Channel) блочные устройства LUN определяются гипервизором как локальные устройства. В этом случае в модели устройства IDENTIFY в поле Vendor (производитель диска) будет указан поставщик LUN.

Результаты самодиагностики

SMART - при поддержке технологии SMART раскрывающийся список, который содержит результаты самопроверки диска. В зависимости от типа диска и производителя информация, содержащаяся в результате самопроверки диска, может отличаться. Пример входящей информации:

количество переназначенных секторов;
общее время работы диска;
количество полных циклов включения-выключения диска;
текущая температура диска;
состояние пула резервных блоков;
общее количество ошибок, происходящих при записи сектора;
число секторов, являющихся кандидатами на замену.

Статус

STATUS - раскрывающийся список, который содержит текущее состояние диска.

Графики использования дисков

Для формирования графика использования дисков необходимо в поле Выбрать устройства для вывода метрик выбрать целевой диск (можно выбрать несколько).

При наличии данных будут выведены следующие графики для каждого выбранного диска:

read - скорость чтения Мбит/с;
write - скорость записи Мбит/с;
r_await - среднее время (миллисекунды) на обработку запросов на чтение (включает время, потраченное в очереди на обработку и время на обработку запроса);
w_await - среднее время (миллисекунды) на обработку запросов на запись (включает время, потраченное в очереди на обработку и время на обработку запроса);
wrqms - обобщенное количество запросов на запись в секунду;
rrqms - обобщенное количество запросов на чтение в секунду;
rs - количество запросов на чтение в секунду;
ws - количество запросов на запись в секунду;
io_now - текущее число выполняемых операций ввода-вывода;
util - процент процессорного времени, в течение которого диску были отправлены запросы ввода-вывода.
avgrq - средний размер (в секторах) запросов к диску;
avgqu - средний размер очереди запросов к диску.

Для удобства анализа использования аппаратных мощностей кластера можно настроить отображение графиков, нажав на кнопку слева от графиков Задать интервал и в открывшемся окне настроить интервал.

Для увеличения определенного интервала можно нажать на кнопку Масштабировать и в миниатюрном изображении графиков под основными графиками выделить область для просмотра.

Остальное оборудование

В окне Серверы – <имя сервера> – Оборудование – Остальное оборудование отображаются все устройства системы, фактически повторяя вывод результата работы утилиты Linux lshw. Для того чтобы получить информацию об оборудовании, необходимо в левой верхней части окна раскрыть список, нажав на знак , после чего в окне отобразится следующая информация:

вus (раскрывающийся многоуровневый список) — основная шина PCI express;
power — информация о блоках питания;
network — активные системные сетевые интерфейсы.

Память

Для получения информации об оперативной памяти сервера необходимо перейти в окно Серверы – <имя сервера> – Оборудование - Память.

В открывшемся окне Память содержится следующая информация:

оперативная память в Мбайтах;
состояние механизма очистки памяти Ballooning (включить или выключить);
настройки Swappiness (раскрывающийся список). При нажатии на кнопку в открывшемся окне отображаются следующие параметры с возможностью редактирования:
- процент свободной оперативной памяти;
- уровень выделяемой памяти под кэш в условных единицах;
настройки Дедупликации (раскрывающийся список):
- состояние дедупликации;
- количество полных сканирований (Full scans);
- max_page_sharing;
- режим дедуплицирования памяти между NUMA nodes на узле (Merge across nodes);
- использующиеся дедуплицированные страницы памяти (Pages shared);
- страницы памяти для проверки (Pages to scan);
- недедуплицированные страницы памяти (Pages to scan);
- быстро меняющиеся страницы памяти для дедуплицирования (Pages volatile);
- работа сервиса (Run);
- время ожидания между сканированиями (Sleep millisecs);
- stable_node_chains;
- stable_node_chains_prune_millisecs;
- stable_node_dups;
- use_zero_pages.

В окне Серверы – <имя сервера> – Оборудование - Память также имеется возможность обновления информации о ресурсах и настройка параметров системы сжатия и дедупликации страниц памяти.

Обновление информации о ресурсах производится после изменения аппаратной конфигурации сервера – изменения количества и (или) типа процессоров, памяти, дисков.

KSM

Включение и настройки механизма дедупликации производятся с помощью кнопки , при нажатии на которую в открывшемся окне можно настроить:

управление работой системы (раскрывающийся список):
- выключить с сохранением имеющихся дупликацированных страниц;
- включить;
- выключить и сбросить все дедупликацированные страницы;
режим доступности дедуплицированных страниц между NUMA (Non-Uniform Memory Access) узлами (раскрывающийся список):
- страницы памяти становятся общими в рамках одного NUMA узла;
- страницы памяти становятся общими для всех NUMA узлов;
время перерыва между сканированиями страниц памяти;
количество страниц памяти для сканирования за один цикл.

Для сохранения изменений необходимо нажать кнопку Изменить.

Для закрытия окна Изменение параметров системы сжатия и дедупликации страниц памяти необходимо нажать кнопку Закрыть или .

Настройка сжатия и дедупликации страниц памяти сервера управляет механизмами контроля выделения страниц памяти NUMA узлам и появления дубликатов страниц при их перераспределении. Включение данных механизмов предотвращает возможность доступа к теневым копиям страниц памяти сервера, ищет и убирает дублирующие страницы памяти, но негативно влияет на производительность системы.

Пределы ресурсов

Для получения информации о пределах ресурсов на сервере необходимо в разделе Серверы основного меню выбрать целевой сервер, после чего в открывшемся окне во вкладке Оборудование - Пределы ресурсов отобразится следующая информация о состоянии динамического управления ресурсами:

Верхний аварийный уровень загрузки процессора - при достижении CPU данной отметки будет выведено событие с предупреждением о том, что достигнут аварийный уровень загрузки системы. Также в случае, если включен DRS, выбран режим создания виртуальных машин и воздействий HARD и выбраны типы собираемых метрик CPU или CPU_MEMORY, ECP VeiL предпримет попытки живой миграции ВМ с целью понизить нагрузку на данный сервер.
Верхний предупредительный уровень загрузки процессора - при достижении CPU данной отметки будет выведено событие с предупреждением о том, что достигнут предупредительный уровень загрузки системы.
Верхний аварийный уровень загрузки памяти - при достижении RAM данной отметки будет выведено событие с предупреждением о том, что достигнут аварийный уровень загрузки системы. Также в случае, если включен DRS, выбран режим создания виртуальных машин и воздействий HARD и выбраны типы собираемых метрик MEMORY или CPU_MEMORY, ECP VeiL предпримет попытки живой миграции ВМ с целью понизить нагрузку на данный сервер.
Верхний предупредительный уровень загрузки памяти - при достижении RAM данной отметки будет выведено событие с предупреждением о том, что достигнут предупредительный уровень загрузки системы

Подробная информация о механизме DRS содержится в разделе DRS.

Данные настройки предназначены для ограничения загруженности сервера. При изменении базовых настроек необходимо учитывать возможную пиковую нагрузку на сервер. Также данные настройки влияют на распределение ВМ по серверам при срабатывании механизмов ВД при автоматическом распределении ВМ.

Для применения настроек необходимо нажать на кнопку Сохранить (доступно, если вносились изменения).

Ended: Оборудование сервера

Пулы ресурсов

Для просмотра или изменения информации о пулах ресурсов, в которые входит сервер, необходимо в разделе Серверы основного меню выбрать целевой сервер, после чего в открывшемся окне во вкладке Пулы ресурсов отобразится таблица следующего содержания:

Название - название пула ресурса, в который входит данный сервер.
ВМ - количество ВМ, которые созданы в рамках данного пула ресурсов.
Ограничение памяти - ограничение RAM, указанное в настройках данного пула ресурсов.
Ограничение CPU - ограничение CPU, указанное в настройках данного пула ресурсов.

Также в этом окне существует возможность создания нового пула по кнопке Создать пул ресурсов и выбора определенного пула с применением фильтра по кнопке .

Подробное описание пулов ресурсов смотрите в разделе Пулы ресурсов.

Хранилища ↵

Пулы данных

Просмотр информации

Для просмотра информации о подключенных к серверу Пулах данных необходимо в разделе Серверы основного меню выбрать целевой сервер, после чего в открывшемся окне во вкладке Хранилища - Пулы данных отобразится таблица, содержащая следующую информацию:

Название - название подключенного пула данных к серверу;
Тип - тип пула данных;
Серверы - количество серверов, к которым подключен данный пул данных;
Диски - количество содержащихся виртуальных дисков на данном пуле данных;
Образы - количество содержащихся образов ISO на данном пуле данных;
Файлы - количество содержащихся файлов на данном пуле данных;
Использовано/Всего - занятый и общий объем пула данных;
Статус - статус пула данных.

Работа с пулами данных

Также в данном окне имеется возможность:

создание нового пула. Для этого необходимо нажать кнопку Создать и в открывшемся окне ввести необходимые данные;
фильтр списка пулов данных. Для этого необходимо нажать кнопку Фильтр;
сканирование подключенных пулов данных к серверу. Для этого необходимо нажать кнопку Сканировать;
сбор статистики работы пула данных. Для этого необходимо нажать кнопку Статистика I/O. При нажатии открывается окно выбора параметров сбора с заданными значениями по умолчанию. Сбор происходит с сервера в верхней директории всех активных пулов данных типа файловый с размером блока 4K.

Подробное описание работы с пулами данных содержится в разделе Пулы данных.

ZFS-пулы

Просмотр информации

Для просмотра информации о подключенных к серверу ZFS-пулах необходимо в разделе Серверы основного меню выбрать целевой сервер, после чего в открывшемся окне во вкладке Хранилища - ZFS-пулы отобразится таблица, содержащая следующую информацию:

Название - название подключенного ZFS-пула к серверу;
Сервер - имя сервера, к которому подключен данный ZFS-пул;
Тип - тип ZFS-пула;
Размер - объем ZFS-пула;
Health - состояние ZFS-пула;
Локальные устройства - количество локальных дисковых устройств, используемых для создания данного ZFS-пула;
LUNs - количество сетевых дисковых устройств, используемых для создания данного ZFS-пула;
Статус - статус пула данных.

Работа с пулами данных

В данном окне имеется возможность:

создания нового ZFS-пула. Для этого необходимо нажать кнопку Добавить ZFS и в открывшемся окне ввести необходимые данные;
Вывод детальной информации об ARC кэше узла;
фильтра списка пулов данных. Для этого необходимо нажать кнопку Фильтр;
сканирования подключенных ZFS-пулов к серверу. Для этого необходимо нажать кнопку Сканировать.

Подробное описание работы с ZFS-пулами содержится в разделе ZFS пулы.

Файловые хранилища

Просмотр информации

Для просмотра информации о подключенных к серверу Файловых хранилищах необходимо в разделе Серверы основного меню выбрать целевой сервер, после чего в открывшемся окне во вкладке Хранилища - Файловые хранилища отобразится таблица, содержащая следующую информацию:

Название - название подключенного файлового хранилища;
Тип подключения - тип подключения файлового хранилища;
Использовано/Всего - занятый и общий объем файлового хранилища;
Пулы данных - количество пулов данных, использующих данное файловое хранилище;
Серверы - количество серверов, к которым подключен данный пул данных;
Статус - статус пула данных.

Работа с файловыми хранилищами

Также в данном окне имеется возможность:

добавить новое файловое хранилище. Для этого следует нажать кнопку Добавить и ввести необходимые данные в открывшемся окне;
сканировать подключенные к серверу файловые хранилища. Для этого необходимо нажать кнопку Сканировать.

Подробное описание работы с файловыми хранилищами содержится в разделе Файловые хранилища.

Блочные хранилища

Просмотр информации

Для просмотра информации о подключенных к серверу Блочных хранилищах необходимо в разделе Серверы основного меню выбрать целевой сервер, после чего в открывшемся окне во вкладке Хранилища - Блочные хранилища отобразится таблица, содержащая следующую информацию:

Название - название подключенного блочного хранилища;
Тип подключения - тип подключения блочного хранилища;
Статус - статус пула данных.

Работа с блочными хранилищами

В окне управления блочными хранилищами имеется возможность:

сканирования SCSI Hosts. Для этого необходимо нажать кнопку Сканировать SCSI HOSTS;
сканирования подключенных к серверу блочных хранилищ . Для этого необходимо нажать кнопку Сканировать;
редактирования подключенных WWNS-хранилищ. Для этого необходимо нажать кнопку WWNS;
получения локальных WWNS-хранилищ. Для этого необходимо нажать кнопку Локальные WWNS;
получения iSCSI инициатора узла с возможностью его изменения. Для этого необходимо нажать кнопку Имя инициатора iscsi;
добавления нового блочного хранилища. Для этого необходимо нажать кнопку Добавить и в открывшемся окне ввести соответствующие данные.

Подробное описание работы с блочными хранилищами содержится в разделе Блочные хранилища.

Блочные устройства

Для управления дисковой подсистемой сервера в окне Серверы – <имя сервера> – Хранилища – Блочные устройства существуют возможности управления блочными устройствами (группами логических разделов, группами томов LVM).

В окне Управление блочными устройствами содержится информация об имеющихся блочных устройствах, включая название группы, общий и свободный объём, возможность расширения и удаления.

Управление блочными устройствами позволяет изменять конфигурацию дисковой подсистемы (добавлять и удалять физические диски, управляемые менеджером LVM) без необходимости обращаться к консоли сервера.

В окне Управление блочными устройствами предусмотрена возможность создания, расширения и удаления новых групп логических разделов на физических дисках, не используемых в системном разделе.

Примечание

Создание, расширение и удаление новых групп логических разделов на съемных устройствах невозможно.

Дополнительные группы томов LVM могут использоваться для формирования пулов данных форматов LVM и thin-LVM (далее *LVM) в окне Серверы – <имя сервера> – Хранилища - Пулы данных. Пулы данных форматов *LVM используются для размещения виртуальных дисков ВМ на логических разделах в рамках группы. Таким образом, в ВМ в качестве жесткого диска предоставляется не файл формата qcow2, а блочное устройство, являющееся логическим разделом физического жесткого диска (раздел LVM).

Тома LVM, размещенные в группах LVM на физических дисках сервера, имеют более высокую производительность, но возможности по операциям над ними ограничены.

Важно

Будьте осторожны при операциях с системным разделом диска.

Примечание

При использовании хранилищ форматов *LVM необходимо понимать принцип работы механизмов самого LVM и предоставления логического раздела в качестве НЖМД для ВМ.

Для создания группы необходимо в окне Управление блочными устройствами:

нажать кнопку Создать группу VG;
если в дисковой подсистеме сервера есть неиспользуемое (неразмеченное) дисковое пространство, то в открывшемся окне необходимо ввести название группы логических томов и выбрать блочные устройства для включения в группу;
если неиспользуемого пространства нет, то появится надпись нет доступных блочных устройств;
для сохранения изменений нажать кнопку Сохранить.

После успешного создания группы она отобразится в списке блочных устройств.

Примечание

В списке доступных блочных устройств показываются только устройства без разметки (разделов). Чтобы очистить требуемое устройство от ранее созданной разметки, следует воспользоваться командой CLI wipefs, после этого устройство появится в списке. В случае устройств LUN, возможно, потребуется отключить и заново присоединить устройство.

В окне Управление блочными устройствами для свободного устройства существует возможность:

расширения. При нажатии на кнопку Расширить в открывшемся окне необходимо выбрать из раскрывающегося списка дополнительные блочные устройства, после чего подтвердить операцию, нажав кнопку Расширить;
очистки дисков узла (полная очистка). Доступно для незадействованного устройства. Выполняется при нажатии на кнопку Очистка дисков узла. В открывшемся окне необходимо выбрать из раскрывающегося списка блочное устройство, после чего подтвердить операцию, нажав кнопку Сохранить.

Управление связанными объектами производится в разделе Хранилища основного меню и соответствующих подразделах интерфейса. Более подробное описание смотрите в разделе LUN.

Кластерные транспорты

Просмотр информации

Для просмотра информации о подключенных к серверу Кластерных транспортах необходимо в разделе Серверы основного меню выбрать целевой сервер, после чего в открывшемся окне во вкладке Хранилища - Кластерные транспорты отобразится таблица, содержащая следующую информацию:

Название - название подключенного кластерного транспорта;
Кластер - кластер, к которому подключен данный кластерный транспорт;
Тип - тип кластера;
Статус - статус кластерного транспорта.

Добавление кластерного хранилища

Для добавления хранилища необходимо нажать кнопку Создать. В открывшемся окне заполнить следующие поля:

название хранилища;
его описание;
кластер, в котором расположено хранилище (выбор из раскрывающегося списка);
тип хранилища (выбор из раскрывающегося списка);
LUN (выбор из раскрывающегося списка);
определиться с выбором внешней сети.

Для подтверждения операции необходимо нажать кнопку Создать.

Более подробное описание смотрите в разделе Кластерные транспорты.

Тома

Просмотр информации

Для просмотра информации о подключенных к серверу Томах необходимо в разделе Серверы основного меню выбрать целевой сервер, после чего в открывшемся окне во вкладке Хранилища - Тома отобразится таблица, содержащая следующую информацию:

Название - название подключенного тома;
Кластерный транспорт - название кластерного транспорта, используемого для подключения;
Тип - тип транспорта для тома;
Использовано/Всего - занятый и общий объем тома;
Статус - статус кластерного транспорта.

Добавление Тома

Для добавления тома необходимо нажать кнопку Создать. В открывшемся окне заполнить следующие поля:

название хранилища;
его описание;
тип тома (выбор из раскрывающегося списка);
кластерные транспорты;
разделы (ZFS пулы);
значение репликации тома;
наличие раздела арбитра в реплицированном томе (вкл/выкл);
тип транспорта для тома (выбор из раскрывающегося списка);
путь;
определиться с созданием пула данных (вкл/выкл).

Для подтверждения операции необходимо нажать кнопку Создать.

Более подробное описание смотрите в разделе Тома.

Ended: Хранилища

Виртуальные машины

Для получения списка ВМ и шаблонов необходимо перейти в окно Серверы – <имя сервера> – Виртуальные машины. В данном окне существует два подраздела Виртуальные машины и Шаблоны. В каждом из подразделов представлен список объектов, размещенных на данном сервере.

Управление ВМ в составе данного сервера производится в окне Серверы – <имя сервера> – Виртуальные машины – Виртуальные машины.

Управление шаблонами ВМ в составе данного сервера производится в окне Серверы – <имя сервера> – Виртуальные машины – Шаблоны.

Для ВМ и шаблонов ВМ на выбранном сервере в окне управления ВМ предусмотрены следующие операции:

включения всех ВМ сервера. Для этого необходимо нажать кнопку Включение всех ВМ и в открывшемся окне подтвердить операцию, нажав кнопку Да;
выключения всех ВМ сервера. Для этого необходимо нажать кнопку Выключение всех ВМ и в открывшемся окне выставить тайм-аут ожидания выключения питания ВМ, после чего подтвердить операцию, нажав кнопку Отправить;
порядок загрузки всех ВМ сервера при работе высокой доступности. При нажатии соответствующей кнопки открывается информационное окно с очередностью загрузки существующих ВМ. Окно закрывается с помощью кнопки Закрыть или ;
миграции всех ВМ сервера на доступные серверы. Для этого необходимо нажать кнопку Миграция всех ВМ и в открывшемся окне подтвердить операцию, нажав кнопку Да;
сканирования ВМ. При нажатии соответствующей кнопки открывается информационное окно с выявленными незарегистрированными ВМ. Окно закрывается с помощью кнопки Закрыть или ;

Для выбора определенной ВМ из списка с применением фильтра необходимо нажать на кнопку Фильтр и в открывшемся окне заполнить следующие поля:

Имя виртуальной машины – название искомой ВМ;
Состояние питания – выбор из раскрывающегося списка («Без фильтра», «включена» или «Выключена»);
Серверы – выбор из раскрывающегося списка;
Пул данных – выбор из раскрывающегося списка;
Кластеры – выбор из раскрывающегося списка;
Локация – выбор из раскрывающегося списка;
Пулы ресурсов – выбор из раскрывающегося списка;
Виртуальные сети – выбор из раскрывающегося списка;
Теги – выбор из раскрывающегося списка.

После настройки фильтра необходимо нажать Применить или Сбросить все.

В окне управления ВМ содержится список виртуальных машин, существующих в системе и привязанных к данному серверу, включая для каждой из них её название, сервер, количество виртуальных процессоров vCPU, объём виртуальной оперативной памяти vRAM, количество виртуальных дисков vDisk и сетевых адаптеров vNIC, количество виртуальных функций vFunc и статус.

Подробное описание смотрите в разделе Операции с ВМ.

Сети ↵

Виртуальные сети

Просмотр информации

Для просмотра информации о Виртуальных сетях сервера необходимо в разделе Серверы основного меню выбрать целевой сервер, после чего в открывшемся окне во вкладке Сети - Виртуальные сети отобразится таблица, содержащая следующую информацию:

Название - название виртуальной сети;
Связанность - тип связанности в виртуальной сети;
Подсеть - подсеть виртуальной сети;
VLAN ID - тег по стандарту 802.1Q, который присваивается всему трафику данной сети;
MAC-адрес - МАС (физический адрес) внутреннего интерфейса;
Используется брандмауэр - параметр, который указывает, используется ли межсетевой экран для данной сети;
Статус - статус виртуальной сети.

Подробная о виртуальных сетях содержится в разделе Виртуальные сети.

Виртуальные коммутаторы

Виртуальные коммутаторы (ВК) -- это коммутаторы уровня сервера (узла), предназначенные для управления физическими сетевыми интерфейсами сервера, внутренними интерфейсами сервера и обеспечения L2-связанности распределенных коммутаторов.

Просмотр информации

Для просмотра информации о Виртуальных коммутаторах сервера необходимо в разделе Серверы основного меню выбрать целевой сервер, после чего в открывшемся окне во вкладке Сети - Виртуальные коммутаторы отобразится таблица, содержащая следующую информацию:

Название - название виртуального коммутатора;
Сервер - название сервера, на котором находится виртуальный коммутатор;
Тип - тип виртуального коммутатора;
Статус - статус виртуального коммутатора.

Добавление виртуального коммутатора

Также в окне управления ВК имеется возможность добавить новый ВК, используя кнопку Добавить виртуальный коммутатор. При нажатии на данную кнопку открывается окно, в котором необходимо заполнить следующие поля:

название ВК;
описание ВК (при необходимости);
тип (выбрать из раскрывающегося списка).

Для подтверждения операции необходимо нажать кнопку Отправить.

Информацию по коммутатору можно получить, нажав на его название в списке коммутаторов.

Дополнительную информацию о ВК смотрите здесь. Управление ВК смотрите в разделе здесь.

Внутренние интерфейсы

Внутренние интерфейсы -- это виртуальные интерфейсы уровня гипервизора, подключаемые в порт-группы внутреннего коммутатора. Основным внутренним интерфейсом является veil-mgmt, через который происходит взаимодействие между серверами в составе кластера. За счёт настройки дополнительных внутренних интерфейсов можно отделить от сети управления сеть передачи данных (доступ к NFS и iSCSI), сеть доступа к интерфейсу управления, сеть управления серверами по IPMI и другие сети.

Просмотр информации

Для просмотра информации о Внутренних интерфейсах сервера необходимо в разделе Серверы основного меню выбрать целевой сервер, после чего в открывшемся окне во вкладке Сети - Внутренние интерфейсы отобразится таблица, содержащая следующую информацию:

Название - название внутреннего интерфейса;
IP-адрес - IP-адрес внутреннего интерфейса в сети;
Маска подсети - маска подсети сети, к которой подключен внутренний интерфейс;
DHCP - параметр, который указывает, включено ли на внутреннем интерфейсе автоматическое получение сетевых настроек;
MAC-адрес - МАС (физический адрес) внутреннего интерфейса;
Подключение к вирт. коммутатору - название внутреннего виртуального коммутатора, к которому подключен внутренний интерфейс;
Статус - статус внутреннего интерфейса.

Информацию о конкретном внутреннем интерфейсе можно получить, нажав на его название в списке интерфейсов.

Добавление внутреннего интерфейса

Также в окне управления внутренними интерфейсами имеется возможность добавить интерфейс, используя кнопку Добавить. При нажатии на эту кнопку открывается окно, в котором необходимо заполнить следующие поля:

название интерфейса;
описание интерфейса (при необходимости);
ВК (выбрать из раскрывающегося списка);
порт-группа;
протокол DHCP (включить или выключить);
IP-адрес;
маска подсети;
MAC-адрес.

Для подтверждения операции необходимо нажать кнопку Отправить.

Дополнительную информацию смотрите здесь.

Агрегированные интерфейсы

Общая информация

Агрегированные интерфейсы -- это список групповых сетевых интерфейсов. Каждый агрегированный интерфейс представляет собой группу физических интерфейсов сервера со своей политикой объединения. Политики объединения могут быть как для резервирования, так и для увеличения пропускной способности каналов связи.

Необходимо учитывать, что при группировании интерфейсов для увеличения пропускной способности с балансировкой нагрузки и применением протокола LACP, порты физического коммутатора, к которым подключена данная группа физических интерфейсов, также должны быть собраны в группу, и на них должна быть включена поддержка LACP.

Попытка агрегировать несколько портов с использованием уже настроенных ранее может привести к временной потере сетевого соединения. Это связано с тем, что перед агрегацией ранее настроенный порт должен быть отсоединен от своих старых связей. При удалении агрегированного порта (высвобождении сетевых интерфейсов из объединения) их настройки (VLAN, MTU) сбрасываются.

В окне Серверы – <имя сервера> – Сети – Агрегированные интерфейсы содержится список агрегированных интерфейсов сервера, включая для каждого из них его режим агрегации и LACP, LACP time, переключение в режим, состояние и статус.

Добавление

Для агрегации нескольких интерфейсов необходимо в окне управления агрегированными интерфейсами сервера нажать кнопку Добавить. В открывшемся окне необходимо заполнить необходимые поля:

название агрегированного интерфейса;
описание агрегированного интерфейса (при необходимости);
ВК (выбрать из раскрывающегося списка);
порт-группа (выбрать из раскрывающегося списка);
физические интерфейсы (выбрать из раскрывающегося списка), которые будут объединены (агрегированы). Если при создании агрегированного интерфейса в раскрывающемся списке написано нет доступных интерфейсов, это означает отсутствие на узле доступных для добавления устройств;
тип агрегации (режим связи) (выбрать из раскрывающегося списка). Настройка типа агрегации выбирается исходя из потребностей и возможностей сетевого оборудования:
- аctive-backuр - режим резервирования. Резервный канал не используется;
- balance-tcp - режим балансировки с использованием LACP;
- balance-slb - режим простой балансировки на основе MAC и VLAN.
Для правильного выбора режима необходимо обратиться к своему сетевому администратору.
связь протокола управления агрегацией каналов (выбрать из раскрывающегося списка);
включение агрегированного интерфейса после создания.

Для подтверждения операции необходимо нажать кнопку Отправить.

Тип агрегации (режим связи) balance-tcp

Для использования balance-tcp необходимо предварительно включить поддержку LACP у физического коммутатора, к которому подключены агрегируемые порты. Порты, агрегируемые по этому типу, должны быть подключены в порты коммутатора, объединенные в порт-группу. Порт-группа физического коммутатора с включенным LACP не будет пропускать трафик, пока не увидит, что порты сервера прошли агрегацию. Это необходимо учитывать при настройке и, если агрегация данного типа будет применяться для сети управления её необходимо делать из CLI-интерфейса сервера и при наличии доступа к интерфейсу управления коммутатором. При отсутствии поддержки LACP со стороны коммутатора сформируется сетевая петля, что приведет к срабатыванию защиты от петель.

Пример создания агрегированного интерфейса.

Информация

Информацию по агрегированному интерфейсу можно получить, нажав на его название в списке интерфейсов.

Во вкладке Информация содержатся следующие сведения:

название;
описание (редактируемый параметр);
дата и время создания;
дата и время изменения;
статус;
конфигурация управления агрегацией каналов (раскрывающийся список):
- связь протокола управления;
- режим связи;
- резервный вариант протокола управления;
- время протокола управления;
интерфейсы с возможностью их добавления по кнопке . Каждый из интерфейсов содержит:
- состояние связи;
- скорость соединения;
- дуплексный режим;
- MAC-адрес.
Интерфейс можно удалить по кнопке ;
сообщения о работе агрегированного интерфейса с возможностью их сортировки по признакам - По всем типам, Ошибки, Предупреждения, Информационные. Также имеется возможность отображения только непрочитанных сообщений.

Операции

Также в окне состояния выбранного агрегированного интерфейса предусмотрены следующие операции:

обновление информации;
изменение параметров. Для этого необходимо нажать кнопку Изменение параметров и в открывшемся окне выбрать из раскрывающегося списка режим связи и связь протокола управления агрегацией каналов. Для сохранения изменений необходимо нажать кнопку Отправить;
включение экземпляра. При нажатии кнопки Включение экземпляра в открывшемся окне необходимо подтвердить операцию, нажав на кнопку Да;
удаление интерфейса. При нажатии кнопки Удалить в открывшемся окне необходимо определиться с возможностью сохранения физического интерфейса после удаления соединения. Если опция Оставить физический интерфейс включена, осуществить выбор из раскрывающегося списка физического интерфейса и определится с возможностью включения агрегированного интерфейса после подключения. Далее необходимо подтвердить операцию, нажав кнопку Отправить.

Физические интерфейсы

В окне Серверы – <имя сервера> – Сети – Физические интерфейсы содержится список физических интерфейсов сервера, включая для каждого из них его название, поддержку SR-IOV, включен или выключен режим SR-IOV, включен или выключен неразборчивый режим, MTU, MAC-адрес, агрегацию, состояние, наличие физического подключения к серверу и статус (исправно или ошибка). Данные о состоянии интерфейсов берутся от гипервизора.

Информацию о состоянии физического интерфейса и его загруженности можно получить, нажав на название интерфейса в его окне управления.

В открывшемся окне состояния доступны следующие операции с физическим интерфейсом:

обновление информации по кнопке ;
включение (выключение) интерфейса. При нажатии на кнопку Включение (up) (Выключение (down)) в открывшемся окне необходимо подтвердить операцию, нажав на кнопку Да;
подключение (отключение) интерфейса. Для варианта с неподключенным интерфейсом при нажатии на кнопку Подключение в открывшемся окне необходимо выбрать из раскрывающегося списка ВК и порт-группу, после чего подтвердить операцию, нажав кнопку Отправить. Для варианта с подключенным интерфейсом при нажатии на кнопку Отключение (vswitch) в открывшемся окне необходимо подтвердить операцию, нажав на кнопку Да;
переподключение интерфейса. При нажатии на кнопку Переподключение (vswitch) в открывшемся окне необходимо выбрать из раскрывающегося списка ВК и порт-группу, после чего подтвердить операцию, нажав кнопку Отправить;
включение режима SR-IOV. При нажатии на кнопку Включение SR-IOV в открывшемся окне необходимо подтвердить операцию, нажав кнопку Да;
настройка длительности индикации светодиода. При нажатии на кнопку LED в открывшемся окне необходимо задать длительность индикации, после чего подтвердить операцию, нажав кнопку Отправить.

Также в окне состояния выбранного интерфейса содержится следующая информация:

графики загрузки receive и transmit;
название физического интерфейса;
его описание (редактируемый параметр);
дополнительная информация. Раскрывающаяся информация содержит:
- изготовитель;
- модель;
- драйвер;
- вервия драйвера;
- PCI-устройство;
- неразборчивый режим (редактируемый параметр). Позволяет включить или выключить режим Promisc;
- MTU (редактируемый параметр);
- max MTU;
MAC-адрес;
включен в агрегацию (Да/Нет);
статус;
скорость соединения;
дуплексный режим;
состояние связи (Активен/Неактивен);
состояние порта (Включен/Выключен);
сообщения о работе интерфейса с возможностью их сортировки по признакам - По всем типам, Ошибки, Предупреждения, Информационные. Также имеется возможность отображения только непрочитанных сообщений.

Внимание

ВАЖНО помнить, что физический интерфейс, настроенный при установке ECP VeiL участвует в обеспечении работоспособности кластера. Все операции над этим интерфейсом необходимо проводить с учетом того, что при потере его настроек связь с управляемым сервером будет потеряна. Восстановление работоспособности сети будет возможно только через консоль сервера.

Возможность использования одного физического сетевого интерфейса несколькими ВМ с применением технологии SR-IOV

Условия

Примечание

Для использования технологии SR-IOV необходимо включить на целевом сервере поддержку IOMMU. Подробности смотрите в разделе Управление настройками IOMMU.

InfiniBand

Поделить интерфейс InfiniBand на виртуальные функции разрешается, но "прокинуть" функцию в ВМ на данный момент невозможно, так как её MAC-адрес состоит из 20 байт, а не из 6, что вызывает ошибку гипервизора. Виртуальные функции можно "прокинуть" в ВМ через проброс PCI-устройств.

Для перевода физического интерфейса в режим SR-IOV необходимо выбрать нужный интерфейс с поддержкой SR-IOV и включить его в окне управления.

В окне Серверы – <имя сервера> – Сети – SR-IOV содержатся данные о режимах SR-IOV. Информацию о состоянии физического интерфейса и его запущенного режима SR-IOV можно получить, нажав на название интерфейса в его окне управления SR-IOV.

Операция с интерфейсом SR-IOV

В окне состояния доступны следующие операции с физическим интерфейсом в режиме SR-IOV:

обновление информации по кнопке ;
выключение SR-IOV. При нажатии на кнопку Выключение SR-IOV в открывшемся окне необходимо подтвердить операцию, нажав на кнопку Да.

Сведения об интерфейсе SR-IOV

В окне состояния содержатся следующие сведения:

название (физического интерфейса);
описание;
дополнительная информация (раскрывающийся список):
- изготовитель;
- модель;
- драйвер;
- версия драйвера;
- PCI-устройства;
MAC-адрес;
включен в агрегацию (Да/Нет);
статус (ACTIVE/IN ACTIVE);
скорость соединения;
дуплексный режим;
состояние связи;
сообщения (список задач, отсортированный по дате).

Проверка

Проверка использования одного физического сетевого интерфейса несколькими ВМ с применением технологии SR-IOV осуществляется следующим образом:

необходимо включить SR-IOV на физическом интерфейсе. Перейти в раздел Серверы основного меню, выбрать целевой сервер, перейти во вкладку Сети - Физические интерфейсы, выбрать целевой физический интерфейс с поддержкой технологии SR-IOV, нажать кнопку Включение SR-IOV. Таким образом, на физическом сетевом интерфейсе будут созданы виртуальные функции — виртуальные сетевые интерфейсы;
далее необходимо создать ВМ. Проверка возможна при загрузке в режиме Live CD, поэтому создание диска и последующая установка операционной системы необязательны. После создания ВМ перейти в раздел Виртуальные машины основного меню, выбрать созданную ВМ, перейти во вкладку Виртуальные функции, нажать кнопку Добавить функцию, в раскрывающемся списке выбрать виртуальную функцию, нажать кнопку Отправить;
повторить предыдущий пункт необходимое количество раз, но не больше, чем количество доступных виртуальных функций, так как одна виртуальная функция может быть подключена к одной виртуальной машине;
включить созданные ВМ, после завершения загрузки. Если целевой физический сетевой интерфейс подключен к внешней сети с доступным DHCP-сервером, убедиться, что ВМ получили IP-адреса от DHCP сервера;
проверить доступность ВМ между собой, выборочно выполнив команду ping {IP-адрес другой ВМ} -c 1;
если целевой физический сетевой интерфейс подключен к внешней сети с доступом к сети Интернет, проверить доступность публичных DNS-серверов, выполнив на ВМ команду ping 77.88.8.1 -c 1.

Ended: Сети

Связанность и ограждение

Общая информация

Настройки связности и ограждения -- определение механизмов контроля доступности сервера и управления его питанием.

Для обеспечения целостности данных ВМ может работать только на одном узле или любой другой службе кластера в одно и то же время. Применение в конфигурации оборудования выключателей электропитания дает возможность выполнять цикл выключения-включения питания другого узла до перезапуска служб высокой доступности этого узла во время процесса отказов. Это предотвращает от одновременного доступа 2 узлов к одним и тем же данным и к их разрушению. Ограждающие (fence) устройства используются для обеспечения гарантии целостности данных при сбоях в любых условиях.

В окне Серверы – <имя сервера> – Настройки связности можно получить информацию о текущих настройках:

тип ограждения;
тип связности;
пулы данных.

Также существует возможность изменения настроек. При нажатии на кнопку Изменить настройки в открывшемся окне выбрать из раскрывающегося списка тип ограждения и тип связности, после чего подтвердить операцию, нажав кнопку Отправить.

Дополнительно можно и рекомендуется изменять настройки целиком на весь кластер во вкладке Кластеры – <имя кластера> – Настройки связности.

Связность

Тип связности узла отвечает за метод принятия решения о том, что на сервере произошла авария.
Может быть следующих типов:

KERNEL – контролирует исполнение модулей системы управления на сервере. Контроллер открывает поток данных (grpc stream) до каждого узла по его UUID (hostname) и отправляет узлу свой IPv4-адрес. Узел при открытом потоке данных сверяет присланный ему адрес контроллера с адресом из его конфигурации и при совпадении раз в 1 секунду посылает через поток данных heartbeat. Контроллер при каждом получении heartbeat обновляет 2 метки с временем жизни 30 секунд (error label) и 60 секунд (hermit label) о доступности узла;
KERNEL_IPMI – дополнительно раз в 5 секунд проверяется доступность IPMI интерфейса сервера с контроллера;
KERNEL_STORAGE – дополнительно раз в 5 секунд проверяется метаданные пула данных сервера на общем с контроллером файловом сетевом хранилище;
AUTO – кроме проверки KERNEL связи при наличии настроек IPMI проверяется его доступность, при наличии общего пула данных проверяется и последний.

Ограждение

Ограждение - процесс получения подтверждения того, что аварийный сервер перешел в состояние, не допускающее повреждения ВМ (по умолчанию - выключен). Тип ограждения может принимать несколько значений и, в соответствии с этим, определяется каким образом система управления будет пытаться оградить сервер при обнаружении аварии. Сервис ограждения циклически пытается оградить узлы, находящиеся в статусе HERMIT (Ограждается) в соответствии с настройками.

Тип ограждения узла может быть следующим:

IPMI: использует управляющие команды ВМС для выключения;
VIRTUAL: признает сервер выключенным через 30 с после наступления аварии (по умолчанию);
SSH: использует подключение SSH для передачи команды выключения;
NODE: использует вызов управляющих команд через систему управления кластером;
AUTO: использует все возможные варианты последовательно.

В окне Настройки – Контроллер в Настройках ограждения есть редактируемые поля:

начальный тайм-аут между попытками ограждения узлов (по умолчанию - 15 секунд);
максимальный тайм-аут между попытками ограждения узлов (по умолчанию - 600 секунд);
множитель увеличения тайм-аута между попытками (по умолчанию - 2).
перевод узла в статус Failed при достижении максимального таймаута (по умолчанию - выкл).

Пример ограждения. Тип ограждения узла IPMI. Настройки ограждения контроллера по умолчанию.

Сразу после перехода узла в статус HERMIT (Ограждается) производится первая попытка ограждения узла с контроллера. В случае удачного выключения узла он переходит в статус FAILED (Ошибка). Если первая попытка не удалась, то через 15 секунд (начальный тайм-аут между попытками ограждения узлов) попытка повторяется. Если вторая попытка не удалась, то через 15 секунд * 2 (2 - множитель увеличения тайм-аута между попытками) попытка повторяется. Если третья попытка не удалась, то через 15 секунд * 4 попытка повторяется. Тайм-аут будет увеличиваться до 600 секунд (максимальный тайм-аут между попытками ограждения узлов) и продолжаться до бесконечности, пока оператор либо не оградит узел вручную, либо ограждение закончится успешно.

Оптимальный выбор типов связности и ограждения

Оптимальным считается использование типа ограждения IPMI и типа связности AUTO. Тип ограждения IPMI позволяет получить однозначное подтверждение о том, что сервер был огражден, а контроль модулей управления сервером реагирует также на проблемы в работе гипервизора.

Статусы узла и переходы между ними

Статусы узла:

CREATING (Создается) - узел находится в процессе инсталляции;
ACTIVE (Исправно) - узел активен и работает;
FAILED (Ошибка) - узел был недоступен и его оградили (fence), виртуальные машины могут быть перезапущены на других узлах;
ERROR (Ошибка) - узел недоступен;
HERMIT (Ограждается) - узел недоступен продолжительное время и его необходимо оградить для перезапуска виртуальных машин на других узлах;
DELETING (Удаляется) - узел находится в процессе удаления из кластера;
SERVICE (Сервисный режим) - узел находится на техобслуживании.

При установке узел сначала находится в статусе CREATING (Создается) и после успешного добавления переходит в статус ACTIVE (Исправно). В случае неуспешного добавления переходит в статус FAILED (Ошибка). В этом случае рекомендуется посмотреть в журнале задач ошибку задачи добавления, разобраться с ошибкой, форсированно удалить узел и добавить его снова.

При потере связи контроллера с узлом последний переходит из статуса ACTIVE (Исправно) сначала в статус ERROR (Ошибка), далее по истечению дополнительного времени и отсутствии связи в статус FAILED (Ошибка), если узел на контроллере, или в статус HERMIT (Ограждается) для всех остальных узлов. Подробности ограждения описаны выше. При переходе узла в статус ERROR (Ошибка) контроллер пытается подключиться по SSH к узлу и перезапустить супервизор контроллера.

Контроллер постоянно циклически пытается опросить все известные ему узлы. Если узел НЕ ACTIVE и НЕ SERVICE и связь с ним появляется, то он переходит автоматически в статус ACTIVE (Исправно).

Пользователь для перевода узла на техобслуживание должен перевести узел в статус SERVICE (Сервисный режим). При этом все принадлежащие узлам сущности и связи узла переходят в статус FAILED (Ошибка). ВМ узла перед переводом должны быть выключены.

При запуске задачи удаления узел сначала переходит в статус DELETING (Удаляется), далее после успешного последовательного выполнения всех внутренних операций очистки узла от привязок к контроллеру он удаляется из базы системы управления. После неуспешного удаления переходит в статус FAILED (Ошибка). В этом случае рекомендуется посмотреть в журнале задач ошибку задачи удаления, разобраться с ошибкой на будущее и форсированно удалить узел. В случае, если узел не находится в статусе ACTIVE (Исправно), его можно удалить форсированно, то есть исключительно из базы системы управления.

Профили

В окне Серверы – <имя сервера> – Профили содержится список имеющихся профилей, включая для каждого из них название, имя пула данных и статус.

Также в этом окне существует возможность создания нового профиля по кнопке Создать и синхронизации настроек с другим узлом напрямую по кнопке Синхронизировать.

При нажатии на название профиля открывается окно состояния профиля, содержащее следующую информацию:

ballooning;
drs_settings (раскрывающийся список);
description;
cluster;
shared_storages;
storages_transport.

В окне состояния профиля доступны следующие операции:

обновление информации по кнопке ;
отсоединение. При нажатии кнопки Отвязать открывается окно Отвязка профиля узла с вопросом Отвязать файл профиля узла?. Для подтверждения операции отсоединения необходимо нажать кнопку Отправить.

SSH ↵

Настройки SSH

Для просмотра и изменения настроек доступа по протоколу SSH к серверу необходимо в разделе Серверы основного меню выбрать целевой сервер, после чего в открывшемся окне во вкладке SSH - Настройки отобразятся следующие настройки:

Статус SSH - параметр, который показывает, включен ли доступ по SSH к серверу. По умолчанию - Включен;
Количество одновременных подключений каждого пользователя - параметр, который указывает предельное количество одновременных подключений к терминалу по SSH от имени каждого пользователя. По умолчанию - 1;
Общее количество одновременных подключений - параметр, который указывает предельное общее количество одновременных подключений по протоколу SSH. По умолчанию - 10;
Количество мультиплексированных сеансов SSH в течение одного сеанса SSH - параметр, указывающий на предельное количество сеансов в рамках одного TCP соединения. По умолчанию - 10;
Период неактивности пользователя в секундах, по истечению которого он будет отключен - параметр, указывающий временной интервал после последней активности (выполнение команд, ввод символов и т.д.). По умолчанию - 7200;
Количество периодов неактивности, по истечению которых пользователь будет отключен - количество периодов бездействия, по истечению которых будет произведено завершение сессии. По умолчанию - 1;
Количество неудачных попыток входа - количество неудачных попыток входа подряд, после которых пользователь будет заблокирован.

Пользователи SSH

Для просмотра текущих пользователей SSH, а также добавления, удаления и изменения пользователей необходимо в разделе Серверы основного меню выбрать целевой сервер, после чего в открывшемся окне во вкладке SSH - Пользователи отобразится список пользователей, которым доступно SSH-подключение.

Управление пользователями SSH

Для управления SSH-пользователями доступны следующие действия:

блокировка (разблокировка) пользователя при помощи кнопки . В открывшемся окне Управление доступом по SSH необходимо выбрать действие (заблокировать или разблокировать), определиться со способом выбора пользователей (ручной выбор пользователей или заблокировать всех), выбрать пользователей (при ручном способе выбора пользователей) и нажать кнопку Отправить;
добавление пользователя при помощи кнопки . В открывшемся окне Добавить пользователя необходимо нажать кнопку Добавить. Далее необходимо ввести имя пользователя и пароль, после чего подтвердить операцию, нажав кнопку Добавить. Имя пользователя появится в списке добавленных пользователей. Нажатие кнопки Отправить завершает операцию добавления новых пользователей;
удаление пользователя при помощи кнопки . В открывшемся окне Удалить пользователя необходимо выбрать пользователя и нажать кнопку Отправить.

У каждого пользователя имеется возможность изменить пароль доступа SSH при помощи кнопки . В открывшемся окне Изменения пароля необходимо ввести пароль доступа SSH для выбранного пользователя и нажать кнопку Отправить.

Ключи шифрования

Для просмотра подключенных ключей шифрования, подключения новых и удаления необходимо в разделе Серверы основного меню выбрать целевой сервер, после чего в открывшемся окне во вкладке SSH - Ключи шифрования отобразится список подключенных ключей шифрования.

Управление ключами шифрования

Доступны следующие действия:

подключение нового ключа шифрования осуществляется при помощи кнопки Подключение SSH ключа. В открывшемся окне Подключение SSH ключа необходимо выбрать ключ, пользователя SSH и нажать кнопку ОК;
отключение конкретного ключа шифрования осуществляется при помощи кнопки Отключить в таблице ключей;
отключение всех ключей шифрования осуществляется при помощи кнопки Отключить все ключи SSH.

Ended: SSH

События

В окне Серверы – <имя сервера> – События отображается список последних событий для данного сервера с возможностью их сортировки по признакам – По всем типам, Ошибки, Предупреждения, Информационные. Также имеется возможность отображения только непрочитанных сообщений и просмотр событий по дате с выбором интервала дат. Более подробную информацию смотрите здесь.

Резервное копирование

В окне Серверы – <имя сервера> – Резервные копии содержится список имеющихся резервных копий, включая для каждой из них название, имя пула данных, размер и статус.

В данной вкладке можно создавать резервные копии ОС (операционной системы) с помощью кнопки Создать резервную копию. В открывшемся окне можно выбрать пул данных для сохранения. Если его не указывать, то резервная копия будет создана на базовом пуле данных узла. Также в этом окне имеется текстовое поле Описание, в которое можно внести дополнительную информацию, помогающую более точно идентифицировать файл резервной копии при восстановлении. Это описание можно будет в дальнейшем посмотреть при открытии файла через Web-интерфейс или непосредственно из posix shell.

При создании резервной копии корневая файловая система резервируемого узла "замораживается", поэтому все операции на узле становятся невозможны. При создании резервной копии узла, на котором расположен контроллер, будет также приостановлена работа Web-интерфейса.

Правильным будет создавать резервные копии на сетевых хранилищах NFS, что в дальнейшем сильно упростит восстановление из них, используя Veil Live загрузку с установочного DVD.

Для загрузки резервной копии из файловой системы необходимо нажать кнопку Загрузка из файловой системы и в открывшемся окне выбрать файл (через стандартное окно загрузки файла) и пул (из раскрывающегося списка). После этого подтвердить операцию, нажав кнопку Отправить.

Для выбора определенной резервной копии с применением фильтра необходимо нажать на кнопку. В открывшемся окне содержатся следующие поля для фильтрации:

Имя файла;
Пул данных – выбор из раскрывающегося списка;
ВМ – выбор из раскрывающегося списка;
Серверы – выбор из раскрывающегося списка.

После настройки фильтра необходимо нажать Применить или Сбросить все.

При открытии файла резервной копии, кроме обычных для файла кнопок (Обновить, Копировать, Скачать, Удалить), имеется кнопка Описание, при нажатии на которую отобразится окно с описанием, внесенном при создании резервной копии. Берется из файла резервной копии, поэтому оно будет доступно, даже если файл был загружен.

При нажатии на название резервной копии открывается окно состояния резервной копии, содержащее следующую информацию:

название;
описание (с возможностью редактирования);
расположение;
название пула данных;
дата и время создания;
дата и время изменения;
сообщения, выдаваемые при работе с резервными копиями с возможностью их сортировки по признакам – По всем типам, Ошибки, Предупреждения, Информационные. Также имеется возможность отображения только непрочитанных сообщений и просмотр событий по дате с выбором интервала дат.

Про восстановление из резервной копии смотрите здесь.

ПО и сервисы

ПО (X.Y.Z)

Версия ECP VeiL соответствует классической версии нумерации X.Y.Z:

X – мажорная версия. Меняется при крупных релизах. Может быть обратно несовместима с прежними релизами;
Y – минорная версия. Меняется при промежуточных релизах. Обязательно должна быть обратная совместимость;
Z – версия патча. Меняется при исправлении ошибок промежуточных релизов.

В окне Серверы – <имя сервера> – ПО и Сервисы – ПО (Х.Y.Z) отображается список компонентов ECP VeiL, установленных на данном сервере и их текущие версии.

Также имеется возможность проверки наличия обновлений для компонентов системы. При нажатии кнопки Проверить обновление ПО в открывшемся окне отобразится информация о компонентах, текущих версиях и доступных для обновления версиях, после чего необходимо подтвердить обновление, нажав на кнопку Обновить все пакеты ПО.

Сервисы

В окне Серверы – <имя сервера> – ПО и Сервисы – Сервисы отображается список сервисов и статус.

При нажатии кнопки Действия над сервисами узла отобразится мастер Действия над сервисами узла, в котором можно выбрать Сервис из раскрывающего списка (он может изменяться в зависимости от версии ПО и роли сервера):

controller-engine;
controller-db (postgresql);
controller-web-api;
controller-web-proxy;
controller-web-uploader;
controller-log-sender;
elasticsearch;
controller-websocket;
prometheus;
node-engine (Действия выполняются из окна "Проверка связи с супервизором узла");
node-statistics;
td-agent;
multipath;
nginx;
ntp;
redis;
snmp;
gluster;
corosync;
dlm;
watchdog;
consul.

Над всеми сервисами можно выполнить следующие действия:

start;
stop;
restart.

Для сохранения параметров необходимо нажать на кнопку Изменить.

Также имеется возможность проверки состояния супервизора системы управления сервером. При нажатии на кнопку Проверка связи с супервизором узла в открывшемся окне отобразится статус супервизора, после чего существует возможность его перезапуска, нажав на кнопку Перезапустить супервизор узла.

Задачи по расписанию

В окне Серверы – <имя сервера> – Задачи по расписанию отображается список задач, запланированных на данном сервере, включая для каждой из них её название, действие, статус, дату и время последнего и следующего запуска. Также в данном окне имеется возможность обновления списка по кнопке и добавления задачи.

Для создания задачи по расписанию необходимо нажать кнопку Добавить. В открывшемся окне заполнить следующие поля:

название задачи;
действие (выбор из раскрывающегося списка). Может принимать значение upgrade, bacup_os или service;
периодичность выполнения (выбор из раскрывающегося списка);
дата и время первого запуска;
описание;
для задачи создания резервной копии (bacup_os) можно выбрать пул данных, на котором будет создана резервная копия (если не выбран, то это базовый пул данных узла). Надо учитывать, что пул данных должен быть доступен на данном узле при создании задачи и её выполнении.

После заполнения полей необходимо подтвердить операцию, нажав кнопку Отправить.

При нажатии на название задачи открывается окно состояния задачи, в котором предусмотрены следующие операции с выбранной задачей:

обновить информацию о задаче кнопкой ;
запуск задачи. При нажатии кнопки Запуск в открывшемся окне необходимо подтвердить операцию, нажав кнопку Да;
удаление задачи. При нажатии кнопки Удалить в открывшемся окне необходимо подтвердить операцию, нажав кнопку Да.

Также в окне состояния задачи содержится следующая информация:

название (редактируемый параметр);
описание (редактируемый параметр);
периодичность (редактируемый параметр);
действие;
дата и время первого запуска задачи (редактируемый параметр);
дата и время следующего запуска задачи;
дата и время последнего запуска задачи;
статус последнего запуска задачи;
дата и время создания задачи;
дата и время изменения задачи;
сообщение об ошибке;
сообщения истории жизненного цикла задачи с возможностью их сортировки по признакам — По всем типам, Ошибки, Предупреждения, Информационные. Также имеется возможность отображения только непрочитанных сообщений.

Ended: Серверы

Пулы ресурсов

Описание

Пул ресурсов — это логическая абстракция для гибкого управления ресурсами.

Пулы ресурсов позволяют делегировать управление ресурсами узла (или кластера), и преимущества очевидны, когда администратор использует пулы ресурсов для разделения всех ресурсов в кластере. Необходимо создать несколько пулов ресурсов и настроить их. Затем можно делегировать контроль над пулами ресурсов другим лицам или организациям.

Использование пулов ресурсов может привести к следующим преимуществам.

гибкая иерархическая организация — добавление, удаление или реорганизация пулов ресурсов или изменение распределения ресурсов по мере необходимости;
изоляция между пулами, совместное использование внутри пулов — администраторы верхнего уровня могут сделать пул ресурсов доступным для администратора организации. Изменения распределения, которые являются внутренними для одного пула ресурсов, не оказывают влияния на другие несвязанные пулы ресурсов;
контроль доступа — когда администратор верхнего уровня делает пул ресурсов доступным администратору уровня организации, этот администратор может затем выполнять все операции по созданию и управлению виртуальными машинами в пределах ресурсов, на которые пул ресурсов имеет право в соответствии с настройками «shares», «guarantee» и «limit». Делегирование обычно выполняется в сочетании с настройками разрешений;
отделение ресурсов от железа. Это означает, что администраторы могут выполнять управление ресурсами независимо от фактических серверов, которые вносят свой вклад в ресурсы. Если вы замените три узла по 2 ГБ на два узла по 3 ГБ, вам не нужно будет вносить изменения в распределение ресурсов. Такое разделение позволяет администраторам больше думать о совокупной вычислительной мощности и меньше об индивидуальных серверах;
управление наборами виртуальных машин. Не нужно устанавливать ресурсы на каждой виртуальной машине. Вместо этого можно управлять совокупным распределением ресурсов для набора виртуальных машин, изменяя настройки их пула ресурсов.

Например, предположим, что узел имеет 5 виртуальных машин. Отдел бухгалтерии использует 3 виртуальные машины, а отдел программистов - 2 виртуальные машины. Поскольку отделу программистов требуется больший объем vCPU и памяти, администратор создает пул ресурсов для каждой группы. Администратор устанавливает «vcpu_shares» и «memory_shares» на более высокий уровень для пула отделов программистов, чтобы пользователи отдела программистов могли выполнять автоматические тесты и на средний для пула отделов бухгалтерии. Второй пул ресурсов с меньшим количеством ресурсов vCPU и памяти достаточен для более легкой нагрузки персонала бухгалтерии. Всякий раз, когда отдел программистов не полностью использует свои ресурсы, отдел бухгалтерии может использовать доступные ресурсы.

Условное соотношение vCPU на одно ядро процессора

VCPU_PER_CORE = 4

У каждого кластера по умолчанию существует базовый пул ресурсов, которому принадлежат все узлы и пулы данных этого кластера. Базовый пул ресурсов кластера является родительским для всех созданных пользователем пулов ресурсов в этом кластере. Его нельзя удалить, а также убирать из него узлы и пулы данных.

В разделе Пулы ресурсов основного меню содержится список имеющихся пулов ресурсов, в табличном виде, включая для каждого из них его название, количество подключенных ВМ, ограничение памяти и CPU. В этом разделе производится основное управление пулом ресурсов.

Также в этом окне существует возможность создания нового пула по кнопке Создать пул ресурсов и выбора определенного пула с применением фильтра по кнопке .

Создание

При нажатии кнопки Создать пул ресурсов открывается окно для создания пула с соответствующими полями:

название пула ресурсов;
его описание;
кластер – выбор из раскрывающегося списка;
сервер – выбор из раскрывающегося списка или выбрать все;
приоритет CPU пула относительно других пулов (значение по умолчанию - 1024, минимум - 2, максимум - 10000);
приоритет памяти пула относительно других пулов (значение по умолчанию - 1024, минимум - 2, максимум - 10000);
количество зарезервированных процессоров (минимум - 0, максимум — свободное количество vCPU выбранных узлов);
количество зарезервированной памяти в Мб (минимум - 0, максимум — свободное количество памяти выбранных узлов);
ограничение сверху по процессорам vCPU;
ограничение сверху по памяти в Мб.

После заполнения полей необходимо нажать Сохранить.

При нажатии на кнопку открывается окно для настройки фильтра с соответствующими полями:

«Имя пула ресурсов» – название искомого пула;
«Кластеры» – выбор из раскрывающегося списка;
«Организации» – выбор из раскрывающегося списка;
«Теги» – выбор из раскрывающегося списка.

После заполнения полей необходимо нажать Применить или Сбросить все.

Информация

При нажатии на название пула ресурсов открывается окно состояния, в котором информация разделена на следующие группы:

информация;
серверы;
виртуальные машины;
пулы данных;
процессор;
память;
события;
теги.

Также существует возможность обновления информации с помощью кнопки и удаления пула с помощью кнопки Удалить пул ресурсов.

В окне Пулы ресурсов – <имя пула ресурсов> – Информация содержатся следующие сведения:

виджет используемого места с возможностью обновления;
название (редактируемый параметр);
описание (редактируемый параметр);
признак базового пула кластера («Да» или «Нет»);
дата и время создания;
дата и время изменения.

Серверы

В окне Пулы ресурсов – <имя пула ресурсов> – Серверы содержится список серверов, присутствующих в системе, в табличном виде, включая для каждого из них его название, IP-адрес, CPU и RAM, количество ВМ (включенных и всего), статус и возможность их подключения (отключения) для небазовых пулов.

Примечание

При отключении узла отключатся принадлежащие только ему пулы данных, а его ВМ перейдут в базовый пул ресурсов кластера этого узла.

Имеется возможность выбора определенного сервера с применением фильтра по кнопке «Фильтр» в верхней строчке окна. В открывшемся окне содержатся следующие поля для фильтрации:

«Имя сервера»;
«Статус» – выбор из раскрывающегося списка («Без фильтра», «Исправно», «Нет соединения» или «Произошла ошибка»);
«Файловое хранилище» – выбор из раскрывающегося списка;
«Пул данных» – выбор из раскрывающегося списка;
«Кластеры» – выбор из раскрывающегося списка;
«Локации» – выбор из раскрывающегося списка;
«Пулы ресурсов» – выбор из раскрывающегося списка;
«Теги» – выбор из раскрывающегося списка.

После настройки фильтра необходимо нажать Применить или Сбросить все.

Виртуальные машины

В окне Пулы ресурсов – <имя пула ресурсов> – Виртуальные машины – Виртуальные машины содержится список ВМ, присутствующих в системе, в табличном виде, включая для каждой из них ее название, сервер, vRAM, vDisk, vNIC, vFunc и статус.

Для ВМ имеется возможность:

добавления их в пул ресурсов по кнопке Добавить ВМ;
применить параметры пула ресурсов к ВМ;
поиска ВМ по названию с помощью поля Найти и кнопки .

Шаблоны

В окне Пулы ресурсов – <имя пула ресурсов> – Виртуальные машины – Шаблоны содержится список имеющихся шаблонов ВМ. Для шаблонов ВМ (аналогично ВМ) имеется возможность:

добавления их в пул ресурсов по кнопке Добавить шаблон ВМ;
применить параметры пула ресурсов к ВМ;
поиска шаблона ВМ по названию поля Найти и кнопки .

Примечания

При добавлении шаблона в пул добавятся все его тонкие клоны.
При добавлении тонкого клона в пул добавятся его шаблон и все тонкие клоны этого шаблона.
После изменения параметров процессоров и памяти необходимо применить их ко всем ВМ пула, нажав кнопку Применения параметров пула ресурсов.

Пулы данных

В окне Пулы ресурсов – <имя пула ресурсов> – Пулы данных содержится список имеющихся пулов в табличном виде, включая для каждого из них его название, тип, количество подключенных серверов, дисков, образов, файлов, использование памяти, его статус и возможность отключения (подключения) для небазовых пулов.

Имеется возможность выбора определенного пула с применением фильтра по кнопке . В открывшемся окне содержатся следующие поля для фильтрации:

«Имя пула»;
«Серверы» – выбор из раскрывающегося списка;
«Кластеры» – выбор из раскрывающегося списка;
«Локации» – выбор из раскрывающегося списка;
«Пулы ресурсов» – выбор из раскрывающегося списка;
«Файловые хранилища» – выбор из раскрывающегося списка;
«Кластерные хранилища» – выбор из раскрывающегося списка;
«Разделы (ZFS пулы)» – выбор из раскрывающегося списка;
«Статус» – выбор из раскрывающегося списка («Без фильтра», «Исправно», «Нет соединения» или «Произошла ошибка»);
«Тип пула» – выбор из раскрывающегося списка;
«Теги» – выбор из раскрывающегося списка.

После настройки фильтра необходимо нажать Применить или Сбросить все.

Процессор

В окне Пулы ресурсов – <имя пула ресурсов> – Процессор содержится информация о настройках процессора:

приоритет vCPU пула (раскрывающаяся информация):
- приоритет vCPU пула относительно других пулов (редактируемый параметр);
- средний приоритет vCPU по всем ВМ пула (пользователь может изменить приоритет у самой ВМ);
резервирование (раскрывающаяся информация):
- количество зарезервированных vCPU (редактируемый параметр);
- количество зарезервированных vCPU на 1 ВМ (кол-во vCPU/кол-во ВМ);
- среднее количество зарезервированных vCPU на 1 ВМ (пользователь может изменить параметр у самой ВМ);
- переподписка vcpu на ядро (редактируемый параметр);
ограничение (раскрывающаяся информация):
- максимальное количество vCPU (редактируемый параметр);
- количество vCPU серверов;
- количество vCPU ВМ.

Память

В окне Пулы ресурсов – <имя пула ресурсов> – Память содержится информация о настройках памяти:

приоритет памяти пула (раскрывающаяся информация):
- приоритет памяти пула относительно других пулов (редактируемый параметр);
- средний приоритет памяти по всем ВМ пула (пользователь может изменить приоритет у самой ВМ);
резервирование (раскрывающаяся информация):
- количество зарезервированной памяти (редактируемый параметр);
- количество зарезервированной памяти на 1 ВМ (кол-во памяти/кол-во ВМ);
- среднее количество зарезервированной памяти на 1 ВМ (пользователь может изменить параметр у самой ВМ);
ограничение (раскрывающаяся информация):
- максимальное количество памяти (редактируемый параметр);
- количество памяти серверов;
- количество памяти ВМ.

События

В окне Пулы ресурсов – <имя пула ресурсов> – События содержится список последних событий для этого пула с возможностью их сортировки по признакам - «По всем типам», «Ошибки», «Предупреждения», «Информационные». Также имеется возможность отображения только непрочитанных сообщений и просмотр событий по дате с выбором интервала дат.

В окне Пулы ресурсов – <имя пула ресурсов> – Теги содержится список присвоенных пулу тегов. Существует возможность создать, применить тег и обновить список назначенных пулу тегов.

Виртуальные машины ↵

Общая информация

В разделе Виртуальные машины производится основное управление жизненным циклом. Здесь представлен список ВМ в табличном виде, включающий следующую информацию:

Состояние -- показывает в каком состоянии находится ВМ в данный момент (включена, выключена, на паузе);
Название;
Сервер -- сервер на котором расположена ВМ;
IP-адрес;
vCPU -- количество выделенных vCPU ВМ;
Загруженность vCPU -- процентный показатель загруженности процессора;
vRAM -- объем выделенной ВМ оперативной памяти;
Загруженность vRAM -- процентный показатель загруженности оперативной памяти;
vDisk -- количество виртуальных дисков;
vNIC -- количество виртуальных контроллеров сетевого интерфейса;
vFunc -- количество виртуальных функций;
vGPU -- количество графических процессоров;
Приоритет;
Статус.

Окно состояния ВМ открывается по нажатию на название ВМ. В окне состояния для всех ВМ доступны следующие операции:

управление ВМ (набор управляющих кнопок зависит от состояния ВМ);
доступ к терминалу ВМ (доступно для запущенной ВМ);
клонирование;
перенос на другой сервер;
удаление.

Примечание

Данные операции выполняются с помощью соответствующих кнопок в верхней части окна.

В левой части окна состояния ВМ находится панель вкладок:

Терминал (для запущенных ВМ);
Информация;
Мониторинг;
ВМ/Шаблон;
Процессоры;
Память;
Виртуальные диски;
CD-ROM;
USB-устройства;
PCI-устройства;
Mediated-устройства;
Снимки;
Интерфейсы;
Виртуальные функции;
Контроллеры;
LUN;
Высокая доступность;
Опции загрузки;
Резервное копирование;
Удаленный доступ;
Настройка безопасности;
События;
Теги;
Задачи по расписанию.

В каждой вкладке перечислены специализированные настройки ВМ.

Управление питанием

В зависимости от состояния ВМ набор управляющих кнопок разный:

обновление окна информации о ВМ ;
запуск ВМ ;
приостановка ВМ (только для включенной);
выключение ВМ ;
перезагрузка ВМ (только для включенной);
принудительная перезагрузка ВМ (только для включенной);
выключение питания .

Остановка ВМ без изменения конфигурации доступна только для ВМ с установленной ОС, так как остановка осуществляется с помощью передачи управляющим процессам ОС ACPI-команды на выключение. При этом процесс работы ВМ не останавливается полностью и при повторном запуске конфигурация ВМ не изменяется. Данный процесс аналогичен спящему режиму для ноутбуков. Это необходимо учитывать при внесении изменений в конфигурацию ВМ.

Терминал

Для работающих ВМ становится возможным доступ к терминалу (консоли) по кнопке Терминал.

Клонирование

Операция клонирования ВМ выполняется при нажатии кнопки Клонировать. В открывшемся окне необходимо заполнить название ВМ (необязательное), выбрать из раскрывающегося списка сервер и пул данных, количество клонов, опцию включения после клонирования, после чего подтвердить операцию, нажав кнопку Отправить.

Конвертация

При клонировании шаблона можно выбрать опцию конвертации его в ВМ и наоборот.

Перенос (миграция)

При нажатии кнопки Перенести в открывшемся окне необходимо выбрать автоматический или ручной перенос, после чего подтвердить операцию, нажав кнопку Мигрировать.

По умолчанию для миграций ВМ используется сеть управления серверов, то есть миграция идет через коммутаторы veil-default, внутренние интерфейсы veil-mgmt и через тот физический или агрегированный интерфейс, куда они соответственно подключены. То есть адресом назначения миграции является IP-адрес внутреннего интерфейса veil-mgmt сервера, куда будет переноситься ВМ. С версии ECP VeiL 4.6.0 можно использовать внешние сети для миграции ВМ и переноса дисков.

При автоматическом выборе ВМ переносится на наименее нагруженный первый сервер из кластера. Выбор нагруженности происходит исходя из настройки "Типы собираемых метрик" DRS кластера. Например, если стоит memory, то выбирается самый ненагруженный узел кластера по оперативной памяти.

При миграции с переносом дисков недоступные на целевом узле виртуальные диски переносятся на выбранный пользователь пул данных.

Причины отсутствия узла для миграции:

Нет активных узлов в кластере (base_check).
Подключенные PCI-устройства (base_check).
Подключенные Mediated-устройства (base_check).
Включен безопасный режим и ВМ включена (base_check).
Есть неактивные виртуальные интерфейсы (network_check).
Виртуальная сеть, в которую включен интерфейс, недоступна на узле (network_check).
Есть виртуальные диски с типом кэширования не none (pools_check).
Есть неактивные виртуальные диски (pools_check).
Пул данных диска недоступен на узле (pools_check).
Пул данных снимка недоступен на узле (pools_check).
Есть неактивные LUN (luns_check).
Есть LUN с типом кэширования не none (luns_check).
LUN недоступен на узле (luns_check).
Оперативная память на узле меньше или равна памяти ВМ (resources_check).
Нет вхождения списка функций процессора ВМ в список функций процессора узла (resources_check).
Нет свободной памяти на узле (если ВМ включена) (resources_check).
Количество гарантированной памяти ВМ больше свободной памяти узла (если ВМ включена) (resources_check).
Количество используемой памяти ВМ больше свободной памяти узла (если ВМ включена) (resources_check).
Количество используемой частоты процессора ВМ больше свободной частоты процессора узла (если ВМ включена) (resources_check).
На узле нет свободных vCPU (resources_check).
Количество гарантированных vCPU ВМ больше свободных vCPU узла (если ВМ включена) (resources_check).
При включенных опциях использования тегов у кластера проверяются совпадения и несовпадения тегов ВМ и тегов узла и его ВМ (tags_check).

Процесс миграции при выключенной ВМ:

Если диски на общем хранилище, то ВМ просто сменяет родительский узел на узел назначения в базе контроллера.
Если не все диски на общем хранилище, то дополнительно происходит перенос дисков на новый узел.

Процесс миграции при включенной ВМ:

Генерируется временный SSH-ключ на узле назначения.
При использовании внешних сетей для миграции берется IP-адрес внутреннего интерфейса узла назначения из первой внешней сети, куда включен этот сервер. Если не используются внешние сети, то адресом назначения миграции является IP-адрес внутреннего интерфейса veil-mgmt узла назначения.
На узле-источнике, где находится ВМ, запускается процесс миграции, состоящий из адаптации конфигурации ВМ, переносов недоступных дисков при необходимости и, собственно, самого процесса миграции, при котором сначала копируется состояние памяти, сети, дисков ВМ, после чего она выключается на узле источнике, происходит докопирование изменившихся блоков состояния, и ВМ продолжает работу уже на узле назначения.
Удаляется временный SSH-ключ на узле назначения.
Адаптируется сетевые настройки ВМ на узле назначения.
Ставится приоритет ВМ на узле назначения относительно других ВМ.

Миграция между хранилищами в рамках одного узла

Надо понимать, что на самом деле это не миграция, а перенос дисков.
Вариант при включенной ВМ: перенести на другой узел, а потом на предыдущий с переносом дисков.
Вариант при выключенной ВМ: перенести сами диски на другое хранилище.

Серверы, на которые не может быть перенесена эта ВМ

Посмотреть серверы, на которые не может быть перенесена эта ВМ с причинами, можно во вкладке управления высокой доступности по кнопке "Серверы для восстановления". Причины сгруппированы в 6 групп: базовая, проверка ресурсов, проверка дисков, проверка LUN, проверка сети, проверка тэгов.

Факторы, максимально влияющие на скорость миграции:

Максимальная производительность и загруженность сетевого канала, используемого для миграции.
Объём оперативной памяти ВМ и уровень её использования ВМ.
Производительность и загруженность дисковой подсистемы при переносе дисков.

Мониторинг

Для просмотра используемых ресурсов ВМ необходимо перейти во вкладку Мониторинг. При наличии данных будут сформированы обновляемые в реальном времени графики:

графики загрузки процессоров cpu;
графики загрузки памяти memory;
графики загрузки дисков, образов, LUNs read, write;
графики загрузки сетевых интерфейсов transmit, receive.

Для удобства анализа можно настроить отображение графиков, нажав на кнопку слева от графиков Задать интервал Выбрать интервал и в открывшемся окне настроить интервал.

Для увеличения определенного интервала можно нажать на кнопку Масштабировать и в миниатюрном изображении графиков под основными графиками выделить область для просмотра.

Операции с ВМ ↵

Информация

В левой части окна состояния ВМ находится панель вкладок. В каждой вкладке перечислены специализированные настройки ВМ.

При открытии окна состояния ВМ сразу открывается вкладка Информация.

Вкладка Информация содержит основные параметры ВМ:

виджет используемого места с возможностью обновления;
id (является также uuid материнской платы);
название (редактируемый параметр);
описание (редактируемый параметр);
сервер, на котором располагается ВМ;
пул ресурсов;
приоритет (редактируемый параметр);
тип ОС ВМ (редактируемый параметр);
версия ОС ВМ (редактируемый параметр);
чипсет (pc или q35);
модель графического адаптера (редактируемый параметр);
модель и состояние (вкл/выкл) звуковой карты (редактируемый параметр);
модель и состояние (вкл/выкл) watchdog устройства (редактируемый параметр);
планшет (вкл/выкл) (редактируемый параметр);
оптимизация для vgpu (вкл/выкл) (редактируемый параметр);
TPM устройство (вкл/выкл) (редактируемый параметр);
возможности гипервизора (редактируемый параметр);
аргументы Qemu (редактируемый параметр);
устройство рендеринга GL (редактируемый параметр);
консоли (редактируемый параметр);
высокая доступность (вкл/выкл);
катастрофоустойчивость (вкл/выкл) (редактируемый параметр). При нажатии кнопки открывается окно, где определяется необходимость активации катастрофоустойчивости и выбирается локация из раскрывающегося списка. Чтобы сохранить изменения, необходимо нажать кнопку Сохранить. При нажатии кнопки открывается окно для ручного восстановления ВМ, где необходимо выбрать сервер и нажать кнопку Восстановить. Работа с катастрофоустойчивой ВМ описана в Катастрофоустойчивая ВМ.;
статусы служб гостевых агентов (QEMU, версия гостевого агента, имя хоста, IP-адрес);
дата и время создания;
дата и время изменений;
дата и время последней успешной миграции;
время активности (работа с последнего запуска или рестарта);
время работы на текущем сервере.

Создание и удаление ВМ

Создание ВМ

Для создания ВМ необходимо перейти в раздел Виртуальные машины и нажать кнопку Добавить ВМ. В процессе необходимо выполнить пять шагов:

Первый шаг — настройка параметров ВМ

выбрать из раскрывающегося списка локацию и кластер;
выбрать из раскрывающегося списка сервер;

Примечание

В автоматическом режиме будет предложен наименее загруженный сервер первоначального размещения.

указать название ВМ;

Tip

Описание правил создания и обработки имен в системе.

указать режим определения процессора (оптимальный процессор определяется по наименьшему совпадению функций (флагов) процессоров всех узлов кластера);
указать количество ядер vCPU;

Примечание

Количество ядер не должно превышать значения Максимальное количество vCPU.

указать максимальное количество потоков vCPU;
выбрать из раскрывающегося списка приоритет предоставления ресурсов CPU – «LOW», «MEDIUM» или «HIGH»;
указать количество выделяемой оперативной памяти;
выбрать из раскрывающегося списка тип операционной системы – «Windows», «Lunix» или «Other»;
выбрать из раскрывающегося списка версию операционной системы;
выбрать чипсет - "pc" или "q35";
выбрать видеокарту:
- тип эмулируемого видео адаптера из раскрывающегося списка - «vga», «cirrus», «gxl» или «virtio»;
- объем памяти из раскрывающегося списка – «16», «32», «64», «128», «256» или «512»;
- количество мониторов из раскрывающегося списка;
выбрать звуковую карту:
- тип эмулируемой аудио карты из раскрывающегося списка – «es1370», «sb16», «ac97», «ich6» или «usb»;
- кодек из раскрывающегося списка – «micro» или «duplex»;
выбрать тип загрузчика – «LegacyMBR» или «UEFI»;
заполнить описание (при необходимости).

Замечания о загрузке ВМ в режиме Secure Boot смотрите по ссылке

Внимание

Не рекомендуется превышать количество ресурсов физически присутствующих на узле (сервере), на котором создается ВМ. Необходимо учитывать, что при переносе (миграции) на целевом узле должно быть не меньше физических ресурсов, чем присвоено ВМ. В противном случае ВМ не будет запускаться до исправления ошибки. Если на целевом сервере будет недостаточно свободных ресурсов для запуска ВМ, то она также не запустится.

Для сохранения изменений необходимо нажать кнопку OK и виртуальная машина с заданными параметрами будет создана, но мастер создания ВМ не закроется.

Следующими шагами мастера по созданию ВМ будут:

создание нового или подключение ранее созданного виртуального диска ВМ;
монтирование в виртуальный CD-ROM образ CD/DVD-диска, загруженного в хранилище;
создание виртуального сетевого адаптера ВМ и подключение его к виртуальной сети, к ранее созданному распределенному коммутатору в созданную на нем группу интерфейсов.

Примечание

Каждый из этих шагов можно пропустить или закрыть мастер создания ВМ. В таком случае, все настройки ВМ, которые были пропущены, возможно произвести в окне управления ВМ.

При последовательной настройке ВМ с помощью мастера создания ВМ необходимо перейти к шагу 2.

Второй шаг — подключение дисков

Имеется две возможности:

создать новый виртуальный диск (создание диска);
добавить существующий (подключение диска).

Нажать кнопку Дальше для перехода к шагу 3.

Третий шаг — управление приводами CD-ROM

Имеется две возможности:

добавить CD-ROM;
монтировать образ veil utils.

Порядок действий описан в разделе CD-ROM.

Нажать кнопку Дальше для перехода к шагу 4.

Четвертый шаг — создание сетевых интерфейсов

Для создания сетевого интерфейса необходимо нажать кнопку Добавить и в открывшемся окне Добавить виртуальный интерфейс заполнить следующие поля:

виртуальная сеть (выбор из раскрывающегося списка);
MAC-адрес. Поле МАС-адрес является необязательным для заполнения. Если не указывать MAC-адрес, то он будет сгенерирован автоматически;
сетевую карту (выбор из раскрывающегося списка). В качестве модели сетевой карты можно выбрать «virtio», «e1000», «rtl8139» или «vmxnet3», в зависимости от поддерживаемых вариантов в устанавливаемой ОС;
описание виртуального интерфейса (при необходимости).

Для сохранения изменений необходимо нажать кнопку Отправить. Для перехода к шагу 5 нажать кнопку Дальше.

Пятый шаг — включение

Выбор опции запуска ВМ после создания (включить или не включить питание ВМ). Для подтверждения операции необходимо нажать кнопку Готово.

После этого происходит возврат в окно со списком ВМ.

При нажатии на уже существующую ВМ открывается окно, в котором содержится информация о ней. Работа с окнами ВМ подробна описана в Операции с ВМ.

Добавление ВМ из шаблона

Для создания ВМ из ранее созданного шаблона необходимо перейти в раздел Виртуальные машины и нажать кнопку Добавить ВМ из шаблона, которая расположена в верхней части окна над списком ВМ. Далее необходимо:

 - в открывшемся окне указать название ВМ (необязательно);
 - выбрать сервер из раскрывающегося списка ранее созданных;
 - выбрать пул данных из раскрывающегося списка ранее созданных;
 - выбрать шаблон из раскрывающегося списка ранее созданного;
 - указать количество клонов;

Примечание

Максимальное количество создаваемых ВМ - 100.

при необходимости активировать опцию включения ВМ после создания;

Примечание

Включение произойдет после создания всех ВМ.

подтвердить операцию, нажав кнопку OK.

Добавление тонкого клона

Для добавления тонкого клона ВМ необходимо перейти в раздел Виртуальные машины и нажать кнопку Добавить тонкий клон, которая расположена в верхней части над списком ВМ. Далее необходимо:

в открывшемся окне указать название ВМ (необязательно);
выбрать шаблон из раскрывающегося списка ранее созданного;
указать количество клонов;
при необходимости активировать опцию включения ВМ после создания;
подтвердить операцию, нажав кнопку OK.

В процессе создания ВМ необходимо выполнить следующие шаги:

Удаление ВМ

Удаление ВМ выполняется в окне состояния ВМ с помощью кнопки Удалить.

В открывшемся окне необходимо определить удалять только ВМ или ВМ с дисками, подключенными к ней. После этого необходимо подтвердить операцию, нажав кнопку Удалить.

ВМ/Шаблон

Вкладка ВМ/Шаблон позволяет переводить виртуальную машину в режим шаблона или обратно и содержит кнопки:

Обновление окна информации о ВМ ;
Если это ВМ, то переключение ВМ в режим шаблона по кнопке В режим шаблона. Если это Шаблон, то переключение шаблона в режим ВМ по кнопке В режим ВМ. В открывшемся окне необходимо подтвердить переключение, нажав на кнопку Да;
Кнопка SysPrep открывает окно настроек SysPrep. Можно выбрать xml файл с настройками SysPrep, который будет скопирован на ВМ и применен. Можно дополнительно выбрать опции SysPrep;
Кнопка VirtSysPrep открывает окно настроек VirtSysPrep. Необходимо выбрать загрузочный диск ВМ, который будет подготовлен и любые опции команды.
Кнопка Hostname открывает окно настроек задания hostname. Необходимо выбрать имя и опции задания hostname для конкретной ОС.
Кнопка Ввод в домен открывает окно настроек заведения ВМ в AD.
Кнопка Вывод из домена открывает окно настроек выведения ВМ из AD.
Кнопка Добавить SSH ключ добавляет SSH-ключ для выбранного пользователя (только для ОС Linux, для выключенной ВМ или для включенной с активным гостевым агентом).

Когда виртуальная машина находится в режиме ВМ во вкладке отображается информация:

Шаблон ВМ — имя шаблона на основе которого создана данная ВМ;
Тонкий клон (да/нет) - является ли данная ВМ тонким клоном.

В режиме шаблона во вкладке отображается список виртуальных машин - "наследников" шаблона, созданных в кластере, включая их названия, сервер, сведения о vCPU, vRAM, vDisk, vNIC, vFunc, vGPU и статус.

Для изменения шаблона воспользуйтесь руководством изменить шаблон.

Снимки

Вкладка Снимки позволяет управлять резервными копиями ВМ.

В данной вкладке можно сохранить состояние ВМ с помощью кнопки Сохранить состояние ВМ. В открывшемся окне необходимо заполнить:

название и описание состояния;
выбрать из раскрывающегося списка диски;
выбрать из раскрывающегося списка хранилище для снимков памяти;
определить необходимость сохранения состояния памяти.

После этого необходимо подтвердить операцию, нажав кнопку Сохранить.

Снимок ВМ является слепком состояния системы ВМ на конкретный момент времени.

Примечание

Для работающей ВМ также делается слепок памяти ВМ. В некоторых случаях при создании снимка включенная ВМ будет переходить в состояние Приостановлено.

Управление снимками состояний

В окне "Управление снимками состояний" снимки отображаются в виде вершин графа. Текущее состояние машины отображается в виде анимированной вершины.

Между снимками может проводиться навигация.

Ветвление снимков формируется по принципу дерева.

Нажав на изображение снимка, открывается информационное окно Состояние снимка, содержащее информацию о сохраненном состоянии виртуальной машины:

название (редактируемый параметр);
описание (редактируемый параметр);
статус;
дата создания;
дата изменения;
состояние ВМ на момент создания;

Кроме редактирования параметров снимка в окне Состояние снимка возможны действия:

Переход в состояние снимка. Кнопка Перейти в состояние снимка открывает окно в котором можно определить настройкии подтвердить переход кнопкой "Перейти": - ВМ будет восстановлена во включенном состоянии - ВМ будет восстановлена в приостановленном состоянии - ВМ будет восстановлена без использования сохраненного состояния памяти.
Удаление состояния снимка. Кнопка Удалить состояние снимка открывает окно в котором можно определить параметр Удалить вместе с потомками подтвердить удаление нажатием кнопки Удалить или отменить действие нажатием кнопки Отмена.

Внимание

При переходе на сохраненное состояние текущее безвозвратно теряется.

На неактивной ветке можно удалить все снимки от выбранного до последнего, что позволяет без трудностей удалить всю ненужную ветку.

Удалить все состояния

Нажатие приводит к тому, что цепочка снимков от текущего состояния вливается в базовый образ диска, и все файлы снимков удаляются, включая снимки неактивных состояний. При удалении ВМ происходит вызов