Анализ и безопасная очистка дискового пространства Workspace¶
Статья помогает определить назначение крупных каталогов и файлов Workspace, а также выбрать безопасный способ освобождения места.
Danger
Не удаляйте системные каталоги, данные баз данных и файлы WiredTiger вручную. Если очистка недоступна в административном интерфейсе Workspace, обратитесь в отдел DevOps.
Общий порядок действий¶
- Определите каталог, который занимает основную часть дискового пространства.
- Найдите его в таблицах ниже.
- Если для каталога предусмотрена очистка из административного интерфейса, используйте только этот способ.
- Если каталог содержит данные базы или требует участия DevOps, не изменяйте его содержимое самостоятельно.
- После очистки проверьте свободное место и работоспособность Workspace.
Основные каталоги Workspace¶
| Каталог | Назначение | Допустимые действия |
|---|---|---|
data/modelBackups |
Резервные копии моделей | Можно очистить через административный интерфейс |
data/mysql |
Данные MySQL | Не удалять и не очищать вручную |
data/mongodb |
Данные MongoDB | Не удалять вручную; часть данных можно очистить через административный интерфейс |
data/oltp |
Данные OLTP | Не удалять и не очищать вручную |
data/storageBuilds |
Версии бэкенда | Можно удалить через административный интерфейс |
data/frontendBuilds |
Версии фронтенда | Можно удалить через административный интерфейс |
container |
Данные, необходимые для запуска контейнера Workspace | Не удалять и не очищать |
data/influxdb |
Данные InfluxDB | Не удалять и не очищать вручную |
Каталог data/data¶
| Каталог | Назначение | Допустимые действия |
|---|---|---|
errorLogArchive |
ZIP-архивы логов ошибок при падении моделей | Можно очистить через административный интерфейс |
histories |
Неиспользуемые данные | Удаление выполняет только DevOps |
imports |
Файлы, импортированные в модели из CSV, XLSX и других источников | Не удалять и не переименовывать; данные удаляются автоматически вместе с моделью |
logs |
Трассировки падений моделей и ошибки навигации | DevOps может удалить содержимое, но не сам каталог |
modelBackupArchiveManager |
Архивы резервных копий удалённых моделей | Можно удалить через административный интерфейс |
modelStorageStateArchive |
Архивы логов бэкенда | Можно безопасно удалить через административный интерфейс |
uploads |
Все файлы, загруженные в Workspace | Не удалять вручную: могут пропасть файлы, используемые моделями |
Файлы MongoDB и WiredTiger¶
MongoDB использует движок хранения WiredTiger. Данные коллекций и индексов
хранятся в отдельных файлах с расширением .wt.
collection-*.wt¶
Каждый файл соответствует коллекции MongoDB и содержит её данные. Размер зависит от объёма коллекции, сжатия WiredTiger и ранее выделенного пространства.
Примеры имён:
collection-70-3568436634309991038.wt;collection-72-3568436634309991038.wt;collection-7--3697453409672418148.wt.
Удаление документов, коллекций и баз должно выполняться штатными средствами Workspace или MongoDB. Удалять файлы коллекций вручную нельзя.
index-*.wt¶
Каждый файл содержит данные одного индекса MongoDB. Большой размер файла может означать, что индекс построен по крупной коллекции или содержит много индексируемых значений.
Примеры имён:
index-104-3568436634309991038.wt;index-106-1221894394903133531.wt;index-10--6329698109909254966.wt.
Если индекс больше не требуется, его удаляют штатной операцией MongoDB
dropIndex. Сам файл индекса вручную не удаляют.
Warning
Файлы *.wt нельзя удалять, перемещать, переименовывать или изменять.
Такие действия могут повредить базу данных или сделать запуск MongoDB
невозможным.
Почему размер файла не уменьшается после очистки¶
Удаление документов не обязательно уменьшает размер соответствующего
.wt-файла на диске. WiredTiger сохраняет освободившееся пространство внутри
файла и может повторно использовать его для новых данных.
Поэтому необходимость очистки нельзя определять только по имени или размеру
.wt-файла. Для анализа фактического размера коллекций и индексов специалисты
используют средства MongoDB, например collStats и dbStats.
Основные базы и коллекции MongoDB¶
MongoDB используется Workspace для хранения служебных данных, аудита, истории изменений и сведений о выполняемых операциях.
База optimacros_audit¶
База содержит аудит действий пользователей, событий, запросов и изменений данных Workspace.
| Коллекция | Назначение |
|---|---|
events |
Основные записи о событиях и действиях в Workspace |
eventsHistory |
Архивные записи, перенесённые из events |
eventsCell |
Аудит изменений значений ячеек кубов |
eventsCellHistory |
Архив записей, перенесённых из eventsCell |
connections |
Информация о клиентских подключениях |
requests |
Запросы, связанные с клиентскими подключениями |
dirty_counters |
Служебные счётчики изменений |
operationSteps |
Состояние и этапы выполнения операций |
Коллекции eventsCell и eventsCellHistory могут занимать значительный
объём при большом количестве изменений ячеек. В записях подключений и запросов
могут присутствовать идентификаторы пользователя, токена, соединения, запроса
и сообщения ответа.
База optimacros_meta¶
База хранит служебные метаданные Workspace.
| Коллекция | Назначение |
|---|---|
counters |
Счётчики для генерации последовательных уникальных идентификаторов |
tasks |
Запланированные и выполняемые задачи и скрипты |
База admin¶
Системная база MongoDB используется для административных операций, аутентификации и авторизации пользователей MongoDB. Удалять или изменять её данные вручную нельзя.
Данные, которые могут занимать много места¶
Объём MongoDB зависит от интенсивности работы Workspace, количества пользователей и моделей, числа операций и периода хранения аудита. Особого внимания при диагностике могут требовать коллекции:
events;eventsHistory;eventsCell;eventsCellHistory;operationSteps.
Очистку этих коллекций выполняют только предусмотренными средствами Workspace или MongoDB либо с участием DevOps.
Когда обращаться в DevOps¶
Обратитесь в DevOps, если:
- основное место занимают
data/mysql,data/mongodb,data/oltpилиdata/influxdb; - требуется определить соответствие
.wt-файла коллекции или индексу; - очистка недоступна через административный интерфейс;
- после штатной очистки объём файлов не уменьшился;
- назначение крупного файла или каталога не определено.
Перед обращением передайте специалистам путь к каталогу, его размер, версию Workspace и сведения о последних операциях, после которых начало заканчиваться место.