Karma8-http-file-storage-service

Решение тестового задания. [В процессе разработки]

Задача

Вы разрабатываете сервис хранения файлов.

На сервер по HTTP PUT присылают файл, его надо разрезать на 5 равных частей и сохранить на 5 серверах хранения. При запросе HTTP GET нужно достать куски, склеить и отдать файл.

Имеем следующее

• Один сервер для HTTP-запросов
• Несколько серверов (>5) для хранения кусков файлов

Ограничения

• Реализовать тестовый модуль для сервиса, который обеспечит проверку его функционала
• Сервера для хранения могут добавляться в систему в любой момент, но не могут удаляться из системы
• Предусмотреть равномерное заполнение серверов хранения
• Можно задавать вопросы и уточнять условия задачи
• Код разместить в Github
• Код может быть несовершенным — нам важно понять образ вашего мышления и подходов к решению задачи

Проработка решения

Термины, определения и сокращения

Inode - индексный дескриптор, который хранит метаданные о файлах, каталогах и других объектах файловой системы. В рамках файловой системы существует ограниченное количество inode.

UUID (англ. universally unique identifier) - универсальный уникальный идентификатор.

Архитектурный скетч

Сервисы

Note

Сервис karma8 discovery добавлен по следующим соображениям:

1. Более строгое разделение задач между сервисами
2. Облегчение сервиса karma8 gw
3. Возможность работы с сервисом karma8 discovery внутри более защищённого периметра для сервисных задач (таких как регистрация новых инстансов сервиса karma8 storage)

Сервис Karma8 Gateway

• Принимает запросы от пользователя
• Проверяет доступ на чтение файла во время запроса клиента (опционально)
• Проверяет доступ на запись файла во время запроса клиента (опционально)
• Делит входящие файлы на части для последующего сохранения в инстансах сервиса karma8 storage
• При запросе собирает файл из частей доступных на инстансах сервиса karma8 storage

Note

Сервис не содержит реализации проверки прав доступа через IAM (Identity and Access Management), но для примера содержит пример доступности namespaces и files для доступа пользователям.

Команда для запуска

karma8 gw --config=./config.yml

Команда для получения справки

karma8 gw --help

Правила разделения данных по нескольким серверам

Алгоритм при использовании raid0

Что произойдёт если сервер хранения не сможет сохранить свою часть файла

• Сервис karma8 storage вернёт ошибку записи
• Сервис karma8 gw не отметит файл в karma8 discovery как закачанным полностью
• Сервис karma8 gw вернёт ошибку пользователю

Что произойдёт если все сервера хранения смогут корректно записать свои части файла

• Сервисы karma8 storage вернут nil сервису karma8 gw
• Сервис karma8 gw дождётся ответа от всех сервисов karma8 storage и пометит файл как полностью записанным путём отправки события в сервис karma8 discovery
• Сервис karma8 discovery проставит дату финализации файла в своей базе данных
• Пользователь получит в качестве ответа от сервиса nil

Сервис Karma8 Discovery

• Хранит мета-информацию о файлах и их частях
• Хранит перечень серверов хранения
• Хранит информацию о пространствах пользователя

Note

Namespace выступают в качестве примера. В реальном продакшине вы, вероятно, захотите добавить такие объекты как customer, project и прочие, здесь же считаем что один customer это один namespace.

Команда для запуска

karma8 discovery --config=./config.yml

Команда для получения справки

karma8 discovery --help

Сервис Karma8 Storage

• Хранит части файлов
• Ничего не знает о содержании файлов и алгоритме их разделения на части
• За хранение информации о том как файл был разделён и где находятся остальные части отвечает другой сервис - ]karma8 discovery]

Команда для запуска

karma8 storage --config=./config.yml

Команда для получения справки

karma8 storage --help

Проблемы при хранении файлов

Сервис хранения файлов имеет следующую специфику:

• Огромное количество файлов
• Часто файлы не одинакового размера, либо слишком маленькие (меньше одного блока) или очень большие
• Заранее не известно какой размер файлов будет самым востребованным

В связи с этим надо отдельно поговорить о том как файлы будут храниться.

Простое решение - хранить каждый файл в отдельности.

Это приведёт к следующим проблемам:

• Ошибка "No space left on device" когда количество задействованных inode для описания файлов превысит ограничение файловой системы
• Ошибка "No space left on device" так же может появиться при огромном количестве файлов в одном каталоге т.к. это приводит к возникновению колизий в хеш-функции индекса каталога
• Так же не контролируемый рост количества файлов в одном каталоге приведёт к не возможности пользоваться каталогом по прямому назначению - читать файлы, просматривать список файлов и другое.

Решение чуть сложнее - хранить каждый файл в отдельности, но организовать ограничение по количеству файлов на один каталог.

Для этого решения нужно определить формат адреса файла, например у нас есть два значения: namespace в виде UUID и идентификатора файла в виде UUID.

Тогда адрес файла можно представить как набор вложеных каталогов следующим образом:

Note

Разрешением файла можем пренебречь т.к. реальное название файла хранится не в сервисе karma8 storage, а в базе данных сервиса karma8 discovery

Note

Так же надо заметить что создание подкатологов увеличит количество используемых inode - по одному на каждый новый вложенный каталог

Чтож, решение не самое оптимальное для хранения большого количества мелких файлов. Мы попрежнему упираемся в количество inode доступных для использования.

Что бы невилировать проблему с количеством inode мы можем сгруппировать файлы по какому-то принципу в один большой файл.

Варианты как это сделать:

• Создать архив с файлами в глубине последнего каталога - потребуется архиватор поддерживающий два свойства: 1. хранение заголовков в начале файла 2. хранение содержимого без обязательного сжатия
• Создать формат хранения каталога в файле самостоятельно
• Выбрать готовое решение в виде базы данных
• Написать файловую систему для хранения файлов непосредственно на устройстве (hdd, ssd и прочие) - безусловно трудозатратный вариант, но и самый низкоуровневый

Для целей решения тестовой задачи:

Будем хранить файлы как есть, но применим вариант с вложенными каталогами.

Вариант с объединением файлов внутри каталога можно добавить в последствии при необходимости и включать соответствующим флагом.

Author

Oleg Shevelev