Как обеспечить сохранность данных: правило «3-2-1»

Какие еще есть ограничения и сложности

Преаллоцированные диски High-IOPS — быстрые, с отказоустойчивостью на уровне диска (доступность сохраняется при отказе диска, но не сервера). Их используют под базы данных и систему.
Тонкие диски (Ceph) более медленные и несколько более дешевые. На них клиенты хранят данные, но задержка отзыва может выходить за рамки 10 миллисекунд (например, для Ceph HDD, используемого многими для хранения «холодных» данных).

Самый простой случай — это офлайн-диск (не подключенный к ВМ).Второй вариант — диск, который подключен к виртуальной машине.Третий сценарий, самый сложный — когда в виртуальной машине несколько дисков и надо сделать консистентный снэпшот.

Резервное копирование 3-2-1

Только хорошо спланированная стратегия резервного копирования позволяет восстановить данные тогда, когда они вам понадобятся. Если вы находитесь только в самом начале или уже в процессе переосмысления существующей системы, следуйте правилу резервного копирования 3-2-1:

Первым шагом к защите данных является локальное резервное копирование. Вы защищаете ваши данные копией на разных носителях, что защитит от единой точки отказа. Например можно делать резервную копию с ПК на Synology NAS.

В тоже время локальная резервная копия не защищает от пожара, кражи или любого другого стихийного бедствия. Поэтому копия данных за пределами площадки будет самым надежным, но и самым сложной и дорогостоящей задачей.

Резервная копия папок и файлов

Резервное копирование и синхронизация папок позволит легко восстановить данные после случайного или намеренного изменения. Подробнее

Автоматическая защита всего компьютера

Защитите свои компьютеры под управлением Windows и Linux с помощью полного резервного копирования всех файлов, программ и настроек на любом диске. Гибкое восстановление позволяет восстанавливать только файлы и папки или реплицировать все устройство на новое. Подробнее о .

Настраиваете резервное копирование важных данных в реальном времени или по расписанию.

Резервное копирование внешних дисков и карт памяти

Создание автоматического или ручного резервного копирования USB накопителей и карт памяти при подключении , а так же освобождение пространства после окончания операции. Подробнее о USB Copy.

Резервное копирование фотографий и видеозаписей

C Synology Photos на телефоне делайте резервные копии фотографий и видео файлов, а так же освобождайте место на мобильном устройстве. Просмотр ваших снимков никогда не был таким удобным.

Cloud Sync – только для файлов

Синхронизируйте ваши файлы с общедоступными облачными хранилищами такими как Google Drive, Microsoft OneDrive или Dropbox. Подробнее о Cloud Sync.

Hyper Backup – полное резервное копирование для больших объемов

С помощью Hyper Backup можно создавать резервные копии данных даже очень больших размеров например в облако mail.ru или в BackBlaze. Так же у SYnology есть своя собственная облачная служба для резервного копирования Synology C2

На внешнее устройство

Hyper Backup предоставляет огромный выбор вариантов резервного копирования, позволяет управлять версиями, сжатие для экономии места. Подробнее.

USB Copy менее функциональная, но не менее надежное решение. Подробнее

Резервное копирование всего NAS

Huper Backup простое и эффективное резервное копирование данных с NAS на NAS.

Хотите, чтобы все было просто и эффективно? Настройте автоматическую защиту данных, приложений и системных параметров. Сжатие и дедупликация значительно сокращают размер необходимой емкости хранения. Подробнее о Hyper Backup.

Защита данных с высокой частотой

Моментальные снимки файловой системы и репликация могут выполнятся каждые 5 минут. Подробнее о Snapshot Replication.

Больше информации в моем блоге

Приложение №3 — Методика резервного копирования

Для организации системы резервного копирования используется программное обеспечение (далее — ПО) фирмы ______________версии_____. Учитывая пропускные способности каналов, стоимость трафика между офисами, объемы резервируемых данных, представляется оптимальным установить независимые серверы резервного копирования в каждом из основных офисов. С целью оптимизации расходов на развертывание системы резервного копирования, запись резервной копии осуществляется на жесткий диск.

С помощью указанного ПО выполняются такие действия, как задание режимов и составление расписания резервного копирования клиентов, осуществляются операции по загрузке и выгрузке носителей информации, проводится контроль за состоянием выполнения заданий, запускаются процедуры восстановления информации.

Настройка всех трех серверов одинакова. Для снижения совокупной нагрузки на информационную систему все операции по резервированию информации необходимо проводить в ночное время. Существуют три набора резервных копий:

1. Месячный набор. Записывается информация на первое число текущего месяца. Срок хранения – месяц. Хранится на сервере резервного копирования.

2. Недельная копия. Записывается в ночь на среду и в ночь на субботу. Срок хранения – субботняя копия – до следующей среды, вторничная копия – до субботы. Хранится на сервере.

3. Ежедневная копия. Записывается ежесуточно, кроме ночи на среду и ночи на субботу. Срок хранения – сутки. Записывается на съемный жесткий диск. Жесткий диск по отдельному расписанию выносится за пределы офиса.
Различаются три принципиально разных источника информации, подлежащей резервированию:

1. Информация, хранимая в Exchange Server.

2. Информация, хранимая непосредственно в файловой системе — MS Windows.

3. Базы данных Прикладной информационной системы.
Для резервирования информации, хранимой в Exchange Server, почтовые ящики и общие папки, (см. пункт 1-й, выше), используется ПО ___________________с установленным Exchange агентом, посредством которого формируются задания на проведение резервного копирования информации, находящейся в хранилищах Exchange сервера. При этом указывается срок хранения информации и периодичность выполнения резервного копирования.

Для резервирования информации, хранимой непосредственно в файловых системах (см. пункт 2-й, выше), используется ПО ___________________с установленной OpenFile Option, посредством которого формируются задания на проведение резервного копирования информации, находящейся в каталогах файловых систем MS Windows. При этом указывается срок хранения информации и периодичность выполнения резервного копирования.

Для резервирования информации, хранимой в базах данных Прикладной информационной системы (см. пункт 1-й, выше), в качестве промежуточного звена автоматизации используются средства конфигурирования Прикладной информационной системы и архиваторы. В результате работы промежуточного звена автоматизации формируется каталог с резервной копией данных Прикладной информационной системы. Посредством ПО ___________ формируются задания на проведение резервного копирования этого каталога. При этом указывается срок хранения информации и периодичность выполнения резервного копирования.

Что такое резервное копирование и какие задачи решает

Резервное копирование (РК, Backup copy, бэкап) — создание копий личных или корпоративных файлов, папок или систем на дополнительных (локальных или облачных) носителях информации.

Резервное копирование необходимо для формирования архива данных, защищенного от изменений и повреждений, а также восстановления в случае повреждения или сбоев в первоисточнике.

Виды бэкапов:

Полный — создание копии всех данных на устройстве или в отдельном разделе памяти. Последующие копии создаются также в полном объеме. Например, размер исходных данных 100 ГБ и 7 полных копий в сумме составят 700 ГБ в архиве.

Инкрементальный — создание резервной копии, которая содержит только изменения в файлах и автоматически дополняет или изменяет их в исходной полной копии. При инкрементальном бэкапе файлы не заменяются, а дополняются. Например, размер исходных данных составляет 100 ГБ. Изменения за один день занимают 10 ГБ, также выполняются 7 инкрементальных копий, что в сумме дает 170 ГБ в архиве (одна полная копия и измененные данные).

Дифференциальный — создание копии, включающей только файлы и данные, измененные с момента предыдущего копирования. Например, размер исходных данных составляет 100 ГБ, изменения за один день – 10 ГБ. Относительно копии предыдущего дня уникальные данные занимают 5 ГБ. В итоге 7 дифференциальных копий суммарно составят 135 ГБ в архиве (одна полная копия и измененные данные относительно предыдущего бекапа).

Как часто, в каком объеме и какие данные следует копировать

Резервное копирование может требовать значительных ресурсов. Правила по созданию бэкапов следует разрабатывать так, чтобы затраты на процесс не превышали суммы потенциального ущерба от потери данных.

При этом периодичность создания бэкапов должна зависеть от их масштабов, частоты обновления файлов и их важности. К примеру, копии финансовых документов, дополняемых или изменяемых ежедневно, желательно делать тоже каждый день

А вот копии рабочей станции, программ и настроек допустимо делать раз в три месяца. Периодичность копирования серверов, на которых хранятся данные, зависит от критичности систем. Но принятым стандартом является ежедневное копирование, так как от работы серверов зависит работа всех сотрудников и бизнеса компании.

Объем создаваемых бэкапов зависит от количества значимых файлов и данных (переписок, контактов и других). При этом в компании должна быть разработана стратегия РК, в которой определены типы файлов и данных для обязательного сохранения.

Как правило:

общие файлы, не изменяемые в процессе использования (например, инструкции, внутренние регламенты и другие) сохраняют только один раз — при общем копировании;
важные, часто используемые данные (бухгалтерские отчеты, конструкторские разработки, проекты разработки и другие) сохраняют на регулярной основе (частота определяется компанией);
временные или устаревшие файлы можно не включать в перечень резервного копирования.

Отечественные решения по бэкапу

Сегодня важно иметь решения российского производства, которые позволят не волноваться о мировых изменениях. Давайте посмотрим на решения, которые проверены опытом

Кибер Бэкап

На счет инсайда – КиберПротект ранее выпускала всеми любимый Acronis Disk Director. Уверены найдутся те, кто помнит, крайне нестабильную XP и те, кого не раз спасал «Акронис». Так что это продукт с хорошей историей. Тем более время не стоит на месте, производитель продолжает развиваться и поддерживать продукт на высоком уровне.

Для начала определим основные критерии для решения по бэкапу:

Быстрое восстановление – за 15 секунд вернет сервер в бой на отличное от исходного оборудование).
Мультиплатформенность – 25+ платформ.
Централизованное управление – единая консоль, ролевая модель, аналитика.

Кибер Бэкап (ранее Acronis Защита Данных) имеет широкую применимость и совместимость.

При работе с КиберПротект нас впечатлил функционал резервного копирования, присутствовали:

выгрузка снимков,
дедупликация блоков,
ленточные носители,
безагентский подход,
множество технологий, направленных на увеличение производительности.

Отметим и список поддерживаемых ОС и платформ виртуализации:

Операционные системы

Microsoft Windows
Microsoft Windows Server
Linux
Astra Linux SE
Альт Linux
РЕД ОС
РОСА
MacOS

Платформы виртуализации

Microsoft Hyper-V
VMware vSphere ESX(i)
vSphere Hypervisor (free ESXi)
Citrix XenServer
RHEV
RHV
Scale Computing Hypercore
Oracle VM Server
Linux KVM
Parallels
Nutanix
Amazon EC2
Microsoft Azure

Остальные возможности вы сможете рассмотреть на бесплатном тестировании с Cloud Networks.

Аппаратное и программное обеспечение, облачные решения для РК

При размещении копий используются различные подходы, которые могут применяться вместе или отдельно:

Аппаратное обеспечение — жесткие диски, NAS-хранилища, DVD и Blu-ray, ленточные устройства.
Программное обеспечение — софт для автоматизации резервирования с возможностью настройки периодичности, уровней резервирования и других параметров;

или

Облачные сервисы — решения для удаленного хранения резервных копий с возможностью масштабирования выделенного пространства и получения доступа к ним с любого устройства. Сервис уже включает все необходимые компоненты для резервного копирования.

Первый подход к снаряду: параллельные потоки в драйвере

Поблочное копирование на offline-диск. Данные заливают в резервную копию с помощью простой операции. При этом можно выполнять дополнительные операции: сжатие, расчет контрольной суммы, различные преобразования.
Копирование через снимок диска. Нельзя остановить диск, на котором работает виртуальная машина, чтобы сделать резервную копию. Поэтому делают снэпшот диска и данные переносят уже из него.
Через агенты в гостевой ОС. Если у вас есть база данных на нескольких дисках, последовательно сделанные снимки дадут вам неконсистентную резервную копию, поскольку файлы на них будут «заморожены» в разное время. В VK Cloud Solutions мы используем гипервизор QEMU для Linux, гостевые клиенты которого могут остановить ввод-вывод на дисках до момента, пока создание снимков не завершится успешно. В Windows используем Shadow Copy Provider, в Linux — системный вызов fsfreeze.

Реальные киберинциденты с потерей данных

На момент апреля 2022 года количество киберинцидентов в российских компаниях увеличилось в 4 раза, как сообщает Kaspersky. И большинство из атак заканчивается успехом.

Атаки на государственные сегменты стали скоординированными, изощренными и частыми, поэтому защищаться от них труднее. От действий злоумышленников уже пострадали СДЭК, Мосгортранс, Сбербанк, Госуслуги, Wildberries и другие.

Статистические данные о влиянии потери данных на бизнес:

Согласно исследованию DTI, 7 из 10 небольших фирм, сталкивающихся с серьезной потерей данных, закрываются в течение года.
Согласно отчету Корпорации стратегических исследований, 96% всех рабочих станций не резервируются.
Согласно исследованию Национального управления архивов и документации, 93% компаний, потерявших центр обработки данных на 10 и более дней, объявили о банкротстве в течение одного года после инцидента или стихийного бедствия.
А около 50% компаний, оставшиеся без управления данными, немедленно объявили о банкротстве.

После крупной потери данных меньше 50% компаниям удается восстановить от 75% до 100% данных из резервной копии. Остальным предприятиям приходится довольствоваться обрывками восстановленных данных и забыть об утерянных файлах.

Правила и политики

Политики и правила хранения и создания резервных копий позволят вам быть уверенными в том, что ваши бэкапы находятся в безопасности и в любой момент вы сможете восстановить утраченные данные.

Правило «3-2-1»

Пожалуй, это самое популярное и простое в реализации «правило» резервного копирования. Суть его состоит в следующем: необходимо три копии данных в двух физически разных форматах (носителях), а одна из копий должна быть расположена удаленно.

Поясним каждый из пунктов. три копии — это необходимый минимум, при котором вероятность потерять сразу все данные вследствие инцидента снижается практически до нуля. Разные форматы хранения (носители) позволят восстановить данные, если одно из мест хранения будет физически повреждено или уничтожено. Хранение одной копии вне офиса снижает риски в случае повреждения вашего сервера резервного копирования — всегда можно будет восстановить данные из другого ЦОД в другом городе или даже стране.

Теперь переходим к политикам хранения данных. В сегодняшней статье мы коротко рассмотрим две наиболее применимые схемы.

GFS («дед-отец-сын»)

GFS базируется на трех важных правилах:

«Grandfather» (дед) — достаточно редко (например, раз в месяц) вы создаете полную копию данных и сохраняете её на «медленном» защищенном носителе.
«Father» (отец) — также подразумевает создание полной резервной копии на более скоростной носитель. Этот шаг производится чаще, чем предыдущий, например, раз в 1-2 недели.
«Son» (сын) — дифференциальный или инкрементный бэкап. Производится ежедневно.

Ханойская башня (TOH)

Название этой схемы происходит от старинной математической задачи. Сложность реализации делает эту схемой менее применимой, чем предыдущая, однако упомянуть о ней, безусловно, стоит.

Процесс резервного копирования делится на так называемые интервалы — временные промежутки, разделяющие задачи резервного копирования. В зависимости от требований бизнеса, один интервал может длиться как несколько часов, так и несколько дней. Также потребуется выделить несколько разных носителей для хранения копий. Их число зависит от сложности выстраиваемой «башни».

Каждый второй интервал производится резервное копирование на первый носитель информации. К примеру, в собственный ЦОД.
Каждый четвертый интервал создается бэкап на втором носителе — в облако или другой сегмент инфраструктуры.
Каждый восьмой интервал — на третий носитель, и так далее. Нетрудно посчитать, что принцип ханойской башни основан на формуле 2x = y, где x — это количество носителей, а y — количество интервалов.

Признаемся сами, схема достаточно трудная и запутанная. Однако в ряде случаев именно она способна обеспечить бизнесу наиболее надежное хранение критически важных данных. К тому же, многие решения резервного копирования умеют автоматизировать создание Ханойской башни.

Мы надеемся, что наша статья поможет вам определиться с BaaS-стратегией в вашей компании

Напоследок скажем: грамотно выбирайте пул резервируемых данных и оценивайте важность хранения бэкапов тех или иных систем. Нет ничего хорошего в том, чтобы хранить редко используемые и/или устаревшие данные в ущерб более регулярным бэкапам стратегической информации

Новая архитектура

Переход на многопроцессную архитектуру

eventletBackup

Master бэкапа планирует резервную копию: определяет, как копировать, какими блоками читать, какого размера и во сколько потоков.
Reader открывает Volume столько раз, сколько нужно (может в четыре потока, а может и в восемь), затем получает команду от Master на чтение данных, читает их, складывает в Shared Memory и отдает следующему агенту.
Checksum рассчитывает контрольные суммы. Он многопоточный и загружает, как правило, 8–16 ядер. После расчета контрольных сумм эстафета переходит следующему агенту. Данные никуда не копируются и продолжают лежать в Shared Memory.
DiffHandler поднимает из предыдущего бэкапа (если он был) список Checksum-блоков, сравнивает контрольные суммы и оставляет только те данные, которые изменились. Сохраненные данные уходят на сжатие, все остальное из потока удаляется. Таким образом поддерживаются инкрементальные копии.
Compressor сжимает каждый блок многопоточно независимо от других и отправляет их следующему агенту.
DataWriter агрегирует маленькие блоки в большие сегменты и с помощью Multipart перекладывает данные в S3.
MetadataWriter финиширует бэкап, записывает в S3 итоговый набор контрольных сумм и метаданные бэкапа.

Цикл восстановления (Restore)

Master читает метаданные о бэкапе, восстанавливает и составляет план действий.
BackupReader считывает данные из S3 в параллельном режиме и отдает их в декомпрессор.
Decompressor — также в параллельном режиме — разжимает полученные блоки и отдает на следующий этап.
Writer пишет полученные данные на диски.

Список терминов и определений

Заказчик – Компания _________________
Исполнитель – Компания _________________.
ГСА (группа системных администраторов) — группа сотрудников Исполнителя, обеспечивающая развитие и устранение сложных неисправностей ИТ-инфраструктуры Заказчика.
ГТП (группа технической поддержки) – группа сотрудников Исполнителя, обеспечивающая техническую поддержку сотрудников Заказчика.
ИТ-инфраструктура — совокупность аппаратного и программного обеспечения компании Заказчика, а также правил и методов их настройки, обеспечивающих технологию совместной работы сотрудников Заказчика.
Администратор файлового сервера – сотрудник Исполнителя из числа ГСА, осуществляющий управление файловым сервером
Сотрудник технической поддержки – сотрудник Исполнителя из числа ГСА.
Заявка – запрос сотрудника предприятия к службе технической поддержки на решение какой-либо технической проблемы. Заявка содержит описание проблемы и электронный адрес сотрудника.
Ресурс файлового сервера (далее Ресурс) – это каталог на файловом сервере, предназначенный для хранения файлов в целях, указанных в заявке на создание ресурса.
Ответственный за информационные ресурсы Заказчика – сотрудник Заказчика из числа руководителей принимающий решения о создании новых Ресурсов.
ИС «Helpdesk» – информационная система, обеспечивающая прием и обработку заявок сотрудников Заказчика.
ИСМ – информационная система мониторинга ИТ-инфраструктуры Заказчика.
ЭЦП – электронная цифровая подпись.
GPG – программное обеспечение для шифрования и ЭЦП данных.
Согласование Заявки – направление электронного сообщения (email) подтверждающего Заявку в ИС «Helpdesk» с ЭЦП. Для создания ЭЦП используется программное обеспечение PGP.
Ответственный за ресурс – сотрудник Заказчика указанный ответственным в заявке на создание ресурса.

Почему резервное копирование важно для бизнеса

По результатам исследования «Лаборатории Касперского» в 2018 году, для крупных компаний ущерб от потери данных, в том числе репутационный, может превышать $1 млн. При этом средний размер ущерба увеличивается ежегодно.

Резервное копирование важно для бизнеса, так как позволяет иметь неизменяемый архив данных и файлов (документов, контактов, переписок, бухгалтерского учета), который защищен от случайного удаления или изменения, вирусов-шифровальщиков, ошибок в системе, аварий внешней среды (экстренное отключение света), отказа жестких дисков и других сбоев. Резервное копирование больше не является сложным комплексом из набора различного ПО и серверов

Все задачи резервного копирования для бизнеса возможно решить быстро и навсегда: от бэкапа документов на устройстве с облачным доступом, до сложных систем при отсутствии виртуализации в компанииИван Поленовскийпродуктовый менеджер SberCloud

Резервное копирование больше не является сложным комплексом из набора различного ПО и серверов. Все задачи резервного копирования для бизнеса возможно решить быстро и навсегда: от бэкапа документов на устройстве с облачным доступом, до сложных систем при отсутствии виртуализации в компанииИван Поленовскийпродуктовый менеджер SberCloud

Модели резервного копирования

Стоит внимательно присмотреться к каждому варианту, чтобы понять, какой из них подходит именно вам. Возможно, в рамках вашей компании для разных типов систем и данных будут актуальны сразу несколько моделей. Учитывайте: с точки зрения эффективности использования ресурсов, времени восстановления данных, уровня их сохранности и других параметров, оптимальным решением будет комбинирование различных моделей.

Full Backup

С одной стороны, регулярное копирование всех корпоративных данных — это самый надежный подход. К плюсам можно отнести высокую скорость восстановления утраченной информации. Однако при полном бэкапе процесс создания каждой копии долог и отнимает много сетевых ресурсов — для большого объема корпоративных данных использовать full backup чаще одного раза в месяц бывает просто нерационально.

Инкрементное

В отличие от предыдущей модели при инкрементном бэкапе придется создать только одну полную копию данных. Все последующие регулярные бэкапы будут затрагивать только те данные, которые были изменены с момента создания прошлой копии. Каждый новый инкремент зависит от предыдущего, следовательно если один из них будет применен некорректно, нарушится вся цепочка. Кроме того, длина инкрементной цепочки напрямую влияет на скорость восстановления данных. К плюсам можно отнести высокую скорость создания регулярных копий и сравнительно низкие требования к объему хранилища.

Дифференциальное

Эта модель в общих чертах похожа на предыдущую: за основу берется Full Backup, к которому на регулярной основе «добавляются» копии, содержащие измененные данные. Модель весьма надежна, а скорость восстановления данных у неё выше, чем при инкрементном подходе. Кроме того, повреждение промежуточной копии не нанесет вреда всем последующим. Существенный минус модели состоит в том, что каждая новая копия создается дольше предыдущей и занимает больше места.

Обратное инкрементное

Модель подразумевает, что в каждой итерации будет создаваться новая полная копия, а место, занимаемое предыдущей РК, будет заменено инкрементом. К плюсам можно записать высокую скорость восстановления «свежих» бэкапов. К минусам — долгое восстановление старых копий и высокие требования к BaaS-серверу.

Синтетическое

Модель подразумевает использование сразу двух заранее созданных копий: полной и инкрементной. С заданной администратором периодичностью они будут «сращиваться» в новую полную копию, к которой затем будет добавлен инкремент. Метод хорош высокой скоростью как создания бэкапов, так и восстановления данных. При этом данными РК можно гибко управлять без существенной нагрузки на сеть. Что касается недостатков — повреждение промежуточных копий негативно скажется сразу на всех последующих бэкапах.

Заключение и правило 3-2-1

Отсутствие резервной копии и средств информационной защиты в итоге приведет к тяжелым финансовым и репутационным ущербам. Если вы не имеете дело с большими объемами данных или конфиденциальными данными, есть несколько недорогих и прагматичных решений для защиты от потери данных.

Во-первых, вы уже можете значительно минимизировать свои риски, выполняя регулярное резервное копирование данных на карту памяти. Однако, если речь идет о более сложной ИТ-инфраструктуре в средней компании, то стоит выбрать крупные и комплексные решения. Это единственный способ ограничить потерю данных в чрезвычайной ситуации.

Наш пресейл-инженер Евгений Киров использует правило 3-2-1.

Российский рынок имеет много поставщиков программного обеспечения для резервного копирования. Компания Cloud Networks предлагает услуги по подбору решения резервного копирования и построению архитектуры для безопасности копий, а также настройке бизнес-процессов связанных с резервированием данных.