Ukládání dat v cloudu: ujistěte se, že víte co, proč, kam a jak

Ukládání dat v cloudu | Encyklopedie cloudu ORBIT
Zdroj: Image by rawpixel.com on Freepik

Cloudové služby poskytují firmám řadu výhod, včetně vyšší flexibility, škálovatelnosti a snadného přístupu k datům odkudkoli a kdykoli. V tomto článku se podíváme na význam ukládání dat v cloudu, jak to dělat správně a proč by měly firmy zvážit možnosti nástrojů Azure a AWS.

Filip Kamenář

V současné digitální éře je ukládání dat v cloudu stále oblíbenější volbou pro firmy i jednotlivce. Doba, kdy jsme si osobní data ukládali různě po flash discích (které se uměly při první příležitosti ztratit), je dávno pryč.

Všichni známe a v drtivé většině i používáme osobní cloudová úložiště jako iCloud od Apple, OneDrive od Microsoftu nebo Google Disk od Googlu. Je to snadné, bezpečné a na dostupnost našich dat na všech zařízeních se velmi rychle zvyká.

A nejinak je tomu i v případě korporátních řešení.

Co znamená ukládání dat v cloudu?

Uložení dat do cloudu znamená, že společnost přesouvá svá data a informace z fyzických úložišť, jako jsou pevné disky, serverové farmy nebo datová centra, do virtuálního prostoru cloudového poskytovatele.

Zahrnuje to přenos dat a jejich uchování na vzdáleném serveru, ke kterému se společnost bezpečně připojuje prostřednictvím internetu, VPN anebo privátní datové linky. Díky tomu firmy nemusí nákladně investovat do vlastního hardwaru a infrastruktury, což jim přináší několik výhod.

Servery poskytovatelů cloudových služeb jsou umístěny v datových centrech po celém světě, což zajišťuje redundanci a dobrou dostupnost dat. Síť datových center je velice hustá, takže si společnost může zvolit geograficky nejbližší datové centrum pro dosažení nízké latence.

Přístup k datům přitom zajišťují API rozhraní, aplikace v internetovém prohlížeči nebo specializované aplikace.

Výhody ukládání dat v cloudu

Jednou z hlavních výhod ukládání korporátních dat v cloudu je škálovatelnost a pružnost. Cloudoví poskytovatelé jako AWS či Azure nabízejí různé úrovně služeb, takže můžete upravovat velikost a výkon svého datového úložiště podle aktuálních potřeb. Rychle tak reagujete na změny a udržujete správnou kapacitu úložiště bez zbytečných nákladů.

Data v cloudu jsou také vždy zabezpečena šifrováním a dalšími opatřeními, aby se minimalizovalo riziko jejich ztráty nebo úniku. Cloudoví poskytovatelé nabízejí již připravená řešení pro pravidelné zálohování dat, díky kterým jsou data chráněna i v případě havárie nebo selhání zařízení (viz článek Zálohování v cloudu: proč, kdy, co a hlavně jak?).

U velké části cloudových úložišť platí, že platíte pouze za skutečně uložená data, a ne za poskytovanou kapacitu úložiště (i zde existují výjimky, které si později vysvětlíme). Díky tomu odpadá nutnost složitě předem počítat, kolik dat bude potřeba uložit a podle toho správně specifikovat parametry úložiště.

Pojďme si ukázat čtyři scénáře, se kterými se naši zákazníci často setkávají, a jak je lze řešit v on-premise a cloudovém prostředí.

1. Naddimenzovaná kapacita úložiště

Ukázalo se, že je on-premise úložiště předimenzované? Pak platíte zbytečně za kapacitu, kterou nepotřebujete a vynaložené finanční prostředky jste mohli využít jiným způsobem.

  • Řešení v cloudu: V cloudu tato situace nenastane, protože neplatíte za nevyužitou kapacitu. Platíte pouze za data, která jste skutečně uložili.

2. Nedostatečná kapacita úložiště

Ze stovek megabajtů se staly gigabajty? Zjistili jste, že kapacita on-premise úložiště je nedostatečná a je potřeba úložiště rozšířit? To může způsobit komplikace v rozpočtu, protože investice do hardware se často plánují s předstihem. Rovněž může nastat technologická komplikace, kdy z nějakého důvodu nebude rozšíření možné.

  • Řešení v cloudu: Cloud tuto situaci řeší za vás, protože kapacitu si předem neobjednáváte. Kapacita cloudového úložiště je z pohledu zákazníka prakticky „neomezená“ a je jen na vás, kolik dat uložíte.

3. Nevyužité úložiště

Implementace aplikace, pro kterou jste vybudovali datové úložiště, byla zrušena, a hardwarové prostředky pro úložiště nejsou využité? Možná se podaří kapacitu využít pro jinou aplikaci, ale často se stává, že úložiště zůstane prázdné a finanční investice přijde vniveč.

  • Řešení v cloudu: Pokud by stejná situace nastala v cloudu, stačí nepotřebná data smazat. Ve stejném momentu byste za úložiště přestali platit. V případě, kdy by bylo nutné data v cloudu ponechat pro budoucí obnovení projektu, je možné využít datové služby vhodné pro archivaci, a tím výrazně snížit náklady.

4. Problém se zálohováním a obnovou dat

Korporátní zákazníci v on-premise prostředích často čelí výzvě zálohování a obnovy dat. Tradiční zálohovací metody mohou být náročné a nespolehlivé, což zvyšuje riziko ztráty dat. Pokud se navíc množství dat zvětšuje, může být obtížné udržet krok s potřebami zálohování.

  • Řešení v cloudu: Cloudoví poskytovatelé nabízejí automatické a pravidelné zálohování dat, což snižuje riziko jejich ztráty a usnadňuje jejich obnovu. Pro korporátní zákazníky to znamená vyšší spolehlivost a nižší administrativní zátěž, protože poskytovatelé se o vše starají sami.

Kam data v cloudu uložit aneb výběr správné služby

Vysvětlili jsme si, co je to ukládání dat v cloudu, ale kam teď s nimi? Které služby vybrat? Abychom to mohli rozhodnout, je potřeba si nejdříve ujasnit, která data chceme ukládat, a podle toho pak vybrat nejvhodnější službu pro příslušný use case.

Nejprve si představíme několik scénářů použití a následně si vybereme tu správnou službu od AWS nebo Azure. Pokud bychom zvolili špatně, může být celé řešení pro ukládání dat zbytečně nákladné a také by nemuselo splňovat požadavky na rychlost či potřebné funkcionality.

Rozcestník pro výběr správné služby pro ukládání dat

  • Potřebujete nahradit sdílený síťový disk, který využívá celá kancelář -> Amazon FSx nebo Azure Files
  • Zálohujete pravidelně na datové pásky -> Amazon Tape GatewayAmazon S3
  • Potřebujete rychlé blokové úložiště, které připojíte k virtuálnímu serveru -> Amazon EBS nebo Azure managed disks
  • Potřebujete úložiště, ke kterému současně přistupuje více virtuálních serverů -> Amazon EFS nebo Azure Files
  • Chcete ukládat statická data ze své webové aplikace -> Amazon S3 nebo Azure Blob storage
  • Potřebujete dlouhodobě archivovat data v řádu let -> Amazon S3 Glacier nebo Azure Archive Blob storage
  • Potřebujete objektové úložiště dostupné z cloudu i on-premise -> Amazon S3Storage Gateway nebo Azure StorSimple
  • Chcete nahradit lokálně hostovaný Windows server file share -> Amazon FSx for Windows File Server nebo Azure Files
  • Potřebujete sdílené úložiště se sub milisekundovou odezvou -> Amazon FSx for Lustre nebo Azure NetApp Files
Ukládání dat v Azure, AWS | Encyklopedie cloudu ORBIT
Zdroj: https://www.linkedin.com/pulse/storage-service-comparison-aws-vs-azure-gcp-richard-lenan-zhao/)

Jak uložit data do cloudu? Ukázka typických případů

1. Migrace on-premises fileshare do cloudu

Máte ve firmě tradiční fileshare, na který pracovníci v kancelářích ukládají své dokumenty, sdílejí a spravují je. Nicméně s nárůstem mobility a vzdálené práce se stává přístup k těmto souborům omezujícím a nepraktickým. Rádi byste tedy tuto infrastrukturu přenesli do cloudu, od čehož si slibujete snadný a bezpečný přístup k souborům odkudkoliv.

  • Řešení v cloudu: Pro tento scénář je ideální zvolit cloudovou službu jako je Azure Files nebo Amazon FSx. Obě nabízejí souborové úložiště jako službu (File Storage as a Service), což znamená, že nemusíte sami spravovat infrastrukturu, ale spoléháte na vybranou cloudovou platformu.
  • Optimálním řešením je propojení podnikové sítě s cloudovým poskytovatelem. Koncový uživatel při své práci nepozná rozdíl (jestli je firemní fileshare v cloudu anebo v on-premise), protože mapování složek probíhá stejným způsobem. Autentizace uživatelů je možná pomocí federované podnikové identity jako např. Active Directory.

2. Migrace aplikace s úložištěm dat na lokálním diskovém poli

Vaše aplikace hostovaná v on-premise prostředí využívá klasické lokální datové úložiště založené na pevných discích. Stávající řešení se blíží ke konci své životnosti, což představuje zvýšené náklady na údržbu a obnovu HW. Zejména obnova HW, hlavně disků, je finančně náročná a vyžaduje další lidské zdroje.

V horizontu následujících let se počítá s rozšířením aplikace, tudíž vzroste i množství uložených dat. V současné situaci však není možné říct, jaká bude budoucí potřebná kapacita úložiště.

  • Řešení v cloudu: Pro úložiště aplikace je možné využít služby Amazon EBS nebo Azure Managed disks. Výhodou je možnost průběžně upravovat kapacitu jednotlivých svazků, takže můžete aplikaci přiřadit pouze tolik kapacity, kolik bude skutečně využito.
    V případě budoucího růstu kapacitu úložiště navýšíte dle potřeby, v případě snížení množství uložených dat kapacitu jednoduše snížíte.

3. Zálohování dat a obnova po havárii

Vaše společnost má kritická data uložená na lokálních serverech. Bohužel vás v minulosti postihla havárie a část dat jste ztratili. Rádi byste zajistili pravidelné a spolehlivé zálohování dat a jejich rychlou obnovu v případě krizové situace.

  • Řešení v cloudu: Cloudové platformy jako Azure a AWS poskytují širokou škálu služeb pro zálohování a obnovu dat. Typickými příklady jsou Azure BackupAWS Backup, které umožňují nastavení různých zálohovacích politik.
    Pokud dojde k havárii, můžete svá data obnovit z cloudu, a minimalizovat tak výpadek činnosti společnosti. Úložištěm pro tyto zálohy může být blokové úložiště Amazon S3 nebo Azure Blob storage nabízející různé třídy uložení dat – od krátkodobé po dlouhodobou archivaci.

4. Rozšíření on-premise úložiště v kombinaci s hybridním úložištěm v cloudu

Vašim on-premise datovým úložištím dochází kapacita a je nutné ji navýšit. S tím se však v rozpočtu na IT nepočítalo a pro rozšíření úložiště není dostatek prostředků. Rovněž však nejde čekat až na další investiční období.

  • Řešení v cloudu: Existující on-premise lze zachovat a pomocí hybridního úložiště je možné jeho kapacitu rozšířit. V případě AWS se k tomu hodí služba Storage Gateway, v případě Azure služba File Sync.
    V on-premise prostředí nasadíte virtuální bránu, která je schopná lokální infrastruktuře zprostředkovat přístup ke cloudovému úložišti. Díky tomu je budete moci rozšířit kapacitu firemního úložiště bez zbytečných nákladů na infrastrukturu. A jako obvykle budete platit pouze za data, která do cloudu uložíte.

Vybrané AWS a Azure služby pro ukládání dat v cloudu a jejich účel

Bloková úložište (block storage)

V cloudovém prostředí chápeme objektová úložiště jako prostředí, kde jsou data uložena jako objekty, které obsahují samotná data spolu s metadaty a jedinečným identifikátorem. Tyto typy úložišť nabízejí z pohledu nákladů efektivní řešení pro ukládání nestrukturovaných dat, umožňují zálohování dat, webhosting, analýzu velkých datových sad, distribuci obsahu, ukládání aplikačních dat a snadné sdílení souborů.

AWS – Amazon S3 (Simple Storage Service)

Amazon S3 je škálovatelná a odolná služba pro ukládání dat a automatickou replikaci mezi jednotlivými AWS availability zones. Amazon vyjadřuje odolnost ve formátu 11 devítek, což znamená, že data zůstanou uložená s pravděpodobností 99,999999999 %. S3 poskytuje jednoduché webové rozhraní pro ukládání a správu souborů v tzv. „buckets“ (zjednodušeně složky). Případně je možné s S3 pracovat také z on-premise jako se síťovým úložištěm s využitím služby Storage Gateway.

Azure – Blob storage

V Blob storage jsou data ukládána ve formě objektů, známých jako „bloby“. Služba podporuje ukládání a správu obrovského množství nestrukturovaných dat, přičemž jednotlivé bloby mohou mít velikost až stovek terabajtů. Úložiště blobů je vysoce odolné, s možností vytvořit několik redundantních kopií dat uložených na různých místech (podrobněji v článku Vysoká dostupnost služeb v cloudu – jak na ni?) i v případě selhání hardwaru v jednom místě. Blob nabízí několik různých tříd pro ukládání dat (hot, cool, cold, archive), což umožňuje optimalizaci nákladů přesunutím méně často přistupovaných dat do třídy s nižšími náklady.

Úložiště pro dlouhodobou archivaci dat

AWS – Amazon S3 Glacier

S3 Glacier je třída uložiště S3 optimalizovaná pro dlouhodobé uchovávání dat a archivaci za nízkých nákladů. Data jsou ukládána ve formě „archivů“ a jsou k dispozici pro obnovení, pokud je to potřeba. S3 Glacier nabízí různé úrovně dostupnosti a možnosti obnovení dat v závislosti na požadavcích a nákladech.

AWS – Amazon S3 Glacier | Encyklopedie cloudu ORBIT
Zdroj: https://catalog.us-east-1.prod.workshops.aws/workshops/f238037c-8f0b-446e-9c15-ebcc4908901a/en-US/002-services/002-storage/003-s3)

Azure – Blob storage archive

Podobně jako u S3 Glacier, tak i Blob storage nabízí třídu úložiště vhodnou pro dlouhodobé uchovávání dat a archivaci. V tomto případě se jedná o třídu „archive“, která je určena pro uložení dat na 180 a více dnů.

Souborové systémy neboli fileshare

AWS – Amazon FSx

Amazon FSx je služba poskytující plně spravované souborové systémy pro různé použití. FSx nabízí rychlý a plně spravovaný file share v cloudu. Poskytuje kompatibilitu se souborovými systémy, jako je Windows File ServerLustre. FSx se integruje s dalšími službami AWS, což usnadňuje její použití. Může být snadno připojena i ke konkrétním uživatelským stanicím stejně jako lokální sdílené úložiště.

AWS – Amazon EFS

Amazon EFS (Elastic File System) je spravovaný souborový systém poskytující sdílené souborové úložiště pro více instancí a kontejnerů současně. EFS je snadno škálovatelný a vysoce dostupný. Je vhodný pro aplikace, které vyžadují sdílený přístup k datům.

Azure – Files

Plně spravovaná služba Files umožňuje uživatelům ukládat soubory a přistupovat k nim pomocí protokolů SMB a NFS. Podporuje funkce jako snapshots pro obnovu v daném okamžiku, řízení přístupu prostřednictvím Active Directory případně Azure Active Directory a integrace se službou Azure Backup pro ochranu a zálohování dat. Odstraňuje potřebu spravovat souborové servery a poskytuje flexibilní a spolehlivý způsob ukládání a přístupu k souborům v cloudu.

Azure – NetApp Files

NetApp Files je služba vytvořená s využitím technologií společnosti NetApp. Hodí se ke sdílení souborů, zejména v případě, kdy od aplikace vyžadujeme velký výpočetní výkon (high-performance compute – HPC), spolehlivost a nízkou latenci. NetApp Files se často využívají při hostingu SAP HANA v cloudu.

Virtuální serverové disky

AWS – Amazon EBS

Amazon EBS (Elastic Block Storage) je služba poskytující blokové úložiště pro virtuální servery v cloudu. EBS umožňuje ukládání a připojení datových disků k virtuálním serverům. Poskytuje vysokou dostupnost, odolnost a možnosti zálohování. EBS je ideální pro náročné aplikace, které vyžadují rychlé a spolehlivé blokové úložiště.

Azure – Managed disks

Managed Disks zjednodušuje správu disků virtuálních počítačů. Dovoluje vytvářet, spravovat a škálovat diskové prostředky bez nutnosti ruční správy základní infrastruktury úložiště. Správa disků nabízí tři typy disků, z nichž každý je navržen pro různé požadavky na výkon a náklady. Hlavní výhodou jsou funkce jako automatická replikace pro vysokou dostupnost, zálohování dat a integrace s virtuálními stroji Azure.

Hybridní úložiště

AWS – Storage Gateway

AWS Storage Gateway je služba, která umožňuje integrovat on-premise úložiště s AWS cloudem. Poskytuje nástroje pro vytváření propojení mezi vaším stávajícím úložným zařízením a AWS úložištěm. Rozlišuje tři typy brán: File Gateway (umožňuje přístup k souborovým datům v cloudu jako k síťovému úložišti), Volume Gateway (poskytuje blokové úložiště, které může být použito jako virtuální disk pro vaše aplikace) a Tape Gateway (umožňuje archivaci dat na virtuální pásky).

Azure – File Sync

Azure File Sync synchronizuje on-premise souborové úložiště (fileshare) s Azure Files v cloudu. Nabízí komplexní a centralizovaný způsob správy souborů a přístupu k nim na různých místech a poskytuje hybridní cloudové řešení pro sdílení souborů.

Azure – File Sync | Encyklopedie cloudu ORBIT
Zdroj: https://www.windowserver.it/2021/07/azure-file-sync-v13/)

Hromadný přesun velkého množství dat z on-premise do cloudu

AWS – Snowcone, Snowball, Snowmobile

AWS Snowcone je fyzické zařízení využívané pro přesun velkého množství dat do AWS cloudu. Snowball je doručen pro firmy, v nichž je poté připojen do lokální síťě a umožňuje snadný a rychlý přesun dat. Po naplnění Snowconu je vrácen do AWS, kde jsou data automaticky importována do cloudu. Kapacita Snowconu je 8 TB. Větší alternativou je pak Snowball s kapacitou 80 TB a pro nejnáročnější použití je k dispozici Snowmobile, což je nákladní auto s datovým úložištěm, které je schopné pojmout až 100 PB dat.

AWS – Snowcone, Snowball, Snowmobile | Encyklopedie cloudu ORBIT
Zdroj: https://www.geeksforgeeks.org/what-is-snow-family-in-aws/)

Azure – Data Box

I Data Box je fyzickým zařízením, které se používá pro přesun dat do cloudu, zde do Azure. Zařízení je doručeno do firmy, která na ně nahraje svá data a pak ho odešle zpět do Azure, kde jsou data následně nahrána do cloudu. Varianta Disk má kapacitu 40 TB, Box 100 TB a Box Heavy až 1 PB.
Existuje ještě varianta Data Box Gateway, což je virtuální zařízení, které je možné využít pro přesun dat z on-premise do Azure.

Už víte, jak na ukládání dat v cloudu?

Ukládání dat v cloudu umožňuje firmám efektivněji spravovat a využívat svá data, zvýšit dostupnost a bezpečnost informací a snížit náklady na IT infrastrukturu. Každá z cloudových služeb pro ukládání dat popsaná v tomto článku je vhodná k jinému použití. Je proto důležité zvážit vaše konkrétní požadavky na úložiště dat a podle nich vybrat tu správnou službu.

Pokud s rozhodnutím váháte, rádi vám s výběrem pomůžeme.

O autorovi
Filip Kamenář
Filip Kamenář

Cloud Consultant & Architect | LinkedIn

Filip je cloudový architekt a konzultant specializující se na public cloud, zejména na AWS. Primárně se zabývá návrhem cloud native řešení, IaaC a následnou automatizaci celého deployment procesu.

Technické znalosti: Cloud Architecture and cloud native applications design, Networking, DevOps, IaaC