AWS Snow Family
데이터 이동을 수행하는 오프라인 장치
1주일 이상 데이터 전송이 걸리면 스노우볼을 사용하기!
Data migration : snowcone, snowball edge, snowmobile
Edge computing : snow cone, snowball edge
AWS Snow Family- Data migration
문제점 : 1. 제한된 연결성 , 2.제한된 대역폭, 3.높은 네트워크 비용, 4.공유된 대역폭, 5.연결 안정성
Diagrams
snow ball edge
거대한 상자임
TB, PB 단위의 데이터 전송을 함
provide block storage and amazone s3 compatible object sotrage
pay per data transfer job
snowball edge storage optimized : 블록 볼륨의 80TB HDD 또는 210TB NVMe 용량 그리고 S3 compatible object storage
사용 사례: 데이터 클라우드 이동, 데이터 센터 해체, 데이터 백업을 통한 재해복구
snowcone and snowcone SSD
작고, 휴대가능함 혹독한환경에도 견딤,2.1kg
첨단 컴퓨팅 , 저장소 ,데이터 전송에 사용된다,
snowcone: 8테라 바이트의 HDD 저장소를 가짐
snowcone SSD : 14테라 바이트의 SDD 저장소를 가짐
데이터를 배송해 다시 오프라인으로 다시 보낸다
데이터를 캡쳐 -> aws datasyn서비스를 사용해 데이터 센터에 데이터를 보낸다
snowmobile
1EB = 1000PB = 1000000TBs
각 스노우 모바일은 100pb용량을 지닌다
높은 안정성: temperature는 제어된다. GPS, 24/7 video surveilance(감시카메라)
10PB이상의 데이터를 보낼 생각이라면 스노우볼보다 더 성능이 좋음
1. request snow ball devices from the AWS console
2. install the snowball client / AWs opsHub on your servers
3. connect the snowball to your servers and copy files using the client
4. ship back the device when youre done
5. data will be loaded into an S3 bucket
6. snow ball is completely wiped
에지 컴퓨팅 : 에지 위치에서 생성되는 데이터를 처리하는것
These locations may have
- limited / no internet access
- limited / no easy access to computing power
snowball Edge 혹은 snowcone을 사용해서 에지컴퓨팅을 할 수 있다
데이터를 미리 처리하고 머신러닝을 하는 것, 미디어 스트림을 미리 변환한다,
AWS OpsHub
CLI를 사용해야 한다
Snow Family Device를 관리하기 위해서 AWS OpsHub를 사용한다
Snowball into Glacier
아마존 S3를 먼저 사용해서 라이프사이클정책을 만들어 이 물체들을 아마존 빙하로 전환하기
Amazon FSx
3rd party 고성능 파일 시스템을 AWS에서 완전히 관리되는 서비스로 런칭할 수 있게 한다
fully manage service
FSx For windows file server :
완전히 관리되는 윈도우 파일 서버 공유 드라이브
SMB 프로토콜과 NTFS를 지원함
Microsoft Active Directory integration ACLs user quotas
EC2인스턴스에 마운트될 수 있다
support microsoft distributed file system namespace(DFS) (group files across multiple FS)
scale up to 10s of GB/s , 수백만 IOPS와 수백 페타바이트의 데이터로
윈도우파일서버를위한스토리지옵션은
SSD - latency sensitive workload (databases, media processing, data 분석)
HDD - 광범위한 작업 스펙트럼(home 디렉터리 CMS)
on premise 인프라(VPN , Direct Connect)에서 윈도우 파일서버에 연결 가능
multi AZ (고 가용성)에 구성됨
s3에 데이터 백업
FSx For Lustre:
대규모 컴퓨팅에 사용될 분산 파일 시스템을 작업하는데 사용
linux와 cluster로부터 유래함
HPC(고성능 컴퓨팅,ml)에 사용됨
영상프로세싱, 금융 모델링 전자 디자인 자동화
초당 수백 기가 바이트의 데이터와 수백만 IOPS 밀리초 미만의 대기시간
Lustre 를 위한스토리지옵션은
SSD - low latency
HDD - 광범위한 작업 스펙트럼, 크고 연속적인 파일 작동
seamless integration with S3
읽기 전용
FSx에서 아마존S3로 산출결과를 쓸수 있다
FSx File system Deployment option
Scratch file system
- 임시 저장소
- 데이터 복제x
- 서버가 실패하면 잃음
- 성능 *6
Persistent File System
-장기 저장소
- 복제 in 같은 영역
- replace failed file within minute
- 장기 텀 처리, 민감 데이터
Amazon Fsx For NetApp ONTAP
NF SMB iSCSI 프로토콜과 호화가능한 파일 시스템
온탭이나 나스 를 aws에 옮기는 것
즉각적으로 복제가능
새로운 워크로드와 당신이 테스트하고싶은것에 즉각적으로 복제
Amazon Fsx For OpenZFS
managed openZF 파일시스템
v3 v4 v4.1 v4.2
ZFS를 AWS에 러닝하는 것
1000000 IOPS with < 0.5ms latency
순간적이 복제를 지원한다.
Hybrid cloud for storage
클라우드의 일부 + on premise의 일부
긴 클라우드 이동 + 보안 요구사항 + 순응 요구사항 + IT 전략
EFS / NFS와 다른 proprietary storage기술
AWS Storage gate way
AWS storage gateway
온프레미스 + 클라우드 사이 다리
1) 재해 복구
2) 백업 , 복구
3) tiered storage
4) on premises cache and low latency file access
Storage Gateway 4개
1. s3 file gateway
s3 버킷은 NFS나 SMB프로톨을 통해 접근가능함
가장 최근에 사용 데이터는 빠른 액세스위해 파일 게이트웨이에 캐시된다
IAM 역할 사용하기
SMB프로토콜을 사용할 경우, 윈도우 파일 시스템에 더 기본임 USER AUTHENTICATION을 위해
ACTIVE DIRECTORY와 통합
2. Fsx gateway
파일서버를 위한 NATIVE ACCESS TO AMAZON FSX FOR WINDOW
로컬캐시 FOR FREQUENTLY ACCESSED DATA
윈도우 NATIVE 호환성
그룹 파일 공유 , 홈 디렉토리에 유용
3 . Volume gateway
iSCSI를 사용하는 블록 저장소는 s3에 의해 백업된다
on premise 볼륨으로 저장되는 EBS 스냅샷으로 백업된다
cached volumes : 낮은 지연 to recent data
stored volumes : entire dataset is on premise , scheduled backups to S3
4. Tape gateway
