1. 강의 내용

학습 범위

  • 15. CloudFront 및 AWS 글로벌 액셀러레이터
    • CloudFront, Global Accelerator
  • 16. AWS 스토리지 추가 기능
    • Snow Family, FSx, Storage Gateway, Transfer Family, DataSync

 

 

2. 강의 정리

1) CloudFront

: AWS에서 제공하는 CDN 서비스이다.

cf. CDN(Content Delivery Network)이란?

컨텐츠 전송 네트워크로, 서비스에 사용되는 정적 파일을 전세계에 분산된 서버(Edge Location)에 캐싱하고 제공하여, 빠르고 안정적인 컨텐츠 전송을 도와줌

 

 

원본(Origin)

  • 콘텐츠의 원본 데이터가 저장된 저장소로, CloudFront가 데이터를 가져오는 출처이다.
  • 지원 원본
    • Amazon S3 : 정적 파일(이미지, CSS) 배포에 주로 사용
    • HTTP 서버 : EC2, 온프레미스 서버, ELB 등 동적 콘텐츠 제공

CloudFront - (Load Balancer) - EC2

 

 

 

캐시 무효화

  • CloudFront는 TTL(Time To Live), 캐시 만료 시간 동안 원본에서 콘텐츠를 가져오지 않게 된다.
    이 때 백엔드에서 업데이트 된 경우 강제로 캐시 무효화를 수행하여, 즉시 캐시를 업데이트 할 수 있다.
  • 전체 파일 무효화 (`*`)
  • 특정 경로만 무효화 가능 (`/images/*`)

 

 

 

2) Global Accelerator

: 애플리케이션이 글로벌 사용자를 대상으로 서비스 될 때, 사용자가 공개 인터넷을 통해 접근하면 여러 네트워크를 거쳐야 하므로 지연시간이 증가할 수 있다. 이 문제를 해결하기 위해서 AWS의 내부 글로벌 인프라를 활용하여, 사용자의 트래픽을 최적의 경로로 라우팅하여 지연 시간을 줄이고, 장애 복구를 지원하는 서비스이다.

(애플리케이션이 1개의 리전에 배포되어 있고, 글로벌 서비스로 기획을 할 때 유리함)

 

특징

  • 2개의 Anycast IP 제공
    • 가속기에 할당된 공용 IP 주소
    • 가장 가까운 AWS Edge Location으로 연결됨
  • HTTP/HTTPS, TCP, UDP 프로토콜 지원
  • AWS Shield를 통한 DDos 방어

 

 

동작 방식

  1. 사용자 요청: 사용자가 Global Accelerator의 정적 IP로 요청을 보냅니다.
  2. AWS 글로벌 네트워크: 가장 가까운 엣지 로케이션으로 요청이 전달되고, AWS 글로벌 네트워크를 통해 최적의 엔드포인트(EC2, ALB 등)로 라우팅한다.
  3. 장애 조치: 엔드포인트에 장애가 발생하면 트래픽을 자동으로 다른 정상 리전으로 이동시켜 준다.
  4. 응답: 최적화된 경로를 통해 사용자에게 빠르게 응답을 반환한다.

 

 

 

3) ClouFront 와 Global Accelerator 비교

항목
 CloudFront Global Accelerator
주요 목적 콘텐츠 캐싱 및 배포(CDN) 네트워크 성능 및 가용성 최적화
프로토콜 HTTP/HTTPS TCP, UDP (HTTP/HTTPS도 지원)
캐싱 여부 캐싱 지원 캐싱 없음, 실시간 라우팅
사용 사례 정적/동적 웹 콘텐츠, 스트리밍 게임, VoIP, IoT, 실시간 애플리케이션
IP 주소 동적 IP (도메인 기반 라우팅) 정적 IP 제공
트래픽 경로 엣지 로케이션에서 캐싱 후 전달 엣지 로케이션에서 AWS 내부 글로벌 네트워크로 최적 경로 라우팅
DDOS 보호 AWS Shield 와 통합

→ CloudFront로 정적 콘텐츠를 캐싱하고, Global Accelerator로 동적 요청(API 호출)을 최적화 하는 방식으로 사용할 수 있다.

 

 

 

4) Snow Family

: 대량의 데이터를 물리적으로 전송하고, 엣지 컴퓨팅을 수행할 수 있도록 설계된 AWS 서비스이다.

인터넷을 통한 데이터 전송이 어려운 환경이나 네트워크 대역폭이 제한적인 경우, 데이터를 물리적으로 이동하는데 사용된다.

 

 

디바이스 종류

  • AWS Snowcone
    • Snow Family에서 가장 작고 가벼운 디바이스
    • HDD 8TB, SDD 14TB 스토리지 제공
    • TB 단위의 데이터 전송 가능
    • 주요 기능
      • 엣지 컴퓨팅: AWS 클라우드까지 데이터를 전송하지 않고, 인터넷 연결 없이 현장(Edge)에서 실시간으로 데이터를 분석할 수 있음
        • ex. 군사 드론이 수집한 데이터를 실시간 위험을 분석하고 필수 데이터만 클라우드 전송
      • 데이터 전송: AWS DataSync를 통해 네트워크가 연결되어 있는 상태에서 저장된 데이터를 전송하거나, 디바이스를 실제로 이동해 대용량 데이터를 AWS 클라우드로 옮길 수 있음
        • ex. 소규모 데이터 마이그레이션

 

  • AWS Snowball, SnowMobile
    • 중/대규모의 데이터 전송을 위해 설계된 디바이스
    • PB 단위의 데이터 전송 가능

 

 

사용과정

  1. AWS 콘솔에서 Snowball 장치를 요청하고 배송
  2. 서버에 Snowball 클라이언트 또는 AWS OpsHub를 설치
  3. Snowball을 서버에 연결하고 클라이언트를 통해 데이터를 복사
  4. 작업이 완료되면 Snowball 장치를 AWS 시설로 반송
  5. AWS에서 데이터를 지정된 S3 버킷 등 클라우드 스토리지에 업로드
    (Snowball에서 Glacier로 바로 업로드 될 수 없으며, S3 Life Cycle 정책을 사용해서 전송해야 한다.)

 

 

 

5) Amazon FSx

: AWS에서 제공하는 완전 관리형 파일 스토리지 서비스이다.
간단하게 AWS에 MySQL을 실행하는 것과 같은 개념이다. RDS가 FSx로 바뀌었고, 파일 시스템을 실행한다는 점만 다른점이다.

 

cf. 완전 관리형 서비스란?

: 클라우드 제공업체가 인프라 관리, 운영, 유지보수를 모두 책임지는 서비스이다.

사용자가 직접 파일 서버를 구축하는 경우를 생각해보면, 서버 구매, OS 설치, 파일 시스템과 관련한 설정, HW 프로비저닝, 백업, 보안 등 많은 것을 고려해야 한다. FSx는 파일 시스템과 운영과 관련된 모든 것을 미리 준비하고 유지보수를 지원하는, 완전 관리형 파일 스토리지 서비스이다.

 
Amazon FSx는 네 가지 파일 시스템 유형을 지원하며, 각 유형은 특정 워크로드와 요구사항에 최적화 되어 있다.
 
1. FSx for Windows File Server
  • Windows 기반 애플리케이션을 위해 설계된 완전 관리형 파일 스토리지로, Microsoft Windows Server를 기반으로 한다.
  • 지원 프로토콜
    • SMB
  • Linux EC2 인스턴스에 실행 가능
  • 네트워크 및 백업
    • 온프레미스에서도 접근 가능 (VPN 또는 Direct Connect)
    • Multi-AZ 지원
    • S3 자동 백업

 

2. FSx for Lustre

  • 고성능 컴퓨팅(HPC) 워크로드를 위해 최적화된 파일 스토리지로, 오픈소스 Lustre(Linux + Cluster)를 기반으로 한다.
  • 지원 프로토콜
    • POSIX
  • S3와 완벽한 통합
    • S3 버킷의 데이터를 파일로 표시하고 처리 결과를 S3에 저장 가능함
  • 배포 옵션 (?)
    • Scratch 파일 시스템 : 단기 스토리지 / 복제 지원 x / 저비용
    • Persistent 파일 시스템 : 장기 스토리지 / 복제 지원
  • 네트워크 및 백업
    • 온프레미스에서도 접근 가능 (VPN 또는 Direct Connect)
    • Multi-AZ 지원

배포 옵션 (Scratch / Persistent)



 

3. FSx for NetApp ONTAP

  • NetApp ONTAP 사용자를 위한 다양한 워크로드(파일 공유, DB, 애플리케이션 스토리지)를 지원하는 범용 파일 스토리지이다.
  • 지원 프로토콜
    • NFS, SMB, iSCSI (유연성↑)
  • 스토리지 효율성
    • 스토리지 자동 확장 및 축소 가능
    • 스냅샷, 데이터 복제, 압축, 중복 제거 지원
    • 저비용 스토리지 최적화

 

4. FSx for OpenZFS

  • OpenZFS 사용자를 위한데이터 무결성과 관리 기능을 강점으로 한 고성능 파일 스토리지이다.
  • 지원 프로토콜
    • NFS
  • 스토리지 효율성
    • 스냅샷, 데이터 복제, 압축, 중복 제거 지원
    • 저비용 운영 가능

 

 

유형 주요 목적 프로토콜 주요 사용 사례 스토리지 특징
Windows File Server Windows 환경을 위한 SMB 파일 공유 SMB
NTFS		 Windows 애플리케이션, AD 통합 파일 공유 SSD, HDD 중복 제거, 자동 확장
Lustre HPC, 머신러닝, 대량 데이터 처리 최적화 POSIX HPC, 머신 러닝, 데이터 분석, 미디어 렌더링 SSD, HDD 고성능, S3 통합, 자동 확장
NetApp ONTAP 엔터프라이즈 파일 스토리지 NFS
SMB
iSCSI		 하이브리드 워크로드, 기업 데이터센터, DR(재해 복구) SSD 스냅샷, 데이터 복제,
중복 제거, 자동 확장
OpenZFS 데이터 무결성이 중요한 고성능 스토리지 NFS HPC, 머신 러닝, 데이터 분석 SSD 고성능, 데이터 복제,
중복 제거

think. 파일 시스템 어렵다.. 프로토콜에 대한 이해와, 워크로드에 따른 스토리지 효율성도 고려할 필요가 있을 것 같다.

간단히 생각하면 1)OS, 2)프로토콜, 3)스토리지 효율성만 고려하여 선택할 수 있을 듯하다.

 

 

 

6) Storage Gateway

: 기업의 온프레미스 환경과 AWS 클라우드 스토리지 간의 연결을 제공하는 Hybrid Cloud Storage 서비스이다.

주로 데이터 백업, 아카이빙, 재해복구, 온프래미스 캐시 등의 목적으로 사용할 수 있다.

 

cf. Hybrid Cloud란?

일부 인프라를 클라우드에, 일부 인프라는 온프레미스에 유지하는 방식

 

Storage Gateway는 온프레미스에서 실행되어, 가상 스토리지로 로컬과 클라우드를 연결한다.

 

1. Amazon S3 File Gateway

  • 파일 기반 스토리지를 제공하며, NFS / SMB 프로토콜을 통해 S3 파일 액세스 가능
  • 데이터를 S3에 저장
    • S3는 Network FIle System과 달리 객체 스토리지 기술을 사용해, HTTP 기반으로 액세스 됨
    • SMB 프로토콜은 Active Directory(AD)와 통합되어 사용자 인증 지원
  • 자주 액세스하는 데이터를 위한 로컬 캐시 제공
  • 라이프사이클 정책을 사용해 S3 Glacier로 데이터 이전 가능

 

2. Amazon FSx File Gateway (FSx for Windows File Server)

  • 파일 기반 스토리지를 제공하며, SMB 프로토콜을 통해 FSx 파일에 대한 액세스 제공
  • 데이터를 FSx에 저장

 

3. Volume Gateway

  • 블록 스토리지를 제공하며, iSCSI 프로토콜을 통해 온프레미스 애플리케이션이 볼륨에 액세스 제공
  • 데이터를 S3에 저장하며 필요 시 EBS 스냅샷으로 볼륨 복구
  • 운영 모드
    • Cached Volumes
      • 자주 액세스하는 데이터만 온프레미스의 Store Gateway에 캐싱하고, 모든 데이터 S3에 저장된다.
      • 볼륨의 데이터는 S3에 저장되고, 온프레미스는 캐시로만 사용된다.
    • Stored Volumes
      • 모든 데이터가 온프레미스의 Storage Gateway에 영구적으로 저장되고, 데이터의 복사본이 정기적으로 S3에 백업된다.
      • S3는 백업 저장소로만 활용된다.
 

 

4. Tape Gateway

  • 기존 테이프 백업 시스템을 클라우드로 전환
  • 데이터를 S3에 저장

 

AWS Storage Gateway 동작 흐름

 

 

 

7) Transfer Family

: FTP, FTPS, SFTP 프로토콜을 사용하여 S3 또는 EFS로 파일을 송수신할 수 있는 완전 관리형 서비스이다.

 

  • 지원 프로토콜
    • FTP (File Transfer Protocol)
    • FTPS (FTP over SSL)
    • SFTP (Secure FTP)
  • 완전 관리형 서비스
    • AWS가 모든 서버 운영 및 유지보수 담당
    • 트래픽 증가 시 자동 확장
    • Multi-AZ 지원으로 가용성 보장
  • 사용자 인증 및 통합
    • 내장된 사용자 관리 기능 제공
    • 기존 인증 시스템과 통합 가능
      • Microsoft Active Directory / LDAP / Okata / Amazon Cognito

AWS Transfer 동작 흐름

 

 

 

8) DataSync

: 대량의 데이터를 AWS 스토리지로 이동하거나 AWS 스토리지 내에서 복제하는 완전 관리형 서비스

 

  • 지원 대상 스토리지
    • S3, EFS, FSx
  • 데이터 이동
    • 온프레미스 → AWS
      • DataSync 에이전트 필요 (온프레미스에 설치)
      • NFS, SMB, HDFS, S3 API 기반 데이터 이동
      • 네트워크 환경에 제약이 있을 경우, DataSync가 설치되어 있는 Snowcone을 이용한 데이터 이동이 가능하다.
    • AWS ↔ AWS (다른 스토리지 서비스 간 이동)
      • 에이전트 불필요
      • ex. S3 → EFS, FSx → S3
  • 데이터 동기화 & 스케줄링
    • 시간 / 일 / 주 단위의 동기화 작업 예약 가능
    • 파일 권한, 소유권, 타임스탬프와 같은 메타데이터 보존

AWS DataSync 동작 흐름

저작자표시

'DevOps > AWS' 카테고리의 다른 글

AWS SAA 5주차  (0) 2025.03.24
AWS SAA 4주차 (2)  (0) 2025.03.15
AWS SAA 3주차  (0) 2025.03.08
AWS SAA 2주차  (0) 2025.03.01
AWS SAA 1주차  (0) 2025.02.22

티스토리툴바