Data Tech/DataEngineer(데이터엔지니어)

[AWS] Amazon Web Service 카테고리

SuperDev 2024. 8. 8. 11:26

AWS(Amazon Web Service)는 컴퓨팅, 스토리지, 데이터베이스와 같은 인프라 기술부터 기계 학습 및 인공 지능, 데이터 레이크 및 분석, 사물 인터넷 등의 새로운 기술까지 다양한 클라우드 서비스를 제공하는 플랫폼 입니다.

 

기업과 개발자들이 필요한 컴퓨팅 리소스와 스토리지를 신속하고 효율적으로 구축할 있게 하고, 관리에 대한 부담도 덜어줍니다. 이는 비즈니스 개발 환경에만 집중할 수 있도록 하는 장점을 가지고 있습니다.

다만, 크라우드 스트라이크 보안 이슈처럼 클라우드 환경에서 이슈가 발생하면 거기에 종속되어 있는 모든 서비스가 타격을 받게 됩니다. 그러므로 예민한 기업의 경우, On-Premise로 운영하는 기업도 있습니다.

 

그렇다면 AWS는 구체적으로 어떤 서비스들을 제공하고 있을까요?

 

 

1. 컴퓨팅

더보기

EC2 (Elastic Compute Cloud)

가상의 서버를 제공받아 사용자가 필요에 따라 원하는 CPU 성능, 메모리, 용량을 조정할 수 있는 서비스 입니다. Jupyter Notebook을 설치하고 활용하는 등, 가상의 컴퓨터를 제공받는 서비스라고 이해하시면 되겠습니다.

 

Lambda

서버를 관리할 필요 없이 코드를 실행할 수 있는 서버리스 컴퓨팅 서비스 입니다. (서버가 없는 것이 아니라, 관리할 필요가 없어서 서버리스라는 의미 입니다.)다만, 최대 15분 동안만 실행할 수 있고, 메모리, 디스크 공간 등의 리소스가 제한적이라서 대규모 데이터 처리에는 적합하지 않습니다.

 

EC2는 높은 유연성과 사용자 제어권을 제공하고 있어서, 복잡하고 예민한 실행 작업에 유리합니다. 다만 관리 부담이 적고 짧은 실행 시간과 메모리가 필요할 경우에는 Lambda가 더 적합합니다.

 

 

2. 스토리지

더보기

S3 (Simple Storage Service)

확장이 가능한 객체(Object) 스토리지 서비스로, 데이터를 안전하게 저장하고 접근할 수 있습니다. Google Drive, OneDrive 같은 서비스와 유사하다고 볼 수 있겠네요. 데이터 저장을 EC2나 EBS를 사용하여 하는 것도 가능하지만, S3는 데이터 저장 비용이 EC2에 비해 저렴하고, 데이터 관리에 필요한 인프라 구축 비용도 줄일 수 있습니다.

 

EBS (Elastic Block Store)

EC2 인스턴스가 연산에 관한 처리를 한다면, EBS는 EC2 인스턴스를 위한 고성능 블록 스토리지로, 가상의 HDD 또는 SSD와 유사하게 작동됩니다. EBS 볼륨은 EC2 인스턴스와 별개로 존재하여, 인스턴스를 종료해도 데이터가 유지되므로 컴퓨팅 비용을 절감하고 안전하게 보존할 수 있습니다.

 

 

3. 데이터베이스

더보기

RDS (Relational Database Service)   좀 더 저렴하면 잘 사용할텐데...ㅋ

관계형 데이터베이스를 제공하는 서비스로 MySQL, PostSQL, Oracle 등 다양한 데이터베이스 엔진을 지원하고 있습니다.  백업, 패치, 모니터링 등의 관리 작업을 자동으로 처리해주기 때문에 사용자들이 데이터베이스 운영에 집중할 수 있도록 도와줍니다.

 

DynamoDB (DynamoDB)

대규모 연산을 빠르게 처리하고 비교적 스토리지 비용이 저렴한 NoSQL 데이터베이스를 제공하는 서비스 입니다. 특징으로는 HTTP 통신을 하며, 높은 트래픽을 처리해야 하는 서비스에 적합합니다.

 

 

4. 네트워크

더보기

VPC (Virtiual Private Cloud)

AWS 클라우드 내에서 논리적으로 격리된 네트워크를 설정할 수 있는 서비스 입니다. VPC는 다른 사용자의 VPC와 격리되어 있어 보안과 프라이버시에 강하고, 사용자는 자신만의 IP 주소 범위, 서브넷, 라우팅 테이블 등을 설정할 수 있습니다.

 

Route 53

도메인 이름을 관리하고 트래픽을 분산하는 DNS 웹 서비스입니다.

 

 

5. 컨테이너 

더보기

ECS (Elastic Container Service)

Docker 컨테이너를 손쉽게 실행하고 관리할 수 있는 서비스로 개발자가 애플리케이션의 배포와 운영에 집중할 수 있도록 도와줍니다.

 

EKS (Elastic Kubernetes Service)

Kubernetes 클러스터를 쉽게 설정하고 운영할 수 있는 관리형 Kubernetes 서비스입니다.

Kubernetes(쿠버네티스)는 오픈소스 컨테이너 오케스트레이션 플랫폼으로, 컨테이너화된 애플리케이션의 배포, 관리, 확장 및 운영을 자동화하는 데 도움을 줍니다.

 

 

6. 분석 및 빅데이터 

더보기

EMR (Elastic Map Reduce)

EMR은 대규모 데이터 처리 작업을 수행하기 위한 클라우드 기반 플랫폼으로, Apache Hadoop, Apache Spark, Apache HBase, Apache Flink 등 다양한 오픈소스 프레임워크를 지원합니다.

 

Redshift

Redshift는 AWS에서 제공하는 완전 관리형 데이터 웨어하우스 서비스로, 대량의 데이터를 저장하고 빠르게 쿼리할 수 있도록 설계되었습니다. 대규모 데이터셋에 고속 쿼리가 가능하고, SQL 쿼리를 지원합니다.

 Amazon S3, Amazon DynamoDB 등 다양한 데이터 소스에서 데이터를 쉽게 로드할 수 있습니다.

 

 

7. 인공지능 및 머신러닝

더보기

SageMaker

SageMaker는 AWS에서 제공하는 완전 관리형 기계 학습(ML) 서비스로, 데이터 과학자와 개발자가 기계 학습 모델을 빠르고 쉽게 구축, 학습 및 배포할 수 있도록 지원합니다. SageMaker는 기계 학습 파이프라인의 모든 단계를 포함하며, 사용자가 모델을 쉽게 만들고 운영할 수 있도록 다양한 도구와 기능을 제공합니다.

즉, 통합 개발 환경(IDE)으로, 데이터 과학자들이 모델 개발, 훈련, 배포를 한 곳에서 관리할 수 있도록 도와줍니다.

 

Rekognition

AWS에서 제공하는 이미지 및 비디오 분석 서비스로, 기계 학습을 기반으로 한 다양한 기능을 통해 이미지와 비디오에서 객체, 사람, 텍스트, 활동 등을 인식하고 분석할 수 있습니다. 이 서비스는 개발자가 복잡한 알고리즘을 구현할 필요 없이, API를 통해 쉽게 이미지 및 비디오 분석 기능을 애플리케이션에 통합할 수 있도록 지원합니다.

(AWS에 이런 비정형 데이터 분석 서비스도 있었군요.....)

 

 

8. 보안 및 자격 증명

더보기

IAM (Identity and Access Management)  아.....보안.....ㅎ

IAM은 AWS 클라우드 서비스에 대한 사용자 및 권한 관리를 제공하는 서비스입니다. IAM을 사용하면 AWS 리소스에 대한 접근을 안전하게 제어하고, 사용자별로 신원과 권한을 관리할 수 있습니다.

 

KMS (Key Management Service)

암호화 키를 관리하고 데이터를 보호할 수 있는 서비스입니다.

 

 

9. 개발자 도구

더보기

CodeBuild

완전 관리형 빌드 서비스로, 소프트웨어를 컴파일하고 테스트할 수 있습니다.

 

CodeDeploy

애플리케이션을 EC2 인스턴스나 Lambda 함수에 자동으로 배포할 수 있는 서비스입니다.

 

 

10. 사물 인터넷 (이건 정말 써본적이 없어서 자세한 내용은 잘 모르겠네요..)

더보기

IoT Core

사물 인터넷(IoT) 기기를 클라우드에 연결하고 데이터를 수집, 처리할 수 있는 서비스입니다.

 

Greengrass

IoT 디바이스가 로컬에서 AWS 서비스를 실행할 수 있게 해주는 서비스입니다.

 

AWS를 포함한 다양한 클라우드 서비스는 기업과 개발자를 위한 여러 가지 솔루션을 제공하고 있습니다.

하드웨어의 발전과 개발자들의 창의적인 노력 덕분에 IT 개발에 대한 진입장벽이 점점 낮아지고,  IT 산업은 빠르게 성장하고 있습니다.

AWS 외에도 다양한 서비스들이 쏟아져 나오는 격동의 IT 시대를 살고 있다는 느낌도 들지만, 반대로 이 서비스들을 이용해 내가 하고있는 것들을 더 빨리 이룰 수 있다는 의미이기도 합니다. 항상 배우고 성장하겠다는 마음가짐으로 하나씩 돌파해봅시다!

 

감사합니다.

728x90