본문 바로가기

Data Tech/DataEngineer(데이터엔지니어)5

[NoSQL] MongoDB 1. MongoDB 개요종류 : NoSQL 데이터베이스데이터 저장 방식 : 문서 지향 (Document-Oriented)형식 : JSON과 유사한 BSON(Binary JSON) 포맷스키마(Schema) : RDBMS와 다르게 컬렉션 내 문서마다 구조가 달라도 무관항목설명스키마 유연성스키마 미리 정의 없이 다양한 필드와 구조 사용 가능수평적 확장성Sharding 기능으로 여러 서버에 데이터 분산 가능고성능빠른 읽기/쓰기 성능, 인덱싱 지원문서 기반 저장JSON처럼 키-값 쌍의 문서로 데이터 저장복제와 내결함성Replice Set으로 장애 복구 가능 2. MongoDB 핵심 구성 요소용어설명Database여러 개의 컬렉션을 포함하는 상위 단위CollectionSQL의 테이블과 유사하며, 문서(Documen.. 2025. 5. 2.
데이터베이스 설계란? 1. 데이터 중복을 없애라!데이터베이스 설계 시, 반드시 기억해야 할 것은 중복 데이터를 없애는 것 입니다. 중복되는 데이터가 많아지면 데이터 무결성이 지키기 어렵고, 데이터와 관련된 이상현상 문제가 발생할 수 있습니다. 이상현상은 저장된 데이터들 중에서 모순되는 상황이 생긴 현상을 보고 이상현상(Anomaly)이라고 얘기합니다. 이러한 데이터 중복 문제를 해결하기 위해 만들어낸 DB 설계 방법이 정규화(Normalization) 입니다. 정규형에는 1NF, 2NF, 3NF, BCNF, 4NF, 5NF 등이 있으며, 주로 1NF, 2NF, 3NF 까지 DB설계에 사용되고 있습니다.즉, RDBMS에서 데이터 모델링을 할 때는 정규화를 통해 데이터 중복을 최소화할 수 있게 설계해야 합니다. 그래야 삽입이상,.. 2024. 12. 20.
[NoSQL] Redis와 Caching https://redis.io/docs/latest/get-started/Redis는 데이터 처리 속도가 빠른 NoSQL 데이터베이스이다.인메모리(in-memory)에 모든 데이터를 저장하므로 데이터의 처리 성능이 굉장히 빠르다.(대용량 트래픽 서비스를 처리할때도 사용할 수 있을듯.....)  Redis의 사용사례캐싱(Caching, 데이터 조회 성능 향상)세션 관리(Session Management),실시간 분석 및 통계 (Realtime Analysis),메세지 큐(Message Queue),지리공간 인덱싱(Geospatial Indexing)속도 제한(Rate Limiting)실시간 채팅 및 메세징(Real-time Chat And Messaging)  Redis 설치하기https://github... 2024. 12. 7.
데이터 인프라 (Data Infrastructure) 데이터 인프라 구축의 목적은 분석을 통해 최종적으로 비즈니스의 의사결정에 도움을 주는 것, 데이터를 통해 서비스/제품의 성능을 향상시키고자 하는 목적 등이 있습니다. 데이터 수집부터 서비스에 활용하기까지 다양한 데이터 관련 서비스와 오픈소스 플랫폼들이 있는데, 어떤 기술들이 적용되는지 알아봅시다.https://a16z.com/emerging-architectures-for-modern-data-infrastructure-2020/ 먼저 데이터를 서비스에 활용하기 전에 데이터를 수집하고 저장해야 합니다. 그런데 데이터 소스가 DBMS나 CRM, ERP와 같이 다양하기 때문에 여러 블럭들로 나누어져 있습니다. 떄문에 서비스를 제공하기 위해 이 데이터 블럭들을 통합된 환경에서 관리하는 것이 필요해졌습니다. 그.. 2024. 8. 19.
[AWS] Amazon Web Service 카테고리 AWS(Amazon Web Service)는 컴퓨팅, 스토리지, 데이터베이스와 같은 인프라 기술부터 기계 학습 및 인공 지능, 데이터 레이크 및 분석, 사물 인터넷 등의 새로운 기술까지 다양한 클라우드 서비스를 제공하는 플랫폼 입니다. 기업과 개발자들이 필요한 컴퓨팅 리소스와 스토리지를 신속하고 효율적으로 구축할 있게 하고, 관리에 대한 부담도 덜어줍니다. 이는 비즈니스 개발 환경에만 집중할 수 있도록 하는 장점을 가지고 있습니다.다만, 크라우드 스트라이크 보안 이슈처럼 클라우드 환경에서 이슈가 발생하면 거기에 종속되어 있는 모든 서비스가 타격을 받게 됩니다. 그러므로 예민한 기업의 경우, On-Premise로 운영하는 기업도 있습니다. 그렇다면 AWS는 구체적으로 어떤 서비스들을 제공하고 있을까요?  .. 2024. 8. 8.
728x90

티스토리툴바