본문 바로가기

아마존 클라우드9

AWS Athena vs. EMR vs. Redshift 비교 Athena S3에 저장되어 있는 unstructured, semi-structured, structure 데이터를 분석 CSV, JSON, columnar data formats (e.g. Apache Parquet, Apache ORC) QuickSight와 통합하여 visualization에 사용됨. Glue data catalog와 통합하여 테이블 생성/ 쿼리 실행 등을 수행 ad-hoc SQL 수행에 최적 serverless EMR 분산 데이터 처리에 특화되어 단순/저렴한 서비스 제공 굉장히 flexible하다. (custom app/code 실행, specific compute, memory, storage 등을 설정) machine learning, graph analytics, data t.. 2022. 9. 4.
AWS ElastiCache Memcached vs. Redis Memcached Redis • Multi-node for partitioning of data (sharding) • No high availability (replication) • Non persistent • No backup and restore • Multi-threaded architecture • Multi AZ with Auto-Failover • Read Replicas to scale reads and have high availability • Data Durability using AOF persistence • Backup and restore features 2022. 9. 2.
AWS Kinesis Family 비교 Kinesis Video Stream Kinesis Data Stream Kinesis Data Firehose Kinesis Data Analytics 라이브 비디오 스트리밍/저장 device -> AWS 클라우드 스트리밍 데이터 수집 스트리밍 데이터 분석/전송 스트리밍 데이터 SQL 질의 / 변환 / 분석 Destination: Kinesis Data Analytics Spark on EMR EC2 Lambda Destination: S3 Redshift Elasticsearch Service Splunk HTTP 엔드포인트 2022. 9. 1.
AWS SAA-C02 시험용 간단 정리 TCP + milliseconds => NLB Concurrency => EFS, S3 DB/App server SMB/NFS => File Gateway SMB => File Gateway or FSx Common query/reads => caching Request/Response message pattern => temporary queue client SQS Static front end => S3 Decouple => SQS static dynamic caching / video streaming => CloudFront highly accessible storage => S3 Gateway endpoints + S3 => Free of Charge, reduce load off of DB f.. 2022. 8. 31.
vpn & transit gateway & direct connect 가격 site-to-site VPN < TG < DC 쌈 비쌈 2022. 8. 30.
내가 보려고 만든 Snowball Edge / Snowmobile 정리 Offline으로 대량의 on-premise 데이터를 AWS Cloud로 옮기기 위한 device Snowball Edge PB scale의 데이터를 전송할 때 유용 원래 Snowball이라는 서비스도 있었는데 현재는 Snowball Edge storage optimized device로 대체되었다. 50/80/100TB Device options Storage optimized for data transfer Storage optimized with EC2 compute Compute optimized Compute optimized with GPU local processing 이나 edge-computing 가능 S3로 export/import 가능 snowball edge에서 S3로 데이터 전송하.. 2022. 8. 29.

티스토리툴바