개발 관련 이야기40 AWS Kinesis Family 비교 Kinesis Video Stream Kinesis Data Stream Kinesis Data Firehose Kinesis Data Analytics 라이브 비디오 스트리밍/저장 device -> AWS 클라우드 스트리밍 데이터 수집 스트리밍 데이터 분석/전송 스트리밍 데이터 SQL 질의 / 변환 / 분석 Destination: Kinesis Data Analytics Spark on EMR EC2 Lambda Destination: S3 Redshift Elasticsearch Service Splunk HTTP 엔드포인트 2022. 9. 1. AWS SAA-C02 시험용 간단 정리 TCP + milliseconds => NLB Concurrency => EFS, S3 DB/App server SMB/NFS => File Gateway SMB => File Gateway or FSx Common query/reads => caching Request/Response message pattern => temporary queue client SQS Static front end => S3 Decouple => SQS static dynamic caching / video streaming => CloudFront highly accessible storage => S3 Gateway endpoints + S3 => Free of Charge, reduce load off of DB f.. 2022. 8. 31. Aparche Spark :: pyspark RDD로 파일 열기 및 기본 데이터 처리 Boilerplate Code Snippet 파이썬에서 스파크 RDD를 사용할 때 항상 사용하게 되는 bolierplate code는 다음과 같다. from pyspark import SparkConf, SparkContext conf = SparkConf().setMaster("local").setAppName("AppName")# (1) sc = SparkContext(conf = conf)# (2) lines = sc.textFile("file:///Dataset/my_data.csv")# (3) parsed = lines.map(lambda x: x.split(",")[2]) # (4) (1) 스파크 환경설정을 하는 부분이다. setMaster는 connect할 master URL을 지정하는 메소.. 2022. 8. 30. vpn & transit gateway & direct connect 가격 site-to-site VPN < TG < DC 쌈 비쌈 2022. 8. 30. 내가 보려고 만든 Snowball Edge / Snowmobile 정리 Offline으로 대량의 on-premise 데이터를 AWS Cloud로 옮기기 위한 device Snowball Edge PB scale의 데이터를 전송할 때 유용 원래 Snowball이라는 서비스도 있었는데 현재는 Snowball Edge storage optimized device로 대체되었다. 50/80/100TB Device options Storage optimized for data transfer Storage optimized with EC2 compute Compute optimized Compute optimized with GPU local processing 이나 edge-computing 가능 S3로 export/import 가능 snowball edge에서 S3로 데이터 전송하.. 2022. 8. 29. 내가 보려고 만든 AWS S3 정리 Serverless Object-based storage (객체 기반 저장소) 폴더 역할을 하는 bucket 내부에 파일을 저장 bucket name은 도메인으로 쓰이기 때문에 세계에서 유일해야 함 계층구조 없이 파일을 저장하지만 prefix를 이용해 구조화 가능 최소 3개 AZ에 replication 무제한 사용량 제공 데이터는 object로 저장됨 key value version ID metadata single file 당 0Byte ~ 5TB까지 업로드 가능 Storage class S3 standard - millisecond access time, frequent access data Intelligent Tiering - 3-tier(frequent / infrequent / archive).. 2022. 8. 28. 이전 1 2 3 4 5 6 7 다음