spark mapvalues1 Aparche Spark :: pyspark RDD로 파일 열기 및 기본 데이터 처리 Boilerplate Code Snippet 파이썬에서 스파크 RDD를 사용할 때 항상 사용하게 되는 bolierplate code는 다음과 같다. from pyspark import SparkConf, SparkContext conf = SparkConf().setMaster("local").setAppName("AppName")# (1) sc = SparkContext(conf = conf)# (2) lines = sc.textFile("file:///Dataset/my_data.csv")# (3) parsed = lines.map(lambda x: x.split(",")[2]) # (4) (1) 스파크 환경설정을 하는 부분이다. setMaster는 connect할 master URL을 지정하는 메소.. 2022. 8. 30. 이전 1 다음