Python5 [Python] 전역 변수 import 하기 파이썬을 사용하다가 전역 변수를 사용할 일이 생겼다 그런데 분명 값이 바뀌어야 하는데 초기값이 출력되는 문제가 발생했다. 예를 들어 # a.py aa = 1 def add(): aa += 1 위처럼 a라는 모듈에 aa라는 변수를 전역으로 사용하고 싶다. aa는 값이 계속 바뀐다. # b.py from a import aa, add print(aa) # >> 1 add() print(aa) # >> 1 ??? b라는 모듈에서 aa를 import하여 출력하고 add() 함수를 사용하여 aa를 2로 만들고 싶었다. 그런데 출력하니 다시 1이 나오는 것이 아닌가? 알고보니 import의 변수는 attach 되는 모듈에 종속된다고 한다. 즉, from a import aa를 하면 aa는 b 모듈에 직접적으로 im.. 2023. 4. 4. OpenAI API 사용하기 요즘 이슈 ChatGPT요즘 ChatGPT가 매우 핫한 이슈이다. 영어 뿐만 아니라 한글도 자연스럽게 구사함은 물론이고 복잡한 말도 잘 이해하고 답을 주는 AI를 보고 전세계가 놀랐다. 그렇다면 ChatGPT는 정확히 무엇일까?ChatGPT는 OpenAI에서 만든 챗봇 서비스이다. 이 서비스는 GPT-3.5를 기반으로 하고 있다. 즉, 트랜스포머 기반의 랭귀지 모델인 GPT-3.5를 기반으로 사람들이 사용할 수 있게 서비스화 한 것이다. OpenAI는 본래 비영리 연구단체로 GPT-2까지는 모델을 공개하였지만 GPT-3 부터는 공개를 하지 않고 유료로 api를 호출하여 사용하게끔 하고 있다. (사람들 말로는 MS의 입김이라고 한다..) 특히, 초기 공동 창업자였던 테슬라의 일론 머스크는 이번에 ChatG.. 2023. 3. 14. Aparche Spark :: pyspark RDD를 이용하여 간단한 예제 풀어보기 이전 포스트에서 RDD에서 자주 사용되는 데이터 연산 함수를 정리해보았다. Spark에서 데이터를 다룰 때 3가지 메커니즘이 있는데, 바로 RDD / DataFrame / Dataset 이다. DataFrame과 Dataset은 앞으로 작성할 포스트에서 순서대로 정리해볼 것이다. 이 포스트를 참고하면 세 개념의 차이점을 자세히 알 수 있다. RDD RDD란 Resilient Distributed Dataset의 줄임말로 말그대로 fault tolerant 한 분산 데이터셋으로 여러 클러스터에 분포해 있다. RDD의 특징을 보면 다음과 같다. 2011년도에 나온 개념 분산된 element의 collection unstructed & structed data 취급 가능 Immutable 하다. (참고) sc.. 2022. 9. 12. Base64 string -> cv2 이미지 변환 base64로 인코딩된 이미지를 cv2이 읽을 수 있는 형식으로 변환해서 화면에 출력할 일이 있었다. input은 base64형식으로 인코딩된 문자열(str)이다. ex. "image/jpeg;base64,/9j/4AAQSkZJ...." 변환 파이프라인은 이렇다. base64 str -> binary data -> numpy array -> cv2 array @staticmethod def base64_to_nparr(base64str): bin_buffer = base64.b64decode(base64str.split(',')[1])# base64 string -> binary data np_arr = np.frombuffer(bin_buffer, dtype=np.uint8)# binary data -.. 2022. 9. 3. Apache Spark :: Windows에 설치하기 spark를 파이썬 환경에서 사용하려고 할 때 설치 방법을 소개한다. 파이썬은 이미 설치되어 있다고 가정한다. 또 자바도 설치해야 하는데, 자바는 8/11 만 지원한다고 하니 참고하시길 (나머지 버전을 아예 지원 안하는지는 잘 모르겠다, 나는 8이 깔려있어서 그냥 진행하기로 하였다) 1) Apache Spark 다운로드 아파치 스파크 공식 홈페이지에서 적절한 버전을 다운로드 한다. 다운로드 사이트 Downloads | Apache Spark Download Apache Spark™ Choose a Spark release: Choose a package type: Download Spark: Verify this release using the and project release KEYS by follo.. 2022. 7. 24. 이전 1 다음
