개발자5 [파이썬을 이용한 웹크롤링] Twitter 트위터 데이터 크롤링 (TwitterScraper) 트위터에서는 플랫폼을 적극적으로 활용할 수 있도록 관련 API 를 제공하는데, Twitter API (*API 란? https://medium.com/@dydrlaks/api-%EB%9E%80-c0fd6222d34c) 를 이용하면 원하는 정보에 거의 다 접근할 수 있기 때문에 흔히 쓰인다. 하지만 트위터 서버의 과부하를 방지하기 위해 이용 규모에 엄격한 제한이 있어 1주일 이상 지난 트윗을 크롤링할 수 없으며 15 분에 000 트윗 이상 크롤링할 수 없다. 때문에 많은 트윗을 모아와야 하는 프로젝트에는 적합하지 않다. 따라서, 우리는 이와 비슷한 고민을 먼저 한 개발자가 오픈 소스 (*오픈 소스: 소프트웨어 혹은 하드웨어 제작자의 권리를 지키면서 원시 코드를 누구나 열람할 수 있도록 한 소프트웨어)로 개.. 2020. 7. 20. (Windows10) ArcPy 를 Jupyter Notebook 과 연결하기 https://gisday.wordpress.com/2016/07/18/setting-up-anaconda-pysal-with-arcgis-python-environment/ Setting up Anaconda, PySAL with ArcGIS Python environment This tutorial shows you how to set up conda environment to work with ArcGIS 10.4 and ArcGIS Pro 1.3. You can download a pdf copy of the tutorial with screenshots Download the 32-bit version of Anac… gisday.wordpress.com 오늘은 ArcGIS 에서 파이썬을 사용하.. 2020. 7. 9. 내 Conda Environment를 Jupyter Notebook 에서 사용하기 지난 게시글에서 conda environment 를 생성하고 그 안에서 geopandas 모듈을 설치해보았다. 그러나 막상 jupyter notebook 에서 이를 사용하려고 하니 그런 모듈이 없다는 에러가 뜬다. --------------------------------------------------------------------------- ModuleNotFoundError Traceback (most recent call last) in ----> 1 import geopandas as gpd ModuleNotFoundError: No module named 'geopandas' 이와 같은 에러가 발생하는 원인은 conda environment (이전 게시글에서 생성한 환경) 의 경로가 Jup.. 2020. 7. 7. Windows 10 - Anaconda, Geopandas 8.0 설치 중 HTTP 000 connection 문제, Failed with initial frozen solve 문제 1. HTTP 000 connection failed error 에러 예시 (base) C:\Users>conda update conda Collecting package metadata (current_repodata.json): failed CondaHTTPError: HTTP 000 CONNECTION FAILED for url Elapsed: - An HTTP error occurred when trying to retrieve this URL. HTTP errors are often intermittent, and a simple retry will get you on your way. If your current network has https://www.anaconda.com blocked,.. 2020. 7. 7. [Python] UnicodeDecodeError: 'cp949' codec can't decode byte 0x80 in position 2923: illegal multibyte sequence 아래와 같은 오류가 날 때가 있다. Encoding 문제로 화가 나서 정리해둔다. UnicodeDecodeError: 'cp949' codec can't decode byte 0x80 in position 2923: illegal multibyte sequence 우선 오류가 났던 코드 틀은 아래와 같이 간단하다. csv 파일을 읽기 시작하면서 바로 에러가 난 경우도 있고, 잘 읽다가 중간에 에러가 나기도 했다. 구글링해서 찾은 방법으로는 'r' 를 'rt' 로 바꾸어 텍스트로만 읽게 하거나, encoding = 'utf-8' 혹은 encoding = 'utf-16' 파라미터를 추가하는 것이 있었으나.. 나에게는 먹히지 않았음.. import csv ... # 기존 코드 inputFile = open('.. 2020. 3. 5. 이전 1 다음
