Python
-
[Newspaper] 파이썬으로 뉴스 데이터를 크롤링을 할 수 있는 Newspaper 패키지Python/크롤링 2023. 3. 27. 09:42
파이썬으로 뉴스 데이터를 크롤링을 할 수 있는 Newspaper 패키지 파이썬(Python)으로 웹 크롤링(Web Crawling)을 하기 위해서 대부분 셀레니움(Selenium)이나 뷰티풀수프(BeautifulSoup)이라는 패키지를 사용하는 편입니다. 셀레니움은 흔히 말하는 동적 크롤링(상호작용을 하는 웹페이지를 크롤링할 때 효과적)이며, 뷰티풀수프는 정적 크롤링(HTML 코드를 파싱해서 크롤링하는 방식)의 대표적인 패키지죠. 하지만, 특정한 양식을 가지고 있는 웹사이트의 경우에는 조금 더 짧은 코드로 편하게 크롤링을 할 수 있게끔 패키지가 마련되어 있습니다. 어차피 있는 패키지는 활용하지 않으면 손해죠. 그래서, 이번에 살펴볼 패키지는 파이썬을 이용해서 뉴스와 같은 형식의 데이터를 크롤링할 수 있는..
-
[Selenium] 파이썬 셀레니움을 이용한 네이버 지도 크롤링 프로그램 만들기Python/크롤링 2023. 3. 23. 09:15
파이썬 셀레니움을 이용한 네이버 지도 크롤링 프로그램 만들기 우리나라 업체 정보는 대부분 네이버 지도에 등록되어 있습니다. 그래서, 이런 정보를 이용하기 위해 다양한 시도가 이루어지고 있지요. 대표적인 것으로는 각종 업체에서 분야별 업체 리스트를 확보하기 위해 크롤링을 이용하며, 사소하게는 개인이 우리 동네 맛집 리스트를 가지고 싶어서 크롤링하는 경우도 있습니다. 이러한 사례를 들어보면 아시겠지만, 크롤링이라는건 제법 간단한 편입니다. 만약 파이썬으로 웹 크롤링을 한다면, 셀레니움(selenium) 이라는 패키지를 이용할 수 있으며, 이번에는 파이썬 셀레니움과 구글 크롬을 이용해서 웹 크롤링을 하는 예시를 소개해 드리겠습니다. 이번에 크롤링을 하는 시나리오는, '네이버 지도에 등재된 서울특별시 강남구에 ..
-
[Python] 파이썬 변수 알아보기Python/파이썬 기초 2022. 8. 5. 23:38
파이썬의 변수를 알아보자 우선 이 글을 시작하기 전에 변수라는 단어를 알아봅시다. 그렇다고 해서 사전적인 의미를 외울 필요는 없고요, 변수란 어떤 값을 저장할 수 있는 공간이라고 개념적으로만 이해해 두시면 되겠습니다. 다른 프로그래밍 언어에서는 변수를 사용하기 위해 선언하는 과정이 필요하지만, 파이썬은 그냥 변수에 적절한 값만 집어넣으면 됩니다. 파이썬에서 변수를 표현하는 방법은 다음과 같습니다. x = 3 y = x + 1 위 코드에서는 x에 5라는 값이 저장되어 있고, y에는 x에 1이 더해진 값으로 저장됩니다. 여기서 x가 변경되면 y는 저절로 변경되는 등 변수를 이용하면 서로 연동되는 값을 편리하게 지정할 수 있습니다. 변수 사용하기 앞서 알아본 변수 사용 방법과 print()구문을 이용해서 변수..
-
[Python] 윈도우에서 파이썬 설치 및 개발환경 설정하기Python/파이썬 기초 2022. 8. 2. 00:43
파이썬을 이용해 프로그램을 개발하자 파이썬은 전세계에서 다섯 손가락 안에 꼽히는 인기 프로그래밍 언어입니다. 기존에 프로그래밍을 배우지 않은 분들이 쉽게 이용할 수 있는 형식과, 자연어에 약간(아주 약간이지만) 가까운 문법 때문인가봅니다. 그리고 다른 프로그래밍 언어와 달리, 프로그램 개발 속도가 아주 빠르고 심지어는 완성시키지 않고도 이용할 수 있기도 합니다. 저는 개발자가 되기 전에 디자이너를 위한 프로그래밍 언어라고 불리는 액션스크립트를 이용했었습니다. 그 때는 전문적인 프로그램이나 분석보다 게임을 만들고 싶었으니 나름 좋은 선택이었지요. 하지만 본격적으로 개발자가 될 결심을 하고는 파이썬을 배웠습니다. 애초에 프로그래밍에 대한 전문적인 교육을 받지 않았으니 입문이 쉬운 언어가 우선이었지요. 어쨌든..