Python
-
[Googletrans] Googletrans를 이용한 파이썬 번역 프로그램 만들기Python 2023. 4. 18. 13:54
Googletrans를 이용한 파이썬 번역 프로그램 만들기 현재 개발하고 있는 프로그램에 번역 기능이 필요해서 파이썬 패키지가 당연히 있겠지 하는 생각을 하며 번역 기능을 제공하는 패키지를 검색해 봤습니다. 아니나다를까 우리들이 흔히 쓰는 구글 번역기를 파이썬에서 코드 몇 줄로 실행할 수 있는 패키지가 있더라고요. 바로 Googletrans 라는 패키지였습니다. 제작자 측에서 안정적인 이용을 보장하지는 않는다고 하니, 테스트 버전으로는 이 패키지를 써 보다가 정식 버전에서는 다른 패키지를 이용해 보는 것을 고려해 봐야겠습니다. 참고로, 해당 패키지는 MIT 라이선스입니다. 상업적으로 사용하는데도 큰 제약이 없고, 소스코드를 공개하지 않아도 된다는 이야기죠. Googletrans 패키지를 설치하기 위해서는..
-
[PyScript] 파이스크립트를 이용해서 웹사이트에 파이썬 코드 써 보기Python/웹프레임워크 2023. 4. 17. 07:56
파이스크립트를 이용해서 웹사이트에 파이썬 코드 써 보기 프로그래밍 언어 중에서 최상위권의 인기를 누리고 있는 파이썬(Python)은 심각한 단점이 하나 있습니다. 코드는 쓰기 쉽지만 그걸로 프로그램을 만들어 배포하기는 너무 어렵다는 점인데요, 많은 파이썬 초보 개발자들과 고수 개발자들의 논의를 보면 이 단점이 와닿을겁니다. 초보: 제가 파이썬으로 프로그램을 만들었는데, 이걸 다른 사람한테 배포하려면 어떻게 해야 하죠? 고수: 깃허브같은데 올려두면 되지 않나요? 초보: 아니 그거 말고, exe 파일같은걸 배포하는거 말이예요. 고수: pyinstaller 한번 써보세요. 초보: pyinstaller는 왜이렇게 용량이 크고 느려요? 다른 방법은 없나요? 고수: 그러면 도커 이미지를 만들어서 배포해 보세요. 초..
-
[Transformers] Table Question-Answering 모델을 이용해서 파이썬 에러 질의응답 서비스 만들어보기Python/HuggingFace 2023. 4. 12. 13:28
Table Question-Answering 모델을 이용해서 파이썬 에러 질의응답 서비스 만들어보기 허깅페이스(Huggingface)의 트랜스포머(Transformers) 패키지는 파이썬(Python)을 이용한 자연어 처리(Natural Language Processing, NLP) 작업을 아주 간단하게 만들어 주었습니다. 특히, 여러가지 모델을 이용하고 싶을 때 똑같은 파이프라인에 모델 이름만 바꿔넣으면서 사용할 수 있어서 파이썬 기초만 뗀 사람이 바로 NLP 모델을 이용한 서비스를 만들 수도 있게 되었지요. 그래서, 이번에는 NLP를 이용한 간단한 서비스를 하나 만들어 보도록 하겠습니다. 자연어 처리 중 Table Question-Answering 작업에 해당하는 서비스입니다. 사전 지식을 표 형태로..
-
[Anaconda] 파이썬 개발을 위한 아나콘다 설치하기Python/개발환경 2023. 4. 11. 12:55
파이썬 개발을 위한 아나콘다 설치하기만약 파이썬(Python) 개발을 하기로 마음먹었다면, 이런 문제가 우리를 기다리고 있습니다. 파이썬을 설치하고IDE(통합 개발 환경)을 선택하고개발에 필요한 다양한 패키지까지 설치하는 과정이 필요합니다. 숙련된 개발자라면 이런 과정이 물 흐르듯 매끄럽게 이어지겠지만, 당장 hello, world!정도밖에 칠 수 없는 사람들이라면 이야기가 다릅니다.그래서, 파이썬 초보 개발자에게는 아나콘다(Anaconda)를 설치하는걸 권해드리고 있는데요, 아나콘다는 파이썬과 주피터 노트북(Jupyter Notebook)과 스파이더(Spyder)이라는 IDE, 그리고 몇 가지 유용한 파이썬 패키지, 콘다(conda) 패키지 관리자를 세트로 설치할 수 있는 유용한 녀석입니다. 아나콘다..
-
[Transformers] 파이썬 트랜스포머 사용 중 no module named 'keras.saving.hdf5_format' 발생시 해결하는 방법Python/HuggingFace 2023. 4. 7. 13:12
Transformers 사용 중 no module named 'keras.saving.hdf5_format' 발생시 해결하는 방법 최근 자연어 처리(Natural Language Processing, NLP) 모델을 배우고 있습니다. 제가 원래 기계학습(Machine Learning, ML) 모델을 잘 다루던 사람이긴 하지만, 언제나 남이 짜 놓은 모델을 쓰는건 어렵다는걸 느끼게 됩니다. 그래서, 어디 쉬운 패키지가 업나 해서 찾아보니, 허깅페이스(HuggingFace🤗)에서 제공하는 트랜스포머(Transformers)라는게 하나 있더라고요. 딥러닝 프레임워크는 유행을 많이 타는 편인데, 최근에는 이런 경향이 있습니다. 알파고로 유명해진 텐서플로우(Tensorflow)의 약진이 있었다가, 이후 파이토치(..
-
[Anaconda] 파이썬 프로젝트 관리를 위한 Conda 가상환경 만들기Python/개발환경 2023. 4. 6. 08:11
파이썬 프로젝트 관리를 위한 Conda 가상환경 만들기파이썬뿐만 아니라, 프로젝트마다 가상환경을 하나씩 만들어 두는 것은 중요합니다. 각 프로젝트마다 필요한 패키지를 깔다 보면, 버전 충돌 문제가 자주 일어나거든요. 파이썬 패키지를 만드는 만드는 개발자들이 업데이트를 재깍재깍 해 주면 그것이 최선이겠지만, 그분들도 패키지 하나 수정한다고 해서 먹고 살 돈이 나오는게 아니니까 우리들이 맞춰서 써야 합니다. 그래서, 파이썬 개발을 할 때는 가상환경을 잘 만들어야 합니다. 대개 프로젝트에 따라서 필요한 패키지만 깔아둔 가상환경을 꾸려 놓고, 재현성을 우선하는 선택을 합니다. 여기서 가상환경이란, 컴퓨터 안에 독립적인 공간을 만들어 두는 것을 이르는데요, 이 덕분에 A 프로젝트에서는 파이썬 3.7버전을 쓰고..
-
[Newspaper] 파이썬으로 뉴스 데이터를 크롤링을 할 수 있는 Newspaper 패키지Python/크롤링 2023. 3. 27. 09:42
파이썬으로 뉴스 데이터를 크롤링을 할 수 있는 Newspaper 패키지 파이썬(Python)으로 웹 크롤링(Web Crawling)을 하기 위해서 대부분 셀레니움(Selenium)이나 뷰티풀수프(BeautifulSoup)이라는 패키지를 사용하는 편입니다. 셀레니움은 흔히 말하는 동적 크롤링(상호작용을 하는 웹페이지를 크롤링할 때 효과적)이며, 뷰티풀수프는 정적 크롤링(HTML 코드를 파싱해서 크롤링하는 방식)의 대표적인 패키지죠. 하지만, 특정한 양식을 가지고 있는 웹사이트의 경우에는 조금 더 짧은 코드로 편하게 크롤링을 할 수 있게끔 패키지가 마련되어 있습니다. 어차피 있는 패키지는 활용하지 않으면 손해죠. 그래서, 이번에 살펴볼 패키지는 파이썬을 이용해서 뉴스와 같은 형식의 데이터를 크롤링할 수 있는..
-
[Selenium] 파이썬 셀레니움을 이용한 네이버 지도 크롤링 프로그램 만들기Python/크롤링 2023. 3. 23. 09:15
파이썬 셀레니움을 이용한 네이버 지도 크롤링 프로그램 만들기 우리나라 업체 정보는 대부분 네이버 지도에 등록되어 있습니다. 그래서, 이런 정보를 이용하기 위해 다양한 시도가 이루어지고 있지요. 대표적인 것으로는 각종 업체에서 분야별 업체 리스트를 확보하기 위해 크롤링을 이용하며, 사소하게는 개인이 우리 동네 맛집 리스트를 가지고 싶어서 크롤링하는 경우도 있습니다. 이러한 사례를 들어보면 아시겠지만, 크롤링이라는건 제법 간단한 편입니다. 만약 파이썬으로 웹 크롤링을 한다면, 셀레니움(selenium) 이라는 패키지를 이용할 수 있으며, 이번에는 파이썬 셀레니움과 구글 크롬을 이용해서 웹 크롤링을 하는 예시를 소개해 드리겠습니다. 이번에 크롤링을 하는 시나리오는, '네이버 지도에 등재된 서울특별시 강남구에 ..