Python
-
[Faiss] 파이스를 이용한 문서 검색 시스템 만들기Python/자연어처리 2024. 6. 28. 12:57
Faiss를 이용한 문서 검색 시스템 만들기Faiss(Facebook AI Similarity Search)란 데이터의 유사도 검색 및 벡터 클러스터링을 위한 라이브러리라고 합니다. 간단히 말해, 자연어 유사도를 기반으로 문서 검색을 구현할 수 있다는 말이지요. 유사도 검색이라고 하면, 예전에도 이와 같은 기능을 구현하는 라이브러리가 없었던건 아니지만, 파이스를 이용할 경우 성능이 제법 좋고, 옵션을 자유자재로 설정할 수 있기 때문에 문서 검색 시스템을 구현할 때 이만한 선택이 없어 보입니다. 프로그램 구성이번에는 파이썬(Python)을 이용한 문서 검색 시스템을 만들어 보겠습니다, 구현 방법은 간단한데요, 원하는 문서를 읽은 뒤, 적당한 크기로 자르고 임베딩을 한 다음 Faiss 데이터베이스를 만들어 ..
-
[Diffusers] 파이썬과 디퓨저로 스테이블 디퓨전 AI 이미지 생성해보기Python/HuggingFace 2024. 6. 25. 17:02
🧨Diffusers를 이용해 스테이블 디퓨전 AI 이미지 생성해보기이제는 많은 분들이 익숙해진 AI 그림을 만들어 보려 합니다. AI 생성 이미지는 노동 집약적인 작업이기 때문에 인건비가 많이 들어가는 예술, 디자인 영역을 빠르게 대체하고 있는 기술인데요, 이쪽 업계에서는 이제 생성형 AI의 대명사가 된 스테이블 디퓨전(Stable Diffusion)을 활용해 내가 원하는 그림체로 그림을 그려 보도록 하겠습니다. Stable Diffusion스테이블 디퓨전은 stability.ai에서 제작한 생성형 AI 모델입니다. 오픈소스 프로젝트이기 때문에 다른 이미지 생성 모델에 비해서 접근성이 뛰어나고, 내 입맛에 맞게 파인튜닝(fine-tuning)을 하기 쉽다는 장점이 있습니다. 이번에는 허깅페이스(🤗Hu..
-
[Paramiko] 파이썬을 이용한 서버 원격 컨트롤 해보기Python/개발환경 2024. 6. 4. 10:45
파이썬 paramiko를 이용한 서버 원격 컨트롤서버 관리를 하거나 다른 컴퓨터에 원격으로 접속을 할 때는 SSH를 이용해 명령어를 전송하는 방식을 주로 사용합니다. GUI가 편한 분들이라면 팀뷰어나 애니데스크 등의 원격 조작 프로그램을 이용할 수도 있지만, 사양이나 네트워크 상태 등의 변수로 인해 속도가 현저하게 느려질 수도 있고, CLI만 지원하는 프로그램을 위해 GUI 원격 접속을 하는건 낭비이기도 하죠. 파이썬(Python)을 이용한 개발 또는 자동화 작업에서도 원격 조작이 필요할 때가 있습니다. 기본적인 파일 관리나 명령은 파이썬 내부에서 수행할 수 있지만, 다른 컴퓨터에 명령을 내리는건 별개의 이야기입니다. 그래서 파이썬으로 원격 명령을 내리는 파라미코(paramiko)라는 패키지를 소개해 드..
-
[Transformers] 음성 텍스트 변환 모델 whisper 알아보기 (Automatic Speech Recognition)Python/음성처리 2024. 5. 9. 14:26
음성 텍스트 변환 모델 알아보기 (Automatic Speech Recognition)딥러닝 기술 중 상업적으로 자주 사용되는 모델은 대표적으로 음성 인식 모델을 꼽을 수 있습니다. 음성 인식 모델, 혹은 음성 텍스트 변환 모델이라고 부르는 Automatic Speech Recognition(ASR)은 옛날에는 Speech to Text라는 이름으로 알려졌던 모델입니다. 이 모델은 우리가 일상생활에서 말하는 ARS, 홈쇼핑 전화의 주소 인식 모델, 장애인을 위한 자동 자막 생성 기술 등 여러 분야에서 이미 활용되고 있지요. 이번에는 OpenAI에서 제작한 whisper 모델을 활용해 파이썬으로 음성 텍스트 변환 프로그램을 구현해 보도록 하겠습니다. OpenAI whisperwhisper 모델은 대표적인..
-
[pipreqsnb] 파이썬 requirements.txt 파일 생성하는 방법 알아보기Python/개발환경 2024. 5. 9. 09:57
파이썬 requirements.txt 파일 쉽게 생성하는 방법 알아보기파이썬(Python)으로 프로젝트를 배포할 때, 다른 컴퓨터에서도 동일한 실행 결과를 생성할 수 있도록 해야 합니다. 이를 재현성이라고 하며, 파이썬은 같은 버전의 파이썬과 패키지들을 설치한 경우 대부분 재현성을 확보할 수 있습니다.이번에는 파이썬 프로젝트를 배포할 때, 재현성을 확보하기 위해서 설치해야 하는 패키지의 이름과 버전을 나열한 requirements.txt 파일을 생성하는 방법을 알아보도록 하겠습니다. requirements.txt파이썬은 버전에 따라서 지원하는 패키지의 종류, 그리고 패키지의 버전이 다릅니다. 이 때문에 어떤 버전의 패키지를 설치해야 하는지를 명시한 문서가 필요한데요, 대부분의 경우에는 requireme..
-
[wordpress-xmlrpc] 파이썬으로 워드프레스 자동 포스팅 구현해보기Python/웹프레임워크 2024. 4. 30. 10:12
파이썬으로 워드프레스 자동 포스팅 구현해보기많은 분들이 업무 자동화에 관심을 가지는 이 시기에, 문서 작성까지도 자동화를 구현하려는 분들도 덩달아 늘어나고 있습니다. 이번에는 파이썬으로 워드프레스 설치형 블로그에 자동으로 포스팅할 수 있는 시스템을 구현해 보겠습니다. 워드프레스는 XML-RPC 프로토콜을 지원하고 있는데, 이를 이용하면 인터넷 창을 켜지 않고도 간편하게 포스팅을 할 수 있지요. 파이썬을 이용해서 해당 규격을 만족하는 코드를 작성해 둔다면, 자동으로 포스팅을 할 수 있는 시스템까지도 구현할 수 있습니다. python-wordpress-xmlrpc 포스팅파이썬에서는 XML-RPC 규격을 외워두지 않고도 워드프레스 자동 포스팅을 구현할 수 있도록 하는 python-wordpress-xmlrp..
-
[Selenium] 파이썬 셀레니움으로 웹사이트 캡쳐하기Python/크롤링 2024. 4. 19. 16:17
셀레니움으로 웹사이트 캡쳐하기 파이썬(Python)의 웹크롤링(Web Crawling) 작업을 위한 패키지 하면 가장 먼저 떠올릴법한 셀레니움(Selenium)은 단순 크롤링 이외에도 웹사이트 테스트, 자동화 업무 등 폭넓게 활용되고 있습니다. 이번에는 셀레니움을 이용해서 웹사이트의 특정 영역을 캡쳐하는 작업을 구현해 보도록 하겠습니다. 해당 기능은 screenshot_as_png 기능을 이용하면 간단합니다. 이번에는 구글 검색창을 png 파일로 저장하는 기능을 만들어보겠습니다. 위 화면에서 빨간색 네모로 표시된 부분을 캡쳐하고 싶다고 가정한다면, 셀레니움에서 흔히 사용하는 find_element 기능을 이용해서 영역을 선택해 주면 됩니다. 해당 영역은 XPATH가 /html/body/div[1]/div..
-
[VSCode] 비주얼 스튜디오 코드로 파이썬 개발환경 구성하기Python/개발환경 2024. 3. 27. 09:12
비주얼 스튜디오 코드(VSCode)로 파이썬 개발환경 구성하기 요즘 프로그래머들 사이에서 인기 있는 통합 개발 환경(IDE)이라고 하면 비주얼 스튜디오 코드(Visual Studio Code)를 빼놓을 수 없습니다. 엄밀히 말해서 VSCode는 개발환경보다 단순 에디터 쪽으로 분류해야 하지만, 강력한 확장기능을 이용하면 메이저한 IDE보다 더욱 편한 개발환경 구성이 가능하지요. 이번에는 VSCode를 이용해서 파이썬(Python) 개발환경을 구현하는 방법에 대해 살펴보도록 하겠습니다. VSCode 설치 [그림 1] VSCode 공식 웹사이트 VSCode는 공식 홈페이지에서 손쉽게 다운로드할 수 있습니다. 다운로드 버튼만 누르면 설치 파일을 받을 수 있는건 물론이고, 많은 패키지 관리자에서 명령어만 입력하..