Python/HuggingFace
-
[Diffusers] 파이썬과 디퓨저로 스테이블 디퓨전 AI 이미지 생성해보기Python/HuggingFace 2024. 6. 25. 17:02
🧨Diffusers를 이용해 스테이블 디퓨전 AI 이미지 생성해보기이제는 많은 분들이 익숙해진 AI 그림을 만들어 보려 합니다. AI 생성 이미지는 노동 집약적인 작업이기 때문에 인건비가 많이 들어가는 예술, 디자인 영역을 빠르게 대체하고 있는 기술인데요, 이쪽 업계에서는 이제 생성형 AI의 대명사가 된 스테이블 디퓨전(Stable Diffusion)을 활용해 내가 원하는 그림체로 그림을 그려 보도록 하겠습니다. Stable Diffusion스테이블 디퓨전은 stability.ai에서 제작한 생성형 AI 모델입니다. 오픈소스 프로젝트이기 때문에 다른 이미지 생성 모델에 비해서 접근성이 뛰어나고, 내 입맛에 맞게 파인튜닝(fine-tuning)을 하기 쉽다는 장점이 있습니다. 이번에는 허깅페이스(🤗Hu..
-
[Transformers] 🤗트랜스포머로 파이썬 이미지 분류기 미세조정하기 (Fine-Tune ViT for Image Classification with 🤗 Transformers)Python/HuggingFace 2023. 9. 25. 13:17
🤗트랜스포머를 사용해 나만의 이미지 분류기 만들기 (ViT) 이 글은 Fine-Tune ViT for Image Classification with 🤗 Transformers 글을 번역 및 재구성했습니다. 이 코드는 Google Colab에서 동작하도록 만들었으며, 다른 개발환경에서는 코드를 일부 수정해야 할 수 있습니다. 최근 자연어 처리(NLP) 모델이 딥러닝 분야에서 호황을 보여주고 있습니다. 그리고 이제는 다른 다양한 분야에서도 놀라운 성능의 이미지 처리 모델이 선보여지고 있는데요, 대표적으로 Google Brain에서 21년 6월에 선보인 ViT(Vision Transformer)가 있습니다. 이 모델은 NLP 모델과 같이 이미지를 토큰화한 뒤 학습하는 방식을 보여주고 있습니다. 이 개념을 세줄..
-
[Transformers] 이미지 분류 모델로 파이썬 프로그램 만들어보기Python/HuggingFace 2023. 9. 12. 14:42
이미지 분류 모델을 이용한 파이썬 프로그램 만들어보기 파이썬(Python) 프로그래밍, 그중에서도 딥러닝을 배워본다면 이미지 분류 모델을 구현해볼 때가 있습니다. 간단하게는 강아지와 팬더를 구분하는 모델부터, 조금 복잡하게는 동물의 종류를 대여섯가지로 늘리는 등의 확장을 하는 방법으로 말이죠. 그런데, 딥러닝 모델을 만들거나 편집하는 능력 없이도 간편하게 이미지 분류 모델을 구현할 수 있습니다. 바로 허깅페이스(Hugging Face) 트랜스포머(Transformers) 패키지를 사용하는 방법이지요. 이번에는 이미지 분류(Image Classification) 모델을 이용해서 사진 속의 동물을 흉내내는 프로그램을 만들어 보도록 하겠습니다. 여기에서는 구글에서 개발한 vit-base-patch16-224 ..
-
[SentenceTransformers] 파이썬으로 자연어 문장 코사인 유사성 분석하기Python/HuggingFace 2023. 7. 3. 11:07
SentenceTransformers를 이용한 문장 유사도 분석 최근 자연어 처리(NLP, Natural Language Processing) 모델을 사용하면서 다양한 활용 예시를 살펴보고 있습니다. 이번에는 그중에서 파이썬(Python)의 SentenceTransformers 프레임워크를 사용해 보았는데요, 이 프레임워크는 문장 단위로 입력을 할 수 있어서 이번에 작업할 문장 유사도 분석을 수행하는데 있어서 편리한 요소를 보여줍니다. 그리고, 다른 자연어 모델 프레임워크인 Huggingface Transformers를 기반으로 해서 만들어졌다고 하는데, 덕분에 추상화가 잘 되어 있어서 NLP를 잘 모르는 분들도 편리하게 사용할 수 있습니다. 저는 이번에 SentenceTransformers에서 제공하는..
-
[Transformers] Document Question Answering 자연어 모델로 파이썬 영수증 인식 프로그램 만들기Python/HuggingFace 2023. 6. 27. 10:15
Document Question Answering 모델을 이용한 영수증 인식 프로그램 만들어보기 컴퓨터는 디지털 데이터는 제대로 읽을 수 있지만, 사람이 손으로 적거나 인쇄한 아날로그 데이터는 읽지 못합니다. 그래서, 아날로그 데이터는 카메라로 찍거나 스캔을 한 뒤 OCR(Optical Character Recognition, 광학 문자 인식) 기술을 이용해 문자를 디지털화한 다음 데이터 분석 또는 정리에 이용합니다. 하지만, OCR은 글자를 인식한다뿐이지 이미지 안에 있는 위치에 따른 데이터의 관계를 파악할 수 없기 때문에 별도의 정리를 해야 유의미한 데이터로 써먹을 수 있습니다. 만약, 자동차 번호판 인식이나 종이책을 스캔한 뒤, 인식한 글자를 출력하는 것과 같은 프로세스는 구현이 간단합니다. 글자의..
-
[Transformers] Couldn't build proto file into descriptor pool: duplicate file name sentencepiece_model.proto 에러가 생기는 경우 해결하는 방법Python/HuggingFace 2023. 4. 21. 14:53
Couldn't build proto file into descriptor pool: duplicate file name sentencepiece_model.proto 에러가 생기는 경우 해결하는 방법 자연어 처리(NLP) 작업을 하다 보면 이름이 긴 에러가 많이 나옵니다. 간단한 연산 에러는 읽기라도 편하지, 이거는 어느 패키지의 어느 모듈의 어느 py 파일의 몇천번째 줄로 찾아가서 에러 원인을 파악해야 하니 정말 까다롭더라고요. 아무튼, 이번에는 파이썬(Python) 트랜스포머(Transformers)에서 Couldn't build proto file into descriptor pool: duplicate file name sentencepiece_model.proto 에러가 발생했을 때 해결하는 ..
-
[Transformers] Table Question-Answering 모델을 이용해서 파이썬 에러 질의응답 서비스 만들어보기Python/HuggingFace 2023. 4. 12. 13:28
Table Question-Answering 모델을 이용해서 파이썬 에러 질의응답 서비스 만들어보기 허깅페이스(Huggingface)의 트랜스포머(Transformers) 패키지는 파이썬(Python)을 이용한 자연어 처리(Natural Language Processing, NLP) 작업을 아주 간단하게 만들어 주었습니다. 특히, 여러가지 모델을 이용하고 싶을 때 똑같은 파이프라인에 모델 이름만 바꿔넣으면서 사용할 수 있어서 파이썬 기초만 뗀 사람이 바로 NLP 모델을 이용한 서비스를 만들 수도 있게 되었지요. 그래서, 이번에는 NLP를 이용한 간단한 서비스를 하나 만들어 보도록 하겠습니다. 자연어 처리 중 Table Question-Answering 작업에 해당하는 서비스입니다. 사전 지식을 표 형태로..
-
[Transformers] 파이썬 트랜스포머 사용 중 no module named 'keras.saving.hdf5_format' 발생시 해결하는 방법Python/HuggingFace 2023. 4. 7. 13:12
Transformers 사용 중 no module named 'keras.saving.hdf5_format' 발생시 해결하는 방법 최근 자연어 처리(Natural Language Processing, NLP) 모델을 배우고 있습니다. 제가 원래 기계학습(Machine Learning, ML) 모델을 잘 다루던 사람이긴 하지만, 언제나 남이 짜 놓은 모델을 쓰는건 어렵다는걸 느끼게 됩니다. 그래서, 어디 쉬운 패키지가 업나 해서 찾아보니, 허깅페이스(HuggingFace🤗)에서 제공하는 트랜스포머(Transformers)라는게 하나 있더라고요. 딥러닝 프레임워크는 유행을 많이 타는 편인데, 최근에는 이런 경향이 있습니다. 알파고로 유명해진 텐서플로우(Tensorflow)의 약진이 있었다가, 이후 파이토치(..