전체 글
-
[scikit-learn] 사이킷런 라벨 인코딩을 이용한 전처리 (python LabelEncoder)Python/scikit-learn 2023. 10. 10. 10:27
사이킷런 라벨 인코딩을 이용한 전처리 알아보기 (python scikit-learn LabelEncoder) 파이썬(Python)으로 기계학습(Machine Learning)을 하다보면 데이터를 숫자로 표기해야 할 때가 많습니다. 이 세상의 모든 데이터가 숫자로 잴 수 있다면 이야기가 편해지겠지만, 아쉽게도 문자로 분류된 카테고리형 데이터(Categorical Data)가 있기 때문에 이런 데이터는 전처리(Pre-Processing)를 해 줘야 합니다. 그래서, 이번에 알아볼 전처리 방법은 사이킷런(sklearn)에서 제공하는 전처리 도구인 라벨인코더(LabelEncoder)입니다. 이 도구는 문자 분류를 숫자 분류로 치환해주는 단순한 기능인데요, 이 라벨 인코딩이라는 작업은 은근히 손이 많이 가는 작업..
-
[Transformers] 🤗트랜스포머로 파이썬 이미지 분류기 미세조정하기 (Fine-Tune ViT for Image Classification with 🤗 Transformers)Python/Transformers 2023. 9. 25. 13:17
🤗트랜스포머를 사용해 나만의 이미지 분류기 만들기 (ViT) 이 글은 Fine-Tune ViT for Image Classification with 🤗 Transformers 글을 번역 및 재구성했습니다. 이 코드는 Google Colab에서 동작하도록 만들었으며, 다른 개발환경에서는 코드를 일부 수정해야 할 수 있습니다. 최근 자연어 처리(NLP) 모델이 딥러닝 분야에서 호황을 보여주고 있습니다. 그리고 이제는 다른 다양한 분야에서도 놀라운 성능의 이미지 처리 모델이 선보여지고 있는데요, 대표적으로 Google Brain에서 21년 6월에 선보인 ViT(Vision Transformer)가 있습니다. 이 모델은 NLP 모델과 같이 이미지를 토큰화한 뒤 학습하는 방식을 보여주고 있습니다. 이 개념을 세줄..
-
[Transformers] 이미지 분류 모델로 파이썬 프로그램 만들어보기Python/Transformers 2023. 9. 12. 14:42
이미지 분류 모델을 이용한 파이썬 프로그램 만들어보기 파이썬(Python) 프로그래밍, 그중에서도 딥러닝을 배워본다면 이미지 분류 모델을 구현해볼 때가 있습니다. 간단하게는 강아지와 팬더를 구분하는 모델부터, 조금 복잡하게는 동물의 종류를 대여섯가지로 늘리는 등의 확장을 하는 방법으로 말이죠. 그런데, 딥러닝 모델을 만들거나 편집하는 능력 없이도 간편하게 이미지 분류 모델을 구현할 수 있습니다. 바로 허깅페이스(Hugging Face) 트랜스포머(Transformers) 패키지를 사용하는 방법이지요. 이번에는 이미지 분류(Image Classification) 모델을 이용해서 사진 속의 동물을 흉내내는 프로그램을 만들어 보도록 하겠습니다. 여기에서는 구글에서 개발한 vit-base-patch16-224 ..
-
[scikit-learn] GMM 클러스터링을 이용한 파이썬 군집분류 모델Python/scikit-learn 2023. 9. 8. 14:04
GMM 클러스터링 기법을 이용한 분류 작업 해보기 데이터를 분석하는 방법 중에서 클러스터링(clustering, 군집화)이라는 방법이 있습니다. 클러스터링은 임의의 집단이 있을 때, 이 집단의 구성원을 부분집단으로 나누어주는 알고리즘이죠. 이중에서 간단하게 구현할 수 있는 GMM 클러스터링에 대해 알아보고, 이를 파이썬(Python) 코드로 구현해 보겠습니다. GMM은 Gausian Mixture Model의 약자입니다. 특정한 집단이 있을 때, 각각의 부분집단의 데이터가 가우시안 분포(정규분포라고도 하지요)를 따른다는 가정 하에 이루어지는 분석 모델인데요, 이에 따르면 다양한 부분집단이 모여서 하나의 큰 집단을 이루게 된다면 각각의 데이터는 원래 어떤 부분집단에 들어가 있는지를 추정할 수 있다는 논리입..
-
[scipy] 파이썬에서 t-test 하는 방법 알아보기통계분석 2023. 8. 29. 11:27
파이썬에서 t-test 하는 방법 알아보기 파이썬(Python)을 이용해서 통계 검정을 하는 경우가 많아지고 있습니다. 예전에는 통계에 특화된 R과 같은 프로그래밍 언어를 사용하거나, SPSS 등의 통계 프로그램을 사용하는 경우가 많았지만 파이썬에서 쓸만한 통계 패키지가 많아져서 사용자를 흡수한 덕분일겁니다. 그래서, 이번에는 파이썬을 이용한 t-검정(t-test)을 하는 방법을 알아보도록 하겠습니다. t-test t-test는 사람에 따라 Student's t-test 등으로 말하기도 같은 말이니 적절한 표현을 사용해 주시면 되겠습니다. 그보다 중요한건 t-test의 정의인데요, 간단히 말해서 두 모집단의 평균 차이가 있는지를 알아보는 통계적 검정 방법입니다. 이말인즉슨, 두 그룹을 대상으로 t-tes..
-
[ydata-profiling] 판다스 프로파일링 사용시 파이썬 한글 깨짐 문제 해결하기Python/Pandas, Numpy 2023. 8. 28. 09:27
ydata-profiling (판다스 프로파일링) 사용시 한글 깨짐 문제 해결하기 파이썬 (Python) 으로 EDA (Exploratory Data Analysis, 탐색적 데이터 분석) 을 하기 위해서는 주로 표 형식의 데이터를 조회할 수 있는 판다스 (Pandas) 와 시각화 패키지를 사용해 이것저것 시각화를 해 보는 것부터 시작합니다. 그런데, ydata-profiling (구 판다스 프로파일링) 이라는 패키지를 사용하면, 최대한 다양한 시각화 자료를 한번에 도출할 수 있어서 데이터 분석가들에게 추천드리고 있어요. 한글 깨짐 문제 확인 하지만, ydata-profiling을 사용할 때 주의할 점이 하나 있습니다. 바로, 한글이 포함된 데이터를 시각화할 때 한글이 깨지는 문제점이 발생한다는 점이지요..
-
[time] 파이썬 코드의 실행시간 측정해보기Python/파이썬 기초 2023. 8. 25. 10:23
파이썬 코드의 실행시간 측정해보기 간단한 프로그램을 만들면 모르겠지만, 파이썬(Python)으로 복잡하거나 큰 용량의 파일을 다루는 프로그램을 만든다면 코드 최적화가 필수입니다. 그런데, 최적화 기법보다 중요한게 코드 실행시간을 확인하는 것이죠. 코드의 실행시간은 단순하게 스톱워치를 대고 측정하는 것부터 시작해서 코드로 시작 시간과 종료 시간을 구하는 세련된 방법까지 있습니다. 이번에는 파이썬에서 time 패키지를 이용해 코드의 실행 시간을 측정하는 프로그램을 한번 만들어봅시다. 우선 아래 코드를 입력해 보죠. # 패키지 불러오기 import time start = time.perf_counter() ######## 여기에 임의의 코드를 입력할 수 있습니다 ####### list1 = [i for i i..
-
[OpenCV] 파이썬 스테레오 비전으로 이미지의 심도 알아보기 (Stereo Vision)Python/시각화 2023. 8. 23. 11:31
파이썬 스테레오 비전으로 이미지의 심도 알아보기 자율주행자동차는 물론, 요즘에는 대부분의 스마트폰에도 카메라를 여러대 탑재하는게 당연한 시대입니다. 카메라를 여러대 장착하는 것은 다양한 이유가 있지만, 대표적으로 이미지의 심도(깊이, depth) 정보를 손쉽게 구하기 위함이지요. 이건 간단히 표현해서, 우리가 한쪽 눈으로 봤을때보다 양쪽 눈으로 봤을때 거리감이 더욱 잘 살아나는 것을 생각하면 됩니다. 이렇게 여러개의 카메라 (Stereo camera) 를 이용해 심도 정보를 알아내는 기술을 스테레오 비전 (Stereo Vision) 이라고 하는데요, 파이썬(Python)을 이용하면 스테레오 비전 계산을 손쉽게 할 수 있습니다. OpenCV 패키지를 이용해서 말이죠. 이 글은 OpenCV 공식 문서 중 를..