프로그래밍167 [Scikit-Learn] 30. Isolation Forest (feat. IsolationForest) Isolation Forest는 이진 탐색 나무를 이용하여 데이터의 이상치 여부를 판단하게 해주는 알고리즘이다. Scikit-Learn(sklearn)에서는 IsolationForest 클래스를 이용하면 Isolation Forest 알고리즘을 수행할 수 있다. 이번 포스팅에서는 IsolationForest의 사용법을 알아본다. Isolation Forest에 대한 개념은 아래 포스팅을 참고하기 바란다. 44. Isolation Forest에 대해서 알아보자. 44. Isolation Forest에 대해서 알아보자. 이번 포스팅에서는 모델 기반 이상치 탐지 방법인 Isolation Forest에 대해서 알아보고자 한다. - 목차 - 1. Isolation Forest이란 무엇인가? 2. Isolation.. 2023. 5. 21. [Scikit-Learn] 29. Local Outlier Factor 계산하기 (feat. LocalOutlierFactor) Local Outlier Factor(LOF)는 밀도 기반 이상치 지표로써 이상치를 판별하고자 하는 점 주변의 밀도와 그 주변에 있는 점들의 밀도를 고려하여 이상치 여부를 판단하게 해주는 지표로 많이 활용된다. Scikit-Learn(sklearn)에서는 LocalOutlierFactor 클래스를 이용하여 LOF를 계산할 수 있다. 따라서 이번 포스팅에서는 LocalOutlierFactor 클래스 사용법을 알아보고자 한다. LOF에 대한 개념은 아래 포스팅에 자세히 정리해두었으니 궁금하신 분들은 참고하면 좋다. 42. Local Outlier Factor(LOF)에 대해서 알아보자 with Python 42. Local Outlier Factor(LOF)에 대해서 알아보자 with Python 이번 포스.. 2023. 5. 14. [Scikit-Learn] 28. One-class SVM(1-SVM) 모형 학습하기 (feat. OneClassSVM) One-class SVM(1-SVM)은 정상 데이터 중에서 이상치를 예측할 때 많이 활용되는 모형으로 Scikit-Learn(sklearn)에서는 OneClassSVM 클래스를 이용하여 One-class SVM(1-SVM) 모형을 학습할 수 있다. 이번 포스팅에서는 Scikit-Learn(sklearn)에서 제공하는 OneClassSVM의 기본적인 사용방법을 알아보고자 한다. One-class SVM(1-SVM)에 대한 개념은 아래 포스팅을 참고하기 바란다. 41. One-class Support Vector Machine(1-SVM)에 대하여 알아보자 with Python 41. One-class Support Vector Machine(1-SVM)에 대하여 알아보자 with Python 이번 포스팅에.. 2023. 5. 12. 파이썬(Python) 파일 압축 및 압축 풀기 (feat. zlib, gzip, zipfile, tarfile) 파이썬(Python)에서는 데이터 또는 파일을 압축하기 위한 다양한 내장 모듈을 제공하고 있다. 대표적으로 zlib, gzip, zipfile 그리고 tarfile이 있다. 이번 포스팅에서는 각 모듈을 이용한 압축 및 압축 풀기 방법을 알아보려고 한다. - 목차 - 1. zlib 2. gzip 3. zipfile 4. tarfile 1. zlib zlib은 문자열을 압축하거나 압축을 푸는 데 사용되는 모듈로써 이를 이용하면 사이즈가 큰 데이터의 용량을 줄여서 빠르게 전송할 수 있게 해 준다. zlib은 compress를 이용하여 압축, decompress를 이용하여 압축을 해제할 수 있다. 압축할 문자열은 인코딩이 되어 있어야 하며 압축 해제 결과는 인코딩 된 문자열이므로 디코딩을 해줘야 원래의 문자열을.. 2023. 5. 6. factor_analyzer 모듈을 이용한 인자 분석 factor_analyzer는 파이썬에서 인자 분석을 할 수 있게 해주는 모듈이다. 이번 포스팅에서는 factor_analyzer를 이용한 인자 분석에 필요한 인자 적재 행렬과 인자 점수 등 인자 분석에 필요한 값들을 얻는 방법을 알아본다. 인자 분석에 대한 개념은 아래 포스팅을 참고하기 바란다. 40. 인자 분석(Factor Analysis)에 대해서 알아보자 with Python 40. 인자 분석(Factor Analysis)에 대해서 알아보자 with Python 이번 포스팅에서는 다변량 분석 기법의 하나인 인자 분석(Factor Analysis)에 대한 개념과 파이썬으로 구현하는 방법에 대해서 알아보고자 한다. - 목차 - 1. 인자 분석(Factor Analysis)이란? 2. 인자 분석( ze.. 2023. 5. 6. [Scikit-Learn] 27. Factor Analysis(인자 분석) 해보기 (feat. FactorAnalysis) 인자 분석은 변수들의 상관 구조를 공통 인자를 이용하여 분석하는 방법이다. 이번 포스팅에서는 Scikit-Learn(sklearn)에서 인자 분석(Factor Analysis)을 수행하는 데 필요한 인자 적재 행렬과 인자 점수를 계산하는 방법에 대해서 알아보려고 한다. 인자 분석에 대한 개념은 아래 포스팅을 참고하기 바란다. 40. 인자 분석(Factor Analysis)에 대해서 알아보자 with Python 40. 인자 분석(Factor Analysis)에 대해서 알아보자 with Python 이번 포스팅에서는 다변량 분석 기법의 하나인 인자 분석(Factor Analysis)에 대한 개념과 파이썬으로 구현하는 방법에 대해서 알아보고자 한다. - 목차 - 1. 인자 분석(Factor Analysis).. 2023. 5. 5. [Scikit-Learn] 26. Canonical Correlation Analysis(정준 상관 분석) (feat. CCA) 이번 포스팅에서는 Scikit-Learn(sklearn)을 이용하여 정준 상관 분석(Canonical Correlation Analysis)을 수행하는 방법을 알아보려고 한다. 정준 상관 분석(Canonical Correlation Analysis)에 대한 개념은 아래 포스팅을 참고하기 바란다. 39. 정준 상관 분석(Canonical Correlation Analysis)에 대해서 알아보자 with Python 39. 정준 상관 분석(Canonical Correlation Analysis)에 대해서 알아보자 with Python 이번 포스팅에서는 다변량 분석 방법 중 하나인 정준 상관 분석(Canonical Correlation Analysis : CCA)에 대한 개념과 파이썬 구현 방법에 대해서 알아.. 2023. 5. 5. 파이썬(Python) fnmatch를 이용한 폴더와 파일 탐색 파이썬(Python)의 내장 모듈인 fnmatch은 파일명 또는 폴더명이 특정 패턴과 일치하는지 여부를 알려주는 모듈로써 fnmatch 단독으로 사용되진 않고 os.listdir 함수와 같이 사용한다. 이번 포스팅에서는 fnmatch을 이용하여 특정 패턴과 일치하는 파일과 폴더를 찾는 방법에 대해서 알아본다. fnmatch 사용법 여기서는 많이 사용되는 조건을 바탕으로 fnmatch 사용법을 알아본다. 1) 특정 문자열 포함 여부 a. 특정 문자로 시작하는 폴더 및 파일 찾기 : 특정 문자+' * ' 아래 코드는 test_folder 내 test로 시작하는 파일명 및 폴더를 출력한다. ## test_folder 내 test로 시작하는 파일과 폴더 target_folder = 'test_folder' fo.. 2023. 4. 24. 파이썬(Python) 파일과 폴더(디렉토리) 탐색하기 (feat. glob) 파이썬(Python)의 내장 모듈인 glob을 이용하면 파일명의 패턴을 이용하여 특정 폴더와 그 하위에 있는 파일을 찾아낼 수 있다. 이번 포스팅에서는 glob 모듈을 이용하여 특정 패턴을 갖는 파일과 폴더를 탐색하는 방법에 대해서 알아보고자 한다. glob 사용법 여기서는 많이 사용되는 조건을 바탕으로 glob 사용법을 알아본다. 1) 현재 디렉토리 내 폴더와 파일 확인하기 a. 현재 디렉토리에 있는 폴더만 확인 : **/, */ 아래 코드는 현재 폴더 내 모든 폴더를 출력한다. ## 현재 폴더 내 모든 폴더 for folder_name in glob.glob('**/'): ## 또는 glob.glob(*/) print(folder_name) b. 현재 폴더 내 폴더와 파일까지 확인 : **, * 와일.. 2023. 4. 23. 파이썬(Python) 텍스트 파일 쉽게 수정하기 (feat. fileinput) 파이썬(Python) 내장 모듈인 fileinput을 이용하면 텍스트 파일을 쉽게 수정할 수 있다. 이번 포스팅에서는 fileinput 모듈을 이용하여 텍스트 파일을 수정하는 방법을 알아보자. fileinput을 이용한 텍스트 파일 수정 먼저 아래 그림과 같은 텍스트 파일(test_01.txt)을 만들어 주었다. 이제 fileinput을 이용하여 텍스트 내용을 수정해 보자. 1) 인코딩 확인 먼저 chardet을 이용하여 텍스트 파일의 인코딩 형식을 추출한다. 왜냐하면 fileinput을 이용할 때 인코딩 에러가 나는 경우 잘못하면 텍스트 전체가 날아갈 수 있기 때문이다. 아래 코드는 텍스트 파일의 20줄까지 읽어서 인코딩 형식을 추측한다. import chardet text_file_path = './.. 2023. 4. 19. 이전 1 2 3 4 ··· 17 다음
