통계/기타8 특이값 분해(Singular Value Decomposition : SVD)에 대해서 알아보자(feat. Numpy) 이번 포스팅에서는 고유값 분해(Eigen Decomposition)의 일반화 버전인 특이값 분해(Singular Value Decomposition : SVD)에 대한 내용을 정리해 보았다. SVD의 개념과 Numpy 모듈을 이용하여 SVD 표현식을 구하는 방법을 소개한다. 만약 고유값 분해에 대해서 모르는 분이 있다면 아래 포스팅을 보고오기 바란다. 그래야 이번 포스팅도 이해하기 쉽다. 고유값과 고유 벡터 그리고 고유값 분해(Eigen Decomposition)에 대해서 알아보자 (feat. Numpy) Singular Value Decomposition(SVD) a. 정의 b. 기하학적 의미와 필요성 c. 예제 d. 파이썬 예제 a. 정의 $\text{rank}(A)=r$인 $m\times n$ 행렬.. 2023. 3. 7. 고유값과 고유 벡터 그리고 고유값 분해(Eigen Decomposition)에 대해서 알아보자 (feat. Numpy) 이번 포스팅에서는 고유값과 고유 벡터에 대해서 간단히 알아본 뒤 고유값 분해(Eigen Decomposition)에 대해서 알아보고자 한다. 고유값 분해(Eigen Decomposition) 고유값 분해를 이야기하기 전에 간단하게 고유값(Eigenvalue)과 고유벡터(Eigenvector)의 정의를 알아보자. 본 포스팅에서 나오는 행렬은 모두 실수 값을 원소로 한다. 1. 고유값(Eigenvalue)과 고유벡터(Eigenvector) a. 정의 $n\times n$ 정방행렬 $A$가 주어졌을 때 다음을 만족하는 0이 아닌 $n$차원 벡터 $v$가 있다고 하자. $$Av = \lambda v, \;\; \lambda \in \mathbb{C}\tag{1}$$ 이때 $\lambda$를 고유값(Eigenva.. 2023. 3. 4. ANOVA(Analysis of Variance, 분산분석)에 대해서 알아보자. 이번 포스팅에서는 ANOVA(Analysis of Variance, 분산분석)의 개념과 One Way ANOVA(일원분산분석), Two Way ANOVA(이원분산분석)에 대해서 복습하고 정리해보았다. - 목차 - 1. ANOVA(Analysis of Variance) 2. One Way ANOVA(일원분산분석) 3. Two Way ANOVA(이원분산분석) 4. ANOVA 장단점 1. ANOVA(Analysis of Variance) 1) 정의 ANOVA는 ANalysis Of VAriance의 준말로 관심의 대상이 되는 변수에 대한 변동성의 원천을 통계적 모델링으로 분석하는 방법론을 의미한다. 2) 파헤치기 위에서 소개한 정의를 하나씩 파헤쳐보자. a. ANOVA는 관심 변수의 변동성의 원천을 분석한다... 2022. 12. 6. 통계학이란 무엇인가? 전공이 통계학이지만 통계학이 무엇인지에 대해서 진지하게 고민하지 않았던 것 같다. 이번 포스팅에서는 통계학이 무엇인지 자료들을 찾아보고 내 생각과 결합하여 나름 정리한 내용을 소개하고자 한다. 통계학이란 무엇인가? 1) 통계란 무엇인가 통계학을 말하기 전에 통계가 무엇인지 짚고 넘어가려고 한다. 통계의 정의는 다음과 같다. 통계란 분석하고자 하는 집단에 대해서 조사하거나 실험을 통해서 얻는 자료 또는 이의 요약된 형태를 말한다. 통계의 정의를 예를 들어서 파헤쳐보기로 한다. 아래 그림은 A 고등학교 3학년 학생들의 수학 성적을 조사하는 과정을 나타낸 것이다. 먼저 통계는 분석하고자하는 집단을 특정한다. 여기서는 A 고등학교 3학년 전체 학생 또는 그중에서 추출된 3학년 1반 학생이 될 수도 있다. 분석하.. 2022. 11. 7. 가중치를 활용한 통계량을 알아보자. 가중 평균(Weighted Mean), 가중 상관계수(Weighted Correlation), 가중 분위수 (Weighted Quantile) 이번 포스팅에서는 각 데이터가 갖고 있는 가중치를 활용한 통계량으로 가중 평균(Weighted Mean), 가중 상관계수( Weighted Correlation ), 가중 분위수(Weighted Quantile)를 소개하고자 한다. - 목차 - 1. 가중치를 고려하는 이유? 2. 가중 평균(Weighted Mean) 3. 가중 상관계수( Weighted Correlation ) 4. 가중 분위수(Weighted Quantile) 5. 가중치 통계량의 장단점 1. 가중치를 고려하는 이유? 데이터가 주어진 경우 개별 데이터의 가치 또는 신뢰할 수 있는 정도가 다르기 때문에 단순히 주어진 데이터가 아닌 가치나 신뢰도를 반영하기 위해서 고려하는 것이다. 예를 들어 다음과 같이 A 인턴, B 선임, C 팀장에 대.. 2022. 9. 25. Profile Likelihood 란 무엇인가?! 이번 포스팅은 Profile Likelihood란 무엇인지 알아보려고 한다. 여기서 다루는 내용은 다음과 같다. 1. Profile Likelihood 추정법 2. Profile Likelihood 예제 본 포스팅에서는 수식을 포함하고 있습니다. 티스토리 피드에서는 수식이 제대로 표시되지 않을 수 있으니 PC 웹 브라우저 또는 모바일 웹 브라우저에서 보시기 바랍니다. 1. Profile Likelihood 추정법 - Profile Likelihood 탄생 배경 - 먼저 표본 $X_i, i=1, \ldots, n$이 독립이고 동일한 확률 밀도 함수 $f_{\theta}$로부터 추출되었다고 하자. 즉, $$X_i \sim \text{ i.i.d } f_{\theta}$$ 이다. 우리의 목표는 데이터를 이용하.. 2022. 4. 30. 가설 검정과 P Value(유의 확률)에 대하여 알아보자. 얼마전 회사에서 기초통계 강의를 했었다. 강의 주제는 가설 검정이었는데 그 중에서 P Value는 중요하다고 생각해서 여기에도 포스팅하려고 한다. 가설 검정은 일반적인 내용을 소개하고 모평균 검정, 독립 이표본 평균 비교 검정 등의 특수한 내용은 추후 따로 포스팅하겠다. 먼저 P Value를 알기 위해선 가설 검정과 그 절차를 알아야한다. 이에 대해 알아보자. 1. 가설 검정 이란? 가설 검정은 다음과 같이 정의할 수 있다. 모수에 대한 가설을 모집단으로부터 추출된 표본의 통계량을 이용하여 검정하는 일련의 과정이다. 아래 그림은 가설 검정의 예를 나타낸 것이다. 위 예를 이용하여 가설 검정 절차는 다음과 같다. 1) 만약 어느 초등학교의 3학년 수학 평균이 80점이라는 주장 또는 가설을 세웠다고 하자. .. 2021. 9. 20. 자유도에 대해서 정확하게 파헤쳐 보자! 학부시절 교수님이 자유도에 대해서 들려주신 에피소드가 있었다. 자유도가 무엇인지 몰랐던 학생이 있었다. 궁금증을 참지 못했던 학생은 교수님께 편지를 보냈다. "교수님 자유도가 무엇인가요?" 얼마 후 교수님께 답장이 왔다. 편지에는 이렇게 적혀있었다. "자유도는 degree of freedom이야." 그러자 학생은 다시 교수님께 편지를 보냈다. "교수님 그렇다면 degree of freedom은 무엇입니까?" 또 얼마 뒤 교수님께 답장이 왔다. "degree of freedom은 자유도란다." 이 웃지못할 에피소드가 말해주는 것은 자유도라는 개념이 어려워 말로 풀어쓰기 어렵다는 뜻이라고 나는 생각했다. 이번 포스팅에서는 일반화 선형 모형을 공부하는 과정에서 자유도에 대해서 다시 한번 복습할 겸 최대한 이해.. 2020. 8. 23. 이전 1 다음
