통계95 25. Shapley Value와 SHAP에 대해서 알아보자 with Python 이번 포스팅에서는 게임 이론에서 상금 분배 방법의 하나인 Shapley Value와 이를 머신러닝 예측 모형을 해석하는 데 활용한 SHAP에 대해서 알아보고자 한다. 그리고 SHAP Value를 계산하는 과정을 파이썬(Python)으로 구현해보고자 한다. - 목차 - 1. Shapley Value란? 2. SHAP란? 3. SHAP 종류 4. 장단점 1. Shapley Value란? 1) 배경 Shapley Value(SV)는 공정 분배 게임 이론에서 나온 개념으로 주어진 게임에 참여한 플레이어들에게 상금을 공정하게 배분하는 하나의 방법을 말한다. SV에 대한 수학적 정의를 내리기 위해 기본적인 정의를 해보자. 먼저 주어진 게임에 참여한 총플레이어가 $n$명이라 하고 각 플레이어는 1번부터 $n$번까지 .. 2022. 8. 25. “Why Should I Trust You?” Explaining the Predictions of Any Classifier 오늘은 LIME을 제안한 논문 “Why Should I Trust You?” Explaining the Predictions of Any Classifier를 읽고 정리해본다. - 목차 - 1. Introduction 2. The Case for Explanations 3. Local Interpretable Model-Agnostic Explanations 4. Submodular Pick for Explaining Models 5. Simulated User Experiments 6. Evaluation with Human Subjects 7. Related Work 8. Conclusion and Future Work 1. Introduction 어떤 사람이 예측 결과나 그 모형을 신뢰할 수 없는 .. 2022. 8. 17. A Unified Approach to Interpreting Model Predictions 오늘은 SHAP의 논문 "A Unified Approach to Interpreting Model Predictions"을 읽고 정리한 것을 적어본다. - 목차 - 1. Introduction 2. Additive Feature Attribution Methods 3. Simple Properties Uniquely Determine Additive Feature Attribution 4. SHAP(SHapley Additive exPlanation) Values 5. Computational and User Study Experiments 6. Conclusion 1. Introduction 요즘은 복잡한 예측 모형의 해석을 위한 방법들이 제공되고 있다. 하지만 어느 방법이 다른 방법보다 좋은지에 대한.. 2022. 8. 15. Producer Incentives in Cost Allocation 이번 포스팅에서는 Young의 1985년 논문 'Producer Incentives in Cost Allocation'을 읽고 정리해보았다. - 목차 - 1. Introduction 2. Cost Allocation, Marginal Cost Pricing and Ramsey Pricing 3. Monotonicity and Aumann-Shapley Prices 4. Other Characterizations of Aumann-Shapley Prices 5. Conclusion 1. Introduction 생산품마다 생산하는 가치가 다른 상황에서 총생산품의 원가를 각 생산품 별로 어떻게 배분하는 것이 좋을까? 이러한 배당 문제는 공공기관에게 직면한 문제로 잘알려져있다. 이론적으로 한계 비용 책정(Mar.. 2022. 8. 11. Monotonic Solutions of Cooperative Games 이번 포스팅에서는 Shapley Value에 대한 Young의 논문 "Monotonic Solutions of Cooperative Games"을 읽고 정리해보았다. 요약 1. Introduction "단조성(Monotonicity)"는 문제의 데이터가 변하면 그 답도 비슷한 방식으로 변한다는 것으로 공정 배분의 일반적인 원리를 나타낸다. 여기서는 협력 게임(Cooperative Game)을 위한 단조성 원리를 알아보고자 한다. 2. Monotonicity 2.1 Cooperative Games $n$명의 플레이어($\{1, 2, \ldots, n \}=N$)로 이루어진 협력 게임(Cooperative Game - CG) $v$는 $N$의 모든 부분 집합$S$에 대하여 실수값으로 정의된 $v(\phi) .. 2022. 8. 11. 24. 랜덤 포레스트(Random Forest)에 대해서 알아보자 이번 포스팅에서는 랜덤 포레스트(Random Forest)에 대해서 알아보고자 한다. 랜덤 포레스트(Random Forest)의 개념, 알고리즘, 여러 고려사항 및 장단점에 대해서 정리해보려고 한다. - 목차 - 1. 랜덤 포레스트(Random Forest)란 무엇인가? 2. 랜덤 포레스트(Random Forest) 알고리즘 3. 장단점 및 고려사항 랜덤 포레스트(Random Forest)을 이해하려면 의사결정나무와 배깅의 대한 내용을 알아야 한다. 아래 포스팅에 정리해 두었으니 먼저 보면 좋다. 9. 의사결정나무(Decision Tree) 에 대해서 알아보자 with Python 9. 의사결정나무(Decision Tree) 에 대해서 알아보자 with Python 이번 포스팅에서는 모형의 해석이 쉽다는.. 2022. 8. 5. 23. 배깅(Bagging)에 대해서 알아보자 이번 포스팅에서는 앙상블 기법의 하나인 배깅(Bagging)에 대해서 알아보고자 한다. 여기서 다루는 내용은 다음과 같다. - 목차 - 1. 배깅(Bagging)이란 무엇인가? 2. 배깅(Bagging) 알고리즘 3. 예제 본 포스팅에서는 수식을 포함하고 있습니다. 티스토리 피드에서는 수식이 제대로 표시되지 않을 수 있으니 PC 웹 브라우저 또는 모바일 웹 브라우저에서 보시기 바랍니다. 배깅(Bagging)이란 무엇인가? 1. 정의 배깅(Bagging)은 Bootstrap Aggregating의 준말로 다음과 같이 정의할 수 있다. 배깅(Bagging)은 붓스트랩(Bootstrap) 샘플링을 이용하여 주어진 하나의 데이터로 학습된 예측 모형보다 더 좋은 모형을 만들 수 있는 앙상블 기법이다. 이 말의 뜻.. 2022. 7. 20. Bagging Predictors 이번 포스팅에서는 Leo Breiman의 논문 'Bagging Predictors'에 대한 내용을 간략히 정리해본다. - 목차 - 1. Introduction 2. Bagging Classification Trees 3. Bagging Regression Trees 4. Why Bagging Works 5. A Linear Regression Illustration 6. Concluding Remarks 1. Introduction 학습 데이터 $L=\{ (y_n, x_n), n=1, \ldots, N \}$이 있다. $y_n$은 클래스 라벨이거나 수치형 반응 변수일 수 있다. 이때 학습 데이터 $L$을 이용하여 예측모형 $\phi(x, L)$을 만들어본다고 가정하자. 또한 학습 데이터의 시퀀스 $\{ .. 2022. 7. 16. 22. 로지스틱 회귀(Logistic Regression)에 대해서 알아보자. 이번 포스팅에서는 로지스틱 회귀에 대한 개념과 적합 알고리즘에 대해서 소개한다. - 목차 - 1. 로지스틱 회귀(Logistic Regression)란 무엇인가? 2. 로지스틱 회귀 적합 알고리즘 3. 장단점 본 포스팅에서는 수식을 포함하고 있습니다. 티스토리 피드에서는 수식이 제대로 표시되지 않을 수 있으니 PC 웹 브라우저 또는 모바일 웹 브라우저에서 보시기 바랍니다. 1. 로지스틱 회귀(Logistic Regression)란 무엇인가? 로지스틱 회귀는 분류 문제에서 활용되는 회귀 모형이며 그 정의는 다음과 같다. 로지스틱 회귀는 출력 변수의 조건부 확률을 Softmax 함수를 이용하여 모델링한 것이다. 이 말의 뜻을 살펴보자. a. Softmax 함수란 무엇인가? Softmax 함수는 $K$범주 분.. 2022. 7. 3. 21. XGBoost에 대해서 알아보자 이번 포스팅에서는 부스팅 계열에 떠오르는 샛별 XGBoost에 대해서 알아보려고 한다. 여기에서는 XGBoost의 개념, 알고리즘 동작 원리를 예제와 함께 알아보고자 한다. - 목차 - 1. XGBoost란 무엇인가? 2. XGBoost 알고리즘 3. 장단점 및 고려 사항 XGBoost는 Gradient Boosting 알고리즘을 알아야 이해하기 쉽다. 아래 포스팅에 Gradient Boosting에 대한 설명을 해놓았으니 먼저 읽고 오기 바란다. 20. Gradient Boosting 알고리즘에 대해서 알아보자 with Python 20. Gradient Boosting 알고리즘에 대해서 알아보자 with Python 이번 포스팅에서는 Gradient Boosting의 개념과 알고리즘을 소개하며 이를 .. 2022. 6. 26. 이전 1 2 3 4 5 6 7 ··· 10 다음
