티스토리

통계학, 그리고 인공지능(R, python)
검색하기

블로그 홈

통계학, 그리고 인공지능(R, python)

rython.tistory.com/m

R 통계학과 python 인공지능을 주로 설명하는 블로그입니다.

구독자
6
방명록 방문하기
공지 안녕하세요, Rython 팀블로그입니⋯ 모두보기

주요 글 목록

  • PCA(주성분분석, Principal Component Analysis)의 수학적 원리 I. PCA는 무엇인가 PCA(Principal Component Analysis)는 대표적인 차원 축소 기법입니다. 데이터의 차원을 축소하는 이유 중 하나는 차원의 저주입니다. 차원의 저주는, 데이터의 Feature가 증가할수록 정확한 예측을 하기 위해 필요한 데이터의 양이 기하급수적으로 증가하는 현상입니다. 예를 들어 라면의 특징들을 기반으로 라면의 평점을 예측하는 인공지능을 모델링하는 상황을 생각해봅시다. 이때 확보한 데이터에 라면의 종류는 100개, 라면의 특징이 1000종류가 포함되어 있다면 어떨까요. 자명하게도 1000가지의 Feature가 동등하게 예측에 사용된다면, 겨우 100가지의 표본만이 존재하기 때문에 학습이 정상적으로 이루어질 수 없습니다. 아래 사진에서 알 수 있듯이 같은 양의 데.. 공감수 6 댓글수 0 2022. 6. 19.
  • 결정계수 R^2, 상관계수의 제곱 r^2의 차이 증명(Coefficient of determination VS Squared correlation coefficient) Introduction 많은 이들이 결정계수 R^2과 상관계수의 제곱 r^2을 동등하게 여긴다. 이는 통계학에서 두드러지는데, 실제로 책 에서는 결정계수를 r^2으로 계산하도록 하고, 통계학 특화 프로그래밍 언어 R의 매우 유명한 package, caret package의 함수 postResample마저도 그렇다. “상관계수를 제곱한 값, 즉 을 결정계수(coefficient of determination)라고 부른다. 이 값은 한 변수의 변이성(variability) 또는 변동(variation)을 다른 변수가 어느 정도나 공유하는지 말해주는 척도이다.” 책 Caret package 개발자의 설명 문서, topepo.github.io/caret/measuring-performance.html#measu.. 공감수 32 댓글수 13 2020. 12. 26.
  • Basic Machine Learning In python - IRIS 안녕하세요, 아주나 2회차 강의 python 코드 설명을 위한 글입니다. 우선 이 글은 edwith에 첨부된 파일 iris.xlsx를 이용하니 edwith에서 데이터가 저장된 파일 iris.xlsx를 먼저 다운받아 주세요. 우선 데이터로 사용할 iris.xlsx에 대해 간단한 설명을 드리자면 붓꽃(iris)의 꽃잎과 꽃받침의 너비와 길이를 통해 붓꽃의 세 가지 품종 중 하나의 품종을 맞추는 유명한 머신러닝 예제를 저희가 일부 변형하여 만들어낸 데이터입니다. 구체적인 내용은 코드를 통해 데이터를 함께 파악해봅시다. Jupyter notebook이나 colab의 사용법은 매우 비슷한데요, 코드를 삽입할 수 있는 사각형이 있고 이를 셀(Cell)이라고 합니다. 이 부분에 코드를 치고 Ctrl+Enter 또는 .. 공감수 2 댓글수 0 2020. 9. 24.
  • Basic Machine Learning In R - IRIS 이 글은 작성자가 Edwith 강의의 멘토로 활동하면서 수강생들의 이해를 돕기 위해 쓴 글입니다. 매우 친절하게 설명되어 있으므로, 다른 분들이 보셔도 무방합니다. 안녕하세요, 아낌없이 주는 나무 2회차 강의를 듣고 오신 여러분. 이 글에서 R 코드를 설명해드리겠습니다. R_machine_learning.R을 열어 글을 읽으며 하나씩 실행시켜 보세요. (+iris.xlsx도 다운로드받아주세요.) iris.xlsx에는 붓꽃들의 정보가 담겨있습니다. 붓꽃의 줄기 같은 길이 등을 측정하고, 그 붓꽃의 품종과 이를 측정한 기록원의 이름이 있습니다. 우리는 저러한 길이 정보들을 토대로 붓꽃의 품종들을 예측해볼 것입니다. 한 줄을 실행하기 위해서는, 그 위치에 커서를 놓고 CTRL+ENTER를 쳐야 합니다. 여러 .. 공감수 2 댓글수 0 2020. 9. 22.
  • 머신러닝 모델의 평가 (2. 다중 분류) 제목이 다중 분류이긴 한데 약간 모호할 수 있으므로 Multiclass Classification임을 밝힙니다. 이전 글 https://rython.tistory.com/7 머신러닝 모델의 평가 (1. 이진 분류) 어떠한 결과값을 예측하는 머신러닝 모델을 만들게 된다면 어떤 모델이 더 좋은지 평가를 할 수 있어야 한다. 이러한 평가는 모델을 다 만든 후에만 하는 것이 아니라 모델을 선택하고 만드는 rython.tistory.com 이전 글에서는 이진 분류의 평가 지표들에 대해 알아보았습니다. Titanic 생존자 예측과 같은 경우에는 target이 0과 1, 즉 이진 분류로 해결할 수 있는 문제인데요, 분류 문제를 보면 항상 2가지로 나누는 문제만 있는 것은 아닙니다. 예를 들면 Iris 품종 예측과 같.. 공감수 16 댓글수 2 2020. 8. 29.
  • Caret Package - Tuning(Grid Search, Random Search) in R R에는 참 위대한 package들이 많습니다. dplyr이 대표적이죠. 그러나 그 중 압권은 단연컨대 caret이라 생각합니다. caret은 "short for Classification And REgression Training"의 약자로 분류와 회귀를 매우 간편하게 만들어주는 package로, R의 머신러닝 구현을 python보다 극도로 쉽게 만들었습니다. caret이 편리한 이유들은 다음과 같습니다. 1. train/test 효율적 분획: createDataPartition() 2. 간편한 전처리: preProcess() 3. 손쉬운 모델 훈련 컨트롤: trainControl() 4. 튜닝 기본 제공 + 추가적 튜닝의 편의성: tuneGrid, tunelength 등 5. 대부분의 모델 지원 이번 .. 공감수 3 댓글수 0 2020. 8. 29.
  • 수식으로 알아보는 GAN 이 글은 GAN이 처음 나타난 논문 「Generative adversarial nets」을 바탕으로 작성하였습니다. Goodfellow, I. J., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A., and Bengio, Y. (2014). Generative adversarial nets. In NIPS’2014 https://papers.nips.cc/paper/5423-generative-adversarial-nets.pdf GAN에 대한 대략적인 설명은 이전 글에서 하겠습니다. 이전 글 https://rython.tistory.com/9 GAN(Generative Adversarial Network) .. 공감수 4 댓글수 0 2020. 8. 26.
  • Phylogenetic Tree(계통수) 실습 in R (2) - Neighbor Joining, Maximum parsimony, Maximum Likelihood, Bootstrapping, ggtree 1편에 이어서 글을 작성하겠습니다. 1편 링크 첨부해드립니다. https://rython.tistory.com/8 Phylogenetic Tree(계통수) 실습 with R (1) - DNA Alignment, Hierarchical Clustering, Multidimensional Scaling 안녕하세요, Killer T Cell입니다. 이번에는 Phylogenetic Tree를 R로써 어떻게 구현하는지 포스팅하겠습니다. 전체적 개괄은 다음과 같습니다. 우선 Phylogenetic Tree란 생물의 진화로 인해 발생한 유사성, � rython.tistory.com 2편에서는, 1편에서 가공한 데이터와 각종 자료(Clustering) 등을 활용해 phylogenetic tree를 다양한 알고리즘으로 .. 공감수 15 댓글수 2 2020. 8. 26.
  • GAN(Generative Adversarial Network) 개요 GAN은 최근 가장 각광받고있는 모델이다. GAN은 아주 다양한 분야에 응용될 수 있고 굉장히 다양한 변형 GAN들이 나타나고 있다. 각각의 모델들의 구조와 구현은 따로 글을 포스팅할 것이고 각각의 GAN에 대한 전체적인 설명을 하고자 한다. GAN의 목표 우선 GAN이 무엇을 하는 모델인지부터 알아보자. 가장 처음 등장한 GAN은 두 개의 network를 가지며 각각 Generator와 Discriminator라고 한다. GAN의 목표는 원래의 data의 분포를 학습하여 그 분포를 따라 새로 만들어내는(Generate) 것이 목적이다. Generator는 실제로 새로운 data를 만들어내는 일을 하게 되고 Discriminator는 실제 data와 만들어 낸 가짜 data를 Classification하.. 공감수 4 댓글수 0 2020. 8. 24.
  • Phylogenetic Tree(계통수) 실습 in R (1) - DNA Alignment, Hierarchical Clustering, Multidimensional Scaling 안녕하세요, Killer T Cell입니다. 이번에는 Phylogenetic Tree를 R로써 어떻게 구현하는지 포스팅하겠습니다. 전체적 개괄은 다음과 같습니다. 우선 Phylogenetic Tree란 생물의 진화로 인해 발생한 유사성, 차이를 기반으로 친연 관계를 분석해 그림으로 나타낸 일종의 다이어그램입니다. 각 node 간의 수직적 거리가 진화적 거리를 의미하며, 이외에도 여러 주요한 특징이 있으나 이곳은 R 카테고리이기에 자세한 내용은 생략하겠습니다. 이 글을 보시는 분들은 이미 충분히 배경에 대해 아시라 생각합니다...^^ 사용한 DATASET입니다. Source: https://www.ncbi.nlm.nih.gov/genbank/ A형 influenza를 일으키는 H3N2 virus의 sequ.. 공감수 10 댓글수 2 2020. 8. 24.
  • 머신러닝 모델의 평가 (1. 이진 분류) 어떠한 결과값을 예측하는 머신러닝 모델을 만들게 된다면 어떤 모델이 더 좋은지 평가를 할 수 있어야 한다. 이러한 평가는 모델을 다 만든 후에만 하는 것이 아니라 모델을 선택하고 만드는 과정에서도 계속해서 사용하게 된다. 이러한 모델을 평가하는 방법 중 처음으로 분류 모델 중 가장 간단한 이진 분류 모델의 성능을 평가할 수 있는 몇 개의 지표들을 알아보자. 회귀와 다중 분류에 대한 평가 지표는 추후에 포스팅할 것이다. 1. 정확도 Accuracy 정확도는 우리가 가장 이해하기 쉽고 가장 널리 쓰이는 평가 지표이다. 아마 머신러닝을 처음 접하는 사람들도 어떤 지표인지 알 수 있을 것이라 생각한다. 전체 예측한 data의 개수에 대한 옳게 예측한 data의 개수의 비율로 나타내며 0에서 1 사이의 값을 가진.. 공감수 2 댓글수 0 2020. 8. 3.
  • 선형회귀의 5가지 가정 실습 in R Linear Regression은 몇 가지 가정과 함께 모델을 만든다. 이번 포스팅에서는 그 가정을 간략히 살펴보고, 데이터와 모델이 가정에 부합하는지 판단할 수 있는 R 코드를 설명한다. 그 가정들은 다음과 같다. 선형회귀모형이 $Y_i = \sum \alpha_i X_i + \beta + \epsilon_i, \epsilon_i \sim N(0, \sigma^2)$ 을 가정한다는 점을 상기하면 이해에 도움이 될 것이다. 1. 선형성: 종속 변인과 독립 변인 사이에 선형적 관계가 존재해야 한다. 당연한 이야기다. Linear Regression이 무엇인지 안다면 자명하게 받아들일 수 있다. 2. 다중공선성 X: 독립 변인들 간의 강한 상관관계가 없어야 한다. 다중선형회귀분석에서만 따져주면 되는 조건이다.. 공감수 4 댓글수 2 2020. 8. 3.
  • 다중회귀분석 실습 in R 다중회귀분석은 말 그대로 여러 개의 독립 변인을 회귀분석하는 것이다. 그러나 단일회귀분석과 달리 분석 과정에 여러 주의해야할 점이 존재한다. 글을 보기 전, 회귀계수와 오차항의 정의 정도는 알아두고 가자. 회귀계수는 위 사진에서 beta들, 오차항은 epsilon이다. 즉 회귀계수의 절댓값이 커질수록 독립 변인이 종속 변인에 미치는 영향은 지대해진다. R 코드를 보며 차차 정리하겠다. csv는 첨부파일에 올려두겠다. car 공감수 2 댓글수 0 2020. 8. 2.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.