티스토리

shyang-data-study

검색하기

블로그 홈

shyang-data-study

shyang-data-study.tistory.com/m

sara2601 님의 블로그입니다.

구독자: 1

방명록 방문하기

주요 글 목록

LDA(Latent Dirichlet Allocation) 잠재 디리클레 할당 ※본문은 와 ratsgo.github.io LDA를 요약한 내용입니다. 기존의 TF-IDF 행렬은 단어의 의미를 전혀 고려하지 못한다는 단점을 보유한다. 이에 LSA(잠재 의미 분석)는 TF-IDF 행렬이나 DTM 행렬에 Truncated SVD(절단된 SVD)를 사용해 차원을 축소하고, 단어들의 잠재적인 의미를 끌어낸다는 아이디어를 가지고 있음. 다만 LSA는, 새로운 정보에 대해 업데이트가 어렵다는 단점이 있어, Word2Vec 등 단어의 의미를 벡터화할 수 있는 또 다른 방법론인 인공신경망 기반 방법론이 각광을 받는다. 토픽 모델링은 문서의 집합에서 토픽을 찾아내는 프로세스를 말한다. LDA(Latent Dirichlet Allocation)은 토픽모델링의 대표적인 알고리즘으로 뽑힌다. LDA는 문.. 공감수 0 댓글수 0 2021. 7. 29.
TF-IDF(Term Frequency-Inverse Document Frequency) ※본 내용은 의 TF-IDF 내용을 정리한 내용입니다. TF-IDF : 단어의 빈도와 역 문서 빈도를 사용해 DTM 내의 단어들마다 중요한 정도를 가중치로 주는 방법 문서(document) : $d$, 총 문서의 개수 : $n$, 단어(words) : $t$ ▶ $tf(d, t)$ : 특정 문서 $d$에서의 특정 단어 $t$의 등장 횟수를 계산. (=DTM) ex) 문서1 : 어려운 자연어처리 자연어처리 문서2 : 자연어처리 이후 토픽모델링 문서3 : 어려운 한글 문법 문서4 : 한글 공고 토픽모델링 → 문서당 등장 단어 빈도를 행렬의 값으로 표기 어려운 한글 공고 자연어처리 이후 토픽모델링 문법 문서1 1 0 0 2 0 0 0 문서2 0 0 0 1 1 1 0 문서3 1 1 0 0 0 0 1 문서4 0 .. 공감수 0 댓글수 0 2021. 7. 28.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.