LDA 작동 방식

Amazon SageMaker LDA는 관찰 집합을 여러 범주의 혼합으로 설명하려는 비지도 학습 알고리즘입니다. 이러한 범주는 특징에 대한 가능성 분포입니다. LDA는 발생적 가능성 모델로 잠재 변수를 기반으로 한 출력 및 입력의 분포에 대한 모델을 제공하려 함을 의미합니다. 이는 입력의 출력 매핑 방식을 학습하려 하는 차별적 모델과는 반대입니다.

제품 구매를 기반으로 한 고객 클러스터링부터 음악의 자동 화음 분석에 이르는 다양한 작업에 LDA를 사용할 수 있습니다. 하지만 일반적으로 텍스트 코퍼스의 주제 모델링과 관련이 있습니다. 관측치를 문서라고 합니다. 특징 세트를 어휘라고 합니다. 특징을 단어라고 합니다. 또한 결과 범주를 주제라고 합니다.

LDA 모델은 두 가지 파라미터로 정의됩니다.

LDA는 “bag-of-words" 모델이므로 단어 순서는 중요하지 않습니다. LDA는 주제 혼합 β ~ Dirichlet (α) 을 word-by-word 선택하여 각 문서를 생성하는 생성 모델입니다.

문서의 각 단어:

모델 훈련 시 목표는 파라미터 α 및 β를 찾는 것입니다. 이는 모델에 의해 텍스트 코퍼스가 생성되는 가능성을 최대화합니다.

LDA 모델 추정에 대한 가장 유명한 메서드는 Gibbs 샘플링 또는 기댓값 최대화(EM) 기법을 사용합니다. Amazon SageMaker LDA는 텐서 스펙트럼 분해를 사용합니다. 이는 여러 이점을 제공합니다.

텐서 분해 알고리즘은 개괄적으로 이 프로세스를 따릅니다.

LDA 모델의 파라미터를 찾은 이후 각 문서에 대한 주제 혼합을 찾을 수 있습니다. 확률 경사 하강을 사용하여 이러한 데이터에 대한 주제 혼합 관측치의 가능성 함수를 최대화합니다.

훈련에서 찾을 주제의 수를 늘리고 결과가 좋지 않은 것을 필터링함으로써 주제의 품질을 개선할 수 있습니다. 이는 실제로 SageMaker LDA에서 자동으로 수행됩니다. 25% 더 많은 주제가 계산되고 관련 디리클레 사전 순위가 가장 큰 항목만 반환됩니다. 주제 필터링 및 분석을 수행하려면 주제 수를 늘리고 결과 LDA 모델을 다음과 같이 수정합니다.

> import mxnet as mx
> alpha, beta = mx.ndarray.load(‘model.tar.gz’)
> # modify alpha and beta
> mx.nd.save(‘new_model.tar.gz’, [new_alpha, new_beta])
> # upload to S3 and create new SageMaker model using the console

LDA 알고리즘 및 구현에 대한 자세한 내용은 다음을 참조하십시오. SageMaker