기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
BlazingText 알고리즘
Amazon SageMaker AI BlazingText 알고리즘은 Word2vec 및 텍스트 분류 알고리즘의 고도로 최적화된 구현을 제공합니다. Word2vec 알고리즘은 감정 분석, 명명된 엔터티 인식, 기계 번역 등 여러 가지 다운스트림 자연 언어 처리(NLP) 작업에 유용합니다. 텍스트 분류는 웹 검색, 정보 검색, 순위 지정 및 문서 분류를 수행하는 애플리케이션에 중요한 작업입니다.
Word2vec 알고리즘은 고품질 분산 벡터로 단어를 매핑합니다. 단어의 결과 벡터 표현은 단어 임베딩이라고 합니다. 의미적으로 유사한 단어는 가까이 있는 벡터에 해당합니다. 이러한 방식으로 단어 임베딩은 단어 간 의미 관계를 파악합니다.
많은 자연 언어 처리(NLP) 애플리케이션이 다량의 문서 모음을 훈련해 단어 임베딩을 배웁니다. 사전 훈련된 벡터 표현은 이후에 보다 제한된 양의 데이터로 훈련된 다른 모델의 일반화 가능성을 개선하는 의미 및 단어 분포에 대한 정보를 제공합니다. 대부분의 Word2vec 알고리즘 구현은 멀티 코어 CPU 아키텍처에 대해 최적화되어 있습니다. 이로 인해 크기가 큰 데이터 세트로 크기 조정하기 어렵습니다.
BlazingText 알고리즘을 사용하면 대규모 데이터 세트로 쉽게 확장할 수 있습니다. Word2vec과 유사하게 Skip-gram 및 CBOW(Continuous Bag-Of-Words) 훈련 아키텍처를 제공합니다. BlazingText의 지도 멀티 클래스, 멀티 레이블 텍스트 분류 알고리즘 구현은 사용자 지정 CUDA
BlazingText 알고리즘은 병렬화할 수 없습니다. 훈련과 관련된 파라미터에 대한 추가 정보는 SageMaker 기본 제공 알고리즘의 도커 레지스트리 경로를 참고하세요.
SageMaker AI BlazingText 알고리즘은 다음과 같은 기능을 제공합니다.
-
멀티 코어 CPU 또는 GPU의 fastText 텍스트 분류자 및 고도로 최적화된 CUDA 커널을 사용하는 GPU의 Word2Vec 훈련을 가속화합니다. 추가 정보는 BlazingText: Scaling and Accelerating Word2Vec using Multiple GPUs
를 참고하세요. -
character n-gram에 대한 벡터 표현을 학습하여 형태소(subword) 정보로 풍부해진 단어 벡터
. 이러한 접근 방식은 BlazingText가 벡터를 character n-gram(형태소) 벡터의 합계로 표시하도록 해 미등록(OOV) 단어에 대한 의미 있는 벡터를 생성하도록 합니다. -
여러 CPU 노드 간에 더욱 빠른 훈련 및 분산 컴퓨팅을 허용하는 Word2Vec 알고리즘을 위한
batch_skipgrammode.batch_skipgrammode에서는 Negative Sample Sharing 전략으로 미니 배치를 훈련하여 레벨 1 BLAS 작업을 레벨 3 BLAS 작업으로 변환합니다. 이렇게 하면 최신 아키텍처의 곱셈-누산 지침을 효율적을 활용할 수 있습니다. 추가 정보는 Parallelizing Word2Vec in Shared and Distributed Memory를 참고하세요.
요약을 위해 BlazingText에서는 여러 유형의 인스턴스에서 다음 모드를 지원합니다.
| Modes |
Word2Vec (비지도 학습) |
텍스트 분류 (지도 학습) |
|---|---|---|
|
단일 CPU 인스턴스 |
|
|
|
단일 GPU 인스턴스(GPU 1개 이상) |
|
GPU 하나를 사용하는 |
|
다중 CPU 인스턴스 |
Batch Skip-gram |
없음 |
BlazingText의 수학적 계산에 대한 추가 정보는 BlazingText: Scaling and Accelerating Word2Vec using Multiple GPUs
주제
BlazingText 알고리즘을 위한 입력/출력 인터페이스
BlazingText 알고리즘에는 공백으로 구분된 토큰이 포함된 사전 처리 텍스트 파일이 하나 필요합니다. 이 파일의 각 행에는 문장이 하나 포함되어 있어야 합니다. 여러 텍스트 파일에 대해 훈련해야 하는 경우 해당 텍스트 파일을 하나의 파일로 연결한 다음 각 채널에서 파일을 업로드합니다.
훈련 및 검증 데이터 형식
Word2Vec 알고리즘에 대한 훈련 및 검증 데이터 형식
Word2Vec 훈련을 위해 train 채널에서 파일을 업로드합니다. 다른 채널은 지원되지 않습니다. 이 파일에는 행마다 훈련 문장이 포함되어 있어야 합니다.
텍스트 분류 알고리즘에 대한 훈련 및 검증 데이터 형식
지도 모드의 경우에는 파일 모드 또는 증강 매니페스트 텍스트 형식을 사용하여 훈련할 수 있습니다.
파일 모드를 사용하여 훈련
supervised 모드의 경우 훈련/검증 파일에는 레이블과 함께 행마다 훈련 문장이 하나씩 포함되어 있어야 합니다. 레이블은 문자열 __label__로 시작하는 단어입니다. 다음은 훈련/검증 파일의 예입니다.
__label__4 linux ready for prime time , intel says , despite all the linux hype , the open-source movement has yet to make a huge splash in the desktop market . that may be about to change , thanks to chipmaking giant intel corp . __label__2 bowled by the slower one again , kolkata , november 14 the past caught up with sourav ganguly as the indian skippers return to international cricket was short lived .
참고
문장 내 레이블의 순서는 중요하지 않습니다.
train 채널에서 훈련 파일을 업로드하고, validation 채널에서 검증 파일을 선택적으로 업로드합니다.
증강 매니페스트 텍스트 형식으로 훈련
또한 CPU 인스턴스의 지도 모드에서는 RecordIO 파일을 생성할 필요 없이 파이프 모드에서 훈련하도록 하는 증강 매니페스트 형식도 지원합니다. 이 형식을 사용하는 동안 문장 목록과 문장의 해당 레이블을 포함한 S3 매니페스트 파일을 생성해야 합니다. 매니페스트 파일 형식은 각 행이 샘플 하나를 나타내는 JSON Linessource 태그를 사용하여 지정되고, 레이블은 label 태그를 사용하여 지정할 수 있습니다. source 및 label 태그는 둘 모두 요청으로 지정된 AttributeNames 파라미터 값 아래에서 제공되어야 합니다.
{"source":"linux ready for prime time , intel says , despite all the linux hype", "label":1} {"source":"bowled by the slower one again , kolkata , november 14 the past caught up with sourav ganguly", "label":2}
다중 레이블 훈련도 레이블의 JSON 배열을 지정하여 지원됩니다.
{"source":"linux ready for prime time , intel says , despite all the linux hype", "label": [1, 3]} {"source":"bowled by the slower one again , kolkata , november 14 the past caught up with sourav ganguly", "label": [2, 4, 5]}
증강 매니페스트 파일에 대한 추가 정보는 훈련 작업용 증강 매니페스트 파일 섹션을 참조하세요.
모델 아티팩트 및 추론
Word2Vec 알고리즘의 모델 아티팩트
Word2Vec 훈련의 경우 모델 아티팩트는 단어-벡터 매핑이 포함된 vectors.txt와 BlazingText에서 호스팅, 추론 또는 둘 다에 사용하는 바이너리인 vectors.bin으로 구성되어 있습니다. vectors.txt는 Gensim 및 Spacy 등과 같은 기타 도구와 호환 가능한 형식으로 벡터를 저장합니다. 예를 들어, Gensim 사용자는 다음 명령을 실행하여 vectors.txt 파일을 로드할 수 있습니다.
from gensim.models import KeyedVectors word_vectors = KeyedVectors.load_word2vec_format('vectors.txt', binary=False) word_vectors.most_similar(positive=['woman', 'king'], negative=['man']) word_vectors.doesnt_match("breakfast cereal dinner lunch".split())
평가 파라미터가 True로 설정된 경우에는 추가 파일인 eval.json이 생성됩니다. 이 파일에는 WS-353 데이터 세트에 대한 유사성 검증 결과(Spearman 순위 상관 계수)가 포함되어 있습니다. 훈련 코퍼스에 없는 WS-353 데이터 세트의 단어 수가 보고됩니다.
추론 요청의 경우 이 모델은 문자열 목록이 포함된 JSON 파일을 수락하고 벡터 목록을 반환합니다. 단어가 어휘에 등록되지 않은 경우 추론에서는 0으로 구성된 벡터를 반환합니다. 훈련 중 형태소(subword)s가 True로 설정되면 모델이 미등록(OOV) 단어에 대한 벡터를 생성할 수 있습니다.
샘플 JSON 요청
Mime-type: application/json
{ "instances": ["word1", "word2", "word3"] }
텍스트 분류 알고리즘의 모델 아티팩트
지도 출력을 사용한 훈련에서는 BlazingText 호스팅에서 사용할 수 있는 model.bin 파일이 생성됩니다. 추론을 위해 BlazingText 모델은 문장 목록이 포함된 JSON 파일을 수락하고 예상되는 해당 레이블 및 확률 점수 목록을 반환합니다. 각 문장은 공백으로 구분된 토큰, 단어 또는 둘 다가 포함된 문자열이어야 합니다.
샘플 JSON 요청
Mime-type: application/json
{ "instances": ["the movie was excellent", "i did not like the plot ."] }
기본적으로 서버는 확률이 가장 높은 예측을 하나만 반환합니다. 상위 k 예측을 가져오기 위해 구성에서 k를 다음과 같이 설정할 수 있습니다.
{ "instances": ["the movie was excellent", "i did not like the plot ."], "configuration": {"k": 2} }
BlazingText의 경우 content-type 및 accept 파라미터는 동일해야 합니다. 배치 변환을 위해 이러한 파라미터는 둘 다 application/jsonlines여야 합니다. 다른 경우 Accept 필드가 무시됩니다. 입력 형식은 다음과 같습니다.
content-type: application/jsonlines {"source": "source_0"} {"source": "source_1"} if you need to pass the value of k for top-k, then you can do it in the following way: {"source": "source_0", "k": 2} {"source": "source_1", "k": 3}
출력 형식은 다음과 같습니다.
accept: application/jsonlines {"prob": [prob_1], "label": ["__label__1"]} {"prob": [prob_1], "label": ["__label__1"]} If you have passed the value of k to be more than 1, then response will be in this format: {"prob": [prob_1, prob_2], "label": ["__label__1", "__label__2"]} {"prob": [prob_1, prob_2], "label": ["__label__1", "__label__2"]}
지도(텍스트 분류) 및 비지도(Word2Vec) 모드의 경우 BlazingText에서 생성하는 바이너리(*.bin)는 fastText에서 교차 사용이 가능하고, 그 반대의 경우에도 마찬가지입니다. BlazingText와 fastText에서 생성한 바이너리를 사용할 수 있습니다. 마찬가지로, BlazingText를 사용하여 fastText에서 생성한 모델 바이너리를 호스팅할 수 있습니다.
다음은 BlazingText로 생성된 모델을 FastText와 함께 사용하는 방법의 예제입니다.
#Download the model artifact from S3 aws s3 cp s3://<YOUR_S3_BUCKET>/<PREFIX>/model.tar.gz model.tar.gz #Unzip the model archive tar -xzf model.tar.gz #Use the model archive with fastText fasttext predict ./model.bin test.txt
그러나 바이너리는 CPU 및 단일 GPU에 대한 훈련인 경우에만 지원됩니다. 다중 GPU에 대한 훈련은 바이너리를 생성하지 않습니다.
BlazingText 알고리즘을 위한 EC2 인스턴스 권장 사항
cbow 및 skipgram 모드의 경우 BlazingText는 단일 CPU 및 단일 GPU 인스턴스를 지원합니다. 이러한 두 모드에서는 subwords 임베딩 학습을 지원합니다. 정확도의 저하 없이 속도를 최대한 높이려면 ml.p3.2xlarge 인스턴스를 사용하는 것이 좋습니다.
batch_skipgram 모드의 경우 BlazingText는 단일 또는 다중 CPU 인스턴스를 지원합니다. 여러 인스턴스에서 훈련 시 CreateTrainingJob으로 전달하는 S3DataSource 객체의 S3DataDistributionType 필드 값을 FullyReplicated로 설정합니다. BlazingText는 머신 간 데이터 분산을 처리합니다.
지도 텍스트 분류 모드의 경우 훈련 데이터 세트가 2GB 미만인 경우 C5 인스턴스가 권장됩니다. 대규모 데이터 세트의 경우 단일 GPU가 있는 인스턴스를 사용하세요. BlazingText는 훈련 및 추론을 위해 P2, P3, G4dn 및 G5 인스턴스를 지원합니다.
BlazingText 샘플 노트북
SageMaker AI BlazingText 알고리즘을 훈련하고 배포하여 단어 벡터를 생성하는 샘플 노트북은 BlazingText를 사용하여 Word2Vec 단어 표현 학습
