Evidly를 사용한 CloudWatch A/B 테스트

Amazon CloudWatch Personalize를 사용하여 A/B 테스트를 수행하고 분명히

1. 에비틀리 프로젝트를 생성하십시오. CloudWatch 프로젝트는 리소스를 논리적으로 그룹화한 것입니다 CloudWatch . 프로젝트 내에서 테스트하거나 출시하고 싶은 변형이 있는 특성을 생성합니다. step-by-step 지침은 Amazon 사용 CloudWatch 설명서의 새 프로젝트 생성을 참조하십시오.

2. 프로젝트에 특성을 추가하고 해당 변형을 정의하세요. 이 실험의 경우, 특성은 테스트하려는 추천 시나리오(예: 클릭률)를 나타내야 합니다.

   특성을 추가할 때는 식별자를 지정하여 시나리오의 다양한 변형을 Personalize 추천자 또는 사용자 지정 캠페인에 매핑하세요. 각 변형의 경우, 변형 유형(예: 문자열)을 지정하고 변형에 이름을 지정한 다음 값을 지정합니다.

   실험이 실행되면 애플리케이션은 변형 값을 사용하여 추천에 사용할 Personalize 리소스를 결정합니다. 예를 들어 두 개의 VIDEO _ON_ DEMAND 추천자를 테스트하는 경우, 하나는 가장 적합한 사용 사례에 대해 생성되고 다른 하나는 Trending now 사용 사례용으로 생성된 경우 다음을 JSON 각 변형의 값으로 설정할 수 있습니다.

   {"type":"top-picks-recommendations","arn":"arn:aws:personalize:us-west-2:<acct-id>:recommender/top-picks-recommender"}

   {"type":"trending-recommendations","arn":"arn:aws:personalize:us-west-2:<acct-id>:recommender/trending-now-recommender"}

   애플리케이션에서 관련 리소스를 확인하기 위해 사용할 수 있다면 어떤 식별자도 지정할 수 있습니다. 예를 들어 추천자 또는 캠페인의 이름만 지정하고 애플리케이션에서 리소스의 Amazon 리소스 이름 (ARN) 을 생성할 수 있습니다.

   기능을 추가하는 step-by-step 방법에 대한 지침은 Amazon 사용 CloudWatch 설명서의 프로젝트에 기능 추가를 참조하십시오.

3. 애플리케이션을 업데이트하여 실험을 지원하세요.

   • 기능 평가 — CloudWatch Evily EvaluateFeature API 작업을 사용하여 각 사용자 세션에 변형을 할당할 수 있습니다. EvaluateFeature반응에는 이전 단계에서 지정한 변동 값이 포함됩니다. 이 경우 이 JSON 객체는 추천자 유형의 객체이고 ARN 추천자의 유형입니다. 추천 요청 코드를 업데이트하여 이 리소스에서 추천을 받으세요.

     기능 평가에 대한 자세한 내용은 Amazon 사용 CloudWatch 설명서의 사용을 EvaluateFeature 참조하십시오.

   • 결과 기록 — 애플리케이션에 코드를 추가하여 추천에 대한 사용자의 상호작용 결과를 추적합니다.

     CloudWatch Evively에서 실험에 대한 지표를 추적하려면 CloudWatch Evily PutProjectEvents API 작업을 사용하여 각 사용자의 결과를 기록하십시오. 예를 들어 실험에서 사용자가 추천 항목을 클릭하면 이 이벤트의 세부 정보를 Evidently에 보내게 됩니다. CloudWatch

     CloudWatch Evidently로 이벤트를 보내는 방법에 대한 자세한 내용은 Amazon CloudWatch 사용 PutProjectEvents 설명서에서 사용을 참조하십시오.

     Amazon Personalize 권장 사항의 관련성을 개선하기 위해 Amazon Personalize 작업을 통해 결과 이벤트를 기록할 수 있습니다. PutEvents API 도메인 사용 사례 또는 사용자 지정 레시피가 추천에 대한 실시간 업데이트를 지원하는 경우, Personalize는 사용자가 애플리케이션을 사용할 때 사용자의 최신 활동을 학습하고 추천을 업데이트할 수 있습니다. 업데이트를 지원하지 않는 경우, Personalize는 다음에 모델을 완전히 재학습할 때 이 데이터를 사용하여 추천에 영향을 줍니다.

     Personalize로 이벤트를 스트리밍하는 것에 대한 자세한 내용은 권장 사항에 영향을 미치는 실시간 이벤트 기록를 참조하세요.

4. 실험을 생성하고 시작합니다. 규칙을 생성할 때 다음을 지정할 수 있습니다.

   • 특성 – 실험에서 테스트할 특성을 선택합니다.

   • 대상 – 참여할 사용자 수를 구성하고 특성 변형 간에 트래픽을 분할하는 방법을 구성합니다.

   • 지표 – 실험의 성공 여부를 결정하는 지표를 지정합니다. 클릭 수를 예로 들 수 있습니다.

   실험 생성을 완료한 후 실험 기간을 지정하고 실험을 시작합니다. CloudWatch Evively에서 실험을 생성하고 시작하는 step-by-step 방법에 대한 지침은 Amazon CloudWatch 사용 설명서의 실험 생성을 참조하십시오.

5. 실험을 실행하면서 CloudWatch Evitly 실험 대시보드에서 결과를 볼 수 있습니다. 실험 결과 보기에 대한 자세한 내용은 Amazon CloudWatch 사용 설명서의 대시보드에서 실험 결과 보기를 참조하십시오.