기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
실험의 대상 지정
대상 대상은 실험 실행 중에 처리에 할당될 수 있는 사용자를 정의합니다. 신뢰할 수 있는 데이터를 수집하고, 위험을 줄이고, 실험 결과가 프로덕션 환경에 적용되도록 하려면 적절한 대상을 선택하는 것이 중요합니다. 실험을 구성할 때 평가 중인 변경 사항과 측정하려는 결과에 적합한 대상을 선택합니다. 대상을 선택할 때 다음과 같은 중요한 세부 정보를 고려하세요.
- 대표성
-
영향을 미치려는 사용자를 반영하는 대상을 선택합니다. 실험과 관련된 신규 및 반환 사용자와 같은 주요 사용자 세그먼트를 포함합니다. 대상이 대표적이지 않은 경우 실험 결과가 더 광범위한 사용자 기반에 일반화되지 않을 수 있습니다. 반대로 시작 기준에 너무 편향되지 않는 대상을 선택합니다.
- 대상 크기
-
적합한 대상이 의미 있는 결과를 낼 수 있을 만큼 충분히 큰지 확인합니다. 소규모 대상은 결정적이지 않거나 매우 가변적인 결과를 초래할 수 있습니다. 대상 수가 많을수록 처리 간 보다 안정적인 비교가 가능합니다. 노출 설정을 사용하여 위험을 제어합니다. 대상 풀 자체를 제한하지 않고 낮은 노출에서 시작하여 점진적으로 증가시킵니다.
- 위험 수준
-
실험이 사용자에게 미치는 잠재적 영향을 고려합니다. 내부 사용자 또는 제한된 대상 하위 집합과 같이 위험이 낮은 세그먼트로 시작합니다. 필요한 경우 중요한 워크로드 또는 민감한 사용자 그룹을 제외합니다. 노출이 점진적으로 증가하면 예상치 못한 문제의 영향을 줄이는 데 도움이 됩니다.
- 자격 기준
-
대상 대상에 사용자를 포함하기 위한 명확한 규칙을 정의합니다. 명확한 자격 기준은 의도하지 않은 노출을 방지하는 데 도움이 됩니다. 다음과 같은 속성을 기반으로 사용자를 필터링하는 대상 규칙을 생성할 수 있습니다.
-
위치 또는 리전
-
계정 유형 또는 사용자 세그먼트
-
디바이스 유형, OS 유형 또는 앱 버전과 같은 애플리케이션 컨텍스트
-
- 다른 실험과의 상호 작용
-
겹치는 실험에 유의하세요. 충돌할 수 있는 여러 실험에 동일한 사용자를 할당하지 마세요. 동시 실험을 실행할 때는 대상을 격리하는 것이 좋습니다. 실험이 겹치면 결과를 해석하기 어려울 수 있습니다.
- 롤아웃 계획에 맞게 조정
-
실험 대상을 의도한 롤아웃 전략에 맞게 조정합니다. 최종 처리에 노출하려는 사용자를 반영하는 대상을 선택합니다. 필요한 경우 추가 실험 실행을 시작하여 광범위한 대상에서 결과를 검증합니다. 이렇게 하면 노출이 증가함에 따라 실험 결과가 유효하게 유지됩니다.
