実験のターゲットオーディエンスの指定

影響を与える予定のユーザーを反映する対象者を選択します。実験に関連する場合は、新規ユーザーや戻りユーザーなどの主要なユーザーセグメントを含めます。対象者が代表的でない場合、実験結果はより広範なユーザーベースに一般化されない可能性があります。逆に、起動基準に偏りすぎない対象者を選択します。

適格な対象者が有意義な結果を得るのに十分な大きさであることを確認します。対象者が少ないと、決定的でない結果や変動性の高い結果になる可能性があります。対象者が多いほど、処理間の比較の信頼性が向上します。リスクを制御するには、露出設定を使用します。オーディエンスプール自体を制限するのではなく、露出が少ないところから始めて徐々に増やします。

実験がユーザーに与える影響を検討します。内部ユーザーや対象者の限られたサブセットなど、リスクの低いセグメントから始めます。必要に応じて、重要なワークロードまたは機密ユーザーグループを除外します。露出を徐々に増やすと、予期しない問題の影響を軽減できます。

ターゲットオーディエンスにユーザーを含めるための明確なルールを定義します。明確な適格性基準は、意図しない露出を防ぐのに役立ちます。次のような属性に基づいてユーザーをフィルタリングするオーディエンスルールを作成できます。

重複する実験に注意してください。競合する可能性のある複数の実験に同じユーザーを割り当てることは避けてください。同時実験を実行するときは、対象者を隔離することを検討してください。実験を重ねると、結果の解釈が困難になる可能性があります。

実験対象者を意図したロールアウト戦略に合わせます。最終的な処理に公開する予定のユーザーを反映する対象者を選択します。必要に応じて、追加の実験実行を開始し、より広範な対象者の結果を検証します。これにより、露出が増加すると実験結果が引き続き有効になります。