분석 구성 파일

분석 구성 파일에서는 다음 매개변수를 지정할 수 있습니다.

다음 예제에서는 CSV 형식의 테이블 형식 데이터 세트에 대한 편향 및 설명 가능성 분석을 구성하는 방법을 보여줍니다. 이 예제에서 수신되는 데이터 세트에는 4개의 특징 열과 1개의 바이너리 레이블 열(Target)이 포함되어 있습니다. 데이터 세트의 내용은 다음과 같습니다. 레이블의 값이 1이면 긍정적인 결과임을 나타냅니다. 데이터 세트는 dataset 처리 입력에 의해 SageMaker Clarify 작업에 제공됩니다.

"Target","Age","Gender","Income","Occupation"
0,25,0,2850,2
1,36,0,6585,0
1,22,1,1759,1
0,48,0,3446,1
...

다음 섹션에서는 CSV 형식의 데이터 세트에 대한 특성 중요성을 보여주는 훈련 전 및 훈련 후 편향 지표, SHAP 값 및 부분 종속성 플롯(PDPs)을 계산하는 방법을 보여줍니다.

모든 훈련 전 편향 지표의 계산

이 예제 구성은 이전 샘플 데이터 세트가 Gender값이 0인 샘플에 대해 우호적으로 편향되어 있는지 여부를 측정하는 방법을 보여줍니다. 다음 분석 구성은 SageMaker Clarify 처리 작업에 데이터 세트에 대한 모든 훈련 전 편향 지표를 계산하도록 지시합니다.

{
    "dataset_type": "text/csv",
    "label": "Target",
    "label_values_or_threshold": [1],
    "facet": [
        {
            "name_or_index": "Gender",
            "value_or_threshold": [0]
        }
    ],
    "methods": {
        "pre_training_bias": {
            "methods": "all"
        }
    }
}

모든 훈련 후 편향 지표의 계산

훈련 전에는 훈련 전 편향 지표를 계산할 수 있습니다. 하지만 훈련 후 편향 지표를 계산하려면 먼저 훈련된 모델이 준비되어야 합니다. 다음 예제 출력은 CSV 형식으로 데이터를 출력하는 이진 분류 모델에서 가져온 것입니다. 이 예제 출력에서는 각 행마다 2개의 열이 있습니다. 첫 번째 열에는 예측 레이블이 포함되고, 두 번째 열에는 해당 레이블에 대한 확률 값이 포함됩니다.

0,0.028986845165491
1,0.825382471084594
...

다음 구성 예제에서는 SageMaker Clarify 처리 작업에 데이터 세트와 모델 출력의 예측을 사용하여 가능한 모든 바이어스 지표를 계산하도록 지시합니다. 이 예제에서는 모델이 SageMaker 엔드포인트 에 배포됩니다your_endpoint.

{
    "dataset_type": "text/csv",
    "label": "Target",
    "label_values_or_threshold": [1],
    "facet": [
        {
            "name_or_index": "Gender",
            "value_or_threshold": [0]
        }
    ],
    "methods": {
        "pre_training_bias": {
            "methods": "all"
        },
        "post_training_bias": {
            "methods": "all"
        }
    },
    "predictor": {
        "endpoint_name": "your_endpoint",
        "label": 0
    }
}

SHAP 값 계산

다음 예제 분석 구성은 열을 레이블로 지정하고 다른 모든 Target 열을 기능으로 지정하는 SHAP 값을 계산하도록 작업에 지시합니다.

{
    "dataset_type": "text/csv",
    "label": "Target",
    "methods": {
        "shap": {
            "num_clusters": 1
        }
    },
    "predictor": {
        "endpoint_name": "your_endpoint",
        "probability": 1
    }
}

이 예제에서는 SHAP baseline 파라미터가 생략되고 num_clusters 파라미터의 값은 입니다1. 이렇게 하면 SageMaker Clarify 프로세서가 하나의 SHAP 기준 샘플을 계산하도록 지시합니다. 이 예제에서는 확률이 1로 설정되어 있습니다. 이렇게 하면 SageMaker Clarify 처리 작업에 모델 출력의 두 번째 열에서 확률 점수를 추출하도록 지시합니다(제로 기반 인덱싱 사용).

부분 종속성 플롯 계산(PDPs)

다음 예제에서는 를 사용하여 분석 보고서에서 Income 기능의 중요성을 보는 방법을 보여줍니다PDPs. 보고서 파라미터는 SageMaker Clarify 처리 작업에 보고서를 생성하도록 지시합니다. 작업이 완료되면, 생성된 보고서가 analysis_result위치에 report.pdf 형식으로 저장됩니다. grid_resolution 매개변수는 해당 특징 값의 범위를 10개의 버킷으로 분할합니다. 다음 예제에 지정된 파라미터는 함께 SageMaker Clarify 처리 작업에 x축에 10 세그먼트가 Income 있는 에 대한 PDP 그래프가 포함된 보고서를 생성하도록 지시합니다. y축은 Income이 예측에 미치는 한계 영향을 표시하게 됩니다.

{
    "dataset_type": "text/csv",
    "label": "Target",
    "methods": {
        "pdp": {
            "features": ["Income"],
            "grid_resolution": 10
        },
        "report": {
            "name": "report"
        }
    },
    "predictor": {
        "endpoint_name": "your_endpoint",
        "probability": 1
    },
}

편향 지표 및 특징 중요도 모두에 대한 계산

이전 구성 예제의 모든 메서드를 단일 분석 구성 파일로 결합하여 하나의 작업만으로 모든 계산을 수행하는 것이 가능합니다. 다음 예제는 모든 단계를 결합했을 때의 분석 구성을 보여줍니다.

이 예제에서 probability매개변수는 확률이 두 번째 열에 포함되어 있음을 나타내기 위해 (0으로 시작하는 인덱싱을 사용하여) 1로 설정되어 있습니다. 그러나 편향 분석에는 예측 레이블이 필요하므로, 확률 점수를 바이너리 레이블로 변환할 수 있도록 probability_threshold매개변수가 0.5로 설정되었습니다. 이 예제에서는 부분 종속성 도표 pdp메서드의 top_k_features매개변수가 2로 설정되어 있습니다. 이렇게 하면 SageMaker Clarify 처리 작업에 전역 SHAP 값이 가장 큰 상위 2 기능에 대한 부분 종속 플롯(PDPs)을 계산하도록 지시합니다.

{
    "dataset_type": "text/csv",
    "label": "Target",
    "probability_threshold": 0.5,
    "label_values_or_threshold": [1],
    "facet": [
        {
            "name_or_index": "Gender",
            "value_or_threshold": [0]
        }
    ],
    "methods": {
        "pre_training_bias": {
            "methods": "all"
        },
        "post_training_bias": {
            "methods": "all"
        },
        "shap": {
            "num_clusters": 1
        },
        "pdp": {
            "top_k_features": 2,
            "grid_resolution": 10
        },
        "report": {
            "name": "report"
        }
    },
    "predictor": {
        "endpoint_name": "your_endpoint",
        "probability": 1
    }
}

모델을 엔드포인트에 배포하는 대신 model_name 파라미터를 사용하여 SageMaker Clarify 처리 작업에 SageMaker 모델 이름을 제공할 수 있습니다. 다음 예제는 your_model이라는 이름의 모델을 지정하는 방법을 보여줍니다. SageMaker Clarify 처리 작업은 구성을 사용하여 섀도우 엔드포인트를 생성합니다.

{
     ...
    "predictor": {
        "model_name": "your_model",
        "initial_instance_count": 1,
        "instance_type": "ml.m5.large",
        "probability": 1
    }
}

다음 예제에서는 JSON 행 형식의 테이블 형식 데이터 세트에 대한 편향 분석 및 설명 가능성 분석을 구성하는 방법을 보여줍니다. 이 예제에서 수신 데이터 세트는 이전 섹션과 동일한 데이터를 갖지만, 촘촘한 SageMaker JSON 행 형식입니다. 각 줄은 유효한 JSON 객체입니다. “Features” 키는 특징 값의 배열을 가리키고, “Label” 키는 실측 레이블을 가리킵니다. 데이터 세트는 '데이터 세트' 처리 입력에 의해 SageMaker Clarify 작업에 제공됩니다. JSON 라인에 대한 자세한 내용은 섹션을 참조하세요JSONLINES 요청 형식.

{"Features":[25,0,2850,2],"Label":0}
{"Features":[36,0,6585,0],"Label":1}
{"Features":[22,1,1759,1],"Label":1}
{"Features":[48,0,3446,1],"Label":0}
...

다음 섹션에서는 JSON 선 형식의 데이터 세트에 대한 특성 중요성을 보여주는 훈련 전 및 훈련 후 편향 지표, SHAP 값 및 부분 종속성 플롯(PDPs)을 계산하는 방법을 보여줍니다.

훈련 전 편향 지표의 계산

Gender 값이 0인 대상에서 훈련 전 편향 지표를 측정하기 위한 레이블, 특징, 형식 및 방법을 지정합니다. 다음 예제에서는 headers매개변수가 특징 이름을 먼저 제공합니다. 레이블 이름은 마지막에 제공됩니다. 마지막 헤더는 통상적으로 레이블 헤더입니다.

features 파라미터는 SageMaker Clarify 처리 작업이 각 레코드에서 특성 배열을 추출할 수 있도록 표현JMESPath식 '기능'으로 설정됩니다. label 파라미터는 SageMaker Clarify 처리 작업이 각 레코드에서 기본 진실 레이블을 추출할 수 있도록 JMESPath 표현식 “Label”로 설정됩니다. 다음과 같이 패싯 이름을 사용하여 민감한 속성을 지정합니다.

{
    "dataset_type": "application/jsonlines",
    "headers": ["Age","Gender","Income","Occupation","Target"],
    "label": "Label",
    "features": "Features",
    "label_values_or_threshold": [1],
    "facet": [
        {
            "name_or_index": "Gender",
            "value_or_threshold": [0]
        }
    ],
    "methods": {
        "pre_training_bias": {
            "methods": "all"
        }
    }
}

모든 편향 지표의 계산

훈련 후 편향 지표를 계산하려면 먼저 훈련된 모델이 준비되어야 합니다. 다음 예제는 예제의 형식으로 JSON Lines 데이터를 출력하는 바이너리 분류 모델의 예제입니다. 모델 출력의 각 행은 유효한 JSON 객체입니다. predicted_label 키는 예측 레이블을 가리키고, probability키는 확률 값을 가리킵니다.

{"predicted_label":0,"probability":0.028986845165491}
{"predicted_label":1,"probability":0.825382471084594}
...

라는 SageMaker 엔드포인트에 모델을 배포할 수 있습니다your_endpoint. 다음 예제 분석 구성은 SageMaker Clarify 처리 작업에 데이터 세트와 모델 모두에 대해 가능한 모든 편향 지표를 계산하도록 지시합니다. 이 예제에서는 content_type및 accept_type매개변수가 설정되어 있지 않습니다. 따라서 이는 dataset_type 매개변수의 값에 해당하는 application/jsonlines를 사용하도록 자동으로 설정됩니다. SageMaker Clarify 처리 작업은 파라미터를 사용하여 $features 자리 표시자를 특성 배열로 대체하여 모델 입력을 content_template 구성합니다.

{
    "dataset_type": "application/jsonlines",
    "headers": ["Age","Gender","Income","Occupation","Target"],
    "label": "Label",
    "features": "Features",
    "label_values_or_threshold": [1],
    "facet": [
        {
            "name_or_index": "Gender",
            "value_or_threshold": [0]
        }
    ],
    "methods": {
        "pre_training_bias": {
            "methods": "all"
        },
        "post_training_bias": {
            "methods": "all"
        }
    },
    "predictor": {
        "endpoint_name": "your_endpoint",
        "content_template": "{\"Features\":$features}",
        "label": "predicted_label"
    }
}

SHAP 값 계산

SHAP 분석에 기본 진실 레이블이 필요하지 않으므로 label 파라미터가 생략됩니다. 이 예제에서는 headers매개변수도 생략되었습니다. 따라서 SageMaker Clarify 처리 작업은 기능 헤더의 경우 column_0 또는 , label0 레이블 헤더column_1의 경우 와 같은 일반 이름을 사용하여 자리 표시자를 생성해야 합니다. 분석 결과의 가독성을 높이기 위해 headers및 label에 각각의 값을 지정할 수 있습니다. 확률 파라미터가 JMESPath 표현식 로 설정되어 있으므로 probability확률 값은 모델 출력에서 추출됩니다. 다음은 SHAP 값을 계산하는 예제입니다.

{
    "dataset_type": "application/jsonlines",
    "features": "Features",
    "methods": {
        "shap": {
            "num_clusters": 1
        }
    },
    "predictor": {
        "endpoint_name": "your_endpoint",
        "content_template": "{\"Features\":$features}",
        "probability": "probability"
    }
}

부분 종속 플롯 계산(PDPs)

다음 예제에서는 에서 '수입'의 중요성을 보는 방법을 보여줍니다PDP. 이 예제에서 특징 헤더는 제공되지 않습니다. 따라서 pdp메서드의 features매개변수는 해당 특징 열의 위치를 참조할 수 있도록 반드시 0으로 시작하는 인덱스를 사용해야 합니다. grid_resolution 매개변수는 해당 특징 값의 범위를 10개의 버킷으로 분할합니다. 예제의 파라미터는 함께 SageMaker Clarify 처리 작업에 x축에 10 세그먼트가 Income 있는 에 대한 PDP 그래프가 포함된 보고서를 생성하도록 지시합니다. y축은 Income이 예측에 미치는 한계 영향을 표시하게 됩니다.

{
    "dataset_type": "application/jsonlines",
    "features": "Features",
    "methods": {
        "pdp": {
            "features": [2],
            "grid_resolution": 10
        },
        "report": {
            "name": "report"
        }
    },
    "predictor": {
        "endpoint_name": "your_endpoint",
        "content_template": "{\"Features\":$features}",
        "probability": "probability"
    }
}

편향 지표 및 특징 중요도 모두에 대한 계산

이전의 모든 메서드를 단일 분석 구성 파일로 결합하여 하나의 작업만으로 모든 계산을 수행하는 것이 가능합니다. 다음 예제는 모든 단계를 결합했을 때의 분석 구성을 보여줍니다. 이 예제에서는 probability매개변수가 설정되어 있습니다. 그러나 편향 분석에는 예측 레이블이 필요하므로, 확률 점수를 바이너리 레이블로 변환할 수 있도록 probability_threshold매개변수가 0.5로 설정되었습니다. 이 예제에서는 pdp메서드의 top_k_features매개변수가 2로 설정되어 있습니다. 이렇게 하면 SageMaker Clarify 처리 작업에서 전역 SHAP 값이 가장 큰 상위 2 기능에 PDPs 대해 계산하도록 지시합니다.

{
    "dataset_type": "application/jsonlines",
    "headers": ["Age","Gender","Income","Occupation","Target"],
    "label": "Label",
    "features": "Features",
    "probability_threshold": 0.5,
    "label_values_or_threshold": [1],
    "facet": [
        {
            "name_or_index": "Gender",
            "value_or_threshold": [0]
        }
    ],
    "methods": {
        "pre_training_bias": {
            "methods": "all"
        },
        "post_training_bias": {
            "methods": "all"
        },
        "shap": {
            "num_clusters": 1
        },
        "pdp": {
            "top_k_features": 2,
            "grid_resolution": 10
        },
        "report": {
            "name": "report"
        }
    },
    "predictor": {
        "endpoint_name": "your_endpoint",
        "content_template": "{\"Features\":$features}",
        "probability": "probability"
    }
}

다음 예제에서는 JSON 형식의 테이블 형식 데이터 세트에 대한 편향 및 설명 가능성 분석을 구성하는 방법을 보여줍니다. 이러한 예제에서 수신 데이터 세트는 이전 섹션과 동일한 데이터를 갖지만 고밀도 형식입니다 SageMaker JSON. JSON 라인에 대한 자세한 내용은 섹션을 참조하세요JSONLINES 요청 형식.

전체 입력 요청은 외부 구조가 목록이고 각 요소가 레코드의 데이터인 JSON 경우에 유효합니다. 각각의 레코드에서 Features키는 특징 값의 배열을 가리키고, Label키는 실측 레이블을 가리킵니다. 데이터 세트는 dataset 처리 입력에 의해 SageMaker Clarify 작업에 제공됩니다.

[
    {"Features":[25,0,2850,2],"Label":0},
    {"Features":[36,0,6585,0],"Label":1},
    {"Features":[22,1,1759,1],"Label":1},
    {"Features":[48,0,3446,1],"Label":0},
    ...
]

다음 섹션에서는 JSON 선 형식의 데이터 세트에 대한 특성 중요성을 보여주는 훈련 전 및 훈련 후 편향 지표, SHAP 값 및 부분 종속성 플롯(PDPs)을 계산하는 방법을 보여줍니다.

훈련 전 편향 지표의 계산

Gender 값이 0인 대상에서 훈련 전 편향 지표를 측정하기 위한 레이블, 특징, 형식 및 방법을 지정합니다. 다음 예제에서는 headers매개변수가 특징 이름을 먼저 제공합니다. 레이블 이름은 마지막에 제공됩니다. JSON 데이터 세트의 경우 마지막 헤더는 레이블 헤더입니다.

features 파라미터는 2D 배열 또는 매트릭스를 추출하는 JMESPath 표현식으로 설정됩니다. 이 행렬의 각 행에는 각 레코드의 Features목록이 반드시 포함되어야 합니다. label 파라미터는 기본 진실 레이블 목록을 추출하는 JMESPath 표현식으로 설정됩니다. 이 목록의 각 요소에는 레코드의 레이블이 반드시 포함되어야 합니다.

다음과 같이 패싯 이름을 사용하여 민감한 속성을 지정합니다.

{
    "dataset_type": "application/json",
    "headers": ["Age","Gender","Income","Occupation","Target"],
    "label": "[*].Label",
    "features": "[*].Features",
    "label_values_or_threshold": [1],
    "facet": [
        {
            "name_or_index": "Gender",
            "value_or_threshold": [0]
        }
    ],
    "methods": {
        "pre_training_bias": {
            "methods": "all"
        }
    }
}

모든 편향 지표의 계산

훈련 후 편향 지표를 계산하려면 먼저 훈련된 모델이 준비되어야 합니다. 다음 코드 예제는 예제의 형식으로 JSON 데이터를 출력하는 바이너리 분류 모델의 예제입니다. 이 예제에서 predictions아래의 각 요소는 레코드의 예측 출력에 해당합니다. 예제 코드에 포함되어 있는 predicted_label키는 예측 레이블을 가리키고, probability키는 확률 값을 가리킵니다.

{
    "predictions": [
        {"predicted_label":0,"probability":0.028986845165491},
        {"predicted_label":1,"probability":0.825382471084594},
        ...
    ]
}

라는 SageMaker 엔드포인트에 모델을 배포할 수 있습니다your_endpoint.

다음 예제에서는 매개변수 content_type과 accept_type이 설정되지 않았습니다. 따라서 content_type및 accept_type은 dataset_type매개변수의 값에 해당하는 application/json을 사용하도록 자동으로 설정됩니다. 그런 다음 SageMaker Clarify 처리 작업은 content_template 파라미터를 사용하여 모델 입력을 구성합니다.

다음 예제에서는 $records자리 표시자를 레코드의 배열로 대체하여 모델 입력을 구성하고 있습니다. 그런 다음 record_template 파라미터는 각 레코드의 JSON 구조를 구성하고 $features 자리 표시자를 각 레코드의 특성 배열로 바꿉니다.

다음 예제 분석 구성은 SageMaker 데이터 세트와 모델 모두에 대해 가능한 모든 편향 지표를 계산하도록 처리 작업 명료화에 지시합니다.

{
    "dataset_type": "application/json",
    "headers": ["Age","Gender","Income","Occupation","Target"],
    "label": "[*].Label",
    "features": "[*].Features",
    "label_values_or_threshold": [1],
    "facet": [
        {
            "name_or_index": "Gender",
            "value_or_threshold": [0]
        }
    ],
    "methods": {
        "pre_training_bias": {
            "methods": "all"
        },
        "post_training_bias": {
            "methods": "all"
        }
    },
    "predictor": {
        "endpoint_name": "your_endpoint",
        "content_template": "$records",
        "record_template": "{\"Features\":$features}",
        "label": "predictions[*].predicted_label"
    }
}

SHAP 값 계산

SHAP 분석할 레이블을 지정할 필요가 없습니다. 다음 예제에서는 headers매개변수가 지정되지 않았습니다. 따라서 SageMaker Clarify 처리 작업은 기능 헤더의 경우 column_0 또는 , label0 레이블 헤더column_1의 경우 와 같은 일반 이름을 사용하여 자리 표시자를 생성합니다. 분석 결과의 가독성을 높이기 위해 headers및 label에 각각의 값을 지정할 수 있습니다.

다음 구성 예제에서는 확률 파라미터가 각 레코드의 각 예측에서 확률을 추출하는 JMESPath 표현식으로 설정됩니다. 다음은 SHAP 값을 계산하는 예제입니다.

{
    "dataset_type": "application/json",
    "features": "[*].Features",
    "methods": {
        "shap": {
            "num_clusters": 1
        }
    },
    "predictor": {
        "endpoint_name": "your_endpoint",
        "content_template": "$records",
        "record_template": "{\"Features\":$features}",
        "probability": "predictions[*].probability"
    }
}

부분 종속성 플롯 계산(PDPs)

다음 예제에서는 에서 기능 중요도를 보는 방법을 보여줍니다PDPs. 이 예제에서 특징 헤더는 제공되지 않습니다. 따라서 pdp메서드의 features매개변수는 해당 특징 열의 위치를 참조할 수 있도록 반드시 0으로 시작하는 인덱스를 사용해야 합니다. grid_resolution 매개변수는 해당 특징 값의 범위를 10개의 버킷으로 분할합니다.

다음 예제의 파라미터는 모두 SageMaker Clarify 처리 작업에 x축에 10 세그먼트가 Income 있는 에 대한 PDP 그래프가 포함된 보고서를 생성하도록 지시합니다. y축은 Income이 예측에 미치는 한계 영향을 보여주게 됩니다.

다음 구성 예제는 Income에서 의 중요성을 보는 방법을 보여줍니다PDPs.

{
    "dataset_type": "application/json",
    "features": "[*].Features",
    "methods": {
        "pdp": {
            "features": [2],
            "grid_resolution": 10
        },
        "report": {
            "name": "report"
        }
    },
    "predictor": {
        "endpoint_name": "your_endpoint",
        "content_template": "$records",
        "record_template": "{\"Features\":$features}",
        "probability": "predictions[*].probability"
    }
}

편향 지표 및 특징 중요도 모두에 대한 계산

이전의 모든 구성 메서드를 단일 분석 구성 파일로 결합하여 하나의 작업만으로 모든 계산을 수행하는 것이 가능합니다. 다음 예제는 모든 단계를 결합했을 때의 분석 구성을 보여줍니다.

이 예제에서는 probability매개변수가 설정되어 있습니다. 편향 분석에는 예측 레이블이 필요하므로 probability_threshold매개변수가 0.5로 설정되었고, 이는 확률 점수를 바이너리 레이블로 변환하는 데 사용됩니다. 이 예제에서는 pdp메서드의 top_k_features매개변수가 2로 설정되어 있습니다. 이렇게 하면 글로벌 SHAP 값이 가장 큰 상위 2 기능에 PDPs 대해 계산하도록 SageMaker Clarify 처리 작업에 지시합니다.

{
    "dataset_type": "application/json",
    "headers": ["Age","Gender","Income","Occupation","Target"],
    "label": "[*].Label",
    "features": "[*].Features",
    "probability_threshold": 0.5,
    "label_values_or_threshold": [1],
    "facet": [
        {
            "name_or_index": "Gender",
            "value_or_threshold": [0]
        }
    ],
    "methods": {
        "pre_training_bias": {
            "methods": "all"
        },
        "post_training_bias": {
            "methods": "all"
        },
        "shap": {
            "num_clusters": 1
        },
        "pdp": {
            "top_k_features": 2,
            "grid_resolution": 10
        },
        "report": {
            "name": "report"
        }
    },
    "predictor": {
        "endpoint_name": "your_endpoint",
        "content_template": "$records",
        "record_template": "{\"Features\":$features}",
        "probability": "predictions[*].probability"
    }
}

다음 예제에서는 자연어 처리()에 대한 특성 중요도를 계산하기 위한 분석 구성 파일을 보여줍니다NLP. 이 예제에서 수신 데이터 세트는 CSV 다음과 같이 바이너리 레이블 열 1개와 특성 열 2개가 있는 형식의 테이블 형식 데이터 세트입니다. 데이터 세트는 dataset 처리 입력 파라미터에 의해 SageMaker Clarify 작업에 제공됩니다.

0,2,"They taste gross"
1,3,"Flavor needs work"
1,5,"Taste is awful"
0,1,"The worst"
...

이 예제에서 바이너리 분류 모델은 이전 데이터 세트에서 훈련되었습니다. 모델은 CSV 데이터를 수락하고 다음과 1같이 0 ~ 사이의 단일 점수를 출력합니다.

0.491656005382537
0.569582343101501
...

모델은 “your_model”이라는 SageMaker 모델을 생성하는 데 사용됩니다. 다음 분석 구성은 모델 및 데이터 세트를 사용하여 토큰별 설명 가능성 분석을 실행하는 방법을 보여줍니다. text_config 파라미터는 NLP 설명 가능성 분석을 활성화합니다. granularity 매개변수는 분석 시 토큰을 해석해야 함을 나타냅니다.

영어에서 각 토큰은 하나의 단어입니다. 다음 예제에서는 4의 평균 SHAP “등급”을 사용하여 현재 위치의 “베이스라인” 인스턴스를 제공하는 방법도 보여줍니다. 특수 마스크 토큰 “[MASK]”은 “의견”의 토큰(단어)을 대체하는 데 사용됩니다. 또한 이 예제에서는 GPU 엔드포인트 인스턴스 유형을 사용하여 추론 속도를 높입니다.

{
    "dataset_type": "text/csv",
    "headers": ["Target","Rating","Comments"]
    "label": "Target",
    "methods": {
        "shap": {
            "text_config": {
                "granularity": "token",
                "language": "english"
            }
            "baseline": [[4,"[MASK]"]],
        }
    },
    "predictor": {
        "model_name": "your_nlp_model",
        "initial_instance_count": 1,
        "instance_type": "ml.g4dn.xlarge"
    }
}

다음 예제는 컴퓨터 비전에서의 특징 중요도를 계산하는 분석 구성 파일을 보여줍니다. 이 예제에서 입력 데이터 세트는 JPEG 이미지로 구성됩니다. 데이터 세트는 dataset 처리 입력 파라미터에 의해 SageMaker Clarify 작업에 제공됩니다. 이 예제에서는 SageMaker 이미지 분류 모델을 사용하여 설명 가능성 분석을 구성하는 방법을 보여줍니다. 이 예제에서는 라는 모델your_cv_ic_model이 입력 JPEG 이미지에서 동물을 분류하도록 훈련되었습니다.

{
    "dataset_type": "application/x-image",
    "methods": {
        "shap": {
             "image_config": {
                "model_type": "IMAGE_CLASSIFICATION",
                 "num_segments": 20,
                "segment_compactness": 10
             }
        },
        "report": {
            "name": "report"
        }
    },
    "predictor": {
        "model_name": "your_cv_ic_model",
        "initial_instance_count": 1,
        "instance_type": "ml.p2.xlarge",
        "label_headers": ["bird","cat","dog"]
    }
}

이미지 분류에 대한 자세한 내용은 섹션을 참조하세요이미지 분류 - MXNet.

이 예제에서는 SageMaker 객체 감지 모델 your_cv_od_model가 동일한 JPEG 이미지에 대해 훈련되어 동물을 식별합니다. 다음 예제는 객체 감지 모델을 위한 설명 가능성 분석을 구성하는 방법을 보여줍니다.

{
    "dataset_type": "application/x-image",
    "probability_threshold": 0.5,
    "methods": {
        "shap": {
             "image_config": {
                "model_type": "OBJECT_DETECTION",
                 "max_objects": 3,
                "context": 1.0,
                "iou_threshold": 0.5,
                 "num_segments": 20,
                "segment_compactness": 10
             }
        },
        "report": {
            "name": "report"
        }
    },
    "predictor": {
        "model_name": "your_cv_od_model",
        "initial_instance_count": 1,
        "instance_type": "ml.p2.xlarge",
        "label_headers": ["bird","cat","dog"]
    }
}

다음 예제에서는 시계열(TS)의 특성 중요도를 계산하기 위한 분석 구성 파일을 보여줍니다. 이 예제에서 수신 데이터 세트는 동적 및 정적 공변량 특성 집합을 포함하는 JSON 형식의 시계열 데이터 세트입니다. 데이터 세트는 데이터 세트 처리 입력 파라미터 에 의해 SageMaker Clarify 작업에 제공됩니다dataset_uri.

[
    {
        "item_id": "item1",
        "timestamp": "2019-09-11",
        "target_value": 47650.3,
        "dynamic_feature_1": 0.4576,
        "dynamic_feature_2": 0.2164,
        "dynamic_feature_3": 0.1906,
        "static_feature_1": 3,
        "static_feature_2": 4
    },
    {
        "item_id": "item1",
        "timestamp": "2019-09-12",
        "target_value": 47380.3,
        "dynamic_feature_1": 0.4839,
        "dynamic_feature_2": 0.2274,
        "dynamic_feature_3": 0.1889,
        "static_feature_1": 3,
        "static_feature_2": 4
    },
    {
        "item_id": "item2",
        "timestamp": "2020-04-23",
        "target_value": 35601.4,
        "dynamic_feature_1": 0.5264,
        "dynamic_feature_2": 0.3838,
        "dynamic_feature_3": 0.4604,
        "static_feature_1": 1,
        "static_feature_2": 2
    },
]

다음 섹션에서는 JSON 데이터 세트의 비대칭 Shapley 값 알고리즘을 사용하여 예측 모델의 특성 속성을 계산하는 방법을 설명합니다.

시계열 예측 모델에 대한 설명 계산

다음 예제 분석 구성은 시계열 예측 모델에 대한 설명을 계산하기 위해 작업에서 사용하는 옵션을 표시합니다.

{
    'dataset_type': 'application/json',
    'dataset_uri': 'DATASET_URI',
    'methods': {
        'asymmetric_shapley_value': {
            'baseline': {
                "related_time_series": "zero",
                "static_covariates": {
                    "item1": [0, 0], "item2": [0, 0]
                },
                "target_time_series": "zero"
            },
            'direction': 'chronological',
            'granularity': 'fine_grained',
            'num_samples': 10
        },
        'report': {'name': 'report', 'title': 'Analysis Report'}
    },
    'predictor': {
        'accept_type': 'application/json',
        'content_template': '{"instances": $records}',
        'endpoint_name': 'ENDPOINT_NAME', 
        'content_type': 'application/json',              
        'record_template': '{
            "start": $start_time, 
            "target": $target_time_series, 
            "dynamic_feat": $related_time_series, 
            "cat": $static_covariates
        }',
        'time_series_predictor_config': {'forecast': 'predictions[*].mean[:2]'}
    },
    'time_series_data_config': {
        'dataset_format': 'timestamp_records',
        'item_id': '[].item_id',
        'related_time_series': ['[].dynamic_feature_1', '[].dynamic_feature_2', '[].dynamic_feature_3'],
        'static_covariates': ['[].static_feature_1', '[].static_feature_2'],
        'target_time_series': '[].target_value',
        'timestamp': '[].timestamp'
    }
}

시계열 설명 가능성 구성

앞의 예에서는 asymmetric_shapley_value 에서 methods를 사용하여 기준, 방향, 세분화 및 샘플 수와 같은 시계열 설명성 인수를 정의합니다. 기준 값은 관련 시계열, 정적 공변량 및 대상 시계열의 세 가지 데이터 유형에 모두 설정됩니다. 이러한 필드는 SageMaker Clarify 프로세서에 한 번에 한 항목에 대한 특성 속성을 계산하도록 지시합니다.

예측기 구성

SageMaker Clarify 프로세서가 구문을 사용하여 전송하는 JMESPath 페이로드 구조를 완전히 제어할 수 있습니다. 이전 예제에서 predictor config는 Clarify에 레코드를 '{"instances": $records}' 로 집계하도록 지시합니다. 여기서 각 레코드는 예제record_template에 지정된 인수로 정의됩니다. $start_time, $related_time_series, $target_time_series및 $static_covariates는 데이터 세트 값을 엔드포인트 요청 값에 매핑하는 데 사용되는 내부 토큰입니다.

마찬가지로 의 속성forecasttime_series_predictor_config은 엔드포인트 응답에서 모델 예측을 추출하는 데 사용됩니다. 예를 들어 엔드포인트 배치 응답은 다음과 같을 수 있습니다.

{
    "predictions": [
        {"mean": [13.4, 3.6, 1.0]}, 
        {"mean": [23.0, 4.7, 3.0]}, 
        {"mean": [3.4, 5.6, 2.0]}
    ]
}

다음 시계열 예측기 구성을 지정한다고 가정해 보겠습니다.

'time_series_predictor_config': {'forecast': 'predictions[*].mean[:2]'}

예측 값은 다음과 같이 구문 분석됩니다.

[
    [13.4, 3.6],
    [23.0, 4.7],
    [3.4, 5.6]
]

데이터 구성

time_series_data_config 속성을 사용하여 SageMaker Clarify 프로세서에 URI에서 S3로 전달된 데이터에서 데이터를 올바르게 구문 분석하도록 지시합니다dataset_uri.