DynamoDB에서 인덱스 키 위반 검색 및 수정

Amazon DynamoDB는 글로벌 보조 인덱스 생성의 채우기 단계 중 테이블의 각 항목을 검사하여 인덱스에 포함하기에 적합한지 여부를 결정합니다. 일부 항목은 인덱스 키 위반을 유발하여 적합하지 않을 수도 있습니다. 이러한 경우에는 항목이 테이블에서는 유지되지만 인덱스에 해당 항목에 상응하는 키가 없습니다.

인덱스 키 위반은 다음 상황에서 발생합니다.

인덱스 키 위반이 발생하면 중단 없이 채우기 단계가 계속되지만, 위반 항목이 인덱스에 포함되지 않습니다. 채우기 단계가 끝나면 새 인덱스의 키 스키마를 위반하는 모든 항목 쓰기 작업은 거부됩니다.

테이블에서 인덱스 키를 위반하는 속성 값을 식별하여 수정하려면 위반 감지기 도구를 사용합니다. 위반 감지기를 실행하려면 스캔할 테이블의 이름, 글로벌 보조 인덱스 파티션 키 및 정렬 키의 이름과 데이터 형식, 인덱스 키 위반이 발생하는 경우 취할 조치를 지정하는 구성 파일을 생성합니다. 위반 감지기는 다음 두 가지 모드 중 하나로 실행할 수 있습니다.

위반 감지기 다운로드 및 실행

위반 감지기는 실행 가능한 Java 아카이브(.jar 파일)로 제공되며 Windows, macOS 또는 Linux 컴퓨터에서 실행됩니다. 위반 감지기를 사용하려면 Java 1.7 이상 및 Apache Maven이 필요합니다.

README.md 파일의 지침에 따라 Mavn을 사용하여 위반 감지기를 다운로드 및 설치합니다.

위반 감지기를 시작하려면 ViolationDetector.java를 작성했던 디렉터리로 이동하여 다음 명령을 입력합니다.

java -jar ViolationDetector.jar [options]

위반 감지기 명령줄에서는 다음 옵션을 사용할 수 있습니다.

위반 감지기 구성 파일

런타임 시, 위반 감지기 도구에는 구성 파일이 필요합니다. 이 파일의 파라미터는 위반 감지기에서 액세스할 수 있는 DynamoDB 리소스와 이 도구에서 사용할 수 있는 프로비저닝된 처리량을 결정합니다. 다음 표는 이러한 파라미터에 대해 설명합니다.

accessKey = access_key_id_goes_here
secretKey = secret_key_goes_here 

탐지

인덱스 키 위반을 감지하려면 위반 감지기를 --detect 명령줄 옵션과 함께 사용합니다. 이 옵션의 작동 방식을 알아보기 위해 ProductCatalog 테이블을 살펴봅니다. 다음은 테이블의 항목 목록입니다. 기본 키(Id)와 Price 속성만 표시됩니다.

Price의 모든 값은 Number 형식입니다. 하지만 DynamoDB에는 스키마가 없으므로 숫자가 아닌 Price 값이 지정된 항목을 추가할 수 있습니다. 예를 들어 또 하나의 항목을 ProductCatalog 테이블에 추가한다고 가정해 보겠습니다.

이제 테이블에는 총 9개 항목이 있습니다.

이제 테이블에 새 글로벌 보조 인덱스 PriceIndex를 추가합니다. 이 인덱스의 기본 키는 Number 형식의 파티션 키 Price입니다. 인덱스가 빌드되면 인덱스에 8개 항목이 포함되지만 ProductCatalog 테이블에는 9개 항목이 있습니다. 이러한 불일치가 발생한 이유는 "Hello" 값은 String 형식이지만, PriceIndex의 기본 키는 Number 형식이기 때문입니다. String 값은 글로벌 보조 인덱스 키를 위반하므로 인덱스에 없습니다.

이 시나리오에서 위반 감지기를 사용하려면 먼저 다음과 같은 구성 파일을 만듭니다.

# Properties file for violation detection tool configuration.
# Parameters that are not specified will use default values.

awsCredentialsFile = /home/alice/credentials.txt
dynamoDBRegion = us-west-2
tableName = ProductCatalog
gsiHashKeyName = Price
gsiHashKeyType = N
recordDetails = true
recordGsiValueInViolationRecord = true
detectionOutputPath = ./gsi_violation_check.csv
correctionInputPath = ./gsi_violation_check.csv
numOfSegments = 1
readWriteIOPSPercent = 40

그 다음으로, 다음 예제와 같이 위반 감지기를 실행합니다.

$  java -jar ViolationDetector.jar --configFilePath config.txt --detect keep

Violation detection started: sequential scan, Table name: ProductCatalog, GSI name: PriceIndex
Progress: Items scanned in total: 9,    Items scanned by this thread: 9,    Violations found by this thread: 1, Violations deleted by this thread: 0
Violation detection finished: Records scanned: 9, Violations found: 1, Violations deleted: 0, see results at: ./gsi_violation_check.csv

recordDetails 구성 파라미터를 true로 설정하면 다음 예에서처럼 위반 감지기에서 각 위반에 대한 자세한 정보를 출력 파일에 기록합니다.

Table Hash Key,GSI Hash Key Value,GSI Hash Key Violation Type,GSI Hash Key Violation Description,GSI Hash Key Update Value(FOR USER),Delete Blank Attributes When Updating?(Y/N) 

999,"{""S"":""Hello""}",Type Violation,Expected: N Found: S,, 

출력 파일은 CSV 형식입니다. 이 파일의 첫 번째 줄은 헤더이며, 그 뒤에는 인덱스 키를 위반하는 항목당 한 개 레코드가 이어집니다. 이러한 위반 레코드의 필드는 다음과 같습니다.

수정

인덱스 키 위반을 수정하려면 위반 감지기를 --correct 명령줄 옵션과 함께 사용합니다. 수정 모드에서는 위반 감지기가 correctionInputPath 파라미터에 지정된 입력 파일을 읽습니다. 이 파일의 형식은 detectionOutputPath 파일과 동일하므로 검색의 출력을 수정의 입력으로 사용할 수 있습니다.

위반 감지기에서는 인덱스 키 위반을 수정할 수 있는 두 가지 방법을 제공합니다.

어느 경우든, 검색 모드의 출력 파일을 수정 모드의 입력으로 사용할 수 있습니다.

ProductCatalog 예를 계속 살펴보면서, 이번에는 테이블에서 위반 항목을 삭제하려 한다고 가정해 보겠습니다. 이 작업을 수행하려면 다음 명령줄을 사용합니다.

$  java -jar ViolationDetector.jar --configFilePath config.txt --correct delete

이 때 위반 항목을 삭제할지 묻는 확인 메시지가 표시됩니다.

Are you sure to delete all violations on the table?y/n
y
Confirmed, will delete violations on the table...
Violation correction from file started: Reading records from file: ./gsi_violation_check.csv, will delete these records from table.
Violation correction from file finished: Violations delete: 1, Violations Update: 0

이제는 ProductCatalog와 PriceIndex의 항목 수가 동일합니다.