Amazon Aurora MySQL DB 클러스터에서 Amazon S3 버킷의 텍스트 파일로 데이터 저장

SELECT INTO OUTFILE S3 문을 사용하여 Amazon Aurora MySQL DB 클러스터에서 데이터를 쿼리한 후 Amazon S3 버킷에 저장된 텍스트 파일에 저장할 수 있습니다. Aurora MySQL에서는 먼저 파일을 로컬 디스크에 저장한 다음 S3로 내보냅니다. 내보내기가 완료되면 로컬 파일이 삭제됩니다.

Amazon S3 관리형 키(SSE-S3) 또는 AWS KMS key(SSE-KMS: AWS 관리형 키 또는 고객 관리형 키)를 사용하여 Amazon S3 버킷을 암호화할 수 있습니다.

LOAD DATA FROM S3 문은 SELECT INTO OUTFILE S3 문에 의해 만들어진 파일을 사용하여 데이터를 Aurora DB 클러스터에 로드할 수 있습니다. 자세한 내용은 Amazon S3 버킷의 텍스트 파일에서 Amazon Aurora MySQL DB 클러스터로 데이터 로드 단원을 참조하십시오.

Aurora MySQL에 Amazon S3에 대한 액세스 권한 부여

Amazon S3 버킷에 데이터를 저장하기 전에 Aurora MySQL DB 클러스터에 Amazon S3에 액세스할 권한을 부여해야 합니다.

Aurora MySQL에서 데이터 저장 권한 부여

SELECT INTO OUTFILE S3 문을 실행하는 데이터베이스 사용자에게는 특별한 역할이나 권한이 부여되어야 합니다. Aurora MySQL 버전 3에서는 AWS_SELECT_S3_ACCESS 역할을 부여합니다. Aurora MySQL 버전 2에서는 SELECT INTO S3 권한을 부여합니다. DB 클러스터의 관리자 사용자에게는 기본적으로 적절한 역할이나 권한이 부여됩니다. 다음 명령문 중 하나를 사용하여 다른 사용자에게 권한을 부여할 수 있습니다.

Aurora MySQL 버전 3에 대해 다음 명령문을 사용합니다.

GRANT AWS_SELECT_S3_ACCESS TO 'user'@'domain-or-ip-address'

Aurora MySQL 버전 2에 대해 다음 문을 사용합니다.

GRANT SELECT INTO S3 ON *.* TO 'user'@'domain-or-ip-address'

AWS_SELECT_S3_ACCESS 역할 및 SELECT INTO S3 권한은 Amazon Aurora MySQL에만 적용되며 MySQL 데이터베이스 또는 RDS for MySQL DB 인스턴스에서는 사용할 수 없습니다. 복제 소스인 Aurora MySQL DB 클러스터와 복제 클라이언트인 MySQL 데이터베이스 간에 복제를 설정한 경우, 역할 또는 권한에 대한 GRANT 문으로 인해 오류가 생겨 복제가 중단됩니다. 오류를 건너뛰고 복제를 계속 진행하셔도 됩니다. RDS for MySQL DB 인스턴스에서 오류를 건너뛰려면 mysql_rds_skip_repl_error 프로시저를 사용하십시오. 외부 MySQL 데이터베이스에서 오류를 건너뛰려면 slave_skip_errors 시스템 변수(Aurora MySQL 버전 2) 또는 replica_skip_errors 시스템 변수(Aurora MySQL 버전 3)를 사용하세요.

Amazon S3 버킷의 경로 지정

Amazon S3 버킷에서 데이터 및 매니페스트 파일을 저장할 경로를 지정하는 구문은 다음과 같이 LOAD DATA FROM S3 PREFIX 문에 사용된 것과 비슷합니다.

s3-region://bucket-name/file-prefix

경로에는 다음 값이 포함됩니다.

SELECT INTO OUTFILE S3 문으로 만들어진 데이터 파일은 다음 경로를 사용합니다. 여기서 00000은 0부터 시작하는 5자리 정수입니다.

s3-region://bucket-name/file-prefix.part_00000

예를 들어 SELECT INTO OUTFILE S3 문이 데이터 파일을 저장할 경로로 s3-us-west-2://bucket/prefix를 지정하고 3개의 데이터 파일을 만드는 것으로 가정합시다. 지정된 Amazon S3 버킷에는 다음 데이터 파일이 포함됩니다.

데이터 파일을 나열할 매니페스트 만들기

SELECT INTO OUTFILE S3 문을 MANIFEST ON 옵션과 함께 사용하여 문에 의해 만들어진 텍스트 파일을 나열하는 매니페스트 파일(JSON 형식)을 만들 수 있습니다. LOAD DATA FROM S3 문은 매니페스트 파일을 사용하여 데이터 파일을 다시 Aurora MySQL DB 클러스터에 로드할 수 있습니다. 매니페스트 파일을 사용하여 데이터 파일을 Amazon S3에서 Aurora MySQL DB 클러스터로 로드하는 방법에 대한 자세한 내용은 매니페스트 파일을 이용해 로드할 데이터 파일 지정 단원을 참조하십시오.

SELECT INTO OUTFILE S3 문으로 만들어진 매니페스트 파일에 포함된 데이터 파일은 만들어진 순서대로 나열됩니다. 예를 들어 SELECT INTO OUTFILE S3 문이 데이터 파일을 저장할 경로로 s3-us-west-2://bucket/prefix를 지정하고 데이터 파일 3개와 매니페스트 파일을 만드는 것으로 가정합시다. 지정된 Amazon S3 버킷에는 다음 정보를 포함하는 매니페스트 파일 s3-us-west-2://bucket/prefix.manifest가 있습니다.

{
  "entries": [
    {
      "url":"s3-us-west-2://bucket/prefix.part_00000"
    },
    {
      "url":"s3-us-west-2://bucket/prefix.part_00001"
    },
    {
      "url":"s3-us-west-2://bucket/prefix.part_00002"
    }
  ]
}

SELECT INTO OUTFILE S3

SELECT INTO OUTFILE S3 문을 사용하여 DB 클러스터에서 데이터를 쿼리한 후 Amazon S3 버킷에 저장된 구분 기호로 구분된 텍스트 파일에 직접 저장할 수 있습니다.

압축 파일은 지원되지 않습니다. 암호화된 파일은 Aurora MySQL 버전 2.09.0부터 지원됩니다.

구문

SELECT
    [ALL | DISTINCT | DISTINCTROW ]
        [HIGH_PRIORITY]
        [STRAIGHT_JOIN]
        [SQL_SMALL_RESULT] [SQL_BIG_RESULT] [SQL_BUFFER_RESULT]
        [SQL_CACHE | SQL_NO_CACHE] [SQL_CALC_FOUND_ROWS]
    select_expr [, select_expr ...]
    [FROM table_references
        [PARTITION partition_list]
    [WHERE where_condition]
    [GROUP BY {col_name | expr | position}
        [ASC | DESC], ... [WITH ROLLUP]]
    [HAVING where_condition]
    [ORDER BY {col_name | expr | position}
         [ASC | DESC], ...]
    [LIMIT {[offset,] row_count | row_count OFFSET offset}]
INTO OUTFILE S3 's3_uri'
[CHARACTER SET charset_name]
    [export_options]
    [MANIFEST {ON | OFF}]
    [OVERWRITE {ON | OFF}]
    [ENCRYPTION {ON | OFF | SSE_S3 | SSE_KMS ['cmk_id']}]

export_options:
    [FORMAT {CSV|TEXT} [HEADER]]
    [{FIELDS | COLUMNS}
        [TERMINATED BY 'string']
        [[OPTIONALLY] ENCLOSED BY 'char']
        [ESCAPED BY 'char']
    ]
    [LINES
        [STARTING BY 'string']
        [TERMINATED BY 'string']
]

파라미터

SELECT INTO OUTFILE S3 문은 Aurora에 고유한 다음과 같은 필수 및 선택 파라미터를 사용합니다.

MySQL 설명서의 SELECT 문 및 LOAD DATA 문에서 다른 파라미터에 대한 자세한 내용을 확인할 수 있습니다.

고려 사항

Amazon S3 버킷에 만들어지는 파일 개수는 SELECT INTO OUTFILE S3 문에서 선택된 데이터의 양과 Aurora MySQL의 파일 크기 임계값에 따라 달라집니다. 기본 파일 크기 임계값은 6기가바이트(GB)입니다. 문에서 선택된 데이터가 파일 크기 임계값보다 작으면 파일이 한 개 만들어지고, 그렇지 않으면 파일이 여러 개 만들어집니다. 이 문으로 만들어지는 파일에 대한 다른 고려 사항은 다음과 같습니다.

SELECT INTO OUTFILE S3 문은 성공 또는 실패 시 일반적인 MySQL 오류 번호 및 응답을 반환합니다. MySQL 오류 번호 및 응답에 액세스할 수 없을 경우 완료 여부를 확인할 수 있는 가장 간단한 방법은 문에 MANIFEST ON을 지정하는 것입니다. 매니페스트 파일은 문이 기록하는 마지막 파일입니다. 즉, 매니페스트 파일이 있으면 문이 완료된 것입니다.

현재 SELECT INTO OUTFILE S3 문이 실행되는 동안 진행률을 직접 모니터링하는 방법은 없습니다. 하지만 이 문을 사용하여 Aurora MySQL에서 Amazon S3으로 대량의 데이터를 기록할 때 문에서 선택된 데이터의 크기를 알고 있는 경우 Amazon S3에 만들어진 데이터 파일을 모니터링하여 진행률을 추정할 수 있습니다.

이렇게 하기 위해 명령문에서 선택한 6GB 데이터마다, 지정된 Amazon S3 버킷에 데이터 파일이 한 개 만들어진다는 점을 이용할 수 있습니다. 선택된 데이터 크기를 6GB로 나누어 만들어질 데이터 파일 수를 추측합니다. 그런 다음 문이 실행되는 동안 Amazon S3에 업로드된 파일 수를 모니터링하여 진행률을 추정할 수 있습니다.

예시

다음 문은 employees 테이블에서 모든 데이터를 선택하고 Aurora MySQL DB 클러스터와 다른 리전에 속한 Amazon S3 버킷에 데이터를 저장합니다. 이 문은 각 필드가 쉼표(,) 문자로 끝나고 각 줄이 줄바꿈(\n) 문자로 끝나는 데이터 파일을 만듭니다. 이 문은 sample_employee_data 파일 접두사와 일치하는 파일이 지정된 Amazon S3 버킷에 존재할 경우 오류를 반환합니다.

SELECT * FROM employees INTO OUTFILE S3 's3-us-west-2://aurora-select-into-s3-pdx/sample_employee_data'
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n';

다음 문은 employees 테이블에서 모든 데이터를 선택하고 Aurora MySQL DB 클러스터와 같은 리전에 속한 Amazon S3 버킷에 데이터를 저장합니다. 이 문은 각 필드가 쉼표(,) 문자로 끝나고 각 줄이 줄바꿈(\n) 문자로 끝나는 데이터 파일을 만들고 매니페스트 파일도 만듭니다. 이 문은 sample_employee_data 파일 접두사와 일치하는 파일이 지정된 Amazon S3 버킷에 존재할 경우 오류를 반환합니다.

SELECT * FROM employees INTO OUTFILE S3 's3://aurora-select-into-s3-pdx/sample_employee_data'
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
    MANIFEST ON;

다음 문은 employees 테이블에서 모든 데이터를 선택하고 Aurora DB 클러스터와 다른 리전에 속한 Amazon S3 버킷에 데이터를 저장합니다. 이 문은 각 필드가 쉼표(,) 문자로 끝나고 각 줄이 줄바꿈(\n) 문자로 끝나는 데이터 파일을 만듭니다. 이 문은 지정된 Amazon S3 버킷에서 sample_employee_data 파일 접두사와 일치하는 기존 파일을 모두 덮어씁니다.

SELECT * FROM employees INTO OUTFILE S3 's3-us-west-2://aurora-select-into-s3-pdx/sample_employee_data'
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
    OVERWRITE ON;

다음 문은 employees 테이블에서 모든 데이터를 선택하고 Aurora MySQL DB 클러스터와 같은 리전에 속한 Amazon S3 버킷에 데이터를 저장합니다. 이 문은 각 필드가 쉼표(,) 문자로 끝나고 각 줄이 줄바꿈(\n) 문자로 끝나는 데이터 파일을 만들고 매니페스트 파일도 만듭니다. 이 문은 지정된 Amazon S3 버킷에서 sample_employee_data 파일 접두사와 일치하는 기존 파일을 모두 덮어씁니다.

SELECT * FROM employees INTO OUTFILE S3 's3://aurora-select-into-s3-pdx/sample_employee_data'
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
    MANIFEST ON
    OVERWRITE ON;