데이터 변환

Amazon SageMaker Data Wrangler는 다양한 ML 데이터 변환을 제공하여 데이터 정리 및 기능화를 간소화합니다. Data Wrangler의 대화형 데이터 준비 도구를 사용하면 다양한 샘플링 기술로 모든 크기의 데이터 세트를 샘플링하고 몇 분 만에 데이터를 탐색할 수 있습니다. 샘플링된 데이터에 대한 데이터 변환을 완료한 후 데이터 흐름을 확장하여 전체 데이터 세트에 해당 변환을 적용할 수 있습니다.

변환을 추가하면 데이터 흐름에 단계가 추가됩니다. 변환을 추가할 때마다 데이터 세트가 수정되고 새 데이터 프레임이 생깁니다. 이후 모든 변환은 결과 데이터 프레임에 적용됩니다.

Data Wrangler에는 사용자가 코드 없이 열을 변환할 때 사용할 수 있는 내장 변환이 포함되어 있습니다. 데이터를 준비하는 방법을 알고 있지만 시작하는 방법이나 사용할 변환을 모르는 경우 채팅을 사용하여 데이터 준비 기능을 사용하여 Data Wrangler와 대화하고 자연어를 사용하여 변환을 적용할 수 있습니다. 자세한 내용은 데이터 준비를 위한 채팅 단원을 참조하십시오.

PySpark, Python(사용자 정의 함수), pandas 및 를 사용하여 사용자 지정 변환을 추가할 수도 있습니다 PySpark SQL. 현재 위치에서 작동하는 변환이 있는 반면, 데이터 세트에서 새 출력 열을 생성하는 변환도 있습니다.

변환은 여러 열에 한 번에 적용할 수 있습니다. 예를 들어, 사용자는 한 번에 여러 열을 삭제할 수 있습니다.

프로세스 숫자 및 누락된 변환 처리를 단일 열에만 적용할 수 있습니다.

이 페이지를 사용하여 Data Wrangler에서 제공하는 기본 제공 및 사용자 지정 변환에 대해 자세히 알아봅니다.

데이터 세트 조인하기

데이터 흐름에서 직접 데이터 세트를 조인할 수 있습니다. 두 데이터 세트를 조인하면 조인된 결과 데이터 세트가 흐름에 나타납니다. 다음 조인 유형이 Data Wrangler에서 지원됩니다.

다음 절차에 따라 두 데이터 세트를 조인합니다. 데이터 흐름으로 두 개의 데이터 소스를 이미 가져왔어야 합니다.

이제 데이터 흐름에 조인 노드가 추가된 것을 볼 수 있습니다.

데이터 세트 연결하기

연결은 한 데이터 세트의 행을 다른 데이터 세트에 추가하여 두 데이터 세트를 결합합니다.

다음 절차에 따라 두 데이터 세트를 연결합니다. 데이터 흐름으로 두 개의 데이터 소스를 이미 가져왔어야 합니다.

이제 데이터 흐름에 연결된 노드가 추가될 것입니다.

데이터 균형화

사용자는 데이터 세트에 과소 대표된 범주가 있는 경우, 데이터 균형을 맞출 수 있습니다. 데이터 세트 균형화는 더 개선된 바이너리 분류 모델을 생성하는 데 도움이 될 수 있습니다.

사용자는 데이터 균형화 연산에서 다음 연산자 중 하나를 사용하여 데이터 균형을 맞출 수 있습니다.

사용자는 숫자 및 비 숫자 특성을 모두 포함하는 데이터 세트에서는 모든 변환을 적용할 수 있습니다. SMOTE 는 인접 샘플을 사용하여 값을 보간합니다. Data Wrangler는 결정계수 거리를 사용하여 추가 샘플을 보간할 이웃을 결정합니다. Data Wrangler는 숫자 특성만 사용하여 과소 대표 집단 내 샘플 간 거리를 계산합니다.

Data Wrangler는 과소 대표 집단에 있는 두 개의 실제 샘플에 대해 가중 평균을 사용하여 숫자 특성을 보간합니다. [0, 1] 범위 샘플에 무작위로 가중치를 할당합니다. 숫자 특성인 경우, Data Wrangler는 샘플의 가중 평균을 사용하여 샘플을 보간합니다. 표본 A와 B의 경우, Data Wrangler는 A에 0.7, B에 0.3의 가중치를 무작위로 할당할 수 있습니다. 보간된 샘플 값은 0.7A+0.3B입니다.

Data Wrangler는 보간된 실제 샘플 중 하나를 복사하여 비 숫자 특성을 보간합니다. 개별 샘플 무작위 할당 확률로 샘플을 복사합니다. 표본 A와 B의 경우, A에는 확률 0.8을, B에는 0.2를 할당할 수 있습니다. 할당된 확률에 대해 80% 의 확률로 A를 복사합니다.

사용자 지정 변환

사용자 지정 변환 그룹을 사용하면 Python(사용자 정의 함수), PySparkpanda 또는 PySpark (SQL)를 사용하여 사용자 지정 변환을 정의할 수 있습니다. 세 가지 옵션 모두 df 변수를 사용하여 변환을 적용하려는 데이터 프레임에 액세스합니다. 사용자 지정 코드를 데이터 프레임에 적용하려면, df 변수에 적용한 변환을 데이터 프레임에 할당해야 합니다. Python(사용자 정의 함수)을 사용하지 않는 경우, 반환문을 포함하지 않아도 됩니다. 미리보기(Preview)를 선택하여 사용자 지정 변환 결과를 미리보기 합니다. 추가(Add)를 선택하여 이전 단계(Previous steps) 목록에 사용자 지정 변환을 추가합니다.

다음과 같이 사용자 지정 변환 코드 블록에 있는 import문으로 주요 라이브러리를 가져올 수 있습니다.

df.rename(columns={"A column": "A_column", "B column": "B_column"})

코드 블록에 출력문이 있는 경우, 미리보기(Preview)를 선택할 때 결과가 표시됩니다. 사용자는 사용자 지정 코드 변환기 패널의 크기를 조정할 수 있습니다. 패널 크기를 조정하면 코드 작성 공간이 넓어집니다.

다음 섹션에는 사용자 지정 변환 코드 작성을 위한 추가 컨텍스트와 예제가 있습니다.

Python(사용자 정의 함수)

Python 함수를 사용하면 Apache Spark 또는 pandas를 몰라도 사용자 지정 변환을 작성할 수 있습니다. Data Wrangler는 사용자 지정 코드를 빠르게 실행할 수 있게 최적화되어 있습니다. 사용자 지정 Python 코드와 Apache Spark 플러그인을 사용하면 비슷한 성능을 얻을 수 있습니다.

Python(사용자 정의 함수) 코드 블록을 사용하려면 다음을 지정해야 합니다.

pandas 모드를 사용하면 성능이 향상됩니다. Python 모드에서는 순수 Python 함수로 더 쉽게 변환을 작성할 수 있습니다.

PySpark

다음 예제에서는 타임스탬프에서 날짜와 시간을 추출합니다.

from pyspark.sql.functions import from_unixtime, to_date, date_format
df = df.withColumn('DATE_TIME', from_unixtime('TIMESTAMP'))
df = df.withColumn( 'EVENT_DATE', to_date('DATE_TIME')).withColumn(
'EVENT_TIME', date_format('DATE_TIME', 'HH:mm:ss'))

pandas

다음 예제에서는 변환을 추가하는 데이터 프레임의 개요를 입력합니다.

df.info()

PySpark (SQL)

다음 예제에서는 name, fare, pclass, survived의 네 개의 열이 있는 새 데이터 프레임을 생성합니다.

SELECT name, fare, pclass, survived FROM df

를 사용하는 방법을 모르는 경우 사용자 지정 코드 조각을 사용하여 시작할 PySpark수 있습니다.

Data Wrangler에는 검색 가능한 코드 조각 모음이 있습니다. 사용자는 코드 조각을 사용하여 열 삭제, 열별 그룹화, 모델링 등의 작업을 수행할 수 있습니다.

코드 조각을 사용하려면, 예제 조각 검색(Search example snippets)을 선택하고 검색창에서 쿼리를 지정합니다. 쿼리에 지정하는 텍스트가 코드 조각의 이름과 정확히 일치할 필요는 없습니다.

다음 예제에서 데이터 세트에 유사한 데이터가 있는 행을 삭제할 수 있는 중복 행 삭제(Drop duplicate rows) 코드 조각을 볼 수 있습니다. 사용자는 다음 중 하나로 검색하면 코드 조각을 찾을 수 있습니다.

다음 조각에는 변경할 사항을 파악하는 데 도움이 되는 주석이 있습니다. 먼저 대부분의 조각에 코드 내 데이터 세트 열 이름을 지정해야 합니다.

# Specify the subset of columns
# all rows having identical values in these columns will be dropped

subset = ["col1", "col2", "col3"]
df = df.dropDuplicates(subset)  

# to drop the full-duplicate rows run
# df = df.dropDuplicates()            
                        
        

조각을 사용하려면, 조각 내용을 복사하여 사용자 지정 변환 필드에 붙여넣습니다. 사용자는 여러 개의 코드 조각을 복사하여 사용자 지정 변환 필드에 붙여 넣을 수 있습니다.

사용자 지정 공식

사용자 지정 공식을 사용하여 Spark SQL 표현식을 사용하여 현재 데이터프레임의 데이터를 쿼리하는 새 열을 정의합니다. 쿼리는 Spark SQL 표현식의 규칙을 사용해야 합니다.

df.rename(columns={"A column": "A_column", "B column": "B_column"})

사용자는 이 변환으로 열 이름을 참조하여 열에 대한 연산을 수행할 수 있습니다. 예를 들어, 현재 데이터 프레임에 col_a 및 col_b 열이 있다고 가정하면, 사용자는 다음 연산으로 다음 코드가 포함된 두 열의 곱인 출력 열을 생성할 수 있습니다.

col_a * col_b

데이터 프레임에 col_a 및 col_b 열이 포함되어 있다고 가정할 때 사용되는 다른 일반적인 연산에는 다음이 포함됩니다.

자세한 정보는 데이터 선택에 관한 Spark 설명서에서 확인하세요.

데이터 세트 내 차원 축소

보안 주체 구성 요소 분석()을 사용하여 데이터의 차원을 줄입니다PCA. 데이터 세트의 차원은 특성 수와 일치합니다. Data Wrangler에서 차원 축소를 적용하면 성분이라는 새로운 특성을 얻을 수 있습니다. 개별 성분은 데이터의 일부 변동성을 고려합니다.

첫 번째 성분은 데이터에서 가장 많은 양의 변동을 구성합니다. 두 번째 성분은 데이터에서 두 번째로 많은 양의 변동을 구성하는 식으로 계속됩니다.

사용자는 차원 축소를 사용하여 모델 훈련 시 사용하는 데이터 세트의 크기를 줄일 수 있습니다. 사용자는 데이터 세트에 있는 특성 대신에 주성분을 사용할 수 있습니다.

PCA를 수행하기 위해 Data Wrangler는 데이터에 대한 축을 생성합니다. 축은 데이터 세트의 열 아핀 조합입니다. 첫 번째 주성분은 분산량이 가장 많은 축의 값입니다. 두 번째 주성분은 분산량이 두 번째로 많은 축의 값입니다. n번째 주성분은 분산량이 n번째로 많은 축의 값입니다.

사용자는 Data Wrangler가 반환하는 주성분 수를 구성할 수 있습니다. 사용자는 주성분 수를 직접 지정하거나 분산 임곗값 백분율을 지정할 수 있습니다. 개별 주성분은 데이터의 분산량을 설명합니다. 예를 들어, 값이 0.5인 주성분이 있을 수 있습니다. 이 성분은 데이터 분산의 50%를 설명합니다. 분산 임곗값 백분율을 지정하면 Data Wrangler는 지정한 백분율을 충족하는 최소 개수의 성분을 반환합니다.

다음은 데이터에서 설명하는 분산량을 포함한 주성분의 예입니다.

분산 임곗값 백분율을 94 또는 95로 지정하는 경우, Data Wrangler는 성분 1과 성분 2를 반환합니다. 분산 임곗값 백분율을 96로 지정하는 경우, Data Wrangler는 주성분 세 개를 모두 반환합니다.

다음 절차를 사용하여 데이터 세트PCA에서 를 실행할 수 있습니다.

카테고리 인코딩

카테고리 데이터는 일반적으로 유한한 수의 범주로 구성되며, 각 범주는 문자열로 표시됩니다. 예를 들어, 고객 데이터 테이블에서 개인의 거주 국가를 나타내는 열은 카테고리입니다. 아프가니스탄, 알바니아, 알제리 등이 범주가 됩니다. 카테고리 데이터는 명목형 또는 순서형일 수 있습니다. 순서형 범주에는 고유한 순서가 있지만 명목형 범주에는 고유한 순서가 없습니다. 순서형 범주의 예로는 최종 학력(고졸, 대졸, 대학원졸 등)이 있습니다.

카테고리 데이터 인코딩은 범주를 수치로 표현하는 과정입니다. 예를 들어, 범주가 개와 고양이인 경우, 이 정보를 [1,0] 벡터(개)와 [0,1] 벡터(고양이)로 인코딩할 수 있습니다.

서수 범주를 인코딩할 때는 범주의 일반 순서를 인코딩으로 변환해야 할 수 있습니다. 예를 들어, 사용자는 다음 맵을 사용하여 얻은 최고 등급을 표시할 수 있습니다. {"High school": 1, "Bachelors": 2, "Masters":3}

카테고리 인코딩을 사용하면 문자열 형식의 카테고리 데이터를 정수 배열로 인코딩할 수 있습니다.

Data Wrangler 카테고리 인코더는 단계가 정의될 때 열에 있는 모든 범주에 대한 인코딩을 생성합니다. t 시점에 데이터 세트를 처리하기 위해 Data Wrangler 작업을 시작할 때 열에 새 범주가 추가되고, 이 열이 t-1 시점의 Data Wrangler 카테고리 인코딩 변환용 입력인 경우, 이 새 범주는 Data Wrangler 작업에서 누락된 것으로 간주됩니다. 유효하지 않은 처리 전략(Invalid handling strategy)으로 선택한 옵션은 이러한 누락된 값에 적용됩니다. 이러한 상황이 발생할 수 있는 경우의 예는 다음과 같습니다.

이런 상황에서는 새 범주가 Data Wrangler 작업에서 누락된 값으로 간주됩니다.

사용자는 서수(ordinal) 및 원-핫 인코딩(one-hot encode) 중에서 선택하여 구성할 수 있습니다. 다음 섹션을 통해 이런 옵션에 대해 자세히 알아보세요.

두 변환 모두 출력 열 이름(Output column name)이라는 새 열 이름을 생성합니다. 출력 스타일(Output style)로 이 열의 출력 형식을 지정합니다.

서수 인코딩

서수 인코딩(Ordinal encode)을 선택하여 범주를 0에서 선택한 입력 열의 총 범주 수 사이의 정수로 인코딩합니다.

유효하지 않은 처리 전략(Invalid handing strategy): 유효하지 않거나 누락된 값을 처리하는 메서드를 선택합니다.

원-핫 인코딩

원-핫 인코딩(One-hot encode)을 원-핫 인코딩을 사용할 변환(Transform)에 대해 선택합니다. 다음과 같이 변환을 구성합니다.

유사성 인코딩

다음과 같은 경우에는 유사성 인코딩을 사용합니다.

유사성 인코더는 카테고리 데이터가 있는 열을 임베딩합니다. 임베딩은 단어 같은 불연속 객체에서 실수 벡터로의 매핑을 뜻합니다. 비슷한 문자열을 비슷한 값을 포함하는 벡터로 인코딩합니다. 예를 들어, “California”와 “Calfornia”에 대해 매우 유사한 인코딩을 생성합니다.

Data Wrangler는 3-그램 토크나이저로 데이터 세트의 각 범주를 토큰 세트로 변환합니다. 최소-해시 인코딩을 사용하여 토큰을 임베딩으로 변환합니다.

Data Wrangler가 생성하는 유사성 인코딩:

위와 같은 이유로 유사성 인코딩은 원-핫 인코딩보다 용도가 다양합니다.

유사성 인코딩 변환을 데이터 세트에 추가하려면 다음 절차에 따릅니다.

텍스트 특성 추출

텍스트 특성 추출(Featureize Text) 변환 그룹으로 문자열 유형 열을 검사하고 텍스트 임베딩으로 이런 열의 특성을 추출할 수 있습니다.

이 특성 그룹에는 문자 통계(Character statistics)와 벡터화(Vectorize)라는 두 가지 특성이 있습니다. 다음 섹션을 통해 이런 변환에 대해 자세히 알아보세요. 두 옵션 모두 입력 열(Input column)에 텍스트 데이터(문자열 유형)가 포함되어야 합니다.

문자 통계

문자 통계(Character statistics)로 텍스트 데이터가 포함된 열의 각 행에 대한 통계를 생성할 수 있습니다.

이 변환은 각 행에 대해 다음과 같은 비율과 개수를 계산하고 결과를 보고하는 새 열을 생성합니다. 새 열의 이름은 입력 열 이름을 접두사로, 비율 또는 개수를 접미사로 하여 명명됩니다.

벡터화

텍스트 임베딩에는 어휘의 단어 또는 구문을 실수 벡터로 매핑하는 작업이 포함됩니다. Data Wrangler 텍스트 임베딩 변환을 사용하여 텍스트 데이터를 토큰화하고 용어 빈도 역 문서 빈도(TF-IDF) 벡터로 벡터화합니다.

텍스트 데이터 열에 대해 TF-IDF를 계산하면 각 문장의 각 단어가 의미학적 중요성을 나타내는 실제 숫자로 변환됩니다. 숫자가 높을수록 단어 빈도가 낮고 보다 유의미한 경향이 있습니다.

Vectorize 변환 단계를 정의할 때 Data Wrangler는 데이터 세트의 데이터를 사용하여 카운트 벡터라이저 및 TF 메IDF서드를 정의합니다. Data Wrangler 작업을 실행할 때도 이와 동일한 메서드를 사용합니다.

다음과 같이 변환을 구성합니다.

시계열 변환

Data Wrangler에서 사용자는 시계열 데이터를 변환할 수 있습니다. 시계열 데이터 세트 값은 특정 시간을 기준으로 인덱싱됩니다. 예를 들어, 하루 매시간 매장 내 고객 수를 보여주는 데이터 세트는 시계열 데이터 세트입니다. 다음 테이블에는 시계열 데이터 세트의 예시가 있습니다.

매장 내 시간당 고객 수

이전 테이블의 고객 수(Number of Customers) 열에는 시계열 데이터가 포함되어 있습니다. 시계열 데이터는 시간(Time(hour)) 열의 시간별 데이터를 기반으로 인덱싱됩니다.

사용자가 분석에 사용할 수 있는 형식으로 데이터를 가져오려면 데이터를 여러 번 변환해야 할 수 있습니다. 시계열(Time series) 변환 그룹으로 시계열 데이터를 변환할 수 있습니다. 사용자가 수행할 수 있는 변환에 대한 추가 정보는 다음 섹션에서 확인하세요.

시계열 기준 그룹화

사용자는 연산 기준 그룹화로 열의 특정 값에 대한 시계열 데이터를 그룹화할 수 있습니다.

예를 들어, 다음 테이블은 일 평균 세대당 전기 사용량을 추적합니다.

일 평균 세대당 전기 사용량

ID별 그룹화를 선택하면 다음 테이블이 표시됩니다.

세대 ID별로 그룹화된 전기 사용량

시계열 시퀀스의 각 항목은 상응하는 타임스탬프를 기준으로 정렬됩니다. 시퀀스의 첫 번째 요소는 시리즈의 첫 번째 타임스탬프와 상응합니다. household_0의 경우, 30이(가) 전기 사용량 시리즈의 첫 번째 값입니다. 30 값은 1/1/2020의 첫 번째 타임스탬프와 상응합니다.

사용자는 시작 타임스탬프와 종료 타임스탬프를 포함할 수 있습니다. 다음 테이블에서 정보 표시 방식을 볼 수 있습니다.

세대 ID별로 그룹화된 전기 사용량

사용자는 다음 절차에 따라 시계열 열을 기준으로 그룹화할 수 있습니다.

시계열 데이터 리샘플링

시계열 데이터에는 일반적으로 일정 간격으로 수집되지 않는 관측치가 있습니다. 예를 들어, 데이터 세트에 매시간 기록되는 관측치와 2시간마다 기록되는 관측치가 있을 수 있습니다.

예측 알고리즘과 같은 많은 분석에서는 일정 간격으로 관측치를 수집해야 합니다. 리샘플링을 통해 데이터 세트의 관측 간격을 일정하게 정할 수 있습니다.

사용자는 시계열을 업샘플링하거나 다운샘플링할 수 있습니다. 다운샘플링은 데이터 세트의 관측 간격을 늘립니다. 예를 들어, 1시간 또는 2시간마다 실시되던 관측을 다운샘플링하면 데이터 세트의 각 관측치를 2시간마다 추출합니다. 평균, 중앙값 등의 집계 메서드를 적용하여 시간별 관측치를 단일 값으로 집계합니다.

업샘플링은 데이터 세트의 관측 간격이 줄입니다. 예를 들어, 2시간마다 수집되던 관측치를 시간별로 업샘플링하는 경우 사용자는 보간 메서드를 적용하여 2시간마다 수행된 관측치에서 시간별 관측치를 유추할 수 있습니다. 보간 방법에 대한 자세한 내용은 pandas.DataFrame.interpolate를 참조하세요.

사용자는 숫자 및 비 숫자 데이터를 모두 리샘플링할 수 있습니다.

리샘플링(Resample) 연산으로 시계열 데이터를 리샘플링할수 있습니다. 데이터 세트에 여러 시계열이 있는 경우, Data Wrangler는 각 시계열의 시간 간격을 표준화합니다.

다음 테이블에서는 평균을 집계 메서드로 사용하여 시계열 데이터를 다운샘플링하는 예제를 볼 수 있습니다. 데이터는 2시간 간격에서 1시간 간격으로 다운샘플링됩니다.

다운샘플링 전 하루의 시간당 온도 측정값

온도 측정값을 2시간 간격으로 다운샘플링

사용자는 다음 절차에 따라 시계열 데이터를 리샘플링할 수 있습니다.

누락된 시계열 데이터 처리

데이터 세트에 누락된 값이 있는 경우 사용자는 다음 중 하나를 수행할 수 있습니다.

누락된 값을 산입하려면 값을 지정하거나 추론 메서드를 통해 데이터를 바꿔야 합니다. 사용자가 산입 시 사용할 수 있는 메서드는 다음과 같습니다.

일부 산입 메서드로는 데이터 세트에서 누락된 값을 모두 산입하지 못할 수도 있습니다. 예를 들어, 이전 값으로 채우기로는 시계열 시작 부분에 나타나는 누락된 값을 산입할 수 없습니다. 해당 값은 이전 값으로 채우기 또는 이후 값으로 채우기로 산입할 수 있습니다.

사용자는 셀이나 열에서 누락된 값을 산입할 수 있습니다.

다음 예제에서 셀에 값이 산입되는 방식을 볼 수 있습니다.

누락된 값이 있는 전기 사용량

이전 값으로 채우기로 값을 산입한 전기 사용량

다음 예제에서 열에 값이 산입되는 방식을 볼 수 있습니다.

누락된 값이 있는 일 평균 세대당 전기 사용량

이전 값으로 채우기로 값을 산입한 일 평균 세대당 전기 사용량

사용자는 다음 절차에 따라 누락된 값을 처리할 수 있습니다.

시계열 데이터의 타임스탬프 검증

유효하지 않은 타임스탬프 데이터가 있을 수 있습니다. 사용자는 타임스탬프 검증(Validate time stamp) 함수로 데이터 세트의 타임스탬프가 유효한지 확인할 수 있습니다. 타임스탬프는 다음 중 하나 이상의 이유로 유효하지 않을 수 있습니다.

데이터 세트에 유효하지 않은 타임스탬프가 있는 경우, 정상적으로 분석을 수행할 수 없습니다. 사용자는 Data Wrangler로 유효하지 않은 타임스탬프를 식별하고 데이터 정리가 필요한 위치를 파악할 수 있습니다.

다음 두 가지 중 한 가지 방법으로 시계열을 검증할 수 있습니다.

사용자는 데이터 세트에서 누락된 값이 발견될 경우 다음 중 하나를 수행하도록 Data Wrangler를 구성할 수 있습니다.

사용자는 timestamp 유형이나 string 유형이 있는 열의 타임스탬프를 검증할 수 있습니다. 열에 string 유형이 있는 경우, Data Wrangler는 열 유형을 timestamp(으)로 변환하고 검증을 수행합니다.

사용자는 다음 절차에 따라 데이터 세트의 타임스탬프를 검증할 수 있습니다.

시계열 길이 표준화

시계열 데이터를 배열로 저장한 경우, 사용자는 개별 시계열을 동일한 길이로 표준화할 수 있습니다. 시계열 배열 길이를 표준화하면 데이터 분석을 더 쉽게 수행할 수 있습니다.

사용자는 데이터 길이 고정이 필요한 데이터 변환에 맞게 시계열을 표준화할 수 있습니다.

여러 ML 알고리즘을 사용하려면 먼저 시계열 데이터를 평탄화해야 합니다. 시계열 데이터 평탄화는 시계열의 각 값을 데이터 세트의 자체 열로 분리하는 것입니다. 데이터 세트의 열 수는 변경할 수 없으므로, 각 배열을 특성 세트로 평탄화하는 사이에 시계열 길이를 표준화해야 합니다.

각 시계열은 시계열 세트의 분위수 또는 백분위수로 지정한 길이로 설정됩니다. 예를 들어, 사용자는 길이가 다음과 같은 세 개의 시퀀스가 있을 수 있습니다.

사용자는 전체 시퀀스 길이를 50번째 백분위수 길이를 갖는 시퀀스의 길이로 설정할 수 있습니다.

지정한 길이보다 짧은 시계열 배열에는 누락된 값이 추가됩니다. 다음은 시계열을 더 긴 길이로 표준화하는 예제 형식입니다. [2, 4, 5, NaN, NaN, NaN].

누락된 값을 처리하는 방법은 다양합니다. 변경 방법에 대한 정보는 누락된 시계열 데이터 처리에서 확인하세요.

지정한 길이보다 긴 시계열 배열은 잘립니다.

사용자는 다음 절차에 따라 시계열 길이를 표준화할 수 있습니다.

시계열 데이터에서 특성 추출하기

시계열 데이터에 대해 분류 또는 회귀 알고리즘을 실행하는 경우, 알고리즘 실행 전 시계열에서 특성을 추출할 것을 권장합니다. 특성을 추출하면 알고리즘 성능이 향상될 수 있습니다.

다음 옵션으로 데이터에서 특성을 추출하는 방법을 선택합니다.

다음 절차에 따라 시계열 데이터에서 특성을 추출합니다.

시계열 데이터에서 시차 특성 적용하기

여러 사용 사례에서 시계열의 미래 동작을 예측하는 가장 좋은 방법은 시계열의 최신 동작을 사용하는 것입니다.

시차 특성의 가장 일반적인 용도는 다음과 같습니다.

시계열에 Datetime 범위 생성하기

타임스탬프가 없는 시계열 데이터가 있을 수 있습니다. 일정한 간격으로 관측이 수행되었음을 알고 있는 경우, 사용자는 시계열 타임스탬프를 별도 열에 생성할 수 있습니다. 타임스탬프를 생성하려면 시작 타임스탬프 값과 타임스탬프 빈도를 지정합니다.

예를 들어, 식당 고객 수에 대한 다음과 같은 시계열 데이터가 있을 수 있습니다.

식당 고객 수에 대한 시계열 데이터

식당이 오후 5시에 문을 열었고 매시간마다 관측을 했음을 알고 있는 경우, 사용자는 시계열 데이터에 해당하는 타임스탬프 열을 추가할 수 있습니다. 사용자는 다음 테이블에서 타임스탬프 열을 볼 수 있습니다.

식당 고객 수에 대한 시계열 데이터

다음 절차에 따라 데이터에 Datetime 범위를 추가합니다.

시계열에 이동 기간 적용하기

사용자는 일정 기간 동안 특성을 추출할 수 있습니다. 예를 들어, 시간 t, 기간 길이 3, t번째 타임스탬프를 나타내는 행이 있는 경우, 시계열에서 추출된 특성을 시간 t-3, t-2, t-1에 추가합니다. 특성 추출에 대한 정보는 시계열 데이터에서 특성 추출하기에서 확인하세요.

사용자는 다음 절차에 따라 일정 기간 동안 특성을 추출할 수 있습니다.

Datetime 특성 추출

Datetime 특성 추출(Featurize date/time)로 Datetime 필드를 나타내는 벡터 임베딩을 생성합니다. 이 변환을 사용하려면 Datetime 데이터가 다음 형식 중 하나여야 합니다.

사용자는 Datetime 형식 추론(Infer datetime format)을 선택하고 Datetime 형식(Datetime format)을 입력할 수 있습니다. Datetime 형식 입력 시 먼저 Python 설명서에 있는 코드를 사용해야 합니다. 이 두 구성에 대해 선택하는 옵션은 연산 속도와 최종 결과에 영향을 미칩니다.

이 변환을 적용할 때는 위에 나열된 형식 중 하나로 된 Datetime 데이터를 포함하는 입력 열(Input column)을 지정합니다. 변환 시 출력 열 이름(Output column name)이라는 출력 열이 생성됩니다. 출력 열 형식은 다음을 적용하는 구성에 따라 달라집니다.

또한 먼저 임베딩 모드(Embedding mode)를 선택해야 합니다. 선형 모델 및 심층망의 경우, 순환형(cyclic)을 선택할 것을 권장합니다. 트리 기반 알고리즘의 경우, 순서형(ordinal)을 선택할 것을 권장합니다.

문자열 형식 지정하기

문자열 형식 지정(Format string) 변환에는 표준 문자열 형식 지정 연산이 포함됩니다. 예를 들어, 사용자는 이 연산으로 특수 문자를 제거하고, 문자열 길이를 정상화하고, 문자열 대소문자를 업데이트할 수 있습니다.

이 특성 그룹에는 다음과 같은 변환이 포함됩니다. 모든 변환은 문자열 사본을 입력 열에 반환하고 결과를 새 출력 열에 추가합니다.

이상치 처리하기

머신러닝 모델은 특성 값의 분포와 범위에 민감합니다. 이상치, 즉 희귀값은 모델 정확도에 부정적인 영향을 미치고 훈련 시간을 지연지킬 수 있습니다. 이 특성 그룹으로 데이터 세트 내 이상치를 감지하고 업데이트할 수 있습니다.

이상치 처리(Handle outliers) 변환 단계를 정의하면 Data Wrangler에서 사용할 수 있는 데이터에 대해 이상치를 감지할 때 사용되는 통계가 생성됩니다. Data Wrangler 작업을 실행할 때도 이와 동일한 통계가 사용됩니다.

다음 섹션을 통해 이 그룹에 포함된 변환에 대해 자세히 알아보세요. 출력 이름(Output name)을 지정하면 개별 변환에서 결과 데이터가 포함된 출력 열이 생성됩니다.

강건한 표준 편차 숫자 이상치

이 변환은 이상치에 강한 통계를 사용하여 숫자 특성의 이상치를 감지하고 수정합니다.

먼저 이상치 계산 시 사용되는 통계 상한 분위수(Upper quantile)와 하한 분위수(Lower quantile)를 정의해야 합니다. 또한 표준 편차(Standard deviations) 수를 먼저 지정해야 평균과 다른 값을 이상치로 감지할 수 있습니다. 예를 들어, 표준 편차로 3을 지정한 경우, 평균에서 3 표준편차 이상 떨어진 값이 이상치로 간주됩니다.

수정 메서드(Fix method)는 감지된 이상치를 처리할 때 사용되는 메서드입니다. 사용자는 다음 중에서 선택할 수 있습니다.

표준 편차 숫자 이상치

이 변환은 평균과 표준 편차를 사용하여 숫자 특성의 이상치를 감지하고 수정합니다.

표준 편차 수를 지정하면 평균과 다른 값을 이상치로 감지할 수 있습니다. 예를 들어, 표준 편차로 3을 지정한 경우, 평균에서 3 표준편차 이상 떨어진 값이 이상치로 간주됩니다.

수정 메서드(Fix method)는 감지된 이상치를 처리할 때 사용되는 메서드입니다. 사용자는 다음 중에서 선택할 수 있습니다.

분위수 숫자 이상치

이 변환을 적용하면 분위수를 사용하여 숫자 특성의 이상치를 감지하고 수정합니다. 사용자는 상한 분위수(Upper quantile)와 하한 분위수(Lower quantile)를 정의할 수 있습니다. 상위 분위수를 초과하거나 하위 분위수에 미달하는 모든 값은 이상치로 간주됩니다.

수정 메서드(Fix method)는 감지된 이상치를 처리할 때 사용되는 메서드입니다. 사용자는 다음 중에서 선택할 수 있습니다.

최소-최대 숫자 이상치

이 변환은 상한 및 하한 임곗값을 사용하여 숫자 특성의 이상치를 감지하고 수정합니다. 이상치를 나타내는 임곗값을 알고 있는 경우 이 메서드를 적용합니다.

상한 임곗값(Upper threshold)과 하한 임곗값(Lower threshold)을 지정하고 값이 각각 해당 임곗값보다 높거나 낮으면 이상치로 간주합니다.

수정 메서드(Fix method)는 감지된 이상치를 처리할 때 사용되는 메서드입니다. 사용자는 다음 중에서 선택할 수 있습니다.

희귀값 바꾸기

희귀값 바꾸기(Replace Rare) 변환을 적용하면 임곗값 지정 시 Data Wrangler가 해당 임곗값을 충족하는 모든 값을 찾아 지정한 문자열로 바꿉니다. 예를 들어, 이 변환을 사용하여 한 열의 모든 이상치를 “기타” 범주로 분류할 수 있습니다.

누락된 값 처리

누락된 값은 머신러닝 데이터 세트에서 흔히 발생합니다. 경우에 따라 누락된 데이터를 평균값이나 카테고리 공통 값과 같은 계산된 값으로 바꾸는 것이 적절할 수 있습니다. 사용자는 누락된 값은 누락된 값 처리(Handle missing values) 변환 그룹으로 처리할 수 있습니다. 이 그룹에는 다음과 같은 변환이 포함됩니다.

누락 채우기

누락 채우기(Fill missing) 변환으로 누락된 값을 정의한 채우기 값(Fill value)으로 바꿀 수 있습니다.

누락 산입

누락 산입(Impute missing) 변환으로 누락된 값이 발견된 입력 카테고리 및 숫자 데이터에 산입 값이 포함된 새 열을 생성합니다. 구성은 데이터 유형에 따라 달라집니다.

숫자 데이터의 경우, 산입할 새 값을 정할 때 사용되는 산입 전략을 선택합니다. 사용자는 데이터 세트에 있는 값의 평균이나 중앙값 산입을 선택할 수 있습니다. Data Wrangler는 계산한 값으로 누락된 값을 산입합니다.

카테고리 데이터의 경우, Data Wrangler가 열에서 가장 빈번한 값으로 누락된 값을 산입합니다. 사용자 지정 문자열을 산입하려면 누락 채우기 변환을 대신 적용합니다.

누락 표시기 추가

누락 표시기 추가(Add indicator for missing) 변환으로 새 표시기 열을 생성합니다. 행에 값이 있는 경우 부울 "false"이(가) 포함되고, 행에 누락된 값이 있는 경우 "true"이(가) 포함됩니다.

누락 삭제

누락 삭제(Drop missing) 옵션으로 입력 열(Input column)에서 누락된 값이 포함된 행을 삭제합니다.

열 관리

사용자는 다음 변환으로 데이터 세트의 열을 빠르게 업데이트하고 관리할 수 있습니다.

행 관리

이 변환 그룹으로 행 정렬과 셔플 연산을 빠르게 수행할 수 있습니다. 이 그룹에는 다음이 포함됩니다.

벡터 관리

이 변환 그룹으로 벡터 열을 조합하거나 평탄화할 수 있습니다. 이 그룹에는 다음과 같은 변환이 포함됩니다.

숫자 처리

숫자 처리(Process Numeric) 특성 그룹으로 숫자 데이터를 처리합니다. 이 그룹의 개별 스케일러는 Spark 라이브러리로 정의됩니다. 다음 스케일러가 지원됩니다.

샘플링

데이터를 가져온 후 사용자는 샘플링(Sampling) 변환기로 하나 이상의 데이터를 샘플링할 수 있습니다. 샘플링 변환기를 사용하면 Data Wrangler가 원본 데이터 세트를 샘플링합니다.

사용자는 다음 중 한 가지 메서드를 선택할 수 있습니다.

사용자는 무작위 샘플을 계층화하여 데이터 세트의 원래 분포를 나타내도록 할 수 있습니다.

여러 사용 사례에 맞게 데이터를 준비할 수 있습니다. 사용 사례별로 사용자는 다른 샘플을 가져와서 다른 변환 세트를 적용할 수 있습니다.

다음은 무작위 샘플 생성 과정입니다.

다음은 계층화 샘플 생성 과정입니다.

검색 및 편집

이 섹션으로 문자열 내 특정 패턴을 검색하고 편집할 수 있습니다. 예를 들어, 사용자는 문장이나 문서 내에서 문자열을 찾아 업데이트하고, 구분자로 문자열을 분할하고, 특정 문자열 발생을 검색할 수 있습니다.

검색 및 편집(Search and edit)에서 지원되는 변환은 다음과 같습니다. 모든 변환은 문자열 사본을 입력 열(Input column)에 반환하고 결과를 새 출력 열에 추가합니다.

데이터 분할

데이터 분할(Split data) 변환으로 데이터 세트를 2개 또는 3개로 분할할 수 있습니다. 예를 들어, 사용자는 데이터 세트를 모델 훈련 시 사용되는 데이터 세트와 모델 테스트 시 사용되는 데이터 세트로 분할할 수 있습니다. 사용자는 각 분할에 포함되는 데이터 세트 비율을 결정할 수 있습니다. 예를 들어, 하나의 데이터 세트를 두 개로 분할하는 경우, 훈련 데이터 세트는 데이터의 80%를, 테스트 데이터 세트는 20%를 차지할 수 있습니다.

데이터를 세 개의 데이터 세트로 분할하면 훈련, 검증, 테스트 데이터 세트를 만들 수 있습니다. 대상 열을 삭제하면 테스트 데이터 세트에서 모델이 얼마나 잘 작동하는지 확인할 수 있습니다.

사용 사례에 따라 개별 데이터 세트가 가져오는 원본 데이터 세트의 양과 데이터 분할 메서드가 결정됩니다. 예를 들어, 계층화 분할을 적용하면 대상 열의 관측 분포가 데이터 세트 간에 동일한지 확인할 수 있습니다. 사용자는 다음과 같은 분할 변환을 사용할 수 있습니다.

데이터 분할 후 사용자는 각 데이터 세트에 추가 변환을 적용할 수 있습니다. 대부분의 사용 사례에서는 필수가 아닙니다.

Data Wrangler는 성능에 따른 분할 비율을 계산합니다. 사용자는 오류 임곗값을 선택하여 분할 정확도를 설정할 수 있습니다. 오류 임곗값이 낮을수록 분할 시 지정된 비율이 더 정확하게 반영됩니다. 오류 임곗값을 높게 설정하면 성능은 향상되지만 정확도는 낮아집니다.

데이터를 완벽하게 분할하려면 오류 임곗값을 0으로 설정합니다. 성능을 높이려면 사용자는 임곗값을 0에서 1 사이로 지정합니다. 1보다 큰 값을 지정하는 경우, Data Wrangler는 이 값을 1로 해석합니다.

데이터 세트에 10000개의 행이 있고 오차가 0.001인 80/20 분할을 지정하면 다음 결과 중 하나에 근사한 관측치를 얻을 수 있습니다.

이전 예제에서 테스트 세트의 관측치 수는 8010에서 7990 사이입니다.

기본적으로 Data Wrangler는 무작위 시드로 재현 가능한 분할을 실시합니다. 사용자는 시드를 다른 값으로 지정하여 재현 가능한 다른 분할을 생성할 수 있습니다.

값을 유형으로 구문 분석

이 변환으로 열을 새 유형으로 캐스팅할 수 있습니다. 지원되는 Data Wrangler 데이터 유형은 다음과 같습니다.

문자열 검증

문자열 검증(Validate string) 변환으로 텍스트 데이터 행이 지정된 조건을 충족함을 나타내는 새 열을 생성할 수 있습니다. 예를 들어, 사용자는 문자열 검증 변환으로 문자열에 소문자만 포함되어 있는지 확인할 수 있습니다. 문자열 검증에서 지원되는 변환은 다음과 같습니다.

이 변환 그룹에는 다음과 같은 변환이 포함됩니다. 변환이 부울 값을 출력하는 경우, True은(는) 1(으)로, False은(는) 0(으)로 표시됩니다.

중첩 해제 JSON 데이터

.csv 파일이 있는 경우 데이터 세트에 JSON 문자열인 값이 있을 수 있습니다. 마찬가지로 Parquet 파일 또는 JSON 문서의 열에 데이터가 중첩되어 있을 수 있습니다.

구조화 평탄화(Flatten structured) 연산자로 1단계 키를 별도 열로 분리할 수 있습니다. 1단계 키는 값 내에 중첩되지 않은 키입니다.

예를 들어 문자열로 저장된 각 개인에 대한 인구 통계 정보가 포함된 개인 열이 있는 데이터 세트가 있을 수 JSON 있습니다. JSON 문자열은 다음과 같을 수 있습니다.

 "{"seq": 1,"name": {"first": "Nathaniel","last": "Ferguson"},"age": 59,"city": "Posbotno","state": "WV"}"
            

구조화 평탄화(Flatten structured) 연산자는 다음과 같은 1단계 키를 데이터 세트의 추가 열로 변환합니다.

Data Wrangler는 키 값을 열 아래에 값으로 표시합니다. 다음은 의 열 이름과 값을 보여줍니다JSON.

seq, name,                                    age, city, state
1, {"first": "Nathaniel","last": "Ferguson"}, 59, Posbotno, WV
            

JSON가 포함된 데이터 세트의 각 값에 대해 구조화된 평탄화 연산자는 첫 번째 수준 키에 대한 열을 생성합니다. 중첩 키용 열을 생성하려면 연산자를 다시 호출합니다. 앞의 예제에서 연산자를 호출하면 다음과 같은 열이 생성됩니다.

다음 예제는 연산을 다시 호출한 결과 데이터 세트입니다.

seq, name,                                    age, city, state, name_first, name_last
1, {"first": "Nathaniel","last": "Ferguson"}, 59, Posbotno, WV, Nathaniel, Ferguson
            

평탄화할 키(Keys to flatten on)를 선택하여 추출하고자 하는 1단계 키를 별도 열로 지정합니다. 키를 지정하지 않으면 Data Wrangler에서는 기본적으로 모든 키를 추출합니다.

배열 분해

배열 분해(Explode array)로 배열 값을 별도의 출력 행으로 확장할 수 있습니다. 예를 들어, 연산을 통해 배열의 각 값 [[1, 2, 3,], [4, 5, 6], [7, 8, 9]]를 가져와 다음 행으로 구성된 새 열을 생성할 수 있습니다.

                [1, 2, 3]
                [4, 5, 6]
                [7, 8, 9]
            

Data Wrangler는 새 열의 이름을 input_column_name_flatten으로 지정합니다.

사용자는 배열 분해 연산을 여러 번 호출하여 중첩된 값을 별도의 출력 열로 가져올 수 있습니다. 다음 예제에서 중첩된 배열이 있는 데이터 세트에서 작업을 여러 번 호출한 결과를 볼 수 있습니다.

중첩 배열 값을 별도 열에 넣기

이미지 데이터 변환

Data Wrangler로 머신러닝(ML) 파이프라인에서 사용 중인 이미지를 가져오고 변환할 수 있습니다. 이미지 데이터를 준비한 후 사용자는 Data Wrangler 흐름에서 ML 파이프라인으로 내보낼 수 있습니다.

사용자는 여기에 있는 정보로 Data Wrangler에서 이미지 데이터를 가져오고 변환하는 방법을 익힐 수 있습니다. Data Wrangler는 OpenCV를 사용하여 이미지를 가져옵니다. 지원되는 이미지 형식에 대한 추가 정보는 이미지 파일 읽기 및 쓰기에서 확인하세요.

이미지 데이터 변환 개념을 숙지한 후에는 Amazon SageMaker Data Wrangler 를 사용하여 이미지 데이터 준비를 위한 다음 자습서를 살펴봅니다.

다음 산업 및 사용 사례는 변환된 이미지 데이터에 머신러닝을 적용하는 것이 유용할 수 있는 예제입니다.

Data Wrangler에서 이미지 데이터로 작업할 때는 다음 프로세스를 거칩니다.

다음 절차에 따라 이미지 데이터를 가져옵니다.

Data Wrangler는 내장 이미지 변환 시 오픈 소스 imgaug 라이브러리를 사용합니다. 사용자는 다음과 같은 내장 변환을 사용할 수 있습니다.

다음 절차에 따라 코드 작성 없이 이미지를 변환합니다.

Data Wrangler에서 제공하는 변환을 사용하는 것 외에도 사용자는 자체 사용자 지정 코드 조각을 사용할 수도 있습니다. 사용자 지정 코드 조각에 대한 추가 정보는 사용자 지정 변환 섹션을 참조하세요. 사용자는 코드 조각에서 OpenCV 및 imgaug 라이브러리를 가져오고 이와 관련된 변환을 사용할 수 있습니다. 다음은 이미지의 가장자리를 감지하는 코드 조각의 예제입니다.

# A table with your image data is stored in the `df` variable
import cv2
import numpy as np
from pyspark.sql.functions import column

from sagemaker_dataprep.compute.operators.transforms.image.constants import DEFAULT_IMAGE_COLUMN, IMAGE_COLUMN_TYPE
from sagemaker_dataprep.compute.operators.transforms.image.decorators import BasicImageOperationDecorator, PandasUDFOperationDecorator


@BasicImageOperationDecorator
def my_transform(image: np.ndarray) -> np.ndarray:
  # To use the code snippet on your image data, modify the following lines within the function
    HYST_THRLD_1, HYST_THRLD_2 = 100, 200
    edges = cv2.Canny(image,HYST_THRLD_1,HYST_THRLD_2)
    return edges
    

@PandasUDFOperationDecorator(IMAGE_COLUMN_TYPE)
def custom_image_udf(image_row):
    return my_transform(image_row)
    

df = df.withColumn(DEFAULT_IMAGE_COLUMN, custom_image_udf(column(DEFAULT_IMAGE_COLUMN)))
        

Data Wrangler 흐름에서 변환을 적용할 때 Data Wrangler는 데이터 세트의 이미지 샘플에만 변환을 적용합니다. 애플리케이션 사용 환경을 최적화하기 위해 Data Wrangler는 모든 이미지에 변환을 적용하지 않습니다.

데이터 필터링

Data Wrangler로 열의 데이터를 필터링합니다. 열의 데이터를 필터링할 때는 다음 필드를 지정합니다.

사용자는 다음 조건에 따라 필터링할 수 있습니다.

male 및 female 범주가 있는 열에서는 사용자는 모든 male 값을 필터링할 수 있습니다. 모든 female 값을 필터링할 수도 있습니다. 열에 male 및 female 값만 있기 때문에 필터는 female 값만 있는 열을 반환합니다.

또한 여러 필터를 추가할 수 있습니다. 필터는 여러 열 또는 동일한 열에 적용할 수 있습니다. 예를 들어, 특정 범위 내의 값만 있는 열을 만들려면 두 개의 다른 필터를 추가합니다. 한 필터는 열에 입력한 값보다 큰 값이 있어야 하도록 지정합니다. 다른 필터는 열에 입력한 값보다 작은 값이 있어야 하도록 지정합니다.

다음 절차에 따라 데이터에 필터 변환을 추가합니다.