Data Wrangler 시작하기

1. 사전 조건의 각 단계를 완료합니다.

2. Data Wrangler 액세스에 있는 절차에 따라 Data Wrangler 사용을 시작하세요.

1. Data Wrangler를 사용하려면 Amazon Elastic Compute Cloud(AmazonEC2) 인스턴스에 액세스해야 합니다. 사용할 수 있는 Amazon EC2 인스턴스에 대한 자세한 내용은 섹션을 참조하세요인스턴스. 할당량을 확인하고, 필요한 경우, 할당량 증가를 요청하는 방법을 알아보려면 AWS 서비스 할당량을 참조하세요.

2. 보안 및 권한에 설명된 필요한 권한을 구성합니다.

3. 조직에서 인터넷 트래픽을 차단하는 방화벽을 사용하는 경우 URLs다음에 액세스할 수 있어야 합니다.

   • https://ui.prod-1.data-wrangler.sagemaker.aws/

   • https://ui.prod-2.data-wrangler.sagemaker.aws/

   • https://ui.prod-3.data-wrangler.sagemaker.aws/

   • https://ui.prod-4.data-wrangler.sagemaker.aws/

Studio Classic에서 Data Wrangler에 액세스하려면 다음을 수행하세요.

1. Studio Classic에 로그인합니다. 자세한 내용은 Amazon SageMaker AI 도메인 개요 단원을 참조하십시오.

2. Studio를 선택합니다.

3. Launch app(앱 시작)을 선택합니다.

4. 드롭다운 목록에서 Studio를 선택합니다.

5. 홈 아이콘을 선택합니다.

6. Data(데이터)를 선택합니다.

7. Data Wrangler를 선택합니다.

8. 또한 다음을 수행하여 Data Wrangler 흐름을 만들 수도 있습니다.

   1. 상단의 탐색 모음에서 File(파일)을 선택합니다.

   2. New(새 파일)를 선택합니다.

   3. Data Wrangler Flow를 선택합니다.

   

9. (선택 사항) 새 디렉터리와 .flow 파일의 이름을 변경합니다.

10. Studio Classic에서 새 .flow 파일을 만들면 Data Wrangler를 소개하는 캐러셀이 표시될 수 있습니다.

    몇 분 정도 소요될 수 있습니다.

    이 메시징은 사용자 세부 정보 페이지의 KernelGateway 앱이 보류 중인 한 지속됩니다. 이 앱의 상태를 보려면 Amazon SageMaker Studio Classic 페이지의 SageMaker AI 콘솔에서 Studio Classic에 액세스하는 데 사용 중인 사용자의 이름을 선택합니다. 사용자 세부 정보 페이지에서 KernelGateway 앱 아래에 앱이 표시됩니다. 이 앱 상태가 Data Wrangler 사용을 시작할 Ready(준비) 될 때까지 기다리세요. Data Wrangler를 처음 시작할 때는 5분 정도 걸릴 수 있습니다.

    

11. 시작하려면 데이터 소스를 선택하고 이를 사용하여 데이터세트를 가져오세요. 자세한 내용은 가져오기 섹션을 참조하세요.

    데이터세트를 가져오면 데이터 흐름에 나타납니다. 자세한 내용은 Data Wrangler 흐름을 생성합니다. 섹션을 참조하세요.

12. 데이터세트를 가져오면 Data Wrangler는 각 열의 데이터 유형을 자동으로 유추합니다. Data types(데이터 유형) 단계 옆의 +를 선택하고 Edit data types(데이터 유형 편집)을 선택합니다.

    중요

    Data types(데이터 유형) 단계에 변환을 추가한 후에는 Update types(유형 업데이트)을 사용하여 열 유형을 일괄 업데이트할 수 없습니다.

13. 데이터 흐름을 사용하여 변환과 분석을 추가할 수 있습니다. 자세한 내용은 데이터 변환하기 및 분석 및 시각화 섹션을 참조하세요.

14. 전체 데이터 흐름을 내보내려면 Export(내보내기)를 선택하고 내보내기 옵션을 선택합니다. 자세한 내용은 내보내기 섹션을 참조하세요.

15. 마지막으로 Components and registries(구성 요소 및 레지스트리) 아이콘을 선택하고 드롭다운 목록에서 Data Wrangler를 선택하여 생성한 모든 .flow 파일을 확인합니다. 이 메뉴를 사용하여 데이터 흐름을 찾고 데이터 흐름 간에 이동할 수 있습니다.

타이타닉 데이터세트를 Data Wrangler로 가져오기

1. Data flow(데이터 흐름) 탭에서 Import data(데이터 가져오기) 버튼을 선택하거나 Import(가져오기) 탭을 선택합니다.

2. Amazon S3를 선택합니다.

3. Import a dataset from S3(S3에서 데이터세트 가져오기) 테이블을 사용하여 타이타닉 데이터세트를 추가한 버킷을 찾을 수 있습니다. Titanic 데이터 세트 CSV 파일을 선택하여 세부 정보 창을 엽니다.

4. 세부 정보에서 파일 유형은 이어야 합니다CSV. First row is header(첫 번째 행 헤더)를 지정하여 데이터세트의 첫 번째 행이 헤더인지 확인합니다. Titanic-train와 같이 데이터세트에 좀 더 친숙한 이름을 지정할 수도 있습니다.

5. Import(가져오기) 버튼을 선택합니다.

1. 데이터 흐름의 Data types(데이터 유형) 옆에 있는 +를 선택하고 Add analysis(분석 추가)를 선택합니다.

2. Analysis(분석) 영역의 드롭다운 목록에서 Table summary(표 요약)을 선택합니다.

3. 표 요약에 Naame(이름)을 지정합니다.

4. 생성될 테이블을 미리 보려면 Preview(미리보기)를 선택합니다.

5. Save(저장)을 선택하여 데이터 흐름에 저장합니다. 표 요약이 All Analyses(모든 분석)에 표시됩니다.

사용하지 않는 열을 삭제하려면.

1. Data Wrangler 흐름을 엽니다.

2. Data Wrangler 흐름에는 두 개의 노드가 있습니다. Data types(데이터 유형) 노드 오른쪽에 있는 +를 선택합니다.

3. 변환 추가(Add transform)를 선택합니다.

4. All steps(모든 단계) 열에서 Add step(단계 추가)를 선택합니다.

5. Stanard(표준) 변환 목록에서 Manage Columns(열 관리)를 선택합니다. 표준 변환은 미리 만들어진 기본 제공 변환입니다. Drop column(열 삭제)가 선택되어 있는지 확인하세요.

6. Columns to drop(삭제할 열)에서 다음 열 이름을 확인합니다.

   • cabin(객실)

   • ticket(티켓)

   • name(이름)

   • sibsp

   • parch(파치)

   • home.dest(집.목적지)

   • boat(보트)

   • body(시신)

7. Preview(미리 보기)를 선택합니다.

8. 열이 삭제되었는지 확인한 다음 Add(추가)를 선택합니다.

1. All steps(모든 단계) 열에서 Add step(단계 추가)를 선택합니다.

2. Custom transform(사용자 지정) 변환 목록에서 Custom transform(사용자 지정 변환)을 선택합니다.

3. 변환의 이름을 입력하고 드롭다운 목록에서 Python (Pandas)을 선택합니다.

4. 코드 상자에 다음 Python 스크립트를 입력합니다.

   cols = ['name', 'ticket', 'cabin', 'sibsp', 'parch', 'home.dest','boat', 'body']
   df = df.drop(cols, axis=1)

5. Preview(미리 보기)를 선택하여 변경 내용을 미리 본 다음 Add(추가)를 선택하여 변환을 추가합니다.

1. 누락 처리(Handle missing)를 선택합니다.

2. 트랜스포머에서 누락 시 삭제를 선택합니다.

3. age(연령)을 input column(입력 열)로 선택합니다.

4. Preview(미리 보기)를 선택하여 새 데이터 프레임을 확인한 다음 Add(추가)를 선택하여 흐름에 변환을 추가합니다.

5. fare(운임)에 동일한 프로세스를 반복합니다.

1. Custom Transform(사용자 지정 변환) 섹션의 드롭다운 목록에서 Python (Pandas)를 선택합니다.

2. 코드 상자에 다음을 입력합니다.

   import pandas as pd
   
   dummies = []
   cols = ['pclass','sex','embarked']
   for col in cols:
       dummies.append(pd.get_dummies(df[col]))
       
   encoded = pd.concat(dummies, axis=1)
   
   df = pd.concat((df, encoded),axis=1)

3. 변경 내용을 미리 보려면 Preview(미리 보기)를 선택합니다. 각 열의 인코딩된 버전이 데이터세트에 추가됩니다.

4. Add(추가)를 선택하여 변환을 추가합니다.

1. 사용자 지정 변환 섹션의 드롭다운 목록에서 SQL (PySpark SQL)를 선택합니다.

2. 코드 상자에 다음을 입력합니다.

   SELECT survived, age, fare, 1, 2, 3, female, male, C, Q, S FROM df;

3. 변경 내용을 미리 보려면 Preview(미리 보기)를 선택합니다. SELECT 설명문에 나열된 열만 남아 있습니다.

4. Add(추가)를 선택하여 변환을 추가합니다.

1. 데이터 흐름을 저장합니다. File(파일)을 선택한 다음 Save Data Wrangler Flow(Data Wrangler 플로우 저장)을 선택합니다.

2. 데이터 흐름 탭으로 돌아가서 데이터 흐름의 마지막 단계(SQL)를 선택한 다음 +를 선택하여 탐색을 엽니다.

3. Export(내보내기)를 선택하고 Amazon S3 (via Jupyter Notebook)(Jupyter notebook 사용)을 선택합니다. Jupyter notebook이 열립니다.

   

4. Kernel(커널)에 사용할 Python 3 (Data Science)(데이터 과학) 커널을 선택합니다.

5. 커널이 시작되면 SageMaker 훈련 작업 시작(선택 사항)까지 노트북에서 셀을 실행합니다.

6. 선택적으로 XGBoost 분류자를 훈련시키기 위해 AI 훈련 작업을 생성하려는 경우 훈련 작업 시작 SageMaker(선택 사항)에서 셀을 실행할 수 있습니다. SageMaker Amazon SageMaker AI 요금에서 SageMaker 훈련 작업 실행 비용을 확인할 수 있습니다.

   또는에 있는 코드 블록을 노트북훈련 XGBoost 분류자에 추가하고 이를 실행하여 XGBoost 오픈 소스 라이브러리를 사용하여 XGBoost 분류자를 훈련할 수 있습니다.

7. 정리에서 셀의 주석을 제거하고 실행한 다음 실행하여 SageMaker Python을 SDK 원래 버전으로 되돌립니다.

1. 먼저를 사용하여 필요한 모듈을 업그레이드pip하고 _SUCCESS 파일을 제거합니다(이 마지막 파일은 사용 시 문제가 있음awswrangler).

   ! pip install --upgrade awscli awswrangler boto sklearn
   ! aws s3 rm {output_path} --recursive  --exclude "*" --include "*_SUCCESS*"

2. Amazon S3에서 데이터 읽기. awswrangler를 사용하여 S3 접두사의 모든 CSV 파일을 재귀적으로 읽을 수 있습니다. 그런 다음 데이터가 기능과 레이블로 분할됩니다. 레이블은 데이터프레임의 첫 번째 열입니다.

   import awswrangler as wr
   
   df = wr.s3.read_csv(path=output_path, dataset=True)
   X, y = df.iloc[:,:-1],df.iloc[:,-1]

   • 마지막으로 DMatrices (데이터XGBoost의 기본 구조)를 생성하고 XGBoost 바이너리 분류를 사용하여 교차 검증을 수행합니다.

     import xgboost as xgb
     
     dmatrix = xgb.DMatrix(data=X, label=y)
     
     params = {"objective":"binary:logistic",'learning_rate': 0.1, 'max_depth': 5, 'alpha': 10}
     
     xgb.cv(
         dtrain=dmatrix, 
         params=params, 
         nfold=3,
         num_boost_round=50,
         early_stopping_rounds=10,
         metrics="rmse", 
         as_pandas=True, 
         seed=123)