Java 및 Python 프로젝트를 위한 동적 CI 파이프라인을 자동으로 생성 - AWS 권장 가이드
요약사전 조건 및 제한 사항아키텍처도구모범 사례에픽관련 리소스

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Java 및 Python 프로젝트를 위한 동적 CI 파이프라인을 자동으로 생성

제작: 아로말 라즈 자야라잔 (AWS), 아마르나스 레디 (), (), 비제쉬 비자야쿠마란 나이르 () AWS MAHESH RAGHUNANDANAN AWS AWS

코드 리포지토리: automated-ci-pipeline-creation

환경: PoC 또는 파일럿

기술: DevOps; 인프라, 서버리스

워크로드: 기타 모든 워크로드

AWS서비스: AWS CodeBuild;; AWS Lambda AWS CodePipeline; AWS Step Functions; AWS CodeCommit

요약

이 패턴은 AWS 개발자 도구를 사용하여 Java 및 Python 프로젝트에 대한 동적 지속적 통합 (CI) 파이프라인을 자동으로 생성하는 방법을 보여줍니다.

기술 스택이 다양해지고 개발 활동이 증가하면 조직 전체에서 일관된 CI 파이프라인을 만들고 유지 관리하기가 어려워질 수 있습니다. AWSStep Functions에서 프로세스를 자동화하면 CI 파이프라인의 사용 및 접근 방식이 일관되도록 할 수 있습니다.

동적 CI 파이프라인 생성을 자동화하기 위해 이 패턴은 다음과 같은 변수 입력을 사용합니다.

  • 프로그래밍 언어(Java 또는 Python만 해당)

  • 파이프라인 이름

  • 필수 파이프라인 단계

참고: Step Functions는 여러 AWS 서비스를 사용하여 파이프라인 생성을 오케스트레이션합니다. 이 솔루션에서 사용되는 AWS 서비스에 대한 자세한 내용은 이 패턴의 도구 섹션을 참조하십시오.

사전 조건 및 제한 사항

사전 조건 

  • 활성 AWS 계정

  • 이 솔루션이 배포되는 AWS 지역과 동일한 지역의 Amazon S3 버킷

  • 이 솔루션에 필요한 리소스를 만드는 데 필요한 AWS CloudFormation 권한을 가진 AWS Identity 및 Access Management (IAM) 주도자

제한 사항

  • 이 패턴은 Java 및 Python 프로젝트만 지원합니다.

  • 이 패턴에 규정된 IAM 역할은 최소 권한 원칙을 따릅니다. IAM역할의 권한은 CI 파이프라인이 생성해야 하는 특정 리소스를 기반으로 업데이트되어야 합니다.

아키텍처

대상 기술 스택

  • AWS CloudFormation

  • AWS CodeBuild

  • AWS CodeCommit

  • AWS CodePipeline

  • IAM

  • Amazon Simple Storage Service(S3)

  • AWS Systems Manager

  • AWS Step Functions

  • AWS람다

  • Amazon DynamoDB

대상 아키텍처·

다음 다이어그램은 AWS 개발자 도구를 사용하여 Java 및 Python 프로젝트의 동적 CI 파이프라인을 자동으로 생성하는 예제 워크플로를 보여줍니다.

AWS도구를 사용하여 Java 및 Python 프로젝트용 동적 CI 파이프라인을 자동으로 생성하는 워크플로입니다.

이 다이어그램은 다음 워크플로를 보여줍니다.

  1. AWS사용자는 CI 파이프라인 생성을 위한 입력 매개변수를 JSON 형식으로 제공합니다. 이 입력은 AWS 개발자 도구를 사용하여 CI 파이프라인을 생성하는 Step Functions 워크플로 (상태 머신) 를 시작합니다.

  2. Lambda 함수는 Amazon S3 버킷에 저장된 input-reference라는 이름의 폴더를 읽은 다음 buildspec.yml 파일을 생성합니다. 이렇게 생성된 파일은 CI 파이프라인 단계를 정의하며 파라미터 참조를 저장하는 동일한 Amazon S3 버킷에 다시 저장됩니다.

  3. Step Functions는 CI 파이프라인 생성 워크플로의 종속성에 변경 사항이 있는지 확인하고 필요에 따라 종속성 스택을 업데이트합니다.

  4. Step Functions는 CodeCommit 리포지토리, CodeBuild 프로젝트, 파이프라인을 비롯한 CI CodePipeline 파이프라인 리소스를 CloudFormation 스택에 생성합니다.

  5. 스택은 선택한 기술 CloudFormation 스택 (Java 또는 Python) 의 샘플 소스 코드와 buildspec.yml 파일을 저장소에 복사합니다. CodeCommit

  6. CI 파이프라인 런타임 세부 정보는 DynamoDB 테이블에 저장됩니다.

자동화 및 규모 조정

  • 이 패턴은 단일 개발 환경에서만 사용할 수 있습니다. 여러 개발 환경에서 사용하려면 구성을 변경해야 합니다.

  • 두 개 이상의 CloudFormation 스택에 대한 지원을 추가하려면 추가 템플릿을 생성할 수 있습니다. CloudFormation 자세한 내용은 CloudFormation 설명서의 AWS CloudFormation시작하기를 참조하십시오.

도구

도구

  • AWSStep Functions는 AWS Lambda 함수와 기타 AWS 서비스를 결합하여 비즈니스에 중요한 애플리케이션을 구축하는 데 도움이 되는 서버리스 오케스트레이션 서비스입니다.

  • AWSLambda는 서버를 프로비저닝하거나 관리할 필요 없이 코드를 실행할 수 있는 컴퓨팅 서비스입니다. 필요할 때만 코드를 실행하며 자동으로 확장이 가능하므로 사용한 컴퓨팅 시간만큼만 비용을 지불합니다.

  • AWS CodeBuild소스 코드를 컴파일하고, 단위 테스트를 실행하고, 배포할 준비가 된 아티팩트를 생성하는 데 도움이 되는 완전관리형 빌드 서비스입니다.

  • AWS CodeCommit자체 소스 제어 시스템을 관리할 필요 없이 Git 리포지토리를 비공개로 저장하고 관리할 수 있는 버전 제어 서비스입니다.

  • AWS CodePipeline소프트웨어 릴리스의 여러 단계를 신속하게 모델링 및 구성하고 소프트웨어 변경 사항을 지속적으로 릴리스하는 데 필요한 단계를 자동화할 수 있도록 도와줍니다.

  • AWSIdentity and Access Management (IAM) 를 사용하면 리소스 인증 및 사용 권한을 부여받은 사용자를 제어하여 AWS 리소스에 대한 액세스를 안전하게 관리할 수 있습니다.

  • AWS키 관리 서비스 (AWSKMS) 를 사용하면 데이터를 보호하는 데 도움이 되는 암호화 키를 만들고 제어할 수 있습니다.

  • Amazon Simple Storage Service(S3)는 원하는 양의 데이터를 저장, 보호 및 검색하는 데 도움이 되는 클라우드 기반 객체 스토리지 서비스입니다.

  • AWS CloudFormationAWS리소스를 설정하고, 빠르고 일관되게 프로비저닝하고, AWS 계정 및 지역 전반의 라이프사이클 전반에 걸쳐 리소스를 관리할 수 있도록 지원합니다.

  • Amazon DynamoDB는 완전관리형 데이터베이스 SQL 없음 서비스로서 빠르고 예측 가능하며 확장 가능한 성능을 제공합니다.

  • AWSSystems Manager 파라미터 스토어는 구성 데이터 관리 및 비밀 관리를 위한 안전한 계층적 스토리지를 제공합니다.

코드

이 패턴의 코드는 리포지토리에서 사용할 수 있습니다. GitHub automated-ci-pipeline-creation 리포지토리에는 이 패턴에 설명된 대상 아키텍처를 만드는 데 필요한 CloudFormation 템플릿이 들어 있습니다.

모범 사례

  • 토큰이나 암호와 같은 자격 증명 (암호) 을 CloudFormation 템플릿 또는 Step Functions 작업 구성에 직접 입력하지 마십시오. 그러면 DynamoDB 로그에 정보가 표시됩니다. 대신 AWS Secrets Manager를 사용하여 시크릿을 설정하고 저장하세요. 그런 다음 필요에 따라 CloudFormation 템플릿 및 Step Functions 작업 구성 내에서 Secrets Manager에 저장된 암호를 참조합니다. 자세한 내용은 AWSSecrets Manager 설명서의 Secrets Manager란 무엇입니까? 를 참조하십시오.

  • Amazon S3에 저장된 CodePipeline 아티팩트에 대해 서버 측 암호화를 구성합니다. 자세한 내용은 설명서의 Amazon S3에 저장된 아티팩트에 대한 서버 측 암호화 구성을 참조하십시오. CodePipeline CodePipeline

  • 역할을 구성할 때 최소 권한 권한을 적용하십시오. IAM 자세한 내용은 설명서의 최소 권한 적용을 참조하십시오. IAM

  • Amazon S3 버킷에 공개적으로 액세스할 수 없어야 합니다. 자세한 내용은 Amazon S3 설명서의 S3 버킷에 대한 퍼블릭 액세스 차단 설정 구성을 참조하십시오.

  • Amazon S3 버킷에 대한 버전 관리를 활성화해야 합니다. 자세한 내용은 Amazon S3 버킷 설명서의 S3 버킷에서 버전 관리 사용을 참조하십시오.

  • 정책을 구성할 때는 IAM 액세스 분석기를 사용하십시오. IAM 이 도구는 안전하고 기능적인 IAM 정책을 작성하는 데 도움이 되는 실행 가능한 권장 사항을 제공합니다. 자세한 내용은 IAM 설명서에서 AWSIdentity 및 Access Management 액세스 분석기 사용을 참조하십시오.

  • 가능하면 IAM 정책을 구성할 때 특정 액세스 조건을 정의하십시오.

  • 모니터링 및 감사 CloudWatch 목적으로 Amazon 로깅을 활성화합니다. 자세한 내용은 Amazon CloudWatch Logs란 무엇입니까? 를 참조하십시오. CloudWatch 설명서에서.

에픽

작업설명필요한 기술

Amazon S3 버킷을 생성합니다.

Amazon S3 버킷을 생성 (또는 기존 버킷 사용) 하여 솔루션에 필요한 CloudFormation 템플릿, 소스 코드 및 입력 파일을 저장합니다.

자세한 내용은 Amazon S3 설명서의 1단계: 첫 S3 버킷 생성을 참조하십시오.

참고: Amazon S3 버킷은 솔루션을 배포하려는 AWS 지역과 동일한 지역에 있어야 합니다.

AWS DevOps

GitHub 리포지토리를 복제하십시오.

터미널 창에서 다음 명령을 실행하여 GitHub automated-ci-pipeline-creation리포지토리를 복제합니다.

git clone https://github.com/aws-samples/automated-ci-pipeline-creation.git

자세한 내용은 GitHub 설명서의 리포지토리 복제를 참조하십시오.

AWS DevOps

복제된 GitHub 리포지토리의 솔루션 템플릿 폴더를 Amazon S3 버킷으로 업로드합니다.

복제된 솔루션-템플릿 폴더에서 콘텐츠를 복사하여 생성한 Amazon S3 버킷에 업로드합니다.

자세한 내용은 Amazon S3 설명서의 객체 업로드를 참조하십시오.

참고: 솔루션-템플릿 폴더의 콘텐츠만 업로드해야 합니다. Amazon S3 버킷의 루트 수준에서만 파일을 업로드할 수 있습니다.

AWS DevOps
작업설명필요한 기술

복제된 리포지토리의 template.yml 파일을 사용하여 솔루션을 배포할 CloudFormation 스택을 생성합니다. GitHub

  1. AWS관리 콘솔에 로그인한 다음 콘솔을 엽니다. AWS CloudFormation

  2. 스택 생성을 선택합니다. 드롭다운 목록이 나타납니다.

  3. 드롭다운 목록에서 새 리소스 포함(표준)을 선택합니다. 스택 생성 페이지가 열립니다.

  4. 템플릿 지정 섹션에서 템플릿 파일 업로드를 선택합니다.

  5. 파일 선택을 선택합니다. 그런 다음 복제된 GitHub 리포지토리의 루트 폴더로 이동하여 template.yml 파일을 선택합니다. 그런 다음 열기를 선택합니다.

  6. Next(다음)를 선택합니다. 스택 세부 정보 지정 페이지가 열립니다.

  7. 파라미터 섹션에서 다음 파라미터를 지정합니다.

    • S3의 경우TemplateBucketName, 이전에 생성한 Amazon S3 버킷의 이름을 입력합니다. 이 버킷에는 이 솔루션의 소스 코드와 참조가 들어 있습니다. 버킷 이름 파라미터가 소문자인지 확인합니다.

    • D에는 ynamoDBTable 스택이 생성하는 DynamoDB 테이블의 이름을 입력합니다. CloudFormation

    • 의 StateMachineName경우 CloudFormation 스택이 생성하는 Step Functions 상태 머신의 이름을 입력합니다.

  8. Next(다음)를 선택합니다. 스택 옵션 구성 페이지가 열립니다.

  9. 스택 옵션 구성 페이지에서 다음을 선택합니다. 어떤 기본값도 변경하지 마십시오. 검토 페이지가 열립니다.

  10. 스택 생성 설정을 검토합니다. 그런 다음 스택 생성을 선택하여 스택을 시작합니다.

참고: 스택이 생성되는 동안에는 스택 페이지에 CREATE_IN_ PROGRESS 상태로 나열됩니다. 이 패턴의 나머지 단계를 COMPLETE 완료하기 전에 스택 상태가 CREATE_로 변경될 때까지 기다려야 합니다.

AWS관리자, AWS DevOps
작업설명필요한 기술

생성한 Step Function을 실행합니다.

  1. AWS관리 콘솔에 로그인한 다음 Step Functions 콘솔을 엽니다.

  2. 생성한 Step Function을 엽니다.

  3. 실행 시작을 선택합니다. 그런 다음 워크플로우에 대한 입력 값을 JSON 형식으로 입력합니다 (다음 예제 입력 참조).

  4. 실행 시작을 선택합니다.

JSON형식 지정

{
  "details": {
    "tech_stack": "Name of the Tech Stack (python/java)",
    "project_name": "Name of the Project that you want to create with",
    "pre_build": "Choose the step if it required in the buildspec.yml file i.e., yes/no",
    "build": "Choose the step if it required in the buildspec.yml file i.e., yes/no",
    "post_build": "Choose the step if it required in the buildspec.yml file i.e., yes/no",
    "reports": "Choose the step if it required in the buildspec.yml file i.e., yes/no",
  }
}

자바 JSON 입력 예제

{
  "details": {
    "tech_stack": "java",
    "project_name": "pipeline-java-pjt",
    "pre_build": "yes",
    "build": "yes",
    "post_build": "yes",
    "reports": "yes"
  }
}

Python JSON 입력 예제

{
  "details": {
    "tech_stack": "python",
    "project_name": "pipeline-python-pjt",
    "pre_build": "yes",
    "build": "yes",
    "post_build": "yes",
    "reports": "yes"
  }
}
AWS관리자, AWS DevOps

CI 파이프라인의 CodeCommit 리포지토리가 생성되었는지 확인합니다.

  1. AWS관리 콘솔에 로그인한 다음 CodeCommit 콘솔을 엽니다.

  2. 리포지토리 페이지에서 생성한 리포지토리 이름이 CodeCommit 리포지토리 목록에 나타나는지 확인합니다. 리포지토리 이름은 다음과 같이 추가됩니다. -Repo pipeline-java-pjt

  3. CodeCommit 리포지토리를 열고 buildspec.yml 파일과 함께 샘플 소스 코드가 기본 브랜치에 푸시되는지 확인합니다.

AWS DevOps

프로젝트 리소스를 확인하세요. CodeBuild

  1. AWS관리 콘솔에 로그인한 다음 CodeBuild 콘솔을 엽니다.

  2. 빌드 프로젝트 페이지에서 생성한 CodeBuild 프로젝트 이름이 프로젝트 목록에 나타나는지 확인합니다. 프로젝트 이름은 다음과 pipeline-java-pjt 같이 추가됩니다. -Build

  3. 프로젝트 이름을 선택하여 CodeBuild 프로젝트를 엽니다. 그런 다음 다음 구성을 검토하고 검증하십시오.

    • 프로젝트 구성

    • 소스

    • 환경

    • BuildSpec

    • 배치 구성

    • 아티팩트

AWS DevOps

CodePipeline 스테이지를 검증하세요.

  1. AWS관리 콘솔에 로그인한 다음 CodePipeline 콘솔을 엽니다.

  2. 파이프라인 페이지에서, 생성한 파이프라인 이름이 파이프라인 목록에 나타나는지 확인합니다. 파이프라인 이름은 다음과 pipeline-java-pjt 같이 추가됩니다. -Pipeline

  3. 파이프라인 이름을 선택하여 파이프라인을 엽니다. 그런 다음 커밋 및 배포를 포함하여 파이프라인의 각 단계를 검토하고 검증하십시오.

AWS DevOps

CI 파이프라인이 성공적으로 실행되었는지 확인합니다.

  1. CodePipeline 콘솔의 파이프라인 페이지에서 파이프라인 이름을 선택하여 파이프라인 상태를 확인합니다.

  2. 파이프라인의 각 단계가 성공 상태인지 확인하십시오.

AWS DevOps
작업설명필요한 기술

에서 리소스 스택을 삭제합니다. CloudFormation

에서 CI 파이프라인의 리소스 스택을 삭제합니다 CloudFormation.

자세한 내용은 CloudFormation 설명서의 AWS CloudFormation 콘솔에서 스택 삭제를 참조하십시오.

참고: <project_name>-stack이라는 이름의 스택을 삭제해야 합니다.

AWS DevOps

Amazon S3에서 CI 파이프라인의 종속성을 삭제하고 CloudFormation

  1. 이름이 지정된 Amazon S3 버킷을 비웁니다 DeploymentArtifactBucket. 자세한 내용은 Amazon S3 설명서의 버킷 비우기를 참조하십시오.

  2. 에서 CI 파이프라인의 종속성 스택을 삭제합니다. CloudFormation 자세한 내용은 CloudFormation 설명서의 AWS CloudFormation 콘솔에서 스택 삭제를 참조하십시오.

참고: 이름이 지정된 스택을 삭제해야 pipeline-creation-dependencies-stack합니다.

AWS DevOps

Amazon S3 탬플릿 버킷을 삭제하십시오.

이 솔루션의 템플릿을 저장하는 해당 패턴의 사전 조건 구성 섹션에서 생성한 Amazon S3 버킷을 삭제합니다.

자세한 내용은 Amazon S3 설명서의 버킷 삭제를 참조하십시오.

AWS DevOps

관련 리소스