Java 및 Python 프로젝트를 위한 동적 CI 파이프라인을 자동으로 생성 - AWS 권장 가이드
요약사전 조건 및 제한 사항아키텍처도구모범 사례에픽관련 리소스

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Java 및 Python 프로젝트를 위한 동적 CI 파이프라인을 자동으로 생성

작성자: Aromal Raj Jayarajan(AWS), Amarnath Reddy(AWS), MAHESH RAGHUNANDANAN (AWS) 및 Vijesh Vijayakumaran Nair(AWS)

코드 리포지토리: automated-ci-pipeline-creation

환경: PoC 또는 파일럿

기술: DevOps, 인프라, 서버리스

워크로드: 기타 모든 워크로드

AWS 서비스: AWS CodeBuild, AWS CodePipeline, AWS Lambda, AWS Step Functions, AWS CodeCommit

요약

알림: AWS CodeCommit 는 더 이상 신규 고객에게 제공되지 않습니다. 의 기존 고객은 평소와 같이 서비스를 계속 사용할 AWS CodeCommit 수 있습니다. 자세히 알아보기

이 패턴은 AWS 개발자 도구를 사용하여 Java 및 Python 프로젝트를 위한 동적 지속적 통합(CI) 파이프라인을 자동으로 생성하는 방법을 보여줍니다.

기술 스택이 다양해지고 개발 활동이 증가하면 조직 전체에서 일관된 CI 파이프라인을 만들고 유지 관리하기가 어려워질 수 있습니다. AWS Step Functions에서 프로세스를 자동화하면 CI 파이프라인의 사용량과 접근 방식이 일관적인지 확인할 수 있습니다.

동적 CI 파이프라인 생성을 자동화하기 위해 이 패턴은 다음과 같은 변수 입력을 사용합니다.

  • 프로그래밍 언어(Java 또는 Python만 해당)

  • 파이프라인 이름

  • 필수 파이프라인 단계

참고: Step Functions는 여러 AWS 서비스를 사용하여 파이프라인 생성을 오케스트레이션합니다. 이 솔루션에 사용되는 AWS 서비스에 대한 자세한 내용은 이 패턴의 도구 섹션을 참조하세요.

사전 조건 및 제한 사항

사전 조건 

  • 활성 AWS 계정

  • 이 솔루션이 배포되고 있는 동일한 AWS 리전의 Amazon S3 버킷

  • 이 솔루션에 필요한 리소스를 생성하는 데 필요한 AWS CloudFormation 권한이 있는 AWS Identity and Access Management(IAM) 보안 주체

제한 사항

  • 이 패턴은 Java 및 Python 프로젝트만 지원합니다.

  • 이 패턴으로 프로비저닝된 IAM 역할은 최소 권한 원칙을 따릅니다. IAM 역할의 권한은 CI 파이프라인에서 생성해야 하는 특정 리소스에 따라 업데이트해야 합니다.

아키텍처

대상 기술 스택

  • AWS CloudFormation

  • AWS CodeBuild

  • AWS CodeCommit

  • AWS CodePipeline

  • IAM

  • Amazon Simple Storage Service(S3)

  • AWS Systems Manager

  • AWS Step Functions

  • AWS Lambda

  • Amazon DynamoDB

대상 아키텍처·

다음 다이어그램은 AWS 개발자 도구를 사용하여 Java 및 Python 프로젝트에 대한 동적 CI 파이프라인을 자동으로 생성하기 위한 워크플로의 예를 보여줍니다.

AWS 도구를 사용하여 Java 및 Python 프로젝트에 대한 동적 CI 파이프라인을 자동으로 생성하는 워크플로입니다.

이 다이어그램은 다음 워크플로를 보여줍니다.

  1. AWS 사용자는 CI 파이프라인 생성을 위한 입력 파라미터를 JSON 형식으로 제공합니다. 이 입력은 AWS 개발자 도구를 사용하여 CI 파이프라인을 생성하는 Step Functions 워크플로(상태 시스템)를 시작합니다.

  2. Lambda 함수는 Amazon S3 버킷에 저장된 input-reference라는 이름의 폴더를 읽은 다음 buildspec.yml 파일을 생성합니다. 이렇게 생성된 파일은 CI 파이프라인 단계를 정의하며 파라미터 참조를 저장하는 동일한 Amazon S3 버킷에 다시 저장됩니다.

  3. Step Functions는 CI 파이프라인 생성 워크플로의 종속성에 변경 사항이 있는지 확인하고 필요에 따라 종속성 스택을 업데이트합니다.

  4. Step Functions는 CodeCommit 리포지토리, CodeBuild 프로젝트 및 파이프라인을 포함하여 CloudFormation 스택에 CI CodePipeline 파이프라인 리소스를 생성합니다.

  5. CloudFormation 스택은 선택한 기술 스택(Java 또는 Python)의 샘플 소스 코드와 buildspec.yml 파일을 CodeCommit 리포지토리에 복사합니다.

  6. CI 파이프라인 런타임 세부 정보는 DynamoDB 테이블에 저장됩니다.

자동화 및 규모 조정

  • 이 패턴은 단일 개발 환경에서만 사용할 수 있습니다. 여러 개발 환경에서 사용하려면 구성을 변경해야 합니다.

  • 둘 이상의 CloudFormation 스택에 대한 지원을 추가하려면 추가 CloudFormation 템플릿을 생성할 수 있습니다. 자세한 내용은 CloudFormation 설명서의 시작하기AWS CloudFormation를 참조하세요.

도구

도구

  • AWS Step Functions는 AWS Lambda 함수와 기타 서비스를 결합하여 비즈니스 크리티컬 애플리케이션을 구축하는 데 도움이 되는 서버리스 오케스트레이션 AWS 서비스입니다.

  • AWS Lambda는 서버를 프로비저닝하거나 관리할 필요 없이 코드를 실행하는 데 도움이 되는 컴퓨팅 서비스입니다. 필요할 때만 코드를 실행하며 자동으로 확장이 가능하므로 사용한 컴퓨팅 시간만큼만 비용을 지불합니다.

  • AWS CodeBuild 는 소스 코드를 컴파일하고, 단위 테스트를 실행하고, 배포할 준비가 된 아티팩트를 생성하는 데 도움이 되는 완전 관리형 빌드 서비스입니다.

  • AWS CodeCommit 는 자체 소스 제어 시스템을 관리할 필요 없이 Git 리포지토리를 비공개로 저장하고 관리하는 데 도움이 되는 버전 제어 서비스입니다.

  • AWS CodePipeline 는 소프트웨어 릴리스의 다양한 단계를 빠르게 모델링 및 구성하고 소프트웨어 변경 사항을 지속적으로 릴리스하는 데 필요한 단계를 자동화하는 데 도움이 됩니다.

  • AWS Identity and Access Management(IAM)는 AWS 리소스에 대한 액세스를 인증하고 사용할 수 있는 권한을 부여받은 사용자를 제어하여 리소스에 대한 액세스를 안전하게 관리하는 데 도움이 됩니다.

  • AWS Key Management Service(AWS KMS)를 사용하면 암호화 키를 생성하고 제어하여 데이터를 보호할 수 있습니다.

  • Amazon Simple Storage Service(S3)는 원하는 양의 데이터를 저장, 보호 및 검색하는 데 도움이 되는 클라우드 기반 객체 스토리지 서비스입니다.

  • AWS CloudFormation 는 AWS 리소스를 설정하고, 리소스를 빠르고 일관되게 프로비저닝하고, AWS 계정 및 리전의 수명 주기 전반에 걸쳐 리소스를 관리할 수 있도록 지원합니다.

  • Amazon DynamoDB는 완전 관리형 데이터베이스 없음SQL 서비스로, 빠르고 예측 가능하며 확장 가능한 성능을 제공합니다.

  • AWS Systems Manager Parameter Store는 구성 데이터 관리 및 보안 암호 관리를 위한 안전한 계층적 스토리지를 제공합니다.

코드

이 패턴의 코드는 리포지토리에서 사용할 수 있습니다 GitHub automated-ci-pipeline-creation. 리포지토리에는 이 패턴에 설명된 대상 아키텍처를 생성하는 데 필요한 CloudFormation 템플릿이 포함되어 있습니다.

모범 사례

  • 토큰 또는 암호와 같은 보안 인증 정보(비밀)를 CloudFormation 템플릿 또는 Step Functions 작업 구성에 직접 입력하지 마세요. 그러면 DynamoDB 로그에 정보가 표시됩니다. 대신 AWS Secrets Manager를 사용하여 암호를 설정하고 저장합니다. 그런 다음 필요에 따라 CloudFormation 템플릿 및 Step Functions 작업 구성 내에서 Secrets Manager에 저장된 보안 암호를 참조합니다. 자세한 내용은 AWS Secrets Manager 설명서의 Secrets Manager란 무엇입니까?를 참조하세요.

  • Amazon S3에 저장된 아 CodePipeline 티팩트에 대한 서버 측 암호화를 구성합니다. 자세한 내용은 CodePipeline 설명서의 Amazon S3 for에 저장된 아티팩트에 대한 서버 측 암호화 구성을 CodePipeline 참조하세요.

  • IAM 역할을 구성할 때 최소 권한 권한을 적용합니다. 자세한 내용은 IAM 설명서의 최소 권한 적용을 참조하세요.

  • Amazon S3 버킷에 공개적으로 액세스할 수 없어야 합니다. 자세한 내용은 Amazon S3 설명서의 S3 버킷에 대한 퍼블릭 액세스 차단 설정 구성을 참조하십시오.

  • Amazon S3 버킷에 대한 버전 관리를 활성화해야 합니다. 자세한 내용은 Amazon S3 버킷 설명서의 S3 버킷에서 버전 관리 사용을 참조하십시오.

  • IAM 정책을 구성할 때 IAM Access Analyzer를 사용합니다. 이 도구는 보안 및 기능 IAM 정책을 작성하는 데 도움이 되는 실행 가능한 권장 사항을 제공합니다. 자세한 내용은 IAM 설명서의 AWS Identity and Access Management Access Analyzer 사용을 참조하세요.

  • 가능하면 IAM 정책을 구성할 때 특정 액세스 조건을 정의합니다.

  • 모니터링 및 감사 목적으로 Amazon CloudWatch 로깅을 활성화합니다. 자세한 내용은 CloudWatch 설명서의 Amazon CloudWatch Logs란 무엇입니까?를 참조하세요.

에픽

작업설명필요한 기술

Amazon S3 버킷을 생성합니다.

Amazon S3 버킷을 생성(또는 기존 버킷 사용)하여 솔루션에 필요한 CloudFormation 템플릿, 소스 코드 및 입력 파일을 저장합니다.

자세한 내용은 Amazon S3 설명서의 1단계: 첫 S3 버킷 생성을 참조하십시오.

참고: Amazon S3 버킷은 솔루션을 배포하려는 리전과 동일한 AWS 리전에 있어야 합니다.

AWS DevOps

GitHub 리포지토리를 복제합니다.

터미널 창에서 다음 명령을 실행하여 리포지토리를 복제합니다 GitHub automated-ci-pipeline-creation.

git clone https://github.com/aws-samples/automated-ci-pipeline-creation.git

자세한 내용은 GitHub 설명서의 리포지토리 복제를 참조하세요.

AWS DevOps

복제된 GitHub 리포지토리에서 Amazon S3 버킷으로 솔루션 템플릿 폴더를 업로드합니다.

복제된 솔루션-템플릿 폴더에서 콘텐츠를 복사하여 생성한 Amazon S3 버킷에 업로드합니다.

자세한 내용은 Amazon S3 설명서의 객체 업로드를 참조하십시오.

참고: 솔루션-템플릿 폴더의 콘텐츠만 업로드해야 합니다. Amazon S3 버킷의 루트 수준에서만 파일을 업로드할 수 있습니다.

AWS DevOps
작업설명필요한 기술

복제된 리 GitHub 포지토리의 template.yml 파일을 사용하여 CloudFormation 스택을 생성하여 솔루션을 배포합니다.

  1. AWS 관리 콘솔에 로그인한 다음 AWS CloudFormation 콘솔 을 엽니다.

  2. 스택 생성을 선택합니다. 드롭다운 목록이 나타납니다.

  3. 드롭다운 목록에서 새 리소스 포함(표준)을 선택합니다. 스택 생성 페이지가 열립니다.

  4. 템플릿 지정 섹션에서 템플릿 파일 업로드를 선택합니다.

  5. 파일 선택을 선택합니다. 그런 다음 복제된 GitHub 리포지토리의 루트 폴더로 이동하여 template.yml 파일을 선택합니다. 그런 다음 열기를 선택합니다.

  6. Next(다음)를 선택합니다. 스택 세부 정보 지정 페이지가 열립니다.

  7. 파라미터 섹션에서 다음 파라미터를 지정합니다.

    • S3TemplateBucketName의 경우 이전에 생성한 Amazon S3 버킷의 이름을 입력합니다. 여기에는 이 솔루션의 소스 코드와 참조가 포함됩니다. 버킷 이름 파라미터가 소문자인지 확인합니다.

    • D ynamoDBTable에 CloudFormation 스택이 생성하는 DynamoDB 테이블의 이름을 입력합니다.

    • 에 CloudFormation 스택이 생성하는 Step Functions 상태 시스템의 이름을 StateMachineName입력합니다.

  8. Next(다음)를 선택합니다. 스택 옵션 구성 페이지가 열립니다.

  9. 스택 옵션 구성 페이지에서 다음을 선택합니다. 어떤 기본값도 변경하지 마십시오. 검토 페이지가 열립니다.

  10. 스택 생성 설정을 검토합니다. 그런 다음 스택 생성을 선택하여 스택을 시작합니다.

참고: 스택을 생성하는 동안 스택 페이지에 CREATE_IN_PROGRESS 상태로 나열됩니다. 이 패턴의 나머지 단계를 완료하기 전에 스택 상태가 CREATE_COMPLETE로 변경될 때까지 기다려야 합니다.

AWS 관리자, AWS DevOps
작업설명필요한 기술

생성한 Step Function을 실행합니다.

  1. AWS 관리 콘솔에 로그인한 다음 Step Functions 콘솔을 엽니다.

  2. 생성한 Step Function을 엽니다.

  3. 실행 시작을 선택합니다. 그런 다음 워크플로의 입력 값을 JSON 형식으로 입력합니다(다음 예제 입력 참조).

  4. 실행 시작을 선택합니다.

JSON 서식 지정

{
  "details": {
    "tech_stack": "Name of the Tech Stack (python/java)",
    "project_name": "Name of the Project that you want to create with",
    "pre_build": "Choose the step if it required in the buildspec.yml file i.e., yes/no",
    "build": "Choose the step if it required in the buildspec.yml file i.e., yes/no",
    "post_build": "Choose the step if it required in the buildspec.yml file i.e., yes/no",
    "reports": "Choose the step if it required in the buildspec.yml file i.e., yes/no",
  }
}

Java JSON 입력 예제

{
  "details": {
    "tech_stack": "java",
    "project_name": "pipeline-java-pjt",
    "pre_build": "yes",
    "build": "yes",
    "post_build": "yes",
    "reports": "yes"
  }
}

Python JSON 입력 예제

{
  "details": {
    "tech_stack": "python",
    "project_name": "pipeline-python-pjt",
    "pre_build": "yes",
    "build": "yes",
    "post_build": "yes",
    "reports": "yes"
  }
}
AWS 관리자, AWS DevOps

CI 파이프라인의 CodeCommit 리포지토리가 생성되었는지 확인합니다.

  1. AWS 관리 콘솔에 로그인한 다음 CodeCommit 콘솔 을 엽니다.

  2. 리포지토리 페이지에서 생성한 CodeCommit 리포지토리 이름이 리포지토리 목록에 나타나는지 확인합니다. 리포지토리의 이름에는 pipeline-java-pjt-Repo가 추가됩니다.

  3. CodeCommit 리포지토리를 열고 buildspec.yml 파일과 함께 샘플 소스 코드가 기본 브랜치로 푸시되는지 확인합니다.

AWS DevOps

CodeBuild 프로젝트 리소스를 확인합니다.

  1. AWS 관리 콘솔에 로그인한 다음 CodeBuild 콘솔 을 엽니다.

  2. 프로젝트 빌드 페이지에서 생성한 CodeBuild 프로젝트 이름이 프로젝트 목록에 표시되는지 확인합니다. 프로젝트 이름은 pipeline-java-pjt-Build와 함께 추가됩니다.

  3. CodeBuild 프로젝트 이름을 선택하여 프로젝트를 엽니다. 그런 다음 다음 구성을 검토하고 검증하십시오.

    • 프로젝트 구성

    • 소스

    • 환경

    • BuildSpec

    • 배치 구성

    • 아티팩트

AWS DevOps

CodePipeline 스테이지를 검증합니다.

  1. AWS 관리 콘솔에 로그인한 다음 CodePipeline 콘솔 을 엽니다.

  2. 파이프라인 페이지에서, 생성한 파이프라인 이름이 파이프라인 목록에 나타나는지 확인합니다. 파이프라인의 이름에는 pipeline-java-pjt-Pipeline이 추가됩니다.

  3. 파이프라인 이름을 선택하여 파이프라인을 엽니다. 그런 다음 커밋 및 배포를 포함하여 파이프라인의 각 단계를 검토하고 검증하십시오.

AWS DevOps

CI 파이프라인이 성공적으로 실행되었는지 확인합니다.

  1. CodePipeline 콘솔 의 파이프라인 페이지에서 파이프라인의 이름을 선택하여 파이프라인의 상태를 확인합니다.

  2. 파이프라인의 각 단계가 성공 상태인지 확인하십시오.

AWS DevOps
작업설명필요한 기술

에서 리소스 스택을 삭제합니다 CloudFormation.

에서 CI 파이프라인의 리소스 스택을 삭제합니다 CloudFormation.

자세한 내용은 CloudFormation 설명서의 AWS CloudFormation 콘솔에서 스택 삭제를 참조하세요.

참고: <project_name>-stack이라는 이름의 스택을 삭제해야 합니다.

AWS DevOps

Amazon S3 및 에서 CI 파이프라인의 종속성을 삭제합니다 CloudFormation.

  1. 라는 Amazon S3 버킷을 비웁니다DeploymentArtifactBucket. 자세한 내용은 Amazon S3 설명서의 버킷 비우기를 참조하십시오.

  2. 에서 CI 파이프라인의 종속성 스택을 삭제합니다 CloudFormation. 자세한 내용은 CloudFormation 설명서의 AWS CloudFormation 콘솔에서 스택 삭제를 참조하세요.

참고: 라는 스택을 삭제해야 합니다pipeline-creation-dependencies-stack.

AWS DevOps

Amazon S3 탬플릿 버킷을 삭제하십시오.

이 솔루션의 템플릿을 저장하는 해당 패턴의 사전 조건 구성 섹션에서 생성한 Amazon S3 버킷을 삭제합니다.

자세한 내용은 Amazon S3 설명서의 버킷 삭제를 참조하십시오.

AWS DevOps

관련 리소스