기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
최신 데이터 중심 아키텍처 사용 사례 설계 및 구현을 위한 모범 사례
지원, Amazon Web Services () AWS
2023년 5월 (문서 이력)
Organizations 점점 더 애플리케이션 중심 아키텍처에서 벗어나 IT 인프라, 애플리케이션 개발, 심지어 비즈니스 프로세스까지 데이터 요구 사항을 중심으로 설계되는 데이터 중심 아키텍처를 채택하고 있습니다. 데이터 중심 아키텍처에서는 데이터가 핵심 IT 자산이므로 데이터를 최적화하도록 IT 시스템과 프로세스를 설계해야 합니다.
이 가이드에서는 사용 사례에 맞는 최신 데이터 중심 아키텍처를 설계하기 위한 모범 사례를 제공합니다. 이러한 모범 사례를 사용하여 데이터 파이프라인과 해당 파이프라인을 지원하는 데이터 엔지니어링 작업을 현대화할 수 있습니다. 또한 이 가이드는 데이터 파이프라인의 데이터 라이프사이클에 대한 개요를 제공합니다. 이 라이프사이클을 이해하면 데이터를 최적화하는 데이터 파이프라인을 구축할 수 있습니다.
이 가이드를 통해 많은 조직이 데이터 파이프라인을 위한 데이터 중심 아키텍처를 설계할 때 직면하는 다음과 같은 문제를 극복할 수 있습니다.
동일한 데이터세트의 여러 버전을 저장하는 것에 대한 거부감 — 데이터를 자주 여러 번 처리하는 것은 드문 일이 아니지만 이 접근 방식에는 한계가 있습니다. 실제로 데이터를 여러 번 처리하지 않는 것이 리소스 집약도가 낮고 비용 효율성이 더 높은 경우가 많습니다. 이 가이드에서는 처리된 데이터를 여러 단계로 저장하는 데 초점을 맞춘 다른 접근 방식을 사용할 때의 이점을 보여줍니다.
데이터 레이크 수용에 대한 거부감 — 데이터 레이크에 대한 마케팅 주장을 분류하기가 어려울 수 있으며, 조직이 데이터 레이크를 IT 시스템 및 프로세스에 통합하는 데 필요한 기술과 리소스를 갖추고 있는지 파악하는 것도 어려울 수 있습니다. 이 가이드는 데이터 레이크가 데이터 중심 아키텍처에서 어떻게 유용한 구성 요소가 될 수 있는지 이해하는 데 도움이 될 수 있습니다.
충분한 데이터 엔지니어 채용 — 시장 동향에 따르면 데이터 과학자는 적절한 데이터 엔지니어링 기술이 없더라도 많은 조직에서 데이터 엔지니어링 작업을 수행해야 합니다. 이러한 기술 격차는 time-to-market 계획에 영향을 미칠 수 있습니다. 이 가이드는 데이터 중심 아키텍처를 설계하는 데 필수적인 데이터 엔지니어링 기술을 더 잘 이해하는 데 도움이 될 수 있습니다.
수평 처리를 위한 AWS 서비스 사용에 대한 지식 부족 — 수평 또는 분산 처리를 통해 클러스터는 작업을 여러 노드에 매핑하고 결과를 수집한 후 사용자에게 투명하게 전송함으로써 많은 양의 데이터를 병렬로 처리할 수 있습니다. 수평적 처리로의 전환은 데이터를 보고 처리하는 방식의 변화를 의미합니다. 이러한 변화는 애플리케이션 로직이나 애플리케이션 자체뿐만 아니라 조직이 데이터를 다루는 방식에도 영향을 미칩니다. 예를 들어, 수평 처리는 중앙 저장, 작업 분배 및 모듈화에 영향을 미칩니다. 수평 처리는 또한 읽기-쓰기 작업에 더 많은 데이터 청크를 선호합니다. 이 가이드에서는 데이터 파이프라인에서 수평적 처리가 어떻게 작동할 수 있는지 설명합니다.
