기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

아키텍처

Amazon Timestream for Live Analytics는 처음부터 대규모로 시계열 데이터를 수집, 저장 및 처리하도록 설계되었습니다. 서버리스 아키텍처는 독립적으로 확장할 수 있는 완전히 분리된 데이터 수집, 스토리지 및 쿼리 처리 시스템을 지원합니다. 이 설계는 각 하위 시스템을 간소화하여 확고한 신뢰성을 달성하고, 병목 현상을 조정하지 않으며, 상관관계가 있는 시스템 장애 가능성을 줄일 수 있습니다. 이러한 각 요인은 시스템이 확장됨에 따라 더 중요해집니다.

쓰기 아키텍처

Amazon Timestream for Live Analytics는 시계열 데이터를 작성할 때 테이블, 파티션에 대한 쓰기를 높은 처리량의 데이터 쓰기를 처리하는 내결함성 메모리 스토어 인스턴스로 라우팅합니다. 그러면 메모리 스토어는 세 개의 가용 영역(AZs. 복제는 노드 또는 전체 AZ의 손실이 쓰기 가용성을 방해하지 않도록 쿼럼 기반입니다. 쿼리를 제공하기 위해 거의 실시간으로 다른 인 메모리 스토리지 노드가 데이터에 동기화됩니다. 리더 복제본 노드도 AZs 걸쳐 있으므로 높은 읽기 가용성을 보장합니다.

Timestream for Live Analytics는 더 낮은 처리량의 지연 도착 데이터를 생성하는 애플리케이션에 대해 마그네틱 스토어에 직접 데이터를 쓰는 것을 지원합니다. 지연 도착 데이터는 타임스탬프가 현재 시간보다 이전인 데이터입니다. 메모리 스토어의 높은 처리량 쓰기와 마찬가지로 마그네틱 스토어에 기록된 데이터는 3개의 AZs에 복제되고 복제는 쿼럼 기반입니다.

데이터가 메모리에 기록되든 마그네틱 스토어에 기록되든 관계없이 Timestream for Live Analytics는 스토리지에 기록되기 전에 데이터를 자동으로 인덱싱하고 분할합니다. Timestream for Live Analytics 테이블 하나에는 수백, 수천 또는 수백만 개의 파티션이 있을 수 있습니다. 개별 파티션은 서로 직접 통신하지 않으며 데이터를 공유하지 않습니다(공유 없음 아키텍처). 대신 고가용성 파티션 추적 및 인덱싱 서비스를 통해 테이블의 파티셔닝을 추적합니다. 이렇게 하면 시스템 장애의 영향을 최소화하고 상관관계가 있는 장애의 가능성을 크게 낮추기 위해 특별히 설계된 또 다른 우려 사항이 분리됩니다.

스토리지 아키텍처

데이터가 Timestream for Live Analytics에 저장되면 데이터는 데이터로 작성된 컨텍스트 속성에 따라 시간 순서 및 시간별로 구성됩니다. 시계열 시스템을 대규모로 조정하려면 시간 외에도 "스페이스"를 분할하는 파티셔닝 체계가 중요합니다. 이는 대부분의 시계열 데이터가 현재 시간 또는 그 즈음에 작성되기 때문입니다. 따라서 시간별 파티셔닝만으로는 쓰기 트래픽을 분산하거나 쿼리 시 데이터를 효과적으로 정리할 수 없습니다. 이는 극단적인 규모 시계열 처리에 중요하며, Timestream for Live Analytics는 현재 서버리스 방식으로 다른 선도적인 시스템보다 더 높은 규모를 조정할 수 있었습니다. 결과 파티션은 2차원 공간(유사한 크기로 설계됨)의 분할을 나타내기 때문에 "타일"이라고 합니다. Live Analytics 테이블의 Timestream은 단일 파티션(타일)으로 시작한 다음 처리량에 따라 공간 차원으로 분할됩니다. 타일이 특정 크기에 도달하면 데이터 크기가 커짐에 따라 더 나은 읽기 병렬 처리를 달성하기 위해 시간 차원으로 분할됩니다.

Timestream for Live Analytics는 시계열 데이터의 수명 주기를 자동으로 관리하도록 설계되었습니다. Timestream for Live Analytics는 인 메모리 스토어와 비용 효율적인 마그네틱 스토어라는 두 개의 데이터 스토어를 제공합니다. 또한 스토어 간에 데이터를 자동으로 전송하도록 테이블 수준 정책 구성을 지원합니다. 높은 처리량의 데이터 쓰기를 수신하면 메모리 스토어에 저장되어 쓰기에 데이터가 최적화되고 대시보드를 지원하고 유형 쿼리에 알림을 보내기 위해 현재 시간에 수행되는 읽기가 생성됩니다. 쓰기, 알림 및 대시보드 요구 사항에 대한 기본 기간이 경과하면 메모리 스토어에서 마그네틱 스토어로 데이터가 자동으로 흐르도록 하여 비용을 최적화합니다. Timestream for Live Analytics를 사용하면 이를 위해 메모리 스토어에 데이터 보존 정책을 설정할 수 있습니다. 지연 도착 데이터에 대한 데이터 쓰기는 마그네틱 스토어에 직접 기록됩니다.

마그네틱 스토어에서 데이터를 사용할 수 있게 되면(메모리 스토어 보존 기간이 만료되거나 마그네틱 스토어에 직접 쓰기 때문에) 대용량 데이터 읽기에 매우 최적화된 형식으로 재구성됩니다. 또한 마그네틱 스토어에는 데이터가 유용성을 능가하는 시간 임계값이 있는 경우 구성할 수 있는 데이터 보존 정책이 있습니다. 데이터가 마그네틱 스토어 보존 정책에 정의된 시간 범위를 초과하면 자동으로 제거됩니다. 따라서 일부 구성 이외의 Timestream for Live Analytics를 사용하면 데이터 수명 주기 관리가 백그라운드에서 원활하게 수행됩니다.

쿼리 아키텍처

Timestream for Live Analytics 쿼리는 시계열별 지원(시계열별 데이터 유형 및 함수)을 위한 확장이 있는 SQL 문법으로 표현되므로 이미 SQL에 익숙한 개발자는 학습 곡선을 쉽게 사용할 수 있습니다. 그런 다음 타일 추적 및 인덱싱 서비스의 메타데이터를 사용하여 쿼리가 발행될 때 데이터 스토어 간에 데이터에 원활하게 액세스하고 결합하는 적응형 분산 쿼리 엔진에서 쿼리를 처리합니다. 이를 통해 Rube Goldberg의 많은 복잡성을 간단하고 익숙한 데이터베이스 추상화로 축소하므로 고객과 잘 반응하는 경험을 할 수 있습니다.

쿼리는 지정된 쿼리를 실행하도록 등록된 작업자 수가 쿼리 복잡성 및 데이터 크기에 따라 결정되는 전용 작업자 플릿에서 실행됩니다. 대규모 데이터 세트에 대한 복잡한 쿼리의 성능은 쿼리 런타임 플릿과 시스템의 스토리지 플릿 모두에서 대규모 병렬 처리를 통해 달성됩니다. 대량의 데이터를 빠르고 효율적으로 분석하는 기능은 Timestream for Live Analytics의 가장 큰 장점 중 하나입니다. 테라바이트 또는 페타바이트 이상의 데이터를 실행하는 단일 쿼리에는 수천 대의 시스템이 동시에 모두 작동할 수 있습니다.

셀룰러 아키텍처

Timestream for Live Analytics가 애플리케이션에 대해 사실상 무한한 규모를 제공하는 동시에 99.99% 가용성을 보장하기 위해 시스템은 셀룰러 아키텍처를 사용하여 설계되었습니다. 시스템을 전체적으로 확장하는 대신 Timestream for Live Analytics는 셀이라고 하는 여러 개의 작은 자체 복사본으로 분할합니다. 이를 통해 셀을 전체 규모로 테스트할 수 있으며, 한 셀의 시스템 문제가 특정 리전의 다른 셀의 활동에 영향을 미치지 않도록 방지할 수 있습니다. Timestream for Live Analytics는 리전당 여러 셀을 지원하도록 설계되었지만 리전에 셀이 2개인 다음과 같은 가상 시나리오를 고려해 보세요.

위에 표시된 시나리오에서 데이터 수집 및 쿼리 요청은 먼저 데이터 수집 및 쿼리를 위한 검색 엔드포인트에서 각각 처리됩니다. 그런 다음 검색 엔드포인트는 고객 데이터가 포함된 셀을 식별하고 해당 셀에 대한 적절한 수집 또는 쿼리 엔드포인트로 요청을 전달합니다. SDKs를 사용하면 이러한 엔드포인트 관리 작업이 투명하게 처리됩니다.