最新のデータ中心アーキテクチャのユースケースを設計および実装するためのベストプラクティス

同じデータセットの複数のバージョンを保存することへの嫌悪感 — 頻繁にデータを複数回処理することは珍しくありませんが、この方法には限界があります。実際、多くの場合、データを複数回処理しないほうが、リソースをあまり消費せず、費用対効果も高くなります。このガイドでは、処理されたデータを複数の段階で保存することに重点を置いた別のアプローチを取ることの利点を説明します。

データレイクを受け入れることに消極的 — データレイクに関するマーケティング上の主張を整理するのが難しい場合があり、また、組織にデータレイクをITシステムやプロセスに組み込むために必要なスキルとリソースがあるかどうかを判断するのも難しい場合があります。このガイドは、データレイクがデータ中心のアーキテクチャにおいてどのように有用なコンポーネントになり得るかを理解するのに役立ちます。

十分な数のデータエンジニアの採用 — 市場動向によると、データサイエンティストは適切なデータエンジニアリングスキルを持っていなくても、多くの組織でデータエンジニアリングのタスクを実行することが期待されています。このスキルギャップは、time-to-market計画に影響を与える可能性があります。このガイドは、データ中心のアーキテクチャを設計するためにどのようなデータエンジニアリングスキルが不可欠であるかをよりよく理解するのに役立ちます。

水平処理に AWS サービスを使用する方法に関する知識の欠如 — 水平処理または分散処理では、クラスターはタスクを複数のノードにマッピングし、結果を収集してからユーザーに透過的に送信することで、大量のデータをparallel して処理できます。水平処理への移行は、データの表示方法と処理方法の変化を表しています。この変化は、アプリケーションロジックやアプリケーション自体だけでなく、組織がデータを扱う方法にも影響を及ぼします。たとえば、水平処理は集中ストレージ、タスク分散、およびモジュール化に影響します。また、水平処理では、読み取り/書き込み操作用のデータのチャンクが大きい方が有利です。このガイドでは、水平処理がデータパイプラインでどのように機能するかを説明します。