本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

AWS Glue 架构注册表

AWS Glue 架构注册表让您可以集中发现、控制和演变数据流架构。架构定义了数据记录的结构和格式。借助 AWS Glue 架构注册表，您可以使用与 Apache Kafka、Amazon Managed Streaming for Apache Kafka、Amazon Kinesis Data Streams、适用于 Apache Flink 的亚马逊托管服务和 AWS Lambda 的方便集成，在数据流应用程序上管理和实施架构。

架构注册表支持 AVRO (v1.10.2) 数据格式、采用适用于架构（规范 Draft-04、Draft-06 和 Draft-07）的 JSON 架构格式并使用 Everit 库进行 JSON 架构验证的 JSON 数据格式、协议缓冲区（Protobuf）版本 proto2 和 proto3（不支持 extensions 或 groups）以及 Java 语言支持，对其他数据格式和语言的支持也将推出。支持的功能包括兼容性、通过元数据获取架构、架构自动注册、IAM 兼容性，以及可选的的 ZLIB 压缩（用来减少存储和数据传输）。架构注册表属于无服务器服务，可以免费使用。

将架构用作创建者和使用者之间的数据格式合同，这样可以改进数据治理，提高数据质量，并使数据使用者能够适应兼容的上游更改。

架构注册表允许分散的系统共享序列化和反序列化的架构。例如，假设您拥有数据创建者和使用者。创建者在发布数据时知道架构。架构注册表为某些系统（如 Amazon MSK 或 Apache Kafka）提供序列化程序和反序列化程序。

有关更多信息，请参阅 架构注册表的工作原理。

架构

架构定义了数据记录的结构和格式。架构是用于可靠数据发布、使用或存储的版本化规范。

在 Avro 的此示例架构中，格式和结构由布局和字段名称定义，字段名称的格式由数据类型（例如，string、int）定义。

{
    "type": "record",
    "namespace": "ABC_Organization",
    "name": "Employee",
    "fields": [
        {
            "name": "Name",
            "type": "string"
        },
        {
            "name": "Age",
            "type": "int"
        },
        {
            "name": "address",
            "type": {
                "type": "record",
                "name": "addressRecord",
                "fields": [
                    {
                        "name": "street",
                        "type": "string"
                    },
                    {
                        "name": "zipcode",
                        "type": "int" 
                    }
                ]
            }
        }
    ]
}

在此示例 JSON 架构 Draft-07 中，格式由 JSON 架构组织定义。

{
	"$id": "https://example.com/person.schema.json",
	"$schema": "http://json-schema.org/draft-07/schema#",
	"title": "Person",
	"type": "object",
	"properties": {
		"firstName": {
			"type": "string",
			"description": "The person's first name."
		},
		"lastName": {
			"type": "string",
			"description": "The person's last name."
		},
		"age": {
			"description": "Age in years which must be equal to or greater than zero.",
			"type": "integer",
			"minimum": 0
		}
	}
}

在此示例中，Protobuf 的格式由协议缓冲区语言版本 2（proto2）定义。

syntax = "proto2";

package tutorial;

option java_multiple_files = true;
option java_package = "com.example.tutorial.protos";
option java_outer_classname = "AddressBookProtos";

message Person {
  optional string name = 1;
  optional int32 id = 2;
  optional string email = 3;

  enum PhoneType {
    MOBILE = 0;
    HOME = 1;
    WORK = 2;
  }

  message PhoneNumber {
    optional string number = 1;
    optional PhoneType type = 2 [default = HOME];
  }

  repeated PhoneNumber phones = 4;
}

message AddressBook {
  repeated Person people = 1;
}

注册表

注册表是架构的逻辑容器。注册表允许您组织架构以及管理应用程序的访问控制。注册表具有 Amazon Resource Name（ARN），允许您组织和设置注册表中架构操作的不同访问权限。

您可以根据需要使用默认注册表或创建任意数量的新注册表。

架构版本控制和兼容性

每个架构都可以有多个版本。版本控制由应用于架构的兼容性规则控制。在新架构版本的注册请求成功之前，架构注册表将根据此规则检查请求。

标记为检查点的架构版本用于确定注册架构新版本的兼容性。首次创建架构时，默认检查点将是第一个版本。随着架构发展为更多版本，您可以使用 CLI/SDK 将检查点更改为架构版本，使用遵守一组约束条件的 UpdateSchema API。在控制台中，编辑架构定义或兼容性模式会默认将检查点更改为最新版本。

兼容性模式允许您控制架构随时间发展或不能发展的方式。这些模式构成了生成和使用数据的应用程序之间的契约。将架构的新版本提交到注册表时，应用于架构名称的兼容性规则将用于确定是否可以接受新版本。有 8 种兼容性模式：NONE、DISABLED、BACKWARD、BACKWARD_ALL、FORWARD、FORWARD_ALL、FULL、FULL_ALL。

在 Avro 数据格式中，字段可能是可选字段或必填字段。可选字段是指 Type 包含 null 的字段。必填字段不会将 null 视为 Type。

在 Protobuf 数据格式中，字段可以是可选字段（包括重复字段），也可以在 proto2 语法中为必填字段，而在 proto3 语法中，所有字段均为可选字段（包括重复字段）。所有兼容性规则均基于对协议缓冲区规范以及来自 Google 协议缓冲区文档指南的了解。

开源 Serde 库

AWS 提供开源 Serde 库，作为序列化和反序列化数据的框架。这些库的开源设计允许通用的开源应用程序和框架，以在其项目中支持这些库。

有关 Serde 库工作原理的更多详细信息，请参阅架构注册表的工作原理。

架构注册表的配额

配额，也称为 AWS 中的限制，是 AWS 账户中资源、操作和项目的最大值。以下是 AWS Glue 中架构注册表的软限制。

架构版本的元数据键值对数

每个 AWS 区域的每个 SchemaVersion 最多可以有 10 个键值对。

您可以使用 QuerySchemaVersionMetadata 操作（Python：query_schema_version_metadata） 或者 PutSchemaVersionMetadata 操作（Python：put_schema_version_metadata） API 查看或设置键值元数据对。

以下是 AWS Glue 中架构注册表的硬限制。

注册表

此账户在每个 AWS 区域最多可以有 100 个注册表。

SchemaVersion

此账户在每个 AWS 区域最多可以有 1 万个架构版本。

每个新架构都会创建一个新的架构版本，因此假设每个架构只有一个版本，则理论上每个区域每个账户最多可有 1 万个架构。

架构负载

架构负载的大小限制为 170KB。