Uso del almacenamiento compatible con Amazon S3 en dispositivos de la familia Snow con un clúster de dispositivos Snow - AWS Snowball Edge Guía para desarrolladores

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Uso del almacenamiento compatible con Amazon S3 en dispositivos de la familia Snow con un clúster de dispositivos Snow

Un clúster es un conjunto de tres o más dispositivos de Snowball Edge que se utilizan como una sola unidad lógica con fines de almacenamiento local y procesamiento. Un clúster ofrece dos beneficios principales respecto a un dispositivo Snowball Edge independiente en lo que se refiere a los fines de computación y almacenamiento locales:

  • Mayor durabilidad: los datos del S3 almacenados en un clúster de dispositivos Snowball Edge disfrutan de una mayor durabilidad de los datos en comparación con un solo dispositivo. Además, los datos del clúster permanecen seguros y viables, a pesar de las posibles interrupciones del hardware que afecten al clúster. Los clústeres pueden soportar la pérdida de un dispositivo en grupos de 3 y 4 dispositivos y de hasta dos dispositivos en grupos de 5 a 16 dispositivos antes de que los datos estén en peligro. Puede reemplazar los nodos en mal estado para mantener la durabilidad y la seguridad de los datos almacenados en el clúster.

  • Mayor almacenamiento: con los dispositivos optimizados para el almacenamiento de Snowball Edge, puede crear un único clúster de 16 nodos con una capacidad de almacenamiento utilizable compatible con S3 de hasta 2,6 PB. Con los dispositivos optimizados para cómputo de Snowball Edge, puede crear un único clúster de 16 nodos con una capacidad de almacenamiento utilizable compatible con S3 de hasta 501 TB.

Un clúster de dispositivos Snowball Edge no tiene ningún nodo principal. Cualquier nodo puede escribir y leer datos de todo el clúster, y todos los nodos son capaces de behind-the-scenes gestionar el clúster.

Cuando piense usar un clúster de dispositivos Snowball Edge, tenga en cuenta lo siguiente:

  • Le recomendamos que proporcione una fuente de alimentación redundante para todos los dispositivos del clúster a fin de reducir los posibles problemas de rendimiento y estabilidad del clúster.

  • Al igual que sucede con los trabajos de computación y almacenamiento locales independientes, los datos almacenados en un clúster no pueden importarse a Amazon S3 sin pedir dispositivos adicionales como parte de trabajos de importación independientes. Si pide dispositivos adicionales como trabajos de importación, puede transferir los datos del clúster a los dispositivos de los trabajos de importación.

  • Para transferir datos a un clúster desde Amazon S3, utilice Amazon S3 API para crear depósitos de Amazon S3 en el clúster para almacenar y recuperar objetos de S3. Además, puede utilizarlos AWS DataSync para transferir objetos entre los servicios de AWS almacenamiento y el almacenamiento compatible con Amazon S3 en los dispositivos de la familia Snow de un dispositivo Snowball Edge. Para obtener más información, consulte Configuración de transferencias con almacenamiento compatible con S3 en Snowball Edge.

  • Puede crear un trabajo para ordenar un clúster de dispositivos desde Consola de administración de la familia de productos Snow de AWS AWS CLI, el o uno de los AWS SDKs. Para obtener más información, consulte Introducción a los dispositivos de la familia Snow.

  • Cada dispositivo del clúster tiene un ID de nodo. Un ID de nodo es un identificador único para cada dispositivo del clúster, como un ID de trabajo para un dispositivo independiente. Puede obtener el nodo IDs desde Consola de administración de la familia de productos Snow de AWS, el AWS CLI AWS SDKs, y el cliente de Snowball Edge. El cliente Snowball Edge comanda describe-device y describe-cluster devuelve el nodo IDs con otra información sobre los dispositivos o el clúster.

  • La duración de un clúster está limitada por el certificado de seguridad concedido a los dispositivos del clúster al aprovisionarlo. De forma predeterminada, los dispositivos Snowball Edge pueden utilizarse durante un máximo de 360 días antes de que haya que devolverlos. Al finalizar ese plazo, los dispositivos dejan de responder a las solicitudes de lectura/escritura. Si necesita conservar uno o más dispositivos durante más de 360 días, póngase en contacto con nosotros AWS Support.

  • Cuando AWS recibimos un dispositivo devuelto que formaba parte de un clúster, borramos completamente el dispositivo. Este borrado sigue los estándares 800-88 del Instituto Nacional de Estándares y NIST Tecnología.

Tolerancia a errores y capacidad de almacenamiento de un clúster de almacenamiento compatible con Amazon S3 en dispositivos Snow Family
Tamaño del clúster Tolerancia a errores Capacidad de almacenamiento de los dispositivos Snowball Edge Compute Optimized (AMDEPYCcon Gen1 HDD y GPU opcional) (en TB) Capacidad de almacenamiento de los dispositivos Snowball Edge Compute Optimized (Compute Optimized AMD EPYC with Gen2 NVMe and) (en TB) Capacidad de almacenamiento de los dispositivos Snowball Edge de 210 TB optimizados para almacenamiento (en TB)

3

Pérdida de hasta 1 nodo

83

38

438

4

Pérdida de hasta 1 nodo

125

57

657

5

Pérdida de hasta 2 nodos

125

57

657

6

Pérdida de hasta 2 nodos

167

76

904

7

Pérdida de hasta 2 nodos

209

95

1096

8

Pérdida de hasta 2 nodos

250

114

1315

9

Pérdida de hasta 2 nodos

292

133

1534

10

Pérdida de hasta 2 nodos

334

152

1754

11

Pérdida de hasta 2 nodos

370

165

1970

12

Pérdida de hasta 2 nodos

376

171

1973

13

Pérdida de hasta 2 nodos

418

190

2192

14

Pérdida de hasta 2 nodos

459

209

2411

15

Pérdida de hasta 2 nodos

495

225

2625

16

Pérdida de hasta 2 nodos

501

228

2631

Tras desbloquear un clúster, podrá almacenar datos en ese clúster y obtener acceso a ellos. Puede usar el punto de conexión compatible con Amazon S3 para leer datos de un clúster o escribir datos en él.

Para leer datos de un clúster o escribir datos en él, debe tener un cuórum de lectura/escritura que no sea mayor que el número permitido de nodos no disponibles en el clúster de dispositivos.

Cuórum de clúster en Snowball Edge

Un cuórum representa el número mínimo de dispositivos Snowball Edge de un clúster que deben comunicarse entre sí para que se mantenga un cuórum de lectura/escritura.

Cuando todos los dispositivos de un clúster están en buen estado, hay un quórum de lectura/escritura para el clúster. Si uno o dos de esos dispositivos se desconectan, se reduce la capacidad operativa del clúster. Sin embargo, sigue siendo posible leer y escribir en el clúster. Con todos los dispositivos en funcionamiento excepto uno o dos, el clúster sigue teniendo quórum de lectura/escritura. En this table se muestra el número de nodos que pueden desconectarse antes de que la capacidad operativa del clúster se vea afectada.

Es posible que se pierda Quorom si un clúster pierde más dispositivos de los indicados en. this table Cuando se pierde un quórum, el clúster está desconectado y los datos del clúster no están disponibles. Es posible que pueda solucionar este problema o que los datos se pierdan de forma permanente, según la gravedad del caso. Si se trata de una fuente de alimentación externa temporal y puede volver a encender los dispositivos Snowball Edge y desbloquear todos los nodos del clúster, los datos volverán a estar disponibles.

importante

Si no existe un quórum mínimo de nodos en buen estado, póngase en contacto con nosotros. AWS Support

Puede usar el describe-cluster comando para ver el estado de bloqueo y la accesibilidad de la red de cada nodo. Asegurarse de que los dispositivos de su clúster estén en buen estado y conectados es una responsabilidad administrativa que asume cuando utiliza el almacenamiento en clúster. Para obtener más información, consulte Obtener el estado de los dispositivos.

Si determina que uno o más nodos están en mal estado, puede reemplazar los nodos del clúster para mantener el quórum y el buen estado y la estabilidad de los datos. Para obtener más información, consulte Sustitución de un nodo de un clúster.