Tablas de sistema para la solución de problemas de cargas de datos - Amazon Redshift

Tablas de sistema para la solución de problemas de cargas de datos

Las siguientes tablas del sistema de Amazon Redshift pueden ser útiles para solucionar problemas relacionados con la carga de datos:

  • Ejecute la consulta STL_LOAD_ERRORS para encontrar los errores que ocurrieron durante cargas específicas.

  • Ejecute la consulta STL_FILE_SCAN para ver los tiempos de carga de archivos específicos o para ver si un archivo específico siquiera se leyó.

  • Ejecute la consulta STL_S3CLIENT_ERROR para encontrar detalles sobre los errores que surgieron mientras se transferían datos desde Amazon S3.

Pasos para encontrar y diagnosticar errores de carga

  1. Cree una vista o defina una consulta que devuelve detalles sobre errores de carga. En el siguiente ejemplo, se combina la tabla STL_LOAD_ERRORS y la tabla STV_TBL_PERM para hacer coincidir los ID de tabla con los nombres reales de tabla. 

    create view loadview as
(select distinct tbl, trim(name) as table_name, query, starttime,
trim(filename) as input, line_number, colname, err_code,
trim(err_reason) as reason
from stl_load_errors sl, stv_tbl_perm sp
where sl.tbl = sp.id);

  2. Establezca la opción MAXERRORS en el comando COPY en un valor lo suficientemente grande como para permitirle a COPY que devuelva información útil sobre sus datos. Si COPY encuentra errores, un mensaje de error le indica que consulte la tabla STL_LOAD_ERRORS para obtener detalles.

  3. Consulte la vista LOADVIEW para obtener detalles del error. Por ejemplo: 

    select * from loadview where table_name='venue';
    
  tbl   | table_name | query |         starttime          
--------+------------+-------+----------------------------
 100551 | venue      | 20974 | 2013-01-29 19:05:58.365391 

|     input      | line_number | colname | err_code |       reason
+----------------+-------------+---------+----------+--------------------
| venue_pipe.txt |           1 |       0 |     1214 | Delimiter not found

  4. Corrija el problema en el archivo de entrada o en el script de carga, en función de la información que devuelva la vista. Entre los errores de carga habituales por buscar se incluyen los siguientes:

    • Discrepancia entre los tipos de datos de la tabla y los valores de los campos de datos de entrada.

    • Discrepancia entre la cantidad de columnas de la tabla y la cantidad de campos de datos de entrada.

    • Discrepancia en las comillas. Amazon Redshift admite comillas simples y dobles; no obstante, las comillas deben equilibrarse de forma adecuada.

    • Formato incorrecto para los datos de fecha/hora en los archivos de entrada.

    • Valores fuera de rango en los archivos de entrada (para las columnas numéricas).

    • La cantidad de valores distintos para una columna supera la limitación para su codificación de compresión.