Hive 클러스터 오류 - Amazon EMR
Hive의 최신 버전을 사용하고 있습니까?Hive 스크립트에서 구문 오류가 발생했습니까?대화식으로 실행할 때 작업이 실패했습니까?Amazon S3와 Hive 간에 데이터를 로드하는 데 문제가 있나요?

Hive 클러스터 오류

일반적으로 단계 창에서 링크한 syslog 파일에서 Hive 오류의 원인을 찾을 수 있습니다. 문제를 확인할 수 없다면 하둡 작업 시도 오류 메시지를 확인하십시오. 작업 시도 창에서 링크하십시오.

다음은 Hive 클러스터의 공통 오류입니다.

Hive의 최신 버전을 사용하고 있습니까?

Hive의 최신 버전은 모든 최신 패치와 버그 수정을 제공하며 문제를 해결할 수 있습니다.

Hive 스크립트에서 구문 오류가 발생했습니까?

단계가 실패한 경우 Hive 스크립트를 실행한 단계는 로그의 stdout 파일을 확인하십시오. 오류가 없으면 실패한 작업 시도에 대한 작업 시도 로그의 syslog 파일을 확인하십시오. 자세한 내용은 Amazon EMR 로그 파일 보기 단원을 참조하십시오.

대화식으로 실행할 때 작업이 실패했습니까?

마스터 노드에서 Hive를 대화식으로 실행 중이며 클러스터가 실패한 경우 실패한 작업 시도에 대한 작업 시도 로그의 syslog 항목을 확인하십시오. 자세한 내용은 Amazon EMR 로그 파일 보기 단원을 참조하십시오.

Amazon S3와 Hive 간에 데이터를 로드하는 데 문제가 있나요?

Amazon S3에서 데이터에 액세스하는 데 문제가 있는 경우 먼저 Amazon S3에서 또는 Amazon S3로 데이터를 로드하는 데 문제가 있나요?에 나열된 가능한 원인을 확인합니다. 이러한 문제가 원인이 아니면 Hive와 관련된 다음 옵션을 고려하십시오.

  • 사용 중인 Hive가 문제를 해결할 수 있는 최신 패치와 버그 수정이 모두 적용된 최신 버전인지 확인합니다. 자세한 내용은 Apache Hive 단원을 참조하십시오.

  • INSERT OVERWRITE를 사용하려면 Amazon S3 버킷 또는 폴더의 콘텐츠를 나열해야 합니다. 이 작업은 리소스를 많이 사용하는 작업입니다. 가능한 경우 Hive 목록을 보유하는 대신 경로를 수동으로 제거하고 기존 객체를 삭제하십시오.

  • 5.0보다 이전 버전의 Amazon EMR 릴리스를 사용하는 경우 HiveQL에서 다음 명령을 사용하여 클러스터에서 로컬로 Amazon S3 나열 작업의 결과를 사전 캐시할 수 있습니다.

    set hive.optimize.s3.query=true;

  • 가능한 경우 정적 파티션을 사용하십시오.

  • Hive 및 Amazon EMR의 일부 버전에서는 테이블이 Hive가 예상한 것과 다른 위치에 저장되어 있기 때문에 ALTER TABLES 사용이 실패할 수 있습니다. 이때는 /home/hadoop/conf/core-site.xml에서 다음과 같이 추가하거나 업데이트하여 문제를 해결할 수 있습니다.

    <property>
    <name>fs.s3n.endpoint</name>
    <value>s3.amazonaws.com</value>
</property>