翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
Ray on HyperPod のトラブルシューティング
このページでは、Ray クラスター、ダッシュボード、ジョブ、HyperPod でのオブザーバビリティに関する一般的な問題を診断します。各エントリには、症状、原因、解決策が表示されます。
Ray クラスターが保留中でスタックする
症状
ヘッドポッドまたはワーカーポッドは保持Pendingされ、クラスターは に到達しませんRunning。
原因
リクエストされた vCPU またはメモリが、選択したインスタンスタイプの Kubernetes 割り当て可能な容量を超えています。kube-system は各ノードの一部を予約し、DaemonSets は各ノードの一部を消費するため、割り当て可能はインスタンスのネームプレートよりも低くなります。
解決策
割り当て可能な容量に収まるように vCPU とメモリのリクエストを減らすか、より大きなインスタンスタイプを選択します。で割り当て可能な をチェックkubectl describe node し、報告された値を下回るリクエストを設定します。my-node
ray.init() がバージョンエラーで失敗する
症状
ray.init() が失敗するか、クラスターが起動しますが、クライアントは接続できません。
原因
スペースまたはクライアントイメージの Ray バージョンがクラスターマニフェストspec.rayVersionと一致しません。
解決策
コンテナイメージで spec.rayVersionを Ray バージョンに設定し、スペースまたはクライアントで同じ Ray バージョンを使用します。詳細については、「HyperPod Amazon EKS への KubeRay のインストール」を参照してください。
ダッシュボードリンクが認可エラーを返す
症状
Ray Dashboard リンクが開きますが、認可エラーが返されます。
原因
プライベートアクセス戦略では、ダッシュボードは接続を作成した ID に限定されます。別の ID は拒否されます。
解決策
クラスターを作成した ID としてダッシュボードを開くか、パブリックアクセス戦略を使用して、名前空間の接続権限を持つすべてのユーザーにアクセス権を付与します。詳細については、「アクセス戦略とセキュリティのベストプラクティス」を参照してください。
Ray ワークロードは許可されません
症状
RayCluster または RayJobは承認されず、ポッドは作成されません。
原因
名前空間には HyperPod タスクガバナンスのコンピューティング割り当てがないため、タスクガバナンスはワークロードを承認するためのクォータなしで保持します。
解決策
コンピューティング割り当てを名前空間に割り当てるか、それを持つ名前空間に送信します。詳細については、「Ray のタスクガバナンスの設定」を参照してください。
Grafana ダッシュボードが空です
症状
Ray Grafana ダッシュボードはロードされますが、実行中のクラスターのデータが表示されません。
原因
HyperPod Observability アドオンでは Ray メトリクスが有効になっていないため、Ray メトリクスはスクレイピングされません。
解決策
Observability アドオンで Ray メトリクスを有効にし、アドオンバージョンが Ray メトリクススクレイピングをサポートしていることを確認します。詳細については、「Ray メトリクスコレクションのセットアップ」を参照してください。
ジョブの送信がエンドポイントに到達しない
症状
ray job submit が接続に失敗するか、認可エラーを返します。
原因
ジョブ送信エンドポイントに到達できないか、セッショントークンの有効期限が切れています。ダッシュボードまたはエンドポイントセッションは、最大 6 時間有効です。
解決策
エンドポイントアドレスを確認し、新しい接続 URL を生成してトークンを更新し、再試行します。詳細については、「ダッシュボード接続 URL の生成」を参照してください。
