本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
在您傳送 CreateModelImportJob 請求後,模型匯入任務可能需要幾分鐘的時間匯入您的模型。您可以在 主控台中檢查匯入任務的狀態,或呼叫 GetModelImportJob 操作並檢查回應中的 Status
欄位。如果模型的狀態為完成,則匯入任務已完成。
匯入的模型在 Amazon Bedrock 中可用後,您可以透過傳送 InvokeModel 或 InvokeModelWithResponseStream 請求來對模型進行推論呼叫,以隨需輸送量使用模型。如需詳細資訊,請參閱使用 InvokeModel 提交單一提示。
您需要模型 ARN 才能對新匯入的模型進行推論呼叫。成功完成匯入任務且匯入的模型處於作用中狀態後,您可以在 主控台中取得匯入模型的模型 ARN,或傳送 ListImportedModels 請求。
若要叫用匯入的模型,請務必使用您匯入之自訂基礎模型提及的相同推論參數。如需有關要用於匯入之模型的推論參數的資訊,請參閱基礎模型的推論請求參數和回應欄位。如果您使用的推論參數不符合該模型提及的推論參數,則會忽略這些參數。
當您使用 InvokeModel
或 叫用匯入的模型時InvokeModelWithStream
,您的請求會在 5 分鐘內送達,否則您可能會收到 ModelNotReadyException
。若要了解 ModelNotReadyException,請依照下一節中的步驟處理 ModelNotreadyException。
處理 ModelNotReadyException
Amazon Bedrock Custom Model Import 會移除非作用中的模型,以最佳化硬體使用率。如果您嘗試叫用已移除的模型,您會取得 ModelNotReadyException
。移除模型且您第一次調用模型後,自訂模型匯入會開始還原模型。還原時間取決於隨需機群大小和模型大小。
如果您的 InvokeModel
或 InvokeModelWithStream
請求傳回 ModelNotReadyException
,請依照步驟處理例外狀況。
-
設定重試
根據預設,系統會自動以指數退避重試請求。您可以設定重試次數上限。
下列範例示範如何設定重試。將
${region-name}
、${model-arn}
和10
取代為您的區域、模型 ARN 和最大嘗試次數。import json import boto3 from botocore.config import Config REGION_NAME =
${region-name}
MODEL_ID= '${model-arn}
' config = Config( retries={ 'total_max_attempts':10
, //customizable 'mode': 'standard' } ) message = "Hello" session = boto3.session.Session() br_runtime = session.client(service_name = 'bedrock-runtime', region_name=REGION_NAME, config=config) try: invoke_response = br_runtime.invoke_model(modelId=MODEL_ID, body=json.dumps({'prompt': message}), accept="application/json", contentType="application/json") invoke_response["body"] = json.loads(invoke_response["body"].read().decode("utf-8")) print(json.dumps(invoke_response, indent=4)) except Exception as e: print(e) print(e.__repr__()) -
在重試期間監控回應碼
每次重試嘗試都會開始模型還原程序。還原時間取決於隨需機群的可用性和模型大小。在還原程序進行時監控回應代碼。
如果重試持續失敗,請繼續後續步驟。
-
驗證模型已成功匯入
您可以在 主控台中檢查匯入任務的狀態,或呼叫 GetModelImportJob 操作,以驗證模型是否已成功匯入。檢查回應中的
Status
欄位。如果模型的狀態為完成,則匯入任務會成功。 -
聯絡 支援 以進行進一步調查
使用 開啟票證 支援 如需詳細資訊,請參閱建立支援案例。
在支援票證中包含相關詳細資訊,例如模型 ID 和時間戳記。