本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
管理一个工作团队,在 Amazon Bedrock 中对模型进行人工评估
对于使用人工的评估工作,你需要有一个工作团队。工作团队是您选择的一组工作人员。他们可能是公司的员工,也可能是行业的一群主题专家。
Amazon Bedrock 中的工作人员通知
-
当你在 Amazon 中创建评估任务时,只有当你第一次将员工添加到工作团队时,他们才会收到他们分配的任务的通知
-
如果您在创建评估作业期间将工作人员从工作团队中删除,他们也将无法访问分配给他们的所有评估任务。
-
对于分配给现有人工工作人员的任何新评估任务,您都必须直接通知他们,并将其提供URL给工作人员门户。工作人员必须使用他们之前为工作人员门户创建的登录凭证。对于每个地区您 AWS 账户中的所有评估职位,此工作人员门户网站都是一样的
您可以创建人工工作团队或管理现有团队,同时为由 Amazon G SageMaker round Truth 管理的私人员工队伍设置评估工作人员。Amazon SageMaker Ground Truth 支持更高级的劳动力管理功能。要详细了解如何在 Amazon G SageMaker round Truth 中管理员工,请参阅创建和管理员工。
在设置新的评估作业时,您可以从工作团队中删除工作人员。否则,你必须使用 Amazon Cognito 控制台或 Amazon G SageMaker round Truth 控制台来管理你在 Amazon Bedrock 中创建的工作团队。
如果IAM用户、群组或角色具有所需的权限,那么当你创建使用人类工作人员的评估工作时,你将看到你在 Amazon Cognito、Amazon Ground Tr SageMaker uth 或 Amazon Agumented AI 中创建的现有私人员工和工作团队。
对于每个工作团队,Amazon Bedrock 最多支持 50 名工作人员。
在电子邮件地址字段中,一次最多可以输入 50 个电子邮件地址。要为评估任务添加更多工作人员,请使用 Amazon Cognito 控制台或 Ground Truth 控制台。地址之间必须用逗号隔开。您应将自己的电子邮件地址包括在内,以便成为人力的一员,可以查看标注任务。
为人类工作人员创建指令
为模型评估作业创建良好的说明可提高工作人员完成任务的准确性。创建模型评估作业时,可以修改控制台中提供的默认说明。这些说明将显示在工作人员在其中完成标记任务的 UI 页面上。
为了帮助工作人员完成分配的任务,您可以在两个位置提供说明。
为每种评估和评级方法提供良好的描述
描述应简要说明所选指标。描述应针对指标展开说明,并明确您希望工作人员如何评估所选评级方法。
为工作人员提供总体评估说明
这些说明显示在工作人员完成任务的同一网页上。可以使用这个位置为模型评估作业提供整体指导,如果您已将真实响应包含在提示数据集中,则可以对其进行描述。