本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
合併註釋
註釋是單一工作者之標籤任務的結果。註釋合併會為您的資料物件,將兩個以上的工作者註釋合併成單一標籤。指派給資料集中每個物件的標籤,是真實標籤應該是什麼的概率估計值。資料集中的每個物件通常有多個註釋,但只有一個標籤或一組標籤。
您可以決定要讓多少工作者註釋您資料集中的每個物件。投入越多的工作者可以提高您標籤的準確性,但也會增加標籤的成本。若要進一步了解 Ground Truth 定價,請參閱 Amazon SageMaker Ground Truth 定價
如果您使用 Amazon SageMaker 主控台建立標籤任務,則可註解物件的工作者數量的預設值如下:
-
文字分類 - 3 個工作者
-
影像分類 — 3 個工作者
-
邊界框 - 5 個工作者
-
語意分割 - 3 個工作者
-
具名實體辨識 — 3 個工作者
使用 CreateLabelingJob
操作時,您會設定多少個工作者,使用 NumberOfHumanWorkersPerDataObject
參數註釋每個資料物件。您可以使用主控台或 CreateLabelingJob
操作,覆寫註釋資料物件的預設工作者數目。
Ground Truth 可為每個預先定義的標籤任務提供註釋合併函式:邊界框、影像分類、名稱實體辨識、語意分割及文字分類。有以下函式:
-
影像和文字分類的多類別註釋合併會使用不同的最大期望值
算法來進行註釋。它會估計每個工作者的參數,並根據個別工作者的類別註釋,使用貝氏推論來估計真正的類別。 -
邊界框註釋合併多個工作者的邊界框。此函式會根據方塊的雅卡爾指數 (Jaccard index
) 或聯集上的交集並平均它們,從不同工作者中尋找最相似的方塊。 -
語意分割註釋合併將單一影像中的每個像素視為一個多類別分類。此函式會將平滑化函式套用至影像,納入周圍像素的更多資訊,而將工作者的像素註釋視為 “選票”。
-
具名實體辨識會依 Jaccard 相似度來叢集文字選取項目,並基於模式來計算選取項目界限,或如果不確定模式,則取中間值。標籤會解析為叢集中指派最多的實體標籤,並依隨機選取項目來中斷連結。
您可以使用其他演算法來合併註釋。如需相關資訊,請參閱 建立您自己的註釋合併函式。
建立您自己的註釋合併函式
您可以選擇使用自己的註釋合併函式,來決定所標籤物件的最終標籤。有許多撰寫函式的可行方法,以及您可以根據要合併之註釋的性質採取的方法。廣義來說,合併函式會查看工作者的註釋、測量它們之間的相似性,然後使用某種形式的機率性判斷來決定最可能的標籤為何。
如果想要使用其他演算法來建立註釋合併函式,則您可以在將任務輸出導引至其中之 Amazon S3 儲存貯體的
資料夾中找到工作者回應。[project-name]
/annotations/worker-response
評估相似性
若要評估標籤之間的相似性,您可以使用下列其中一個策略,或是使用符合您資料標籤需求的策略:
-
針對由離散、互斥類別組成的標籤空間 (例如多類別分類),評估相似度的過程可以相當直接。離散標籤不是相符就是不相符。
-
針對沒有離散值的標籤空間,例如邊界框註釋,請尋找廣泛的相似性量值。針對邊界框,雅卡爾指數 (Jaccard index) 就是這樣的量值。它會使用方塊間的聯集測量兩個方塊交集的比率,評估其相似度。例如,如果有三個註釋,則可能有一個函式會決定哪些註釋代表相同的物件,而應該合併。
評估最可能的標籤
考量先前詳述的其中一種策略,做一下機率性判斷,找出何者為整合標籤。針對離散、互斥的類別,這項過程可以相當直接。其中一個執行此作業的常見方式,便是採取註釋之間佔大多數選票的結果。這會平均加權註釋。
有些方法會嘗試估計不同註釋工具的準確度,根據其正確性的機率,按比例加權它們的註釋。例如,多類別註釋的預設 Ground Truth 合併函式中所使用的最大期望法。
如需有關建立註釋合併函式的詳細資訊,請參閱步驟 3:使用 AWS Lambda。