人臉辨識在追捕犯人，或是協尋失蹤人口是相當好用的工具，但可能侵犯人權和過度介入人民生活卻是隱憂。如今又爆出訓練出來的人臉辨識 AI 出錯，人權團體用 Amazon 的人臉辨識程式 Rekognition 來掃國會議員，卻將不少位議員誤認為罪犯，其中大部分是黑人議員。
美國人權團體美國公民自由聯盟 (American Civil Liberties Union，ACLU) 的部落格發佈他們的發現結果，他們用 Amazon 的人臉辨識程式 Rekognition，掃描所有美國眾議院、參議院議員，預設的信賴區間 80% 下去做，這意味有 80% 的機會辨識正確。
▲ ACLU 進行臉部掃瞄辨識的步驟。(Source：ACLU)
ACLU 運用公共資料庫中 25,000 個大頭照為訓練素材，再去辨認國會議員。結果發現有 28 位議員有被誤判狀況，辨識為犯人。有 40% 的誤判狀況是有色人種，儘管全部國會的人中，只有 20% 是有色人種。
▲ Amazon 的臉部辨識出差錯的狀況。(Source：ACLU)
當訓練資料不夠代表普及狀況時，AI 的辨識效果會被有偏差的資料誤導，導致出來的結果出問題。Amazon 發言人回應，稱用人臉辨識在警政、執法上面，信賴區間要設高些，至少要 95%。
先前 Google 也曾發生類似事情，Google 相簿將上傳的黑人女性，辨識為大猩猩。
