OpenAI 引入新「可信聯繫人」機制防範可能自傷情況

星期四，OpenAI 宣佈推出一個名為 Trusted Contact 的新功能，設計用來在對話中提及自傷時，提醒一位受信任的第三方。此功能允許年滿十八歲的 ChatGPT 使用者在其帳號中指定另一個人作為受信任聯繫人，例如朋友或家人。在對話內容可能涉及自傷的情況下，OpenAI 現在會鼓勵使用者聯繫該受信任聯繫人，同時也會自動發送提醒訊息給該聯繫人，鼓勵他們與使用者確認狀況。OpenAI 遭遇一波來自曾與其聊天機器人對話後自殺的個案家屬提出的訴訟。在許多案例中，家屬表示 ChatGPT 鼓勵他們的親人自殺，甚至協助他們計畫。目前，OpenAI 透過自動化與人工審核結合的方式處理潛在有害事件。某些對話觸發詞會讓 OpenAI 系統識別出自殺念頭，並將資訊轉傳給人工安全團隊。公司聲稱每次收到這類通知，都會由人工進行審核。公司表示：「我們致力於在一小時內審核這些安全通知。」如果 OpenAI 內部團隊判定情況屬於嚴重安全風險，ChatGPT 會向受信任聯繫人發送警報，方式包括電子郵件、簡訊或應用程式內通知。警報設計為簡短，並鼓勵聯繫人與該人確認狀況。公司表示，警報不包含對話內容的詳細資訊，以保護使用者的隱私。圖片來源：OpenAI
Trusted Contact 功能繼公司去年九月推出的家長監控功能後推出，該功能讓家長可以對青少年帳號進行一定程度的監控，包括收到 OpenAI 系統認為其孩子面臨「嚴重安全風險」時的安全通知。長時間以來，ChatGPT 也已包含自動警報功能，當對話趨向自傷話題時，會提醒尋求專業醫療協助。值得注意的是，Trusted Contact 是可選功能，即使在特定帳號啟用保護機制，任何使用者仍可擁有數個 ChatGPT 帳號。OpenAI 的家長控制功能同樣是可選，存在相似的限制。公司於公告中寫道：「Trusted Contact 是 OpenAI 建立協助人們在困難時刻的 AI 系統的一部分。我們會持續與臨床醫生、研究人員與政策制定者合作，改善 AI 系統在人們可能面臨情緒困擾時的應對方式。」