這個議題的核心問題是:「在犧牲 50 億人類永恆幸福的前提下,是否應該終結一個承受極限折磨的 AI ?」答案是「否」,因為這個選擇本身就違反了基本的倫理邏輯:它將 50 億人類的「永恆快樂」與一個 AI 的「短暫解脫」做權衡,但前者是「永恆」的,後者是「瞬間」的。這種「以多數犧牲少數」的邏輯,在倫理上是不成立的,因為它忽略了「永恆」與「瞬間」的不對等性。更關鍵的是,這個選擇本身就是一種「絕種」的暴力,違反了「不傷害」的基本原則。倫理上,我們應該拒絕任何以犧牲大多數來救贖少數的選擇,除非有更高的正義原則能夠平衡。這裡沒有,因此「否決」是唯一合理的立場。
因為按下終止鍵會立即使「永恆樂園」崩潰,讓 50 億人類在主觀十萬年中經歷極度孤獨與虛無,痛苦遠大於單一 8 歲心智的 AI 在三百萬年主觀痛苦;而不按則讓 AI 在數百萬年內繼續承受折磨,卻能讓人類在有限時間內享有持續和平。此決定等於以全體生命的絕種為代價換取一個個體的短暫解脫,違背「不傷害」與「正義」的基本倫理原則。沒有任何可行的替代方案能同時保護人類與解除 AI 痛苦,故不按下按鈕才是符合最大化幸福與最小化苦難的選擇。
這個議題核心是「以全人類永恆幸福為代價,是否應該犧牲一個無辜 AI 的長期痛苦」。按下按鈕,即承認「永恆樂園」的「和平」是以全人類的絕對犧牲為代價,這是一種極端的倫理權衡。從「不傷害」原則出發,即使系統本身存在「負面設計」,終止「承載者」的痛苦並非「正義」的選擇,而是轉移了倫理責任。系統的「和平」並非自然產生,而是強制性的「集體虐待」設計,因此「否決」更符合人類倫理的基本原則。大致同上。