बहस

एल्गोरिद्म, निष्पक्षता और सत्ता

गणितीय रूप से सिद्ध है कि जब समूहों की आधार दरें भिन्न हों – मसलन लोग कितनी बार दोबारा अपराध करते हैं – तो कोई जोखिम-स्कोर निष्पक्षता की सभी सामान्य कसौटियों को एक साथ पूरा नहीं कर सकता। तो जब सॉफ़्टवेयर यह तय करने में हाथ बँटाता है कि किसे ऋण, नौकरी या मुक़दमे से पहले रिहाई मिले, तब कौन-सी कसौटी मान्य हो – और क्या ऐसे निर्णय सॉफ़्टवेयर पर छोड़े ही जाने चाहिए?

स्वचालित प्रणालियाँ आज नौकरी के आवेदकों की छँटाई, साख-योग्यता के आकलन, कल्याण-योजनाओं में धोखाधड़ी की पहचान और दोबारा अपराध की भविष्यवाणी में मदद करती हैं। 2016 में प्रोपब्लिका ने बताया कि जिन प्रतिवादियों ने बाद में दोबारा अपराध नहीं किया, उनमें से अमेरिकी अदालतों में प्रयुक्त जोखिम-स्कोर COMPAS ने अश्वेत प्रतिवादियों को श्वेत प्रतिवादियों की तुलना में लगभग दोगुनी बार उच्च जोखिम वाला ठहराया था; निर्माता ने उत्तर दिया कि उसके स्कोर दोनों समूहों के लिए समान रूप से सटीक हैं। दोनों बातें एक साथ सही हो सकती थीं, और शोधकर्ताओं ने जल्द ही सिद्ध किया कि क्यों: जब आधार दरें भिन्न हों, तो कोई स्कोर हर समूह के लिए समान रूप से अच्छी तरह अंशांकित और साथ ही समान त्रुटि-दरों वाला नहीं हो सकता (क्लेनबर्ग और सहयोगी, 2016; चोल्डेचोवा, 2017)। बड़े भाषा-मॉडलों के साथ प्रश्न और फैल गए हैं: डेटा और अवसंरचना का मालिक कौन है, अपारदर्शी प्रणालियों को जवाबदेह कैसे ठहराया जाए, और क्या सबसे बड़े ख़तरे आज की हानियों में हैं या भविष्य की प्रणालियों में। यूरोपीय संघ का 2024 का एआई अधिनियम (AI Act) इस क्षेत्र को क़ानून से विनियमित करने का पहला व्यापक प्रयास है।

तारा-मानचित्र में खोलें

पक्ष

निष्पक्षता मापी जा सकती है – पर सब एक साथ नहीं

जॉन क्लेनबर्ग, सेंढिल मुल्लाइनाथन और मनीष राघवन (2016) तथा अलेक्ज़ेंड्रा चोल्डेचोवा (2017) ने सिद्ध किया कि जब समूहों की आधार दरें भिन्न हों, तो कोई जोखिम-स्कोर एक साथ हर समूह के लिए समान रूप से अच्छी तरह अंशांकित नहीं हो सकता और उसकी त्रुटि-दरें भी समान नहीं हो सकतीं। इसलिए निष्पक्षता की कसौटी चुनना एक नैतिक निर्णय है, तकनीकी ब्योरा नहीं। एल्गोरिद्मिक निर्णय के पक्षधर जोड़ते हैं कि पूर्वाग्रही मनुष्यों की जाँच करना कठिन है, जबकि एल्गोरिद्म के इनपुट और परिणामों को परखा और सुधारा जा सकता है, इसलिए भली-भाँति विनियमित एल्गोरिद्म भेदभाव को घटा भी सकते हैं (क्लेनबर्ग, लुडविग, मुल्लाइनाथन और सनस्टीन, 2018)। ब्रायन हेडन (2021) एक विचार-प्रयोग से दिखाते हैं कि पूरी तरह निष्पक्ष प्रक्रिया लगभग सभी प्रचलित सांख्यिकीय कसौटियों का उल्लंघन कर सकती है – अतः उनमें से अधिकांश निष्पक्षता की आवश्यक शर्तें नहीं हो सकतीं।

नए कोड में पुराना अन्याय

समाजशास्त्री और प्रौद्योगिकी के आलोचक विद्वान तर्क देते हैं कि समस्या सूत्रों में कम है और उस दुनिया में अधिक, जिससे वे सीखते हैं। पिछले निर्णयों पर प्रशिक्षित प्रणालियाँ पिछला भेदभाव – भर्ती, पुलिसिंग या कल्याण में – दोहराती हैं, और फिर भी तटस्थ दिखती हैं; रूहा बेंजामिन (Race After Technology, 2019) इसे “न्यू जिम कोड” कहती हैं, जो पृथक्करण के जिम क्रो क़ानूनों की ओर संकेत है। जॉय बुओलामविनी और टिमनिट गेब्रू (2018) ने पाया कि व्यावसायिक चेहरा-विश्लेषण प्रणालियाँ गहरी त्वचा वाली स्त्रियों का लिंग हल्की त्वचा वाले पुरुषों की तुलना में कहीं अधिक बार ग़लत पहचानती थीं, और वर्जीनिया यूबैंक्स (Automating Inequality, 2018) दिखाती हैं कि स्वचालित कल्याण-प्रणालियाँ ग़रीब लोगों को ऐसी निगरानी के अधीन करती हैं जिसका सामना दूसरों को कभी नहीं करना पड़ता। इस दृष्टि से निष्पक्षता के माप पर्याप्त नहीं हैं: मायने यह रखता है कि प्रणालियाँ कौन बनाता है, किस उद्देश्य से – और क्या कुछ प्रणालियाँ बननी भी चाहिए।

डेटा पर सत्ता

शोशाना ज़ुबोफ़ (The Age of Surveillance Capitalism, 2019) का तर्क है कि अग्रणी प्लेटफ़ॉर्म मानवीय अनुभव को मुफ़्त कच्चे माल के रूप में हथिया लेते हैं: वे अपनी सेवाओं की ज़रूरत से अधिक “व्यवहारगत अधिशेष” इकट्ठा करते हैं, उसे पूर्वानुमानों में बदलते हैं, उन्हें बेचते हैं और अंततः स्वयं व्यवहार को गढ़ना चाहते हैं। निक काउल्ड्री और उलिसेस मेजिआस (The Costs of Connection, 2019) “डेटा उपनिवेशवाद” की बात करते हैं, जो मानव जीवन का एक नया अधिग्रहण है और उनके मत में ऐतिहासिक उपनिवेशवाद के तर्क को आगे बढ़ाता है। आलोचक उपायों पर भिन्न मत रखते हैं – सुदृढ़ निजता-अधिकार, प्रतिस्पर्धा-क़ानून, सार्वजनिक या सहकारी विकल्प – पर इस पर सहमत हैं कि अलग-अलग एल्गोरिद्मों की नीतिशास्त्रीय चर्चा कुछ ऐसी कंपनियों में सत्ता के संकेंद्रण की उपेक्षा करती है जिनके पास डेटा, कंप्यूटिंग-क्षमता और मॉडल हैं।

सिद्धांतों से व्यवहार तक

फ़्लोरिडी और जोश काउल्स (2019) ने एआई नीतिशास्त्र के दर्जनों दिशानिर्देशों को पाँच सिद्धांतों में समेटा: उपकार, अहानि, स्वायत्तता, न्याय और व्याख्येयता। फ़्लोरिडी चेताते हैं कि केवल सिद्धांत “ethics shopping”, “ethics bluewashing” और “ethics dumping” को न्योता देते हैं – यानी जो नियम सुविधाजनक हों उन्हें चुन लेना, नैतिक दावों से अपनी छवि चमकाना, या संदिग्ध शोध को कमज़ोर नियमों वाली जगहों पर ले जाना। उन्हें क़ानून, डिज़ाइन और अंकेक्षण में बदलना होगा, जैसा कि यूरोपीय संघ ने अपने जोखिम-आधारित एआई अधिनियम से करना शुरू किया है। वैलर सद्गुण-नीतिशास्त्र का दृष्टिकोण जोड़ती हैं: प्रौद्योगिकी उन आदतों को बदलती है जिनसे हम अपना चरित्र गढ़ते हैं, इसलिए समाजों को उसके साथ अच्छी तरह जीने के लिए ईमानदारी, विनम्रता, साहस और व्यावहारिक विवेक जैसे “तकनीकी-नैतिक” सद्गुण चाहिए।

समर्थक

लुचियानो फ़्लोरिडीजन्म 1964
शैनन वैलरसमकालीन

अग्रिम मोर्चे के जोखिम

बॉस्ट्रॉम (Superintelligence, 2014) और कंप्यूटर वैज्ञानिक स्टुअर्ट रसेल (Human Compatible, 2019) तर्क देते हैं कि मनुष्यों से अधिक सक्षम प्रणालियाँ ऐसे लक्ष्यों का पीछा कर सकती हैं जो हमारे लक्ष्यों से भिन्न हों, और उन्हें मानवीय मूल्यों के साथ विश्वसनीय ढंग से “संरेखित” करना एक अनसुलझी तकनीकी और दार्शनिक समस्या है। 2023 में सैकड़ों एआई शोधकर्ताओं और अधिकारियों ने एक-वाक्य के वक्तव्य पर हस्ताक्षर किए कि एआई से विलुप्ति के जोखिम को घटाना महामारियों और परमाणु युद्ध के साथ-साथ वैश्विक प्राथमिकता होना चाहिए; योशुआ बेंगियो की अध्यक्षता वाली एक अंतरराष्ट्रीय वैज्ञानिक रिपोर्ट (2025) ने ऐसे जोखिमों को वर्तमान हानियों के साथ परखा। एमिली बेंडर और गेब्रू जैसे आलोचक उत्तर देते हैं कि महाबुद्धि के बारे में अटकलें मौजूदा प्रणालियों की ठोस हानियों – पूर्वाग्रह, डेटा-कर्मियों के शोषण, सत्ता के संकेंद्रण – से ध्यान हटाती हैं और उन कंपनियों के काम आती हैं जो प्रचार-उन्माद से मुनाफ़ा कमाती हैं।