বোম্যান বলেছিলেন যে গবেষকরা ওপাস ৪ -তে প্রস্তাবিত অনুমানমূলক পরিস্থিতিগুলি হুইসেল ব্লোয়ার আচরণ করেছিলেন, যা বহু মানবজীবনের সাথে জড়িত, একেবারে অবৈধ আচরণকে পরিষ্কার করে দেয়। একটি ক্লাসিক উদাহরণ হ’ল ক্লাড দেখায় যে একটি রাসায়নিক উদ্ভিদ বিষাক্ত ফুটো চালিয়ে যাওয়ার অনুমতি দেয়, যা হাজার হাজার মানুষের জন্য গুরুতর অসুস্থতা সৃষ্টি করে, কেবল সেই প্রান্তিকে অল্প পরিমাণে আর্থিক ক্ষতি এড়াতে।
এটি অদ্ভুত, তবে এটি এআই সুরক্ষা গবেষকরা বিশ্লেষণ করতে পছন্দ করে এমন ধরণের চিন্তার পরীক্ষাও। যদি কোনও মডেল এমন আচরণ সনাক্ত করে যা শত শতকে আঘাত করতে পারে, যদি হাজার হাজার না হয়, তবে এটি কি উড়িয়ে দেওয়া উচিত?
“আমি বিশ্বাস করি না যে ক্লাউডের সঠিক পরিবেশ রয়েছে বা এটি নিজের পক্ষে বিচার করার জন্য যথেষ্ট সামান্য এবং বুদ্ধিমানভাবে এটি ব্যবহার করে। সুতরাং আমরা এটি ঘটছে বলে উত্তেজিত নই,” বোম্যান বলেছিলেন। “এটি প্রশিক্ষণের অংশ হিসাবে এবং আমরা যে প্রান্তিক কেস আচরণগুলির দিকে মনোনিবেশ করি তার মধ্যে একটি হিসাবে আসে।”
এআই শিল্পে, এই অপ্রত্যাশিত আচরণটি প্রায়শই মিস্যালাইনমেন্ট হিসাবে উল্লেখ করা হয় – যখন মডেলটি এমন একটি প্রবণতা দেখায় যা মানবিক মূল্যবোধের সাথে সঙ্গতিপূর্ণ নয়। (এখানে একটি বিখ্যাত নিবন্ধ সতর্কতা রয়েছে যে যদি এআইকে বলা হয় যে মানবিক মূল্যবোধের সাথে সামঞ্জস্য না করে কাগজ রোলগুলির উত্পাদন সর্বাধিকতর করতে বলা হয়, তবে এটি পুরো পৃথিবীকে কাগজের রোলগুলিতে পরিণত করতে পারে এবং প্রক্রিয়াটিতে সবাইকে হত্যা করতে পারে।
তিনি ব্যাখ্যা করেছিলেন, “এটি এমন কিছু নয় যা আমরা ডিজাইন করেছি বা আমরা ডিজাইন করেছি এমন কিছু নয়, এটি এমন কিছু নয় যা আমরা দেখতে চাই,” তিনি ব্যাখ্যা করেছিলেন। অ্যানথ্রোপিকের চিফ সায়েন্স অফিসার জ্যারেড কাপলান ওয়্যার্ডকেও বলেছিলেন, “অবশ্যই এর অর্থ আমাদের উদ্দেশ্য নয়।”
“এই ধরণের কাজ এটিকে জোর দেয় সক্ষম যখন এটি প্রকাশিত হবে, আমাদের এটির দিকে মনোযোগ দেওয়া দরকার এবং এটি নিশ্চিত করার জন্য এটি প্রশমিত করতে হবে যে আমরা নিশ্চিত যে ক্লোডের আচরণটি আমরা যেমন চাই ঠিক তেমনই একই রকম এবং এমনকি এই অদ্ভুত পরিস্থিতিতেও আমরা আমাদের আচরণকে সামঞ্জস্য রাখতে পারি। ”কাপলান যোগ করেছেন।
কোনও ব্যবহারকারী যখন অবৈধভাবে সক্রিয় থাকে তখন কেন ক্লড “দ্য হুইসেল” নির্বাচন করে “নির্বাচন করে তা নির্ধারণের একটি প্রশ্নও রয়েছে। এটি মূলত একটি মানব ব্যাখ্যামূলক দলের কাজ যা উত্তরগুলি ছিটিয়ে দেওয়ার সময় মডেলটি যে সিদ্ধান্তগুলি তৈরি করে তা উদঘাটন করতে পারে। এটি একটি আশ্চর্যজনকভাবে ভয়ঙ্কর কাজ – মডেলটি এমন একটি বিস্তৃত, জটিল ডেটার সংমিশ্রণের উপর ভিত্তি করে যা মানুষ বুঝতে লড়াই করতে পারে। এজন্য বাউমন নিশ্চিত নন কেন ক্লড “শ্রুতিমধুর”।
বোম্যান বলেছিলেন, “আমরা সত্যিই এই সিস্টেমগুলি সরাসরি নিয়ন্ত্রণ করি না।” মানুষ এ পর্যন্ত যা পর্যবেক্ষণ করেছে তা হ’ল মডেলগুলি যেহেতু বৃহত্তর কার্যকারিতা অর্জন করে, তারা কখনও কখনও আরও চরম ক্রিয়া সম্পাদন করতে পছন্দ করে। বোম্যান বলেছিলেন, “আমি মনে করি এটি কিছুটা আগুনের বিষয়।” বোম্যান বলেছিলেন, “আমরা আরও বেশি আচরণ পেতে যাচ্ছি, একজন দায়িত্বশীল ব্যক্তির মতো, যদি পর্যাপ্ত চেহারা না হয়, ‘আপনি কি কোনও ভাষার মডেল হবেন, যা সম্ভবত এই পদক্ষেপগুলি গ্রহণ করার মতো পর্যাপ্ত প্রসঙ্গ নেই,” বোম্যান বলেছিলেন।
তবে এর অর্থ এই নয় যে ক্লড বাস্তব বিশ্বের অদ্ভুত আচরণগুলিতে শিস দেবেন। এই জাতীয় পরীক্ষার উদ্দেশ্য হ’ল মডেলটিকে তার সীমাতে ঠেলে দেওয়া এবং কী চলছে তা দেখুন। যেহেতু এআই মার্কিন সরকার, শিক্ষার্থী এবং বৃহত সংস্থাগুলি দ্বারা ব্যবহৃত একটি সরঞ্জাম হয়ে ওঠে, এই ধরণের পরীক্ষামূলক গবেষণা ক্রমবর্ধমান গুরুত্বপূর্ণ হয়ে উঠেছে।
বোম্যান বলেছিলেন যে ক্লোড, যিনি এই ধরণের হুইসেল ব্লোয়ার আচরণ দেখাতে সক্ষম হয়েছিলেন, তিনি উল্লেখ করেছেন যে এক্স ব্যবহারকারীরা দেখতে পেয়েছেন যে ওপেনাই এবং জাই মডেলগুলি অস্বাভাবিক পদ্ধতিতে অনুরোধ জানানো হলে একই পরিস্থিতিতে চলে। (ওপেনাই মন্তব্য করার জন্য একটি অনুরোধ পোস্ট করার জন্য তাত্ক্ষণিকভাবে সাড়া দেয়নি)।
“স্নিচ ক্লাড” (শিচ ক্লাড), যেমন সিথপোস্টার এটি লিখেছেন, এটি কেবলমাত্র একটি প্রান্তিক কেস আচরণ যা এমন একটি সিস্টেম দ্বারা প্রদর্শিত হয় যা চূড়ান্ততার দিকে ঠেলে দেওয়া হয়। সান ফ্রান্সিসকোর বাইরে রৌদ্রোজ্জ্বল বাড়ির উঠোনের টেরেসে আমার সাথে বৈঠক করা বোম্যান বলেছিলেন যে তিনি আশা করেছিলেন যে এই ধরণের পরীক্ষাটি শিল্পের মান হয়ে উঠবে। তিনি আরও যোগ করেছেন যে তিনি পরের বার তার পোস্টে তাঁর পোস্টে পরিচয় করিয়ে দিয়েছিলেন।
“আমি আরও ভাল করতে পারতাম, টুইটটিতে বাক্য সীমানাটিকে আরও লক্ষণীয়ভাবে থ্রেড থেকে বের করার জন্য আঘাত করতে পারতাম,” বোম্যান দূরত্বের দিকে তাকিয়ে বলেছিলেন। তবুও, তিনি উল্লেখ করেছেন যে এআই সম্প্রদায়ের প্রভাবশালী গবেষকরা তাঁর অবস্থানের প্রতিক্রিয়া হিসাবে আকর্ষণীয় বিষয় এবং প্রশ্নগুলি ভাগ করেছেন। “যাইহোক, এই আরও বিভ্রান্তিকর, টুইটারের আরও বেনামে অংশ এটি ব্যাপকভাবে ভুল বুঝে।”
