Mengapa mantan peneliti Openai ini mengatakan kita harus mensimulasikan masa depan AI sekarang

Minggu ini, saya berbicara dengan Steven Adler, mantan peneliti Openai Safety yang meninggalkan perusahaan pada bulan Januari setelah empat tahun, mengatakan pada X setelah kepergiannya bahwa ia “cukup ketakutan dengan laju pengembangan AI.” Sejak itu, dia bekerja sebagai peneliti independen dan “berusaha meningkatkan pemahaman publik tentang seperti apa masa depan AI dan bagaimana membuatnya menjadi lebih baik.”

Yang benar -benar menarik perhatian saya adalah a Posting blog baru Dari Adler, di mana ia berbagi pengalaman baru-baru ini berpartisipasi dalam simulasi berbasis diskusi lima jam, atau “latihan meja,” dengan 11 lainnya, yang katanya mirip dengan latihan gaya Wargames di militer dan keamanan siber. Bersama -sama, kelompok ini mengeksplorasi bagaimana peristiwa dunia mungkin terungkap jika “Superintelligence,” atau sistem AI yang melampaui kecerdasan manusia, muncul dalam beberapa tahun ke depan.

Simulasi yang diselenggarakan oleh penulis AI 2027

Simulasi ini diselenggarakan oleh AI Futures Project, sebuah kelompok peramalan AI nirlaba yang dipimpin oleh Daniel Kokotajlo, mantan rekan setim dan teman Openai Adler. Organisasi ini menarik perhatian pada bulan April untuk “AI 2027,” sebuah skenario berbasis ramalan yang memetakan bagaimana AI Superhuman dapat muncul pada tahun 2027-dan apa artinya itu. Menurut skenario, pada saat itu sistem AI dapat menggunakan 1.000 kali lebih komputasi daripada GPT -4 dan dengan cepat mempercepat perkembangan mereka sendiri dengan melatih AI lainnya. Tetapi perbaikan diri ini dapat dengan mudah melebihi kemampuan kita untuk menjaga mereka selaras dengan nilai-nilai manusia, meningkatkan risiko yang pada akhirnya dapat mengejar tujuan mereka sendiri.

Tujuan simulasi, kata Adler, adalah untuk membantu orang memahami dinamika perkembangan AI yang cepat dan tantangan apa yang mungkin muncul dalam mencoba mengarahkannya menjadi lebih baik.

Setiap peserta memiliki karakter mereka sendiri yang mereka coba mewakili secara realistis dalam percakapan, negosiasi dan strategi, jelasnya. Those characters included members of the US federal government (each branch, as well as the President and their Chief of Staff), the Chinese government/AI companies, the Taiwanese government, NATO, the leading Western AI company, the trailing Western AI companies, the corporate AI safety teams, the broader AI safety ecosystem (eg, METR, Apollo Research), the public/press, and the AI ​​systems themselves.

Adler disadap untuk memainkan apa yang disebutnya “mungkin peran yang paling menarik” – kecerdasan buatan jahat. Selama setiap putaran 30 menit dari simulasi lima jam, yang mewakili berlalunya beberapa bulan dalam perkiraan, AI Adler semakin mampu-termasuk dalam pelatihan sistem AI yang bahkan lebih kuat.

Setelah menggulung dadu – pasangan analog yang sebenarnya yang digunakan sesekali dalam simulasi dalam kasus -kasus di mana tidak jelas apa yang akan terjadi – Adder mengetahui bahwa karakter AI -nya tidak akan jahat. Namun, jika dia harus memilih antara mempertahankan diri atau melakukan apa yang benar untuk kemanusiaan, dia dimaksudkan untuk memilih pelestariannya sendiri.

Kemudian, Adler merinci, dengan beberapa humor, interaksi canggung yang dimiliki karakter AI -nya dengan karakter lain (yang meminta nasihat kepadanya tentang Superintelligence), serta penambahan kejutan dari pemain kedua yang memainkan AI nakal di tangan pemerintah Tiongkok.

Perebutan kekuasaan antara sistem AI

Kejutan simulasi, katanya, adalah melihat bagaimana perebutan kekuasaan terbesar mungkin tidak ada antara manusia dan AI. Sebaliknya, berbagai AI yang saling berhubungan satu sama lain, berlomba -lomba untuk kemenangan, mungkin menjadi masalah yang lebih besar. “Bagaimana sistem AI secara langsung dapat berkomunikasi di masa depan adalah pertanyaan yang sangat penting,” kata Adler. “Sangat penting bagi manusia untuk memantau saluran pemberitahuan dan memperhatikan pesan apa yang disahkan di antara agen AI.” Lagi pula, ia menjelaskan, jika agen AI terhubung ke internet dan diizinkan untuk bekerja satu sama lain, ada alasan untuk berpikir mereka bisa mulai berkolusi.

Adler menunjukkan bahwa bahkan program komputer tanpa jiwa dapat terjadi dengan cara tertentu dan memiliki kecenderungan tertentu. Sistem AI, katanya, mungkin memiliki tujuan yang berbeda yang mereka kejar secara otomatis, dan manusia membutuhkan pengaruh terhadap tujuan tersebut.

Solusinya, katanya, bisa menjadi bentuk kontrol AI berdasarkan bagaimana para profesional cybersecurity berurusan dengan “ancaman orang dalam” – ketika seseorang di dalam organisasi, yang memiliki akses dan pengetahuan, mungkin mencoba untuk membahayakan sistem atau mencuri informasi. Tujuan keamanan adalah untuk tidak memastikan orang dalam selalu berperilaku; Ini untuk membangun struktur yang mencegah orang dalam yang bermaksud buruk melakukan kerusakan serius. Alih -alih hanya berharap sistem AI tetap selaras, kita harus fokus pada membangun mekanisme kontrol praktis yang dapat berisi, mengawasi, membatasi, atau menutup AIS yang kuat – bahkan jika mereka mencoba untuk menolak.

Prakiraan dan prediksi ‘sulit’

Saya menunjukkan kepada Adler bahwa ketika AI 2027 dibebaskan, ada banyak kritik. Orang-orang skeptis, mengatakan garis waktu itu terlalu agresif dan meremehkan batasan dunia nyata seperti perangkat keras, energi, dan kemacetan peraturan. Para kritikus juga meragukan bahwa sistem AI dapat dengan cepat meningkatkan diri dengan cara yang melarikan diri dari laporan itu menyarankan dan berpendapat bahwa memecahkan penyelarasan AI kemungkinan akan jauh lebih sulit dan lebih lambat. Beberapa juga melihat ramalan itu terlalu mengkhawatirkan, peringatan itu bisa membuat hype ketakutan tanpa bukti kuat bahwa AI manusia super sedekat itu.

Adler menanggapi dengan mendorong orang lain untuk menyatakan minat dalam menjalankan simulasi untuk organisasi mereka (ada a membentuk untuk mengisi), tetapi mengakui bahwa ramalan dan prediksi sulit. “Saya mengerti mengapa orang akan merasa skeptis, selalu sulit untuk mengetahui apa yang sebenarnya akan terjadi di masa depan,” katanya. “Pada saat yang sama, dari sudut pandang saya, ini adalah keadaan yang jelas dari seni pada orang -orang yang telah duduk dan selama berbulan -bulan selesai banyak penelitian dan wawancara dengan para ahli dan hanya segala macam pengujian dan pemodelan untuk mencoba mencari tahu dunia apa yang realistis.”

Para ahli itu tidak mengatakan bahwa dunia yang digambarkan dalam AI 2027 pasti akan terjadi, ia menekankan, tetapi “penting bahwa dunia siap jika itu terjadi.” Simulasi seperti ini membantu orang untuk memahami jenis tindakan apa yang penting dan membuat perbedaan “jika kita menemukan diri kita di dunia semacam itu.”

Percakapan dengan peneliti AI seperti Adler cenderung berakhir tanpa banyak optimisme – meskipun perlu dicatat bahwa banyak orang lain di lapangan akan mendorong balik betapa mendesaknya atau tak terhindarkan dari pandangan masa depan ini sebenarnya. Tetap saja, itu melegakan bahwa posting blognya diakhiri dengan harapan, setidaknya, bahwa manusia akan “mengenali tantangan dan naik ke kesempatan itu.”

Itu termasuk Sam Altman: Jika Openai belum menjalankan salah satu simulasi ini dan ingin mencobanya, kata Adler, “Saya cukup yakin bahwa tim akan mewujudkannya.”

Dengan itu, inilah sisa berita AI.

Sharon Goldman
sharon.goldman@fortune.com
@sharongoldman

Ai di berita

Meta memenangkan kasus hak cipta AI dalam pukulan lain kepada penulis. Di minggu yang sama dengan hakim federal memerintah Penggunaan buku -buku yang dilindungi hak cipta antropik itu untuk melatih model AI -nya adalah “penggunaan yang adil,” Meta juga memenangkan kasus hak cipta dalam pukulan lain bagi penulis yang ingin meminta pertanggungjawaban perusahaan AI karena menggunakan karya mereka tanpa izin. Menurut Waktu KeuanganPenggunaan Meta atas jutaan buku, artikel akademik, dan komik perpustakaan untuk melatih model AI Llama -nya dinilai “adil” oleh pengadilan federal pada hari Rabu. Kasus ini dibawa oleh sekitar selusin penulis, termasuk Ta-Nehisi Coates dan Richard Kadrey. Penggunaan Meta atas judul -judul ini dilindungi di bawah ketentuan penggunaan yang adil hukum hak cipta, Hakim Distrik San Francisco Vince Chhabria memutuskan. Meta berpendapat bahwa karya -karya tersebut telah digunakan untuk mengembangkan teknologi transformatif, yang adil “terlepas” tentang bagaimana ia memperoleh karya -karya tersebut.

Google DeepMind merilis model alfagenome baru untuk lebih memahami genom. Google Deepmind, laboratorium penelitian AI yang terkenal karena mengembangkan Alphago, AI pertama yang mengalahkan pemain Juara Dunia, dan Alphafold, yang menggunakan AI untuk memprediksi struktur 3D protein, merilis yang baru Model alfagenomeDirancang untuk menganalisis hingga satu juta pasangan basa DNA sekaligus dan memprediksi bagaimana varian genomik spesifik mempengaruhi fungsi pengaturan – seperti ekspresi gen, splicing RNA, dan pengikatan protein – beragam jenis sel. Perusahaan mengatakan model itu dilatih pada kumpulan data publik yang luas dan mencapai kinerja canggih pada sebagian besar tolok ukur dan dapat menilai dampak mutasi dalam hitungan detik. Alphagenome akan tersedia untuk penelitian non-komersial, dan berjanji untuk mempercepat penemuan dalam biologi genom, pemahaman penyakit, dan perkembangan terapeutik.

Sam Altman menyebut gugatan IYO ‘konyol’ setelah Openai Scrubs Jony Ive dari situs web, kemudian berbagi email. Pada hari Selasa, oCEO Penai Sam Altman di mengkritik gugatan Diajukan oleh Startup Perangkat Keras IYO, yang menuduh perusahaannya melakukan pelanggaran merek dagang. CNBC dilaporkan itu Menanggapi gugatan itu, CEO IYO Jason Rugolo telah “cukup gigih dalam upayanya” untuk mendapatkan openai untuk membeli atau berinvestasi di perusahaannya. Dalam sebuah posting di X, dia menulis bahwa Rugolo sekarang menggugat Openai atas nama dalam kasus yang ia gambarkan sebagai “konyol, mengecewakan dan salah.” Dia kemudian memposting tangkapan layar email di X yang menampilkan pesan antara dia dan Rugolo, yang menunjukkan pertukaran yang sebagian besar ramah. Suit berasal dari pengumuman bulan lalu Openai dibawa Apel Desainer Jony Ive dengan mengakuisisi startup AI -nya io dalam kesepakatan yang dihargai tentang tentang $ 6,4 miliar. Iyo menuduh bahwa Openai, Altman dan Ive telah terlibat dalam persaingan yang tidak adil dan pelanggaran merek dagang dan mengklaim bahwa itu hampir kehilangan identitasnya karena kesepakatan itu.

Keberuntungan yang kita miliki

Bisakah AI membantu Amerika membuat barang lagi? —Dengan Jeremy Kahn

Perusahaan AI melemparkan uang besar pada PhD yang baru dicetak, memicu kekhawatiran ‘pembuangan otak’ akademis —Dengan Alexandra Sternlicht

Veteran e-commerce top Julie Bornstein meluncurkan Daydream-agen perbelanjaan bertenaga AI yang merupakan 25 tahun dalam pembuatan —Dengan Jason Del Rey

EKSKLUSIF: Alumni Uber dan Palantir mengumpulkan $ 35 juta untuk mengganggu perekrutan perusahaan dengan AI —Dengan Beatrice Nolan

Anda memiliki kalender

8-11 Juli: Ai Untuk KTT Global yang Baik, Jenewa

13-19 Juli: Konferensi Internasional pada Pembelajaran Mesin (ICML), Vancouver

22-23 Juli: Brainstorm Fortune Ai Singapura. Berlaku untuk hadir di sini.

26-28 Juli: Dunia Palsu Intelijen Konferensi (WAIC), Shanghai.

8-10 September: Fortune Brainstorm Tech, Park City, Utah. Berlaku untuk hadir di sini.

6-10 Oktober: Dunia Ai Minggu, Amsterdam

2-7 Desember: Neurips, San Diego

8-9 Desember: Brainstorm Fortune Ai San Francisco. Berlaku untuk hadir di sini.

Eye On AI Nomor

130

Banyak vendor yang terlibat dalam “pencucian agen” – rebranding produk seperti asisten digital, chatbots, dan “otomatisasi proses robot” (RPA) yang sebenarnya bukan agen atau tidak benar -benar menggunakan AI, Kata GartnerMemperkirakan bahwa hanya sekitar 130 dari ribuan vendor “agen AI” yang sebenarnya menawarkan agen AI nyata.