Это ставит огромные и крайне существенные интеллектуальные, моральные и политические задачи.
Предостережения о ложных границах приносит двойной вред. Во-первых, они дискредитируют саму идею ограничений, притупляя интеллектуальный инструмент, который нам необходим, чтобы понять наше будущее. Но что хуже, такие предостережения отвлекают внимание от настоящих проблем. В западном мире существует живая политическая традиция, которая поощряет подозрительность к технологии. До той степени, пока вначале она дисциплинирует свои подозрения, проверяя их относительно реальности и далее выбирая работоспособные стратегии для управления изменением, эта традиция может вложить многое в выживание жизни и цивилизации. Но люди, озабоченные технологией и будущим - ограниченный ресурс. Мир не может себе позволить расточать их усилия на бесплодные кампании, чтобы остановить глобальный поток технологии узким веником западных движений протеста. Грядущие проблемы требуют более тонких стратегий.
Никто не может пока сказать наверняка, какие проблемы окажутся наиболее важными, или какие стратегии окажутся наилучшими для их разрешения. Однако мы уже можем видеть новые проблемы огромной важности, и мы можем различить стратегии с различной степенью перспективности. Короче говоря, мы можем видеть достаточно о будущем, чтобы идентифицировать цели, которые стоят того, чтобы им следовать.
ЧАСТЬ ТРЕТЬЯ. ОПАСНОСТИ И НАДЕЖДЫ
Глава 11. МАШИНЫ РАЗРУШЕНИЯ
И я не сомневаюсь, что самыми грозными из всех армий, о которых когда-либо слышали на земле, является тот вид солдат, которые за их малостью не видимы.
Сэр Уильям Перри, о микробах, 1640 год.
Размножающиеся ассемблеры и мыслящие машины создают принципиальные угрозы для людей и жизни на Земле. Сегодняшние организмы имеют способности далеко от пределов возможного, и наши машины эволюционируют быстрее, чем мы сами. В пределах нескольких десятилетий представляется вероятным, что они на превзойдут. Если мы не научимся жить с ними в безопасности, наше будущее вероятно будет и восхитительным, и коротким. Мы не можем надеяться предвидеть все проблемы впереди, однако, уделяя внимания большим, принципиальным моментам, мы, возможно, в состоянии предвидеть наиболее значительные задачи и получить некоторое представление о том, как с ними иметь дело.
Без сомнения, будут написаны целые книги о грядущих социальных сдвигах: что случится с глобальным порядком, когда ассемблеры и автоматический инжиниринг исключать необходимость в большей части международной торговли? Как общество изменится, когда отдельные люди смогут жить независимо? Что мы будем делать, когда размножающиеся ассемблеры смогут производить почти всё что угодно без человеческого труда? Что мы будем делать, когда системы ИИ смогут думать быстрее, чем люди? (И до того, как они придут к заключению, что люди отчаются что-либо делать или создавать, авторы могут рассмотреть, как бегуны относятся к машинам, или как художники относятся к камерам.)
В действительности авторы уже почти предвидели и проговорили несколько из этих моментов. Каждый из них - дело необычайной важности, но более фундаментальным, чем любой из них является выживание жизни и свобода. В конце концов, если жизнь или свобода исчезнут, то наши идеи о социальных проблемах больше не будут иметь значения.
Угроза от машин
В главе 4 я описал кое-что из того, что воспроизводящиеся ассемблеры будут делать для нас, если мы будем с ними правильно обращаться. Приводимые в движение топливом или солнечным светом, они будут способны делать почти всё что угодно (включая их самих) из широко распространённых материалов.
Живые организмы также приводятся в движение топливом или солнечным светом, и также делают большую часть себя из широко распространённых материалов. Но в отличие от систем, основанных на ассемблерах, они не могут делать "почти всё что угодно".
Генетическая эволюция ограничила жизнь системами, построенными на ДНК, РНК и рибосомах, но эволюция мимов принесёт машины, подобные жизни, построенные на нанокомпьютерах и ассемблерах. Я уже описал, чем построенные из ассемблеров молекулярные машины будут отличаться от построенных на рибосомах машинах жизни. Ассемблеры будут способны строить всё то, что способны рибосомы, и более того; репликаторы на базе ассемблеров, следовательно, будут способны делать всё, что может жизнь, и более того. С точки зрения эволюции, это создаёт очевидную угрозу выдрам, людям, кактусам и папоротникам - всей богатой фабрике биосферы и всему, что мы ценим.
Ранние компьютеры, построенные на транзисторах, вскоре обошли самые лучшие компьютеры на электронных лампах, потому что они были сделаны из устройств более высокого уровня. По той же причине, ранние репликаторы, построенные на ассемблерах, могли бы обойти самые совершенные из современных организмов. «Растения» с «листьями» не более эффективными, чем сегодняшние солнечные элементы, могли бы выиграть конкуренцию у настоящих растений, наводняя биосферу несъедобной листвой. Однако, всеядные «бактерии» могли бы выиграть конкуренцию у настоящих бактерий: они могли бы распространиться как летящая пыльца, стремительно размножаясь и сведя биосферу в пыль за считанные дни. Опасные репликаторы могли бы легко быть слишком жёсткими, маленькими и быстро распространяющимися, чтобы их остановить - по крайней мере если мы не сделаем никаких приготовлений. У нас достаточно проблем с контролем над вирусами и фруктовыми мушками.
Среди знатоков нанотехнологии эта угроза стала известна как "проблема серой липкой массы". Хотя массы бесконтрольных репликаторов не обязательно должны быть серыми или липкими, термин "серая липкая" подчёркивает, что репликаторов, способных уничтожить жизнь, может быть меньше в шприце, чем одного вида травяных жучков. Они могли бы быть «высшими» в эволюционном смысле, но это не обязательно сделало бы их ценными. Мы научились любить мир богатым живыми тварями, идеями, и разнообразием, так что не причины ценить серую массу только за то, что она может распространяться. Действительно, если мы предотвратим её размножение, тем самым мы докажем наше эволюционное превосходство.
Угроза серой липкой массы делает одну вещь совершенно очевидной: мы не можем себе позволить определённые виды случайностей с размножающимися ассемблерами.
В главе 5 я описал некоторое из того, что будут делать для нас продвинутые системы ИИ, если мы будет правильно с ними обращаться. В конечном счёте он будут воплощать структуры мысли заставлять их течь со скоростью, с которой не может сравняться ни один мозг млекопитающего. Системы ИИ, которые работают вместе, также как это делают люди, будут способны думать не просто как отдельные люди, но как целые общества. Опять же, эволюция генов оставила жизнь в определённом состоянии. Опять же, эволюция мимов человеческими существами, и в конечном счёте машинами, будут продвигать наши аппаратные средства далеко за пределы жизни. И снова, с точки зрения эволюции это создаёт очевидную угрозу.
Знание может давать власть, а власть может давать знание. В зависимости от своей природы и своих целей, продвинутые системы ИИ могли бы накопить достаточно знания и власти, чтобы сместить нас, если мы не подготовимся должным образом.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87
Предостережения о ложных границах приносит двойной вред. Во-первых, они дискредитируют саму идею ограничений, притупляя интеллектуальный инструмент, который нам необходим, чтобы понять наше будущее. Но что хуже, такие предостережения отвлекают внимание от настоящих проблем. В западном мире существует живая политическая традиция, которая поощряет подозрительность к технологии. До той степени, пока вначале она дисциплинирует свои подозрения, проверяя их относительно реальности и далее выбирая работоспособные стратегии для управления изменением, эта традиция может вложить многое в выживание жизни и цивилизации. Но люди, озабоченные технологией и будущим - ограниченный ресурс. Мир не может себе позволить расточать их усилия на бесплодные кампании, чтобы остановить глобальный поток технологии узким веником западных движений протеста. Грядущие проблемы требуют более тонких стратегий.
Никто не может пока сказать наверняка, какие проблемы окажутся наиболее важными, или какие стратегии окажутся наилучшими для их разрешения. Однако мы уже можем видеть новые проблемы огромной важности, и мы можем различить стратегии с различной степенью перспективности. Короче говоря, мы можем видеть достаточно о будущем, чтобы идентифицировать цели, которые стоят того, чтобы им следовать.
ЧАСТЬ ТРЕТЬЯ. ОПАСНОСТИ И НАДЕЖДЫ
Глава 11. МАШИНЫ РАЗРУШЕНИЯ
И я не сомневаюсь, что самыми грозными из всех армий, о которых когда-либо слышали на земле, является тот вид солдат, которые за их малостью не видимы.
Сэр Уильям Перри, о микробах, 1640 год.
Размножающиеся ассемблеры и мыслящие машины создают принципиальные угрозы для людей и жизни на Земле. Сегодняшние организмы имеют способности далеко от пределов возможного, и наши машины эволюционируют быстрее, чем мы сами. В пределах нескольких десятилетий представляется вероятным, что они на превзойдут. Если мы не научимся жить с ними в безопасности, наше будущее вероятно будет и восхитительным, и коротким. Мы не можем надеяться предвидеть все проблемы впереди, однако, уделяя внимания большим, принципиальным моментам, мы, возможно, в состоянии предвидеть наиболее значительные задачи и получить некоторое представление о том, как с ними иметь дело.
Без сомнения, будут написаны целые книги о грядущих социальных сдвигах: что случится с глобальным порядком, когда ассемблеры и автоматический инжиниринг исключать необходимость в большей части международной торговли? Как общество изменится, когда отдельные люди смогут жить независимо? Что мы будем делать, когда размножающиеся ассемблеры смогут производить почти всё что угодно без человеческого труда? Что мы будем делать, когда системы ИИ смогут думать быстрее, чем люди? (И до того, как они придут к заключению, что люди отчаются что-либо делать или создавать, авторы могут рассмотреть, как бегуны относятся к машинам, или как художники относятся к камерам.)
В действительности авторы уже почти предвидели и проговорили несколько из этих моментов. Каждый из них - дело необычайной важности, но более фундаментальным, чем любой из них является выживание жизни и свобода. В конце концов, если жизнь или свобода исчезнут, то наши идеи о социальных проблемах больше не будут иметь значения.
Угроза от машин
В главе 4 я описал кое-что из того, что воспроизводящиеся ассемблеры будут делать для нас, если мы будем с ними правильно обращаться. Приводимые в движение топливом или солнечным светом, они будут способны делать почти всё что угодно (включая их самих) из широко распространённых материалов.
Живые организмы также приводятся в движение топливом или солнечным светом, и также делают большую часть себя из широко распространённых материалов. Но в отличие от систем, основанных на ассемблерах, они не могут делать "почти всё что угодно".
Генетическая эволюция ограничила жизнь системами, построенными на ДНК, РНК и рибосомах, но эволюция мимов принесёт машины, подобные жизни, построенные на нанокомпьютерах и ассемблерах. Я уже описал, чем построенные из ассемблеров молекулярные машины будут отличаться от построенных на рибосомах машинах жизни. Ассемблеры будут способны строить всё то, что способны рибосомы, и более того; репликаторы на базе ассемблеров, следовательно, будут способны делать всё, что может жизнь, и более того. С точки зрения эволюции, это создаёт очевидную угрозу выдрам, людям, кактусам и папоротникам - всей богатой фабрике биосферы и всему, что мы ценим.
Ранние компьютеры, построенные на транзисторах, вскоре обошли самые лучшие компьютеры на электронных лампах, потому что они были сделаны из устройств более высокого уровня. По той же причине, ранние репликаторы, построенные на ассемблерах, могли бы обойти самые совершенные из современных организмов. «Растения» с «листьями» не более эффективными, чем сегодняшние солнечные элементы, могли бы выиграть конкуренцию у настоящих растений, наводняя биосферу несъедобной листвой. Однако, всеядные «бактерии» могли бы выиграть конкуренцию у настоящих бактерий: они могли бы распространиться как летящая пыльца, стремительно размножаясь и сведя биосферу в пыль за считанные дни. Опасные репликаторы могли бы легко быть слишком жёсткими, маленькими и быстро распространяющимися, чтобы их остановить - по крайней мере если мы не сделаем никаких приготовлений. У нас достаточно проблем с контролем над вирусами и фруктовыми мушками.
Среди знатоков нанотехнологии эта угроза стала известна как "проблема серой липкой массы". Хотя массы бесконтрольных репликаторов не обязательно должны быть серыми или липкими, термин "серая липкая" подчёркивает, что репликаторов, способных уничтожить жизнь, может быть меньше в шприце, чем одного вида травяных жучков. Они могли бы быть «высшими» в эволюционном смысле, но это не обязательно сделало бы их ценными. Мы научились любить мир богатым живыми тварями, идеями, и разнообразием, так что не причины ценить серую массу только за то, что она может распространяться. Действительно, если мы предотвратим её размножение, тем самым мы докажем наше эволюционное превосходство.
Угроза серой липкой массы делает одну вещь совершенно очевидной: мы не можем себе позволить определённые виды случайностей с размножающимися ассемблерами.
В главе 5 я описал некоторое из того, что будут делать для нас продвинутые системы ИИ, если мы будет правильно с ними обращаться. В конечном счёте он будут воплощать структуры мысли заставлять их течь со скоростью, с которой не может сравняться ни один мозг млекопитающего. Системы ИИ, которые работают вместе, также как это делают люди, будут способны думать не просто как отдельные люди, но как целые общества. Опять же, эволюция генов оставила жизнь в определённом состоянии. Опять же, эволюция мимов человеческими существами, и в конечном счёте машинами, будут продвигать наши аппаратные средства далеко за пределы жизни. И снова, с точки зрения эволюции это создаёт очевидную угрозу.
Знание может давать власть, а власть может давать знание. В зависимости от своей природы и своих целей, продвинутые системы ИИ могли бы накопить достаточно знания и власти, чтобы сместить нас, если мы не подготовимся должным образом.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87