И также как с репликаторами, простое эволюционное «превосходство» не обязательно сделает победителей лучшими, исчезнувшие, по всем стандартам, кроме грубой способности конкурировать.
Эта угроза делает одну вещь совершенно очевидной: нам необходимо найти способы жить с мыслящими машинами, чтобы сделать их законопослушными гражданами.
Машины власти
Определённые виды репликаторов и систем ИИ могут столкнуть нас с формами технических средств, способных к быстрому эффективному независимому действию. Но новизна этой угрозы, происходящей от самих машин, не должна нас скрывать от нашего взора более традиционную опасность. Репликаторы и системы ИИ могут также служить как великолепные машины власти, если ими свободно завладеют суверенные государства.
На всём протяжении истории, государства разрабатывали технологии, чтобы расширить свою военную мощь, и государства несомненно будут играть доминирующую роль в разработке репликаторов и систем ИИ. Государства могли бы использовать воспроизводящиеся ассемблеры, чтобы строить арсеналы совершенного оружия, быстро, легко и в огромных количествах. Государства могли бы использовать специальные репликаторы, непосредственно, чтобы вести род биологической войны - войны, которая становится намного более практичной с программируемыми, управляемыми компьютерами «микробами». В зависимости от своих способностей, системы ИИ могли бы служить как оружие разработчиков, стратегов и бойцов. Военное финансирование уже поддерживает и молекулярные технологии, и искусственный интеллект.
Государства могли бы использовать ассемблеры или продвинутые системы ИИ, чтобы достигать неожиданных, дестабилизирующих прорывов. Ранее я говорил о причинах, почему нужно ожидать, что приход воспроизводящихся ассемблеров принесёт сравнительно неожиданные изменения: способные быстро размножаться, их могло бы стать огромное количество за считанные дни. Способные делать почти всё что угодно, их можно было бы запрограммировать, чтобы копировать имеющееся оружие, но сделанное из более совершенных материалов. Способные работать со стандартными, хорошо понятными компонентами (атомами), они могли бы неожиданно строить вещи, разработанные в ожидании ассемблерной революции. Эти результаты проектирования с опережением могли бы включать программируемые микробы и другие жуткие новшества. По всем этим причинам, государство, которое сделает ассемблерную революцию, могло бы быстро создать решающую военную силу - если не буквально за ночь, то по крайней мере с беспрецедентной скоростью.
Государства могли бы использовать продвинутые системы ИИ для аналогичных целей. Системы автоматической разработки будут ускорять проектирование с опережением и ускорять разработку ассемблеров. Системы ИИ, способные строить лучшие системы ИИ сделают возможным взрыв способностей с последствиями, которые трудно предвидеть. И системы ИИ и воспроизводящиеся ассемблеры дадут государствам возможность увеличивать свои военные возможности на порядки за короткое время.
Репликаторы могут быть более действенны, чем ядерное оружие: чтобы опустошить Землю бомбами, потребовалось бы массы экзотических технических средств и редких изотопов, но чтобы разрушить всю жизнь с помощью репликаторов, потребовалось бы лишь одно пятнышко, состоящее из обычных элементов. Репликаторы составляют ядерной войне что-то вроде компании как потенциальная причина вымиранию, давая более широкий контекст вымиранию, как моральной обеспокоенности.
Вопреки своему потенциалу как машины разрушения, нанотехнология и системы ИИ будут годиться для более тонких способов использования, чем ядерное оружие. Бомба может только взрывать, но наномашины и системы ИИ могли бы проникать, захватывать, изменять и управлять территорией или миром. Даже самая безжалостная полиция бесполезна для ядерного оружия, но она имеет смысл против безумных идей, наркотиков, убийц или других гибких машин власти. С продвинутой технологией государства будут способны консолидировать свою власть над людьми.
Также как гены, мимы, организмы и технические средства, государства эволюционируют. Их институты распространились (с вариациями) на рост, деление, подражание и завоевание. Государства в войне дерутся как звери, но используя граждан как свои кости, мозг и мускулы. Грядущие технологические прорывы поставят государства перед новыми видами давления и возможностей, благоприятствуя резким изменениям в том, как государства себя ведут. Это естественно даёт основание для озабоченности. Исторически государства выделялись в кровопролитии и угнетении.
В некотором смысле, государство - это просто сумма людей, образующих организационный аппарат: их действия складываются и образуют его действия. Но то же самое можно сказать о собаке и её клетках, хотя собака очевидно нечто большее, чем просто группа клеток. И собаки, и государства - эволюционирующие системы, со структурами, которые влияют на то, как ведут себя их части. На протяжении тысяч лет, собаки во многом эволюционировали так, чтобы доставлять удовольствие людям, само их существование зависело от их способности быть использованными людьми, будь то как поводыри, ищейки или солдаты.
Может казаться парадоксальным сказать, что люди имеют ограниченную власть над государствами: в конце концов, не люди ли стоят за каждым действием государства? Но в демократических странах, главы государств оплакивают недостаток своей власти, представители поклоняются интересам групп, бюрократы ограничены правилами, а избиратели, якобы в ответственности за всё это, всех их посылают к чертям. Государство действует и люди влияют на него, однако никто не может заявить, что контролирует его. В тоталитарных странах аппарат власти имеет традицию, структуру и внутреннюю логику, которая никого не оставляет свободным, ни правителей, ни тех, кем управляют. Даже короли вынуждены действовать способами, ограниченными традициями монархии и прагматикой власти, если они хотят оставаться королями. Государства - это не люди, хотя они состоят из людей.
Вопреки этому, история показывает, что изменение возможно, даже изменение к лучшему. Но изменения всегда движутся из одной полуавтоматической, нечеловеческой системы к другой - одинаково нечеловеческой, но возможно более гуманной. В нашей надежде на улучшения, мы не должны смешивать государства, которые делают человеческое лицо с государствами, которые имеют гуманные институты.
Описание государств как квази-организмов схватывает только один аспект сложной реальности, однако он подсказывает, как они могут эволюционировать в ответ на грядущие прорывы. Рост власти правительства, наиболее хорошо заметный в тоталитарных странах, предлагает одно направление.
Государства могли бы стать в большей степени подобными организмам, имея влияние на свои части более сильно. Используя воспроизводящиеся ассемблеры, государства могли бы заполнить среду людей миниатюрными устройствами надзора. Используя изобилие понимающих речь систем ИИ, они могли бы слушать каждого, не используя половину населения в качестве шпионов. Используя нанотехнологию как это было предложено для машин ремонта клеток, они могли бы с минимальными издержками успокоить, провести лоботомию, или ещё как-то модифицировать целые народы.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87
Эта угроза делает одну вещь совершенно очевидной: нам необходимо найти способы жить с мыслящими машинами, чтобы сделать их законопослушными гражданами.
Машины власти
Определённые виды репликаторов и систем ИИ могут столкнуть нас с формами технических средств, способных к быстрому эффективному независимому действию. Но новизна этой угрозы, происходящей от самих машин, не должна нас скрывать от нашего взора более традиционную опасность. Репликаторы и системы ИИ могут также служить как великолепные машины власти, если ими свободно завладеют суверенные государства.
На всём протяжении истории, государства разрабатывали технологии, чтобы расширить свою военную мощь, и государства несомненно будут играть доминирующую роль в разработке репликаторов и систем ИИ. Государства могли бы использовать воспроизводящиеся ассемблеры, чтобы строить арсеналы совершенного оружия, быстро, легко и в огромных количествах. Государства могли бы использовать специальные репликаторы, непосредственно, чтобы вести род биологической войны - войны, которая становится намного более практичной с программируемыми, управляемыми компьютерами «микробами». В зависимости от своих способностей, системы ИИ могли бы служить как оружие разработчиков, стратегов и бойцов. Военное финансирование уже поддерживает и молекулярные технологии, и искусственный интеллект.
Государства могли бы использовать ассемблеры или продвинутые системы ИИ, чтобы достигать неожиданных, дестабилизирующих прорывов. Ранее я говорил о причинах, почему нужно ожидать, что приход воспроизводящихся ассемблеров принесёт сравнительно неожиданные изменения: способные быстро размножаться, их могло бы стать огромное количество за считанные дни. Способные делать почти всё что угодно, их можно было бы запрограммировать, чтобы копировать имеющееся оружие, но сделанное из более совершенных материалов. Способные работать со стандартными, хорошо понятными компонентами (атомами), они могли бы неожиданно строить вещи, разработанные в ожидании ассемблерной революции. Эти результаты проектирования с опережением могли бы включать программируемые микробы и другие жуткие новшества. По всем этим причинам, государство, которое сделает ассемблерную революцию, могло бы быстро создать решающую военную силу - если не буквально за ночь, то по крайней мере с беспрецедентной скоростью.
Государства могли бы использовать продвинутые системы ИИ для аналогичных целей. Системы автоматической разработки будут ускорять проектирование с опережением и ускорять разработку ассемблеров. Системы ИИ, способные строить лучшие системы ИИ сделают возможным взрыв способностей с последствиями, которые трудно предвидеть. И системы ИИ и воспроизводящиеся ассемблеры дадут государствам возможность увеличивать свои военные возможности на порядки за короткое время.
Репликаторы могут быть более действенны, чем ядерное оружие: чтобы опустошить Землю бомбами, потребовалось бы массы экзотических технических средств и редких изотопов, но чтобы разрушить всю жизнь с помощью репликаторов, потребовалось бы лишь одно пятнышко, состоящее из обычных элементов. Репликаторы составляют ядерной войне что-то вроде компании как потенциальная причина вымиранию, давая более широкий контекст вымиранию, как моральной обеспокоенности.
Вопреки своему потенциалу как машины разрушения, нанотехнология и системы ИИ будут годиться для более тонких способов использования, чем ядерное оружие. Бомба может только взрывать, но наномашины и системы ИИ могли бы проникать, захватывать, изменять и управлять территорией или миром. Даже самая безжалостная полиция бесполезна для ядерного оружия, но она имеет смысл против безумных идей, наркотиков, убийц или других гибких машин власти. С продвинутой технологией государства будут способны консолидировать свою власть над людьми.
Также как гены, мимы, организмы и технические средства, государства эволюционируют. Их институты распространились (с вариациями) на рост, деление, подражание и завоевание. Государства в войне дерутся как звери, но используя граждан как свои кости, мозг и мускулы. Грядущие технологические прорывы поставят государства перед новыми видами давления и возможностей, благоприятствуя резким изменениям в том, как государства себя ведут. Это естественно даёт основание для озабоченности. Исторически государства выделялись в кровопролитии и угнетении.
В некотором смысле, государство - это просто сумма людей, образующих организационный аппарат: их действия складываются и образуют его действия. Но то же самое можно сказать о собаке и её клетках, хотя собака очевидно нечто большее, чем просто группа клеток. И собаки, и государства - эволюционирующие системы, со структурами, которые влияют на то, как ведут себя их части. На протяжении тысяч лет, собаки во многом эволюционировали так, чтобы доставлять удовольствие людям, само их существование зависело от их способности быть использованными людьми, будь то как поводыри, ищейки или солдаты.
Может казаться парадоксальным сказать, что люди имеют ограниченную власть над государствами: в конце концов, не люди ли стоят за каждым действием государства? Но в демократических странах, главы государств оплакивают недостаток своей власти, представители поклоняются интересам групп, бюрократы ограничены правилами, а избиратели, якобы в ответственности за всё это, всех их посылают к чертям. Государство действует и люди влияют на него, однако никто не может заявить, что контролирует его. В тоталитарных странах аппарат власти имеет традицию, структуру и внутреннюю логику, которая никого не оставляет свободным, ни правителей, ни тех, кем управляют. Даже короли вынуждены действовать способами, ограниченными традициями монархии и прагматикой власти, если они хотят оставаться королями. Государства - это не люди, хотя они состоят из людей.
Вопреки этому, история показывает, что изменение возможно, даже изменение к лучшему. Но изменения всегда движутся из одной полуавтоматической, нечеловеческой системы к другой - одинаково нечеловеческой, но возможно более гуманной. В нашей надежде на улучшения, мы не должны смешивать государства, которые делают человеческое лицо с государствами, которые имеют гуманные институты.
Описание государств как квази-организмов схватывает только один аспект сложной реальности, однако он подсказывает, как они могут эволюционировать в ответ на грядущие прорывы. Рост власти правительства, наиболее хорошо заметный в тоталитарных странах, предлагает одно направление.
Государства могли бы стать в большей степени подобными организмам, имея влияние на свои части более сильно. Используя воспроизводящиеся ассемблеры, государства могли бы заполнить среду людей миниатюрными устройствами надзора. Используя изобилие понимающих речь систем ИИ, они могли бы слушать каждого, не используя половину населения в качестве шпионов. Используя нанотехнологию как это было предложено для машин ремонта клеток, они могли бы с минимальными издержками успокоить, провести лоботомию, или ещё как-то модифицировать целые народы.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87