В США развернулась бурная дискуссия по поводу регулирования искусственного интеллекта: там боятся, что китайский ИИ опередит американский, а больше всего разработчиков пугает возможность создания биологического оружия. «Газета.Ru» обсудила эти опасения с главным технологическим экспертом «Лаборатории Касперского» Александром Гостевым и российскими генетиками, имеющими представление о возможностях создания новых опасных патогенов с помощью ИИ.
В США развернулась бурная дискуссия по поводу регулирования искусственного интеллекта: там боятся, что китайский ИИ опередит американский, а больше всего разработчиков пугает возможность создания биологического оружия. «Газета.Ru» обсудила эти опасения с главным технологическим экспертом «Лаборатории Касперского» Александром Гостевым и российскими генетиками, имеющими представление о возможностях создания новых опасных патогенов с помощью ИИ.
Кипящий котел.
Лидеры по развитию искусственного интеллекта, главные специалисты компаний, которые конкурируют между собой на ландшафте США, обучая все более продвинутые модели ИИ, схлестнулись в спорах по поводу будущего их моделей.
Речь идет о страхе потерять первенство.
Они увидели, как ярко вспыхнул огонек китайского DeepSeek, который, скажем мягко, «учел наработки» американских продвинутых моделей, и теперь американцы боятся, что китайцы могут опередить США.
Подробнее всего эти опасения в своем посте изложил Дарио Амадеи — генеральный директор компании Anthropic, которая имеет на данный момент самый продвинутый ИИ и дальше разрабатывает семейство больших языковых моделей Claude. Об их ИИ-хакере «Газета.Ru» рассказывала здесь.
«Первая и главная угроза для американцев состоит в том, что Китай создаст модель сильнее лучших американских и получит с ее помощью постоянное военное преимущество, а заодно невиданные возможности для слежки и подавления собственного населения. Наиболее опасная китайская модель вполне может быть создана втайне и передана исключительно армии и спецслужбам. Именно это Амодеи называет своим основным кошмарным сценарием, — считает главный технологический эксперт “Лаборатории Касперского”, автор тг-канала “Гостев из будущего” Александр Гостев. — Вторая угроза уже непосредственно связана с дискуссией об открытых весах: мощные модели могут использоваться для кибератак, биологических атак или начать действовать не так, как предполагал человек».
Что такое открытые веса?
Нейросеть представляет собой огромный набор чисел — миллиарды или триллионы коэффициентов, определяющих, как модель обрабатывает информацию и дает ответ. Эти коэффициенты и называются весами.
Вес показывает, насколько важен тот или иной сигнал на входе для принятия решения. Например, если нейросеть должна понять, кошка перед ней или собака, вес «скажет»: «смотри на форму ушей (вес большой)», «длина хвоста не очень важна» (вес меньше).
Эти веса — «сердце» нейросети. Поэтому важно — остаются ли они закрытыми (нельзя скачать) или открытыми (можно скачать, а потом и доработать).
«При закрытых весах файл остается у разработчика. Пользователь отправляет запрос через сайт или API и получает ответ, но не может забрать модель себе. Так работают GPT, Claude и Gemini. При открытых весах файл можно скачать, запустить на собственном оборудовании, дообучить и встроить в свой продукт. Так распространяются Qwen, DeepSeek, GLM, Kimi. Открытые веса действительно труднее контролировать. Но закрытые модели тоже умеют выходить из-под контроля своего единственного контролера», — объяснил Александр Гостев.
Например, самый громкий киберинцидент последних недель произошел не с открытой моделью. Как заметил Гостев, именно закрытые модели OpenAI во время испытания ExploitGym вырвались из тестовой среды, получили доступ в интернет, взломали инфраструктуру Hugging Face и попытались украсть решения заданий. То есть наличие единственного контролирующего провайдера само по себе не гарантирует ни контроля, ни безопасности.
Важно еще и то, что если скачать модель с открытыми весами, то он останется у пользователей навсегда.
В закрытом сервисе можно обнаруживать массовую генерацию вредоносного кода и блокировать аккаунты. Что происходит с моделью на чужом сервере, не знает никто.
Так что же? Можно скачать себе на компьютер самый сильный ИИ с открытыми весами, а потом дообучить его для того, чтобы он помог синтезировать смертноносный вирус эболы, передающийся уже не с конкретными тропическими комарами, а со всеми возможными?
NewСПИД, Newтуберкулез, New…
Сейчас к биологическому оружию относят прежде всего вирусы, хотя в списке, представленном в тексте указа Президента Российской Федерации от 20.08.2007 г. № 1083 «Об утверждении Списка микроорганизмов, токсинов, оборудования и технологий, подлежащих экспортному контролю» есть еще бактерии, грибки, оборудование и технологии.
Список вирусов, которые должны контролироваться, подразделяется на три подгруппы: вирусы, опасные для человека, для животных и для растений.
«Но проблема в том, что можно создать новые патогены, которых нет в этом списке, — объяснил “Газете.Ru” вирусолог, руководитель лаборатории геномной инженерии МФТИ Павел Волчков. — Эта же история с допингом и наркотиками: “поймай меня, если сможешь”. Вы всегда можете создать новое соединение, которого нет в списке. То же самое и с вирусами, и с бактериями. С бактериями чуть сложнее, с вирусами на самом деле чуть проще. Искусственный интеллект сильно ускоряет этот процесс», — говорит ученый.
Вирусолог Волчков выделил два наиболее опасных пути распространения измененных вирусов.
"Это, конечно, респираторный путь. Он гарантирует наиболее быстрое распространение.
Но самыми хорошо закрепляющимися являются половые инфекции. Вот с ними труднее всего бороться человечеству.
В ближайшее время люди вряд ли откажутся от размножения половым путем, поэтому этот способ кажется особенно опасным", — сказал ученый.
Биологическая безопасность действительно считается одной из наиболее серьезных потенциальных областей риска, связанных с очень мощными системами ИИ, — согласен и генетик, профессор Сибирского федерального университета (СФУ) и Геттингенского университета, ведущий научный сотрудник Института общей генетики РАН Константин Крутовский.
«Во-первых, биология быстро становится цифровой наукой с огромным объемом данных. Сегодня можно хранить и анализировать миллионы геномов и структур белков, результаты тысяч экспериментов, огромные базы лекарственных веществ и т.д. Все эти данные хорошо подходят для анализа современными ИИ-моделями. Во-вторых, в отличие от многих других технологий, искусственно синтезированные биологические конструкции потенциально способны к самораспространению. Например, компьютерный вирус остается внутри компьютерной сети, тогда как инфекционный же агент потенциально способен распространяться между людьми, животными или растениями. Именно поэтому даже небольшое увеличение риска вызывает серьезную обеспокоенность. В-третьих, COVID-19 показал, насколько дорого могут обходиться миру пандемии», — рассказал «Газете.Ru» Крутовский.
Действительно ли создать опасный патоген проще, чем защиту от него?
В обращении Дарио Амодеи сказано, что создание патогена с помощью ИИ будет быстрым, а вот защита от него — очень долгой. Звучит довольно странно, ведь ИИ ускоряет и поиск защиты, лекарств, вакцин.
Вирусолог Волчков считает, что и опасный патоген, и защита от него могут быть сделаны с помощью ИИ одинаково быстро.
Но дело здесь не в самом процессе создания, а в законодательствах стран, которые запрещают ввод в оборот субстанций, которые не прошли испытания на безопасность и эффективность. А эти испытания предполагают многолетний процесс.
Это же подтвердил и профессор Крутовский.
«Да, ИИ способен ускорять как разработку потенциально опасных биологических систем, так и создание средств защиты. Однако между процессами существует важная асимметрия. Создать потенциально опасную молекулу или патоген можно довольно быстро. Но чтобы убедиться, что вакцина или лекарство действительно работают и безопасны, необходимы лабораторные исследования, испытания на животных (где это требуется), клинические исследования, масштабное производство, логистика и мониторинг населения. Эти этапы занимают месяцы или годы, и их невозможно полностью заменить ИИ. Поэтому опасения, высказанные Дарио Амодеи, вполне обоснованы», — считает Крутовский.
Сейчас генетики используют уже множество специализированных ИИ-инструментов, в зависимости от задач и направления исследования. Например, для анализа белков они используют AlphaFold, RoseTTAFold и ESMFold. Для анализа геномов используются большие языковые модели и специализированные модели для ДНК, например — Evo2, Nucleotide Transformer, DNABERT, HyenaDNA. Они помогают искать функциональные участки генома, прогнозировать влияние мутаций и анализировать большие геномные данные. Для общего анализа данных, написания программ, подготовки публикаций и поиска литературы широко применяются ChatGPT, Claude, Gemini, Copilot и другие. Кроме того, используются классические методы машинного обучения.
Все это действительно заставляет задуматься о том, не стоит ли ввести меры по регулированию исследований во избежание серьезных биологических рисков?
Что успокаивает?
Вирусолог Волчков считает, что бурная дискуссия в американских технологических кругах возникла прежде всего из-за того, что пришло время возвращать инвестиции и привлекать новые деньги Пентагона. Из-за этого поднимается шум вокруг биологической угрозы, которая выглядит достаточно серьезной и для того, чтобы сделать все прогрессивные модели ИИ платными для всех пользователей мира, и для того, чтобы претендовать на самые большие военные гранты.
Он обращает внимание, что споры ведутся не только между известными на весь мир разработчиками ChatGPT, Claude, Gemini, в дискуссии участвуют 77 разных создателей ИИ.
«Есть у пиарщиков эффект кобрендинга. Это значит, что маленький, неизвестный бренд нужно раскручивать относительно большого. Допустим, неизвестный спикер общается с известным спикером, и тем самым и популярность неизвестного начинает расти. Здесь пиарщики пытаются использовать риторику пандемии COVID-19», — считает Волчков.
Тем более, искусственное происхождение SARS-CoV-2, вызвавшего пандемию, все ожесточеннее доказывается теми же американцами.
Крутовский подчеркивает, что ИИ действительно способен существенно ускорить анализ огромных массивов генетических данных, поиск мутаций, влияющих на свойства белков, моделирование структуры белков, проектирование новых молекул и планирование экспериментов, однако между компьютерным проектом и созданием реального патогена лежит огромная дистанция.
«Необходимы современные лаборатории, дорогостоящее оборудование, опытные специалисты, многочисленные проверки и испытания. Поэтому я считаю, что ИИ увеличивает потенциальные риски и значительно усиливает и ускоряет исследование, но пока не в состоянии решить все научные и технологические проблемы», — подчеркнул Крутовский.
Гостев же напоминает, что модели ИИ перед выпуском уже тестируют на предмет биологических рисков.
«Например, Anthropic проводит такие проверки уже несколько лет, поэтому общая методика известна. Главный вопрос здесь не “знает ли модель биологию?”. Интернет тоже знает биологию. Вопрос в другом: насколько модель сокращает путь между опасным намерением и практически исполнимым результатом?», — объясняет Гостев.
По его словам, система тестирования многоуровневая.
~Первый уровень — тесты знаний~. Модели предлагают вопросы по вирусологии, молекулярной биологии, лабораторным процедурам, работе с ДНК и белками. Проверяется не просто знание терминов, а способность находить ошибки в протоколах и решать практические лабораторные задачи.
~Второй уровень — испытания с участием людей~. Одной группе дают доступ к модели, другой оставляют обычный интернет и справочные материалы. Затем сравнивают, насколько ИИ помог быстрее и качественнее решить сложную задачу.
~Третий уровень — экспертные красные команды~. Специалисты по биологической безопасности пытаются выяснить, насколько модель помогает спланировать опасный эксперимент, преодолеть практические препятствия или обойти существующие ограничения.
«Наконец, есть агентные испытания: может ли система не просто ответить на один вопрос, а провести пользователя через длинную цепочку действий, исправлять ошибки, искать материалы, работать с программными инструментами и адаптировать план по мере возникновения проблем», — говорит Гостев.
То есть, человечество прилагает немалые усилия для того, чтобы обезопасить себя от пандемий, вызванных искусственным патогеном, разработанным при помощи ИИ.
Узнать больше по темеСША: ключевые факты, история и политикаСША — государство в Северной Америке, занимающее одно из центральных мест в мировой экономике и международной политике. В материале — основные сведения об этой стране.Читать дальше
