2023-5-4 13:42 |
Ученые в панике: нейросети стали «слишком умными» и их трудно контролировать. А значит, в руках злоумышленников они могут стать оружием.
Ученые в панике: нейросети стали «слишком умными» и их трудно контролировать. А ведь в последние десять лет эти технологии окружают нас повсюду: говорящий навигатор или голосовой помощник в смартфоне, умная колонка, система распознавания автомобильных номеров и лиц.Самые последние модели рисуют зрелищные иллюстрации, создают музыку и сценарии к сериалам. С ними даже можно вести умный разговор! Уже сейчас в Москве искусственный интеллект расшифровывает рентгеновские снимки в поликлиниках и помогает проверять школьные сочинения.Так почему же специалисты вдруг забили тревогу? Разбирался aif.ru. Создатель осудил свое творение«Крестный отец» искусственного интеллекта Джеффри Хинтон уволился из Google и заявил об опасности таких машин. По его мнению, злоумышленники смогут заполнить интернет множеством фейков — фото, видео и текстов. Кроме того, заявляет ученый, из-за умений машин начнется массовая безработица. А еще, считает Хинтон, недалек тот день, когда появятся роботы-убийцы. Ведь отсутствие контроля за «слишком умной» программой может привести к печальным последствиям. Уже сейчас некоторые компании позволяют программам запускать код самостоятельно. Но Хилтон не единственный, кто забил тревогу: в марте более тысячи ученых подписались под письмом, призывающим остановить разработку искусственного интеллекта. Они считают, что ИИ, сопоставимый с человеческим, представляет серьезную угрозу обществу и всей цивилизации.Как так получилось? На вопросы Aif.ru ответил руководитель команды машинного обучения в Yandex.Market Артем Бондарь.Слабый контроль слишком умной машины«Если коротко: раньше для разработки нейросетей применялось обучение с учителем: контролируемое, но его мало куда можно применить. Сейчас это обучение без учителя — получается какое-то неприлично умное, но слабо контролируемое», — объясняет IT-специалист.По словам Бондаря, сейчас разработчики не только не могут полностью контролировать поведение нейросетей в негативных сценариях, но даже заранее оценить масштаб и глубину проблем. Почему человек потерял контроль?В 2010-х искусственному интеллекту показывали исходные данные и то, что из них должно получиться, объясняет эксперт. Сеть заучивала закономерность. Однако охватить все возможные комбинации и запросы очень трудно. Поэтому параллельно начали развивать другой подход: обучение без учителя.«Это похоже на обучение вождению, — объясняет Бондарь. — Людей не учат правилам проезда по каждому перекрестку, а учат разметке и знакам. То есть это уже структурированное знание "как проехать любой перекресток"», — объясняет IT-специалист.«Вот и нейросети сначала дают наблюдать за тем, как люди движутся по всем перекресткам, а затем она "запоминает" знаки дорожного движения и разметку. И предсказывает, как люди будут проходить перекрестки. Таким образом, мы дали ей возможность самой разобраться в этом, поставив достаточно сложную задачу», — поясняет Артем Бондарь.Однако этот подход ставит перед разработчиками совсем новые вызовы: если раньше они строго и вручную контролировали поведение нейросети, то в обучении без учителя контроль над ситуацией стал гораздо меньше: ведь непонятно, чему научится сеть, прочитав терабайты текстов из интернета. Психологи для машины«Мы все более и более косвенно влияем на то, какие внутренние структуры выстраиваются в сознании этих цифровых организмов, что, естественно, рождает страх: мы не просто не можем полностью контролировать поведение нейросетей в негативных сценариях, но мы даже не можем доподлинно оценить масштаб и глубину проблем, не попробовав применить нейросеть в деле», — поясняет Бондарь.По словам эксперта, для IT-специалистов это совершенно новый вызов. «Поэтому сейчас, помимо обучения больших языковых моделей, очень много внимания уделяется проверки этих моделей на безопасность — у нас буквально на глазах рождается совершенно новая инженерная дисциплина. Этакие психологи для нейросетей», — пояснил эксперт. А может, это пиар?Впрочем, паниковать пока что рано, считает Бондарь. По его словам, это больше похоже на «гонку вооружений» между Google и OpenAI. Стремясь затормозить конкурента, в ход идут вот такие показательные выступления.«Мне кажется, уход Хилтона — это просто часть политической игры. Сначала они слили два больших отдела, занимавшихся нейросетями, в один. Google Brain проиграл гонку OpenAI в генеративных языковых моделях, поэтому это как будто хорошая мина при плохой игре: заявлять, что пришли "страшные нейросети"», — объясняет специалист.По его словам, специалисты хорошо знают, что нейросеть — это черный ящик, поэтому «никто в здравом уме не даст "генеративкам" делать ничего опаснее, чем отвечать на поисковые запросы», заключает Бондарь.
Аналог Ноткоин - TapSwap Получай Бесплатные Монеты
Подробнее читайте на aif.ru