Посты в Tg: первая новелла, вторая новелла, третья новелла и продолжение, четвертая новелла
Пост на FB о первой новелле

Прочел первую новеллу из книги Кай-Фу Ли и Чэнь Цюфань «ИИ-2041. Десять образов нашего будущего» и фиксирую впечатления по свежим следам. Наверное, продолжу читать книгу и если впечатления изменятся — буду писать. Пока — следующие тезисы.

1. Конструкция книги: новелла, написанная одним автором, потом научный разбор второго. Первая новелла — про девочку-подростка из Мумбаи, семья которой купила страховку с ИИ-приложениями, которые имеют доступ к повседневной жизни и дают активные советы, эту жизнь меняющую, с экономическим подкреплением в виде изменения суммы взносов. В целом — к лучшему — отец бросил курить, стал осторожнее водить машину. При этом семью штрафуют за то, что ребенок часто ест конфеты и сласти, и это авторы одобряют — ЗОЖ, а вот то, что ИИ мешает девочке начать романтические отношения — осуждают.
2. Контекст написания. Книга издана в 2021 году, до прорыва с ChatGPT (2022). Поэтому в фокусе — модели глубокого обучения (deep learning), а не алгоритм трансформера, который дал успех. А у нас издана в будущем 2026 (я не шучу, в выходных данных указан будущий год) и позиционируется как предсказание. Это — предсказание из прошлого, когда успехи LLM были еще в будущем (хотя разработку ChatGPT уже активно вели), и на это надо делать поправку.
3. Авторы — из China Google, подразделения Google, работавшего в Китае, при этом Кай-Фу Ли — с Тайваня, получил образование и работал в Штатах, то есть по культуре в значительной мере американский китаец.
4. Социальные изменения общества, связанные с ИИ, в первой новелле отсутствуют. То есть мир уже 20 лет живет в обществе, где ИИ в виде рекомендательных систем уже активно используется, но мир практически не изменился. Может, это особенность первой новеллы, где действие помещено в Индию — чужую страну для авторов, которую они рассматривали как медленно развивающуюся (хотя реально Индия развивается очень быстро). Посмотрим в следующих новеллах.
5. Социальная конструкция очень странная. Страховая компания запускает ИИ, которому ставит целью уменьшение страховых взносов, то есть работу против интересов компании. При этом неясно, как эти взносы рассчитываются, по смыслу это происходит на основе обработки данных, то есть с помощью того же ИИ. Получается, что два ИИ работают в противофазе, что странно с инженерной точки зрения. Ну или идея коммерческой страховой компании — просто прикрытие для целей привести поведение людей в соответствии с некоторым идеологическим шаблоном, не показываемым явно.
6. Из новеллы следует, что романтические отношения, построение семьи и рождение детей рассматриваются ИИ как вредные, они ведут к увеличению страховых взносов, и ИИ хочет их расстроить. Хотя в некотором смысле это оправдано — за беременность платить придется, а потом — за детей. А вот почему именно роман девушки с конкретным нормальным парнем из касты неприкасаемых является особо отрицательным для ее здоровья и страховки — неясно. Все это подтверждает мою гипотезу, что за страховой лежит идеология, при чем не государственная, а чья-то еще, а вовсе не коммерческая выгода, а тогда проблема совсем не в ИИ.
7. Вывод автора о том, что нужно государственное регулирование, чтобы держать использование ИИ под контролем и проводить аудит компаний мне кажется вообще не обоснованным. С чего бы такая вера в добро государственного регулирования, особенно учитывая американскую культуру авторов? Или это у них проявилась китайская составляющая культуры (при том, что они — с Тайваня, а не из материкового Китая)? При инженерные аспекты такого контроля вообще не рассматриваются, хотя это — в научном разборе первой новеллы.

Продолжаю читать книгу Кай-Фу Ли и Чэнь Цюфань «ИИ-2041. Десять образов нашего будущего». Первые впечатления по первой новелле был в этом посте, а сегодня будут новеллы 2-4 в нескольких постах: опрос показал, что 70% предпочитают такой вариант, а не короткий пост со ссылкой.

Общее впечатление, что социально-экономическая действительность романа в 2041 году не изменилась и примерно соответствует существующей – подтверждается. Может, для авторов это логично, ведь концепт Фукуямы про конец истории на западе принимают всерьез, а авторы в значительной мере несут американскую культуру, хотя по происхождению китайцы с Тайваня. При этом темпы развития ИИ в представлении авторов, на мой взгляд, сильно занижены. Понятно, что роман говорит о том, что более-менее вошло в повседневную жизнь, но развитие смартфонов хорошо показывает, что для широкого распространения не требуются десятилетия, а достаточно года-двух. Сотовая связь действительно развивалась медленнее, там было нужно вышки везде поставить, а для ИИ это не нужно, базовая инфраструктура интернета есть. Но представления о низких темпах развития ИИ, кстати, соответствует времени написания книги – 2020-2021 годы, когда ChatGPT только появился. Быстро развиваться и умнеть он действительно начал позднее, что вызвало письмо сотни ученых с призывом остановить исследования из-за непредсказуемых последствий. Впрочем, сейчас об этом призыве, по-моему, забыли.

А теперь – про новеллы подробнее, в книге они действительно разные.

Вторая новелла – про использование ИИ в политической жизни при этом – анонимно. Это общество, в котором люди прячутся под масками от тотально установленных камер, а политические движения тоже продвигают свои идеи анонимно, создавая образы виртуальных агитаторов неизвестного авторства, которые при этом воспринимаются людьми с доверием, потому что умело ими манипулируют. А герой новеллы – нанятый другой партией талантливый создатель виртуальных образов, от которого требуют как-то дискредитировать агитатора, оплачивая для этого доступ к дорогим программам имитации. Нанятый, естественно, шантажом.

Герою удается обмануть нанимателя нестандартным решением: он создает не один контр-ролик, а несколько, первый поворачивает общественное мнение в нужную сторону, как и хотел наниматель – и это дает ему шанс ускользнуть, при этом заложив виртуальную мину – ролики, которые развернут тему дальше и повернут общественное сознание не так, как хотел наниматель. Потому как в политике хороших – нет, за маской слов всегда грязные цели элитных групп, и только у героя их нет – он отказывается от карьеры в столице Нигерии, где происходит дело и уезжает к отцу в деревню. И это – скрытая мораль: пробиваться вверх из низов эффективно только грязными методами, при этом получаемые плюшки того не стоят.

Чем-то этот сюжет напоминает Обитаемый остров Стругацких (только без Странника), где тоже правит анонимная группа. В реальности такая штука тоже встречалась – красные кхмеры Камбоджи. А еще ИИ тут – лишь новый инструмент масс-медиа. У Марка Твена есть хороший рассказ про современную ему политику «Как я баллотировался в губернаторы» – технологии отличались, а суть была та же.

Третья новелла – про индивидуальных ИИ-помощников, способных за счет технологий иметь образ и действовать в мире дополненной реальности, где и происходит действие. Герои – два мальчика-близнеца, потерявшие родителей а автокатастрофе, где они сами выжили и воспитывающиеся в интернате. И им прямо на входе создают персональных ИИ-помощников, которому каждый может придать любой образ, и которые видны другим. Технологию я не понял, то ли люди почти постоянно ходят в VR-очках, которые подключены к общей сети так, что дополненное пространство получается общим, то ли там стоят проекторы, которые эти изображения выносят в реальность.

Важно, что этот помощник помогает ребенку учиться и направляет его. Как и в первой новелле, это происходит для блага ребенка по программе, заданной взрослыми. То есть ИИ-помощник помогает индивидуализировать траекторию, но не цель пути, она – задана системой. И самого ребенка особо не спрашивают, хотя личные особенности – учитываются. Но насколько их учитывать решают взрослые.

Один из близнецов – более активный, желает первенствовать, его усыновляют и он попадает в семью успешного инвестора, дети которого получают самого лучшее, но карьера – предопределена – надо заниматься и тоже стать инвестором, а если пытаешься своевольничать – тебя ждет наказание. Условия оказываются жестче, а свободы – меньше, чем было в интернате. А второй близнец – противоположность, у него открываются способности художника, и забирает его семья художников, для которых важно личное развитие. Впрочем, кончается все неплохо, Отец в семье, куда попал первый близнец, в конце понимает, что тот не хочет жесткой гонки и предоставляет самому выбирать себе путь – к чему, правда, тот оказывается не готов. Но он встречается с братом, они друг друга понимают и найдут опору друг в друге.

Когда читал, пришла идея разобрать этот конфликт по спиральной динамике. На поверхности там оранжевый успех против зеленого творческого проявления личности, но на обоих составляющих лежит очень мощный пласт культуры правил.

Еще отмечу, что создать личного помощника-собеседника можно уже сейчас. Хотя, наверное, с беседой в реальном времени могут быть проблемы, особенно если хочешь визуальный образ. Но технологии идут вперед, Алиса уже давно умеет беседовать в реальном времени, дальше вопрос, чтобы было куда подложить персональные характеристики собеседника, которые при общении с LLM ты можешь положить в системный промпт или RAG. LLM умеют имитировать любую личность, в том числе – отвечая за исторических и литературных персонажей, так что персонализация в коммуникации помощника, с которым ты хочешь беседовать – не проблема. Речь – тоже не проблема, голосовые синхронные переводчики работают. А с синтезом видео и дешифровкой твоих жестов и эмоций – разберутся, тем более, что эмоции считываются с голоса, мимика не очень нужна. Так что все это вполне может стать близким будущим. А может уже и есть в настоящем в каком-то виде, во всяком случае, быстрый поиск выдал приложение, в котором можно создать себе виртуальную девушку и с ней общаться (а вот виртуального парня почему-то не предлагают).

ИИ-2041. Третья новелла. Продолжение – про эмпатию ИИ.

В разборе третьей новеллы есть очень ценная мысль про ИИ: не надо сравнивать LLM по критериям для мышления людей, таким как тест Тьюринга, потому что ИИ мыслит иначе. И потому он будет выигрывать у людей или проигрывать им в зависимости от конструкции теста. А правильно искать синергию взаимодействия. Я тут отмечу, что придумывать тесты, в которых бы человек выигрывал ИИ, становится все сложнее. Автор говорит про эмпатию, но уже есть исследования, что люди предпочитают ИИ-психологом и те им лучше помогают, чем психологи-профи. А еще они гораздо дешевле, и доступны 24 часа.

Меня тут недавно в обсуждении на канале попросили ссылок про превосходство ИИ-психологов, и один из читателей быстро статью с подтверждением и статью с опровержением. Как бы тема не однозначная. Только в статье с подтверждением – нормальное исследование слепым методом, 830 кейсов. При этом выяснено, что самые высокие оценки получили ответы ChatGPT, о которых пациенты подумали, что им отвечает психолог, самые низкие - ответы психологов, приписанные ChatGPT, а остальные - посередине. Статья в Forbes, но там в начале есть ссылка на исследование, в котором все детали. А вот статья о превосходстве людей - это просто опрос психологов, где они должны были сравнить два конкретных описания одного кейса - от ChatCPT и от человека, и не написано, что они это делали в слепую, так что вероятно они знали, кто автор. Это - фигня, а не репрезентативное исследование, с моей точки зрения.

Так что пока полагаем, что ChatGPT – лучше. При этом с ним даже можно просто беседовать. В 90-е один из западных гуру психотерапии приезжал в Россию, познакомиться и оценить перспективы развития психотерапии у нас. Его вердикт был, что перспектив мало, потому что дружеские беседы на кухнях закрывают значительную часть психологических проблем. Ну а теперь можно с ИИ беседовать.

И последняя на сегодня четвертая новелла. Там апокалипсис вечного ковида: мир, в котором эпидемия идет постоянно, поэтому все должны вакцинироваться каждый квартал все новыми вакцинами, а те, кто без вакцин должны сидеть дома, и за этим смотрят киберполицейские. И люди в это вписались, как вписались в ряде стран в предосторожности против ковида: на картах идет трекинг всех людей, при этом для каждого рассчитываются риск, что он заболел, пренебрегая предосторожностями, и другие люди в реальном времени предупреждаются о его приближении.

У главной героини рассказа страх болезни превысил разумные пределы, она три года живет в таком виртуальном коконе, но ее онлайн-друг разбивает такой кокон, симулируя, что он приехал повидаться, но попал в карантин и умирает. Девушка тут же забывает свой страх и бросается его спасать. Логика тут отсутствует, она не думает, ей управляет эмоциональный автопилот, а эмоции у нас устроены таким образом, что запросто перебивают друг друга и захватывают управление. И друг хорошо просчитал ее поведение, по-видимому, на основе длительного общения и с помощью ИИ, составил план и нашел помощников.

В комментариях к новелле автор обсуждает перспективы ИИ для медицины, и тут я с ним согласен – ИИ дает много дополнительных перспектив в разных направлениях – диагностика и мониторинг, создание новых лекарств, симуляция с помощью ИИ для сокращения программ экспериментов, предварительной обработке гипотез и так далее. Автор делает фокус именно на исследовательской части, полагая, что эксперимент с участием IBM Watson в консилиумах показал, что в лечении конкретного больного ИИ с человеком не сравнится. На мой взгляд, этот эксперимент показал другое: на ИИ легче свалить неверные решения, принятые на консилиуме, и отсудить у компании компенсацию, его не защищает профессиональное лобби. А вот изобретатели лекарств защищены фармацевтическим лобби, компании могут выпускать препараты, которые ухудшают, а не улучшают состояние больных, особенно во время эпидемии, проталкивая их закупки бюджетом, кейсы были не только в ковид, но и раньше.

И ковидный апокалипсис, на мой взгляд, не реалистичен. Хотя в инфо-пространстве такие сценарии будущего рисовали. Но не в Китае, где происходит действие новеллы. Китай на ковид среагировал жестко, и, на мой взгляд, объяснение может быть только в том, что сценарий искусственного конструирования вируса и специальной организации эпидемии власти полагали достаточно вероятным, чтобы рассматривать его всерьез и готовиться к худшему. Кстати, количество аргументов за искусственное происхождение вируса с тех пор, по-моему, возросло, продолжает оставаться неясным, была ли это не осторожность в китайской лаборатории, или диверсия каких-то американских сил, для которой плохо просчитали последствия. Но дальше я в эту тему углубляться не буду.

А вот с тем, что ковид дал мощный импульс удаленной работе и в значительной мере развязал место жизни и место работы – я согласен. Сейчас с этим пытаются разобраться в экономике и менеджменте, но в целом изменение позитивно.

Пятая новелла – про эволюцию индустрии игр, которую принесет дополненная и смешанная реальность и использование ИИ для персонализации сюжета. Принципиально ничего нового про технологии не сказано. Конечно, они будут развиваться, автор ставит на постоянно носимые линзы смешанной реальности, я бы полагал что это – чересчур технически сложно и рассматривал бы очки как более перспективную технологию. Еще автор говорит про специальные костюмы для создания осязательных и других эффектов для некоторых игр, но, возможно, их заменит нейроинтерфейс, подающий сигналы, хотя с этим есть свои проблемы.

Вообще фетиш реалистичности и полного присутствия, на мой взгляд, сильно преувеличен, человек и без него хорошо получает удовольствие, в том числе – играя в игры. Во всяком случае, многие легкие игры через броузер или в мобилках пользуются большой популярностью, даже среди тех, у кого есть мощные игровые компьютеры. Понятно, что реалистичность можно дорого продать, как продавали оборудование для видеовстреч, которое обеспечивало, что взгляд в центр экрана направлен на собеседника, в то время как обычная камера над монитором дает взгляд поверх головы. Корпорации платили за переговорки с таким оборудованием бешеные деньги. Но вот обычным потребителям это не впаришь. Так и со всем другим дорогим оборудованием, массовый потребитель обойдется без него.

А что касается персонализации сюжета, то она в игровой индустрии и так на высоте. Началось все очень давно, с модели Бартла, делящих всех игроков на четыре типа по стилю игры, после чего производители начали предусматривать миссии для всех. И уже в середине 2010-х в некоторых играх число типов игроков доходило до 2-3 десятков, появлялись дополнительные параметры, и очередные задания подбирались игрокам с учетом их профилей для удержания в игре. При этом активно использовался ИИ и машинное обучение для анализа логов. И это будет использоваться и дальше, но какого-то резерва для принципиальных прорывов здесь, по-моему, нет.

А вот что автор точно не учел, так это возможности персонализации сюжетов самими игроками с помощью ИИ. Он мыслит классически: игры делают вендоры, это работа дорогих и крутых профи. А вполне может быть сюжет, когда профи делают лишь платформу, а конкретный вариант игры человек вообще делает сам с помощью ИИ, или обращаясь за помощью к профессионалам среднего уровня. Примерно как произошло сначала с сайтами, а затем – с интернет-магазинами: сначала их делали профи и стоило дорого, потому появились фреймворки и платформы, использование которых сделало создание доступным профессионалам начального уровня или любителям. При этом ИИ умеет писать простой код, что сильно снижает порог входя для любителей. И конструкция «сам себе режиссер» становится реальностью.

А еще интересный сюжет, отсутствующий у авторов – коллективная игра в смешанной реальности и оркестрация при нескольких играх в общем физическом пространстве. Если есть индивидуальные игры, в которых реальный мир дополняется призраками людей, животных и объектов, с которым можно взаимодействовать, то интересна будет и коллективная игра. Не обязательно на улицах, вполне может быть коллективная ролевая игра на специальном полигоне или в парке развлечений. Но вот если игра с ее виртуальными персонажами перестает быть игрой и становится частью жизни, то возникают задачи оркестрации сюжетов игр разных людей в общем пространстве. Кстати, это было у авторов в третьей новелле, где виртуальных помощников у мальчиков видели другие ученики, учителя и члены семьи. Но там акцент был на другие темы.

Это рассказ про роботакси, и он – про настоящее, а не про будущее. Роботакси на улицах городов стали реальностью, при этом Baidu обошел Waymo, а Tesla так и не смогла взлететь. И это режим смешанного движения, в котором участвуют роботакси и машины с обычными водителями. Никаких специальных дорог и разделения не потребовалось. То же происходит с грузовиками в промышленных зонах и логистических центрах: грузы перевозят они, а вот снегоуборочными тракторами и подобной техникой управляют люди, и это происходит на одной территории.

Никакого экстренного вмешательства человека не предусмотрено, кроме сигнала экстренной остановки, при этом для промышленных грузовиков он может быть дан и снаружи. Естественно, ИИ может остановить и по собственной инициативе. А потом действительно начинают рулить операторы, но это – обычная рутинная работа, никакого героического сюжета с этим не связано.

И вопросы ответственности за аварии уже решены. В США самым простым с юридической точки зрения оказалось расширить понятие водителя, введя для них две категории: человек и автоматизированная система. А дальше – ответственность водителя должна быть застрахована и пусть страховые устанавливают тарифы, по которым они будут страховать автоматизированные системы вождения и разбираются при авариях. Кстати, возможно, это было до выхода книги или сразу после.

А дилемма вагонетки, о которой автор пишет в разборе – не про ИИ, а про людей. Как ИИ научат, так он и будет принимать решение. Так что законодатели должны встать в ответственную позицию и решить дилемму вагонетки, вернее, реальных и аналогичных случаев достаточно определенно, чтобы инженеры могли сделать богатую обучающую выборку с помощью генератора ситуаций. Законодатели, конечно, этого не любят и попробуют спихнуть на ученых, которым тоже придется не ахать, а выносить решение. Сейчас-то им всем проще: человек принял решение, а дальше суд разбирает частный случай. Впрочем, это тоже метод: суды будут разбирать кейсы, выносить частные решения, по ним ИИ будут дообучать.

Любопытно с экономикой. Авторы в разборе говорят, что 75% стоимости такси сейчас – зарплата водителя. Возможно, именно под это были бизнес-планы. В Штатах (Waymo) сейчас роботакси стоит дороже, чем с водителем, а вот в Китае, в Ухане, где у Baidu больше всего покрытие и поездок цена действительно ниже на 20-40%

Седьмая новелла – это трэш. Гениальный физик решает отомстить всему обществу и создает квантовый суперкомпьютер, которые ломает закрытые ключи bitcoin, похищай кучу денег, запускает рои дронов размером с небольшую птицу, которые должны целенаправлено отстреливать персон из элиты, а также компьютерных профи, и взрывает две атомных бомбы в стратосфере, чтобы электромагнитный импульс погубил всю электронику планеты. И все это из-за одной травмы, правда серьезной: в Калифорнии вспыхнул сильный пожар в лесах, в котором погибли его жена и дочь, он их почти спас, и все сказали «пожар – природный», хотя на самом деле там деградировали высоковольтные линии и это послужило причиной. Его героически останавливает ситуативно сложившийся союз полиции и хакеров, у которых он спер биткоины (которые они раньше сперли у других), но остановить не могут. Хотя, возможно, бомбы не взорвутся. В общем, классический боевик, но вот логика сюжета – отсутствует и куча технологических накладок, впечатление, что авторы не понимают технологий, о которых пишут, или сознательно вводят в заблуждение читателя. Разбирать детали – не буду.

В разборе новеллы – очень много про автономное оружие, которое само опознает цель и наносит удар. О том, что это ужасно, надо бы запретить, поставить под контроль и так далее. И инфа, что согласны все в мире, кроме США, России и Китая. С тех пор СВо показало, что с оружием все так и будет, что способ ведения войны изменится. И если сейчас большинство дронов работают с операторами, то это потому что так – эффективнее, а вовсе не по этическим соображениям. Все-таки ИИ требует достаточно больших мощностей, которые в само устройство поставить тяжеловато. Но все это будет совершенствоваться.

При чем, похоже, гражданское применение из-за безопасности останавливать не собираются, в 2024 компания EHang в Китае получила разрешение на продажи беспилотного воздушного такси и начаты продажи. Заявка была в 2020. Кстати, в шестой новелле про беспилотники о таких такси не говорят, только про автомобили – а именно тут реальное изменение будущего.