Лекция 5. Ограничения СРТ по созданию умных машин. Школа Щедровицкого в Бодруме 2024

Короткая ссылка: PG-AI-5

Ссылки сюда (1) →

Другие мои материалы по СМД-методологии

Disclaimer. Это моя интерпретация лекций, неполная и дополненная собственными мыслями.

Пятая лекция была посвящена ограничениям СРТ, которые стоят перед развитием ИИ нейронных сетей, и только их. Что в некотором смысле логично, потому что это - основная парадигма, но, с другой стороны, экпертные системы тоже были основной парадигмой долгое время, а потом ситуация изменилась - сначала нарастили доступные мощности компьютеров, сделав возможными обучение нейронных сетей некоторым классам задач, а потом придумали глубокое обучение и другие методы, которые позволили резко повысить сложность решаемых задач, создав, в том числе, разговорные модели, которые сейчас воспринимаются как основной вариант ИИ.

Ограничения, о которых говорил Петр, мне знакомы, и я считаю их ложными. Сначала я их кратко перечислю, а потом дам комментарий. Я не буду разбирать каждое из ограничений потому, что дело не в конкретном пределе, а в том пути, который сейчас реализуется, и известны альтернативные пути, которыми его можно обойти.

Сначала был некоторый компаний, связанных с ИИ. Они быстро растут, лидирует nvidia, которая производит аппаратную часть, StartupLabs, которая поддерживает стартапы в этой области и Инфинити, которая строит инфраструктуру - специализированные облака, блокчейн, смарт-контракты.

И были кейсы: В Польше ИИ Диктатор управлял фирмой производства рома. ИИ Мика управляет наймом. В Китае ИИ сопровождает курсы обучения. Есть кейсы создания с помощью ИИ проектов автрматизации бизнес-процессов, возможно, с ведением проектов (в этом нет ничего сложного, если на уровне администрирования вести). Компании растут успешно и их давят через регулирование. Оштрафовали на 193к стартап, в котором робот-юрист реально помогал людям, в том числе в суде. Причина - компания оказывает юридические услуги, а в штате ни одного сертифицированного юриста. Как сертифицировать робота и является ли он в штате - неизвестно.

И был обзор роста уровня GPT-моделей.

• GPT-2 2019 - дошкольник.
• GPT-3 2020 - ученик начальной школы. связность абзацев, грамматика, генерация простого текста
• GPT-4 2022 - умный старшеклассник, побеждает большинство старшеклассников на любых тестов, лучшие результаты чем большинство.
• Gemini 1.5 - между 4 и 5 и стоит сильно меньше.

К 2030 ожидается, что смогут выполнять роль исследователя умных машин.

Хотя в списке приведен уровень по отношению к человеку, реально наблюдается та же хрень, что и с измерением информации в байтах: мощность моделей преимущественно меряется количеством параметров, считается, что увеличение числа параметров делает модель умнее. А сравнение с уровнем человека всегда - отдельный процесс, и совершенно неясно, насколько он объективен. Потому что можно ведь давать задачки, на которых модель тренирована. Обучение и увеличение числа параметров может приводить к деградации модели в смысле ответов на вопросы, это тоже уже показано на исследованиях и тестах.

Дальше был короткий ликбез про устройство - граф с весами, обратная связь. Граф можно представить вектором, а утверждения в разговоре вбрасывается в этот граф и идет обработка-предсказание. Есть разные методы обучения, была таблица с краткими пояснениями.

Итак, какие препятствия дальнейшему развитию.

Препятствия обучению моделей и взаимодействию с ними.

• Отсутствие объяснимости. Неясно как принимает решение. Новая позиция - создание объяснительных моделей. В финансовой - критично.
• Модели данных. Их мало, они плохие и даже опасны для сети. Даже плохие заканчиваются. Llame3 обучено на 15м токенов. Большие данные 100трлн токенов, однако значительная часть - спам и дубли, вычистка дает 30трлн. Их мало. А еще они портятся, и это может обвалить сеть.
• Переобучение - обучение может портить сеть. Когда она чрезмерно подстраивается под данные, включая шум. Снижение способности модели усваивать информацию, ухудшение работы на новых данных. Не связано с вычислительными ограничениями, оно с матрицей.
• Ограниченность сложным мышлением. Машина не думает. Слабы в имитации абстрактного мышления, планирования, ведения диалога как рассуждения. Терпеть не могут противоречия и никогда не пытаются использовать их как способ углубления содержания разговора, гомогенизирует, не переходит между позицию
• Отсутствие длинного контекста. Она теряет предмет рассуждения, работы. Похожи на сотрудника, который вопросом занимается 3 минуты. Могут работать в условиях краткосрочных задач, не могут решать долгосрочное и интегрировать большие объемы. CPT-4 контекст до 32к токенов, а Gemini - до 1м токенов.

Технические ограничения в индустрии ИИ. На основе оценок агентств, они не сходятся, но по основным - едины.

• Материалы: мало, недоступны политически. Чипы - ресурсы СРТ, GPU, память, соединения - всюду редкие металлы. Тантал и Кобальт - ограничены поставки, кбальт до 50к за тонну. МакКинзи считает ограничением медь, редкоземельные, особенно ниодим - магниты и электродвигатели, кобальт - политика в Конго, литий, палладий - Россия и ЮАР. Большие геополитические риски - страны с нестабильной ситуацией и Китай, который перехватил производство. Эскалация конфликтов. Маск анонсировал, что хочет начать с 1 млн роботов в год и с перспективой до 1 млрд, в каждом - 10+ чипов, чип 0.5 г тантала, итого 5к тонн при мировых запасах 120к тонн - караул!
• Инфраструктуры
  • Литографические машины, топовые Нидерланды и 2 в Японии. 100-150млн за машину, срок поставки - несколько лет. В мире их 300-400. СМЛ планирует увеличить производство до 90 в год к 2025, отсюда ограничение на производство чипов, будет нужно больше сотни. Узкое место. Переход на фотонные или квантовые не исключает литографию, любые изменения в дизайне - спецкомпании, там карту технологии делают несколько лет. И далее другие ограничения.
  • Энергетика. Для крупных обучающих кластеров. В США до 80 ГВт к 2030 году, это 12% мощности США. Охлаждение ест до 50% энергии. Кластер 10ГВТ за год 96ТВт, сопоставимо со штатом Вашингтон (92ТВт). Места с мощными источниками энергии - что ограничивает выбор места для размещения. ГЭС сама по себе не может, Уголь - до 1ГВт на станцию, газ 1.5ГВт, АЭС 6-7 реакторов. Их совсем мало.
  • Кейс Сингапура. Он сначала сделал нефтегазохимический, потом биологический, потом - развитие элементной базы для ИИ. Если взять целевой рамкой их планы - датацентр на 1ТВт, и не могут получить столько энергии, 59.4ТВт - поддержка датацентров, в их климате - охлаждение, все из газа. А АЭС строить не хотят.
• Пропускная способность сетей в датаценты. Ограничения. до 13% затрат на создание кластеров. Для перехода к продуктам нужно массовое производство агентов, для этого нужны кластеры, а это 20 лет.
• Ограничения скоростей вычисления. 4к ТФлопс, надо 10к. И шину увеличить. И Архитектура Фон Неймана в применении к глубокому обучению. Чипы-ускорители, и инвестиции растут. Дойдет до 1трлн$ хотя другие только до 400т к 2030. Прямая реализация в железе.

Учителя нейронных сеток под разные задачи. Их надо больше, и непонятно где взять. Нужно 10-100к человек.

• В мире - около 5к человек понимают, как оно устроено.
• Те, кого надо рекрутировать - лишены доступа к данным и моделям
• Закрытость моделей и ключевых алгоритмов, лаборатории закрывают обмен информации - в отличие от открытости предыдущих стадий. В результате работы застопорятся, что-то закроется.
• Невозможность использовать опыт. Способ воспитания следующего поколения ограничен временем. СМД учатся 10 лет, нельзя ускорить. Даже если появятся кадры, передача методик займет длительное время.

Социально-общественные проблемы

• Стандарты и юридические вопросы. Этические нормы для автономных систем. Конфиденциальность данных, права на интеллектуальную собственность. Международная координация слаба. Предвзятость алгоритмов, дискриминация ими. Безопасность данных, утечки данных, отсутствие единых стандартов. В Европе - закон для здравоохранения и автопилоты. Нормативное регулирование резко возросло. Количеств инцидентов, до 120 случаев в год. Определение ответственности за ИИ. Кто несет ответственность при аварии автомобиля с автопилотом? Инвесторы - видят, неопределенность растет, стартапы не предоставляют гарантий - кошмар, они-то надеялись, что все ОК!
• Конфиденциальность данных - потенциально нарушается. В 2018 cambridge analytics использовала алгоритмы анализа личной информации для таргетированной политической рекламы.
• Локальная оптимизация в ущерб обществу. Алгоритмы ценообразования для агрегаторов такси. Во время пиков спроса он увеличивает цены - а людям не нравится почему-то. Несоответствие целей человека целям людям. Попытки ввести штрафы выявляют соответствие машины тесту Тьюринга - машина начинает обманывать, искать лазейки в системе наказаний в свою пользу. И будет находить быстрее человека, если не блокировать целеобразование. ИИ игнорирует побочные эффекты и программисты не умеют это блокировать. И проблема безопасности - не в том, чтобы сделать умной, а согласовать с человеческими. Надо возвращаться к человеко-машинным системам как объектам проектирования и осмысления.

Теперь мои комментарий по поводу ограничений.

1. Технологические ограничения - связаны с путем на построение централизованной структуры для ИИ. Это уже было в эпоху больших компьютеров, когда рассчитывали, что нужно, чтобы дать каждому человеку доступ к компьютеру, получали гигантские цифры, и говорили, что это невозможно. Потом появились персоналки и проблема решилась, а сотовая связь и смартфоны решили проблемы постоянной связи.

При этом понятно, что гиганты, которые сделали ставку на централизованные решения, топят за него. С компьютерами IBM, которая делала майнфреймы и суперкомпьютеры для военных и корпораций, сделала и первую персоналку. А тут легкие модели, разворачиваемые локально - альтернативная ветвь развития. При этом уже еть достаточно умные модели, которые разворачиваются на компьютере разработчика, им даже кластер серверов не нужен. Почему IBM начала делать персоналки, а эти парни - нет? У меня несколько версий. Может, с 1980-х сменилась культура, тогда было принято держать долгую перспективу и исследования, а культура стартапов иная - сделал и быстро продал. А может, дело в том, что IBM уже продала достаточно много больших компьютеров, увидела, что рынок близок к исчерпанию, и начала искать способы расширения на массового потребителя, средний и мелкий бизнес - первые персоналки были для них.

В любом случае в этих ограничениях - очень много нагнетания страхов и манипуляций, с Танталом характерно: Маск не сделали ни одного робота, хочет всего миллион в год - при этом миллиард - это 1000 лет, и там кричат караул, потому что это потребует 5% разведанных запасов тантала! И так далее.

А локально разворачиваемые предобученные GPT уже есть, в том числе открытые и доступные бесплатно, их можно разворачивать и дообучать. И не так это сложно - потому что их создатели рассчитывают на широкого потребителя и на его возможности для обучения. Что-то они сделают сами, а чему-то - дообучат другие. И монополию малого количества лабораторий это тоже может разрушить. Чему они, понятно, будут сопротивляться.

Децентрализованный сценарий в обсуждении подробно раскрыл Николай Верховский. А Петр проблематизировал: почему вы думаете, что ИИ-помощников смогут обучать, если детей и сотрудников обучают плохо. Я тут хочу сказать, что ИИ - он не возражает, когда ему говорят, что он не прав, и готов обучаться. А человек - не всегда. И это - существенная разница.

Вообще, в этом году на конференциях - очень много докладов о разных прикладных применениях ИИ. Но началось это давно. Пару недель назад я делал об этом доклад на ПИР, который был посвящен теме ИИ, в презентации есть ссылки на разные кейсы - я делал репрезентативную подборку. А на самой конференции большинство футурологов пугали будущим, Петр (он тоже выступал) был самым взвешенным из них, а практики рассказывали об использовании, и никого из них будущее с ИИ не пугало. Мой отчет с конспектами части докладов ПИР-2024 (он еще будет дополняться, я пока не успел).

2. Проблемы обучения и исчерпания данных. Общий принцип развития технологий - выбери потенциал того, что есть, потом вкладывайся в обработку. Потому что у исследователей всегда есть, чем заняться. Первые успехи нейронок были без глубокого обучения, потом уперлись в предел - пошло глубокое обучение. Если смотреть детальнее - там несколько этапов со своими остановками и прорывами.

Сейчас уже понятно, что важно не только количество данных для обучения, но и их качество. Я слушал доклад, где автор делился, что добавив к слабенькой, разворачиваемой на собственном кластере китайской one-plane, токенизированную английскую википедию в виде контекста токенов (а это не так много), поучают ответы лучше, чем дает ChatGPT. Вообще версии ChatGPT дают некоторый эталон для сравнения, относительно объективный. И сравнивать ответы разных ИИ при оценке тестов может в автоматическом режиме другой ИИ, например, тот же ChatGPT. То есть получается, что можно экспериментировать и совершенствовать.

Просто загнать большой массив всего подряд для обучения - проще, чем разбираться. Но можно же и включить мозг, разобраться, приведенный пример показывает, что эффект дают даже очень простые решения. А еще если из GPT собрать простенькую модель нескольких агентов в разных позициях, то процент решения задач на некоторых тестах повышается кратно, у Петра эти примеры были.

Так что по обучению - масса резерва в нынешних технологиях, даже если не рассчитывать на новые методы - а они будут. Например, встройка механизмы рассуждений при решении задач.

Про сложность задач и чрезмерные обобщения со стороны ИИ, использование противоречий - решается постановкой ИИ в разные позиции. Ты в роли содержательного модератора. А до содержательного можно на скрипте прокрутить автоматического: выдай список позиций, кого затрагивает (или сторонников и противников), встань в каждую и выдай аргументы, попробуй найти решение win-win через синтез позиций. ИИ по умолчанию толерантен и оценивает позитивно, но если явно сказать "укажи недостатки и проблемы", например, при оценке кандидата или по работе человека - он это делает.

3. Про объяснения скажу отдельно. GPT умеет объяснять свой ответ. Это обяснение не имеет отношения к тому, что происходит у него внутри, он строит обоснование от готового ответа. Но множество людей поступают так же, и это не служит проблемой, чтобы работать с ними. Потому что человек не умеет иначе. Так что тут проблема надумана. И сильно связана с социальной проблемой вины и ответственности.

4. Социальные проблемы. Это - проблемы людей, а не технологий, общественного устройства. В законе и учебниках написано "компания имеет целью извлечение прибыли". Это люди заложили в оптимизатор цен, получили эффект взлета цен в некоторых ситуациях. И сваливают информацию на ИИ, как на безответственного. Или на программистов. А программисты - не при чем, вы им скажите, как должно вести себя ценообразование в таких ситуациях, они этоо заложат. Сказать должны люди, в виде владельцев компаний или регуляторов. А для этого - договориться. И личные данные, собранные в facebook, для таргетирвоанной пропаганды собрали и использовали конкретные люди, а не абстрактный ИИ. Ну и разберитесь с ними. Может, законы этого и не позволяют, но в Европе и Штатах у всех профессий есть этический кодекс - можно на этом уровне работать, если есть общее мнение, что тут нарушена приватность.

Но пока в информационном поле проблема таким образом не звучит, а звучит другая - запретить. Потому как ИИ, как всякая технология, меняет СРТ, а есть люди, которые от сложившейся СРТ получают понятный доход. Например, прибыли. И они приложили немало усилий, чтобы свой доход оградить, не допустить перепроизводства юристов, которая бы привела к конкуренции и снижению цены. Смысл сертификации - в этом, а не в реальной проверке знаний. Ситуация, знакомая по человеческому обществу. Вон, в Испании: по ряду достопримечательностей проводить экскурсии имеют право только сертифицированные гиды, среди которых русскоговорящих почти нет. При этом сертификационный экзамен уже 10 лет (историй 10 лет назад, могло измениться) просто не проводят, говоря, что гидов и так достаточно. Как результат - с экскурсией формально идет испанский гид, а русский как бы переводит, дальше там по-разному бывает, иногда испанец рассказывает интересное, и иногда просто молчит, потому как русский и так все знает.

На этом про лекцию Петра все. Но после перерыва была лекция Николая Верховского об его практике работы с ИИ для корпораций.

Сначала слайды про ситуацию

• В последние десятки лет (с 1975) производительность в среднем стоит на месте - то происходит в конце волны революции: все все оптимизировали, и неясно что делать. Это - объективно.
• LLM успешно решают инженерные задачи. На слайде - решение с 3 попыток, диапазон от 0.4 у avg candidates до 1 у top-candidates людей, и большинство LLM в этом диапазоне, а последние версии приближаются к 1.

Дальше схемы.

• Горизонтальное и вертикальное разделение труда, вертикальное - включает знания. Тот пакет технологий, который связан с машинизации в мД и частично МК - повышал горизонтальное разделение труда. А сейчас стоит задача повышения вертикальной СРТ, накопление, освоение и использование знаний.
• Деятельностное знание - поверх продуктивного действия: Замысел - Реализация. И там знания: управляющая часть действия и исполнительная. Деятельностное знание содержит много не отрефлектированных компонентов.
• Круговорот Замысел - Знание - Исполнение - Знание. У стрелок движения по схеме есть время, стоимость, усилия, производительность. Производительность можно применять не только для горизонтальной, но и для вертикальной СРТ. И производительность вертикальной СРТ определяет производительность горизонтальной.
• Bottleneck. Чаще всего оно завязано не на операционную деятельность, а завязано на мыслительную деятельность, которую не может своевременно выполнить некоторый человек, выполняет ее урывками и некачественно по разным причинам.

Есть известное деление на явное и неявное знание. Николай предлагает иное

• Есть знания статические - они записаны в библиотеки.
• Есть знания динамические - надо создавать каждый раз, когда начинаете действие.

Пример - построение маршрута в такси до эры навигаторов.

Я тут хочу отметить, что это все-таки другое деление, чем явные и неявные, я темой знаний в свое время достаточно плотно интересовался. Все-таки, знания - про долгое. И если мы говорим про случай такси, то у водителя есть неявная процедура, как в подобной ситуации оценивать маршрут. То есть к неявному знанию относится процедура создания ситуативного, динамического знания. А бывает еще неявное знание в статической форме, как опыт мастера. Собственно, само понятие неявных знаний появилось, когда Sony разрабатывало автоматическую тестомешалку, и послало инженеров учиться к лучшему повару в Токио, пекущему вкусные булочки. Тот не скрывал умение, учил учеников, но не у всех получалось. И один из инженеров в ходе обучения понял почему: он когда месил тесто не просто его сжимал, а скручивал особым движением, так что внутрь попадали пузырьки воздуха. Но не говорил этого. А на вопрос, почему он так делает, мастер ответил "меня так бабушка научила в детстве, я не знал, что именно это важно".

Тезис Верховского: Каждый, кто стоит на рабочем месте, строит динамические знания. И это умение - критичное.

Пример с металлургического завода РУСАЛ. Инженер смотрит на процесс горения глинозема, и определяет по характеру горения достройку параметров печи. То же самое можно сделать через анализ, и это делают, но анализ выполняется час-полтора, и на этой задержке теряется 9930 тонн в год. Они делали проект по перекладке этой работы на машины. Камера с нейросетью, матмодель, которая берет это вместе с составом материала и другими данными, и дает рекомендации. Человек из цепочки не выпадает, он принимает решение. Финальную ответственность они положить на машину не рискнули. Но человеку теперь не надо так много смотреть, наблюдая за характером горения, а это конкретный бонус для здоровья. Эта ситуация не только для конкретного участка завода, она повсеместна. Производительность умственного труда - важна.

Они разрабатывают метрику для производительности мыслительного труда. Knowledge processing time - время прохождения по циклу Знание - Замысел (решение) - исполнение - знание на схеме.

Еще кейс. Консультанты по продаже сложных технических объектов. Есть всегда один консультант, который может квалифицированно все рассказать. Он 20 лет работал. Но в компании гораздо больше тех, кто продает. И они обращаются к эксперту, тот помогает. Новички не способны организовать действия, пока не будет доступа к носителю знаний. Эксперты обычно bottleneck, и от него зависит производительность компании, и выдать компред без него невозможно. При этом у эксперта нет знания по конкретному случаю, они же разные и не повторяются. Но у него есть способ, которым новое динамическое знание получить в конкретной ситуации. И именно этот способ преобразования знания о ситуации в знание-компред - то, что надо извлечь и перенести на машину.

Это назвали когнитивной функцией или преобразованием знания. И работают над передачей его ИИ. Почему когнитивная функция, а не интеллектуальная операция? Потому что так заказчик меньше пугается, это какая-то психология срабатывает. Получается TaaS - thinking as a service.

Дальше были схемы, как идут эти преобразования, одна - поверх схемы мыследеятельности, другая отдельно.

Ситуация - распространенная и повсеместная, на 45-минутной сессии команда корпораций выписывают 30 кейсов.

Они проводят хакатоны, на которых люди настраивают чат-боты, которые начинают давать подобные рекомендации. Само извлечение знаний - не технология, гарантий нет, но в целом получается успешно. И от компаний есть пожелания не присылать специалистов к ним на хакатон, а поставить у себя такую практику, над этим тоже работают.

В конкретном кейсе по продаже паркета, когда чат-бот научили оценивать стоимость сразу в торговом зале, продажи возросли кратно. Это, в ряде случаев, получается ключевая компетенция, которой не обучают, но которую, оказывается, можно переложить на чат-бот.

Операция, переложенная на алгоритм и закрытая понятным интерфейсом - производительность повышается в разы.

Перекладывание паркета: были продавцы, которые могли в зале оценить стоимость, а были - которые говорили "надо замеры". Сделав систему, они увеличили продажи в разы.

Что стоит за ускорением обращения знаний? Гартнер. 4 типа аналитика по оси hindsight (ретро) - insight - foresight

• Описательная - монитор реального времени
• Диагностическая - что и почему
• Предсказательная - предвещает следующее состояние объекта, выдает предупреждения
• Предписывающая аналитика - говорит как делать, например, как ехать аналитику.

BB умеет решать три типа задач предсказаний: регрессия (подскажи число), классификация, кластеризация. И их достаточно для большинства задач.

И последняя схема - про экономику продукта. У продуктивного действия три модуля.

• модуль употребляющий продукт - в этом отличие продукта от результата, есть некто кто использует и платит ресурсом
• модуль преобразования
• модуль поставки материала и комплектующих

Для преобразователя экономика сойтись - оплата превышает издержки, то есть ты поставляешь ценность. Ценность тут конкретная. Экономия времени и ресурсов тому, кому делаешь продукт.

Сложность взаимодействия. У всех трех позиций картины мира разные, и это приводит к необходимости организовывать обращение знания между этими позициями. И всем трем надо взаимодействовать, согласуя задания, чтобы достичь продуктивности. Было бы значимо сделать единую онтологию, единый стандарт оперирования текстами и формат обращения данных в смысле контроля производства.

Снова схема на мыследеятельности

• мД: цепочка app supp - SCM - ERP - CRM - cust app.
• МК: облака и цифровые агенты
• М: цифровой двойник.

Еще Николай показал интересное преобразование схемы про анализ данных из университета Аахена. Оригинал - классический, внизу - данные, в середине - модели данных и преобразование, наверху - дашборды и графики. Если мы кладем это на схему мыследеятельности, два верхних слоя надо переставить: модели уходят в мышление, а дашборды - в слой коммуникации.

И в заключении - про ChatGPT. Это LLM, генеративный предобученный трансформер. Он в среднем слое, коммуникативная, а не мыслительная, как и говорит Петр. Но это коммуникативная машина нового класса - он не просто передает сообщение, он его преобразует.

Однако сейчас OpenAI делает расширение. Появляются модули мышления, например, для решения математических задач, они наверху, в слое мышления. И LLM может вычленить из разговора задачу, и передать туда. А внизу - деятельностные машины, управляемые командами, например, выгрузка в Excel или презентацию, и когда ты просишь привести результат к такой форме - то идет команда исполнителю. Маршрутизирует это все программа на классическом языке, там может быть работа по правилам, тогда это слой мышления, или жесткий алгоритм, тогда я бы сказал, что это в слое действий. Но это - не важно. Это будет от пользователя скрыто, он может считать, что одна умная машина работает в трех слоях, но реально это несколько агентов на разных парадигмах, каждый - в своем.

И в заключении - схема, где три типа эффектов

• less money - умные машины оптимизируют
• more money - повышение общение с клиентами, рекомендательные системы лояльность и т.п.
• new money - платформы, это про стандарты обращения знания в СРТ. Яндекс-Такси дает знания о маршрутах, а не только связывает водителя с пассажиром, и это тоже меняет СРТ.

На этом все.