Щедровицкий. Может ли машина мыслить. Школа Щедровицкого в Бодруме 2024

Ссылки сюда (1) →

Другие мои материалы по СМД-методологии

Краткие конспекты с цикла лекций «Может ли машина мыслить» Петра Щедровицкого в Бодруме в 2024. Следует отметить, что школа - методологическая, а не предметная, то есть она показывает рассмотрение ИИ методами СМД-методологии, должна показать не только предмет ИИ, но и метод. При этом сам метод явно не вводится, а показывается результат его применения.

Disclaimer. Это моя интерпретация лекций, неполная и дополненная собственными мыслями.

Лекция 1. Может ли машина мыслить

Другие мои материалы по СМД-методологии

Disclaimer. Это моя интерпретация лекций, неполная и дополненная собственными мыслями.

Первая лекция - предметное поле, история создания умных машин и связанных с этим концепций.

• Предыстория - вычислительные машины Паскаля, Лейбница и Бэббиджа.
• История - программы Тьюринга, Мински и Энгельбарта

Из нее я вынес для себя несколько сильных тезисов

• Именно машина и может мыслить, потому то она создает модели, и можно понять, как она действует. А вот может ли мыслить человек и нужно ли ему это - вопрос отдельный. Может, ему из всего мышления достаточно понимания.
• Если посмотреть на создание ИИ, то его создатели быстро и в сокращенном виде повторяют 300-летний путь философовв по поводу мышления, в том числе - повторяя их ошибки.
• В 60-е годы была идея, что создание мыслящих машин позволит нам понять мышление самого человека: заглянуть в машину и понять как она действует гораздо проще, чем заглянуть в голову человека. Сейчас этот пафос утерян. Я думаю, это не корректно, потому что лишь некоторые думали так, а Тьюринг сразу говорил про имитацию, не зависящую внутреннего от устройства. А сейчас ясно, что заглянуть в машину и объяснить тоже не получается: эта задача стоит, но за нее серьез не брались. А еще создают ИИ инженеры и они - прагматики, им решение задач важнее, чем объяснение этого решения. При этом GPT умеет имитировать объяснения примерно так же, как человек их имитирует.

А теперь - краткая интерпретация содержания. Как писал Тьюринг в статье 1950 "Может ли машина мыслить", чтобы размышлять об этом, надо сначала определить, что такое "машина" и что такое "мыслить".

По поводу мышления мнения расходятся

• абстрагирование понятий от чувственных образов
• рассуждение и выводы по правилам на основании посылок
• распознавание и обработка ощущений из внешнего мира
• понимание речи и знаков и поддержание диалога
• выявление закономерностей и прогнозирования будущего
• осознавать себя мыслящим, интроспекция - наблюдение феноменов своего сознания
• решение задач и проблем
• адекватные ответы в диалоге, понимание текстов и генерация осмысленных текстов
• вычисления и преобразование формыл
• адаптация и перестройка себя в новой ситуации
• ассоциации между разными объектами
• действие в ситуации, планирование и организация действия своего и других
• и так далее

Я бы заметил, то такое множество определений совершенно логично для гуманитарных наук, а вне науки люди часто определениями на заморачиваются. А с точки зрения современных инженеров терминология может быть любой, важно договориться о ней, и эта договоренность ситуативна, она ограничена рамками задачи и целями деятельности, а концепт стройного и логичного здания определений - из прошлого.

В любом случае, когда мы смотрим на историю или на концепты, стоит удерживать четыре рамки

• СРТ между машиной и человеком
• Машина - что это такое
• Человек, взаимодействующий с машиной - определяется ли он и как именно?
• Мыследеятельность - представление о процессах, которые должны быть машинизированы.

Сам Тьюринг машину определяет как класс цифровых машин с конечными состояниями. Для них есть математическая абстракция - машина Тьюринга, и понятие вычислимости как возможности алгоритмического решения на машине Тьюринга. На идеях Тьюринга была построена архитектура фон Неймана, которая сохраняется до сих пор. Впрочем, ограничены ли современные реальные компьютеры возможностями машины Тьюринга или вышли за ее рамки - вопрос открытый. А вот сведение мышления к рассуждениям по правилам, то есть исполнению алгоритмов - часть давней философской традиции.

Я тут замечу, что внутреннее устройство такой машины сильно отличается от нейрофизиологического устройства мозга, потому что в мозгу нет процессора, мозг, в этих терминах, собран на ячейках активной памяти, которая является вычислителем и хранителем информации одновременно. Так что наблюдение, в общем случае, покажет, как мыслит машина, а человек может мыслить совершенно иначе.

А мышление Тьюринг НЕ определял, он подошел следующим образом: человек может мыслить по определению, проявлением этого мышления является разговор, и если машина сможет поддерживать разговор так, чтобы ее от человека нельзя было отличить, то значит она - мыслит, как бы не отличались при этом ее внутреннее устройство от устройства человека.

Это - пунктиром, дальше есть подробности.

• Умение говорить устно и понимать устную речь Тьюринга не интересовало, он ограничился письменными сообщениями
• Он задал сложное целеполагание в разговоре, который должна обеспечивать машина: она должна вводить собеседника в заблуждение, обманывать
• В рамках однократного эксперимента человек не определяет, машина с ним говорит, или другой человек, там игра в угадайку, в которой надо угадать ролевые позиции мужчины и женщины, при том, что мужчина стремиться не дать угадать, а женщина - помочь дать правильный ответ. И дальше мы смотрим статистику угадываний: если она совпадет для случаев, когда за мужчину играет машина и когда за мужчину играет реальный мужчина, значит машина успешно имитирует мужчину.

При этом Тьюринг в своей статье пишет, что такие машины точно могут быть созданы, и разбирает возражения. Петр на них не останавливался, но, в общем, многие из них с тех пор не изменились, регулярно возникают, и их опровержения выдвинувших не особо интересует.

Замечу, что есть отдельный любопытный вопрос про характер эксперимента: почему мужчина вводит в заблуждение, а женщина помогает и почему машина заменяет мужчину, а не женщину. Это уже из области психологии самого Тьюринга. И из области ИИ - насколько другие варианты сложнее или проще. Тест Тьюринга GPT-3 прошел.

Что касается самих машин, то можно выделить ряд направлений.

1. Действовательные
2. Разговорные
3. Восприятия - структурирование входного потока
4. Прогностические и аналитические
5. Базы знаний с онтологиями и библиотеками знания
6. Библиотека инструментов, которые поддерживают мышление человека

Тест Тьюринга ориентирован на разговорные машины, но ими он не занимался. Он работал над машинами, играющими в игры, как развитие своей основной работы над вычислительными алгоритмами - в этой классификации они относятся к деятельностным. В целом концепт мышления как рассуждение по правилам лег в основу экспертных систем.

Еще в статье есть важный тезис о том, что воспроизвести мышление взрослого с помощью программы - сложно, что надо начинать с того, что воспроизвести мышление ребенка, включая его способность к обучению - и тогда мы далее сможем научить уже мышлению взрослого так же, как учим человека.

И это приводит нас ко второму имени - Марвин Мински (или Минский).

У Мински. по факту было три разных программы.

• Концепт нейронных сетей как моделей действия мозга, восприятия информации и прогнозов, на основе perceptros (1969)
• Фреймы для представления знаний, основа базы знаний с онтологиями 1974
• The Society of Mind 1986 - ум может быть понят как совокупность множества процессов, совместной работы специальных агентов

По каждому из направлений был значительный вклад, эти идеи легли в основу дальнейшего развития.

Мински рассматривал 5 процессов

1. Восприятие - видеть и интерпретировать мир
2. распознавание образов
3. Обучение
4. Понимание естественного языка
5. Решение проблем.

Концепт нейронных сетей - это попытка сделать имитацию мышления на основе имитации простейшего элемента - нейрона, который мыслился как аналог реального нейрона. Ячейка работает как весовой сумматор входов с пороговым сигналом на выходе, и есть механизм обратной связи, пересчитывающий веса с учетом того, насколько ответ верный. Предложен Розенблатом. Мински и Папперт исследуют, быстро получили вывод, что решаются только линейно-разделяемые задачи, это уменьшило интерес. Следующий такт развития - дополнительные веса как маски-фильтры, затем сверточные нейронные сети. Современные нейронные сети, включая GPT вышли из этого

Фреймы.

• Мозг организует знания в структуры для интерпретации мира.
• Распознавание ситуации и действия - много сложнее, чем обмен фразами или ходы в игре.
• Наличие шаблонов сокращает обучение на данных.
• Любая машинная модель, отражающая сложность реального мира строится на наборе фреймов из типоых, близких ситуаций.
• У фреймов - слоты для заполнения конкретной информацией.
• Это аналог врожденных идей философии или врожденные схематизмы Пиаже.
• Машина не учится, фреймы задаются разработчиками. Это дает компактность и экономия времени на обучение. Но это и ограничение на конструкцию.

Фреймы стали основой для экспертных систем. Кроме того, они используются в семантических сетях и технологиях поиска и опознания информации, например, чтобы понимать, что ищут про фильм, а не город, и что это - разное. Сейчас в ИИ используют для работы с физическим миром, учета контекста (Siri, Google Assistant), интеграция знаний, включение в обучение как типичных ситуаций.

Отметим, что фреймы не обязательны для разговорных машин: задача разговорных машин - имитировать общение, а не организовывать знания.

По замаху фреймы - типизация ситуаций. Но реализация ограничилась шаблонами. Вопрос как формировать фреймы - за пределами. Нейронные системы и фреймы не были собраны в единую систему с обучением. Поэтому фреймы успешны, где есть эксперты. Но провалились там, где нет структур и высокая динамика.

Отмечу, что сейчас уже не так, конструкции фреймов умеют выявлять и собирать с помощью нейронных сетей, обработкой источников. Правда, надо задать метапредставление. Но тут тоже можно обобщать.

И, наконец, третья тема - мышление как взаимодействие агентов. Книга Машина эмоций. Идея, что машина будет способна на распознавание образов и решение других задач не потому, что мы их запрограммируем, а потому что мы ее архитектурно сделаем способной к обучению. При этом самосознание - это лишь переключение режима сознания.

Мышление - не только работа мозга. Интеллект может быть создан взаимодействием неразумных частей - построение из мелких частей. Ментальный агент делает простую вещь, которая не нуждается ни в уме, ни в мышлении, а в совокупности - мыслит. Иерархические и гетерархические связи. И тезис об обязательности ошибок для работы интеллекта - как стимула реорганизации и обучения.

Эмоции - внутренний язык общения между агентами. Чтобы переключать ментальные состояния, режимы работы между контекстами. При моделировании интеллекта концентрация на сложных - тупик, начинать надо с простого, 3-летнего ребенка, тут он в 1986 повторяет мысль Тьюринга 1950. Ребенок связывает посылки и следствиями не связанные формально, а ребенок - нет.

Таким образом, Тьюринг сформулировал теоретические предпосылки, по которым машина может мыслить или имитировать мышление неотличимо от человека, а Мински работал над способами воплощения мышления в материале.

Есть известная критика Серла - эксперимент Китайской комнаты. Пусть есть комната, в которой заперт человек, общающийся с внешним миром путем передачи сообщений, и пусть человек понимает только английский, но у него есть множество инструкций о том как оперировать и иероглифами, так что те, кто передают ему сообщения, получают осмысленные ответы, и могут решить, что он знает китайский. Но мы-то знаем, что он китайского не знает, что это имитация. Серл говорит, что такой человек - аналог машины, и этот мысленный эксперимент показывает, что реально машина мыслить не может.

Я лично считаю, что этот эксперимент ничего не показывает. Потому что мышление возникает на другом системном уровне, нежели исполнения инструкций. В клетке происходят физические и химические реакции, но жизнь - атрибут клетки в целом. Так и тут. Комната, наполненная инструкциями вместе с исполняющим их человеком знает китайский. Потому что его знали те, кто эти инструкции писал, и они передали это знание не в форме научения человека, а вот в такой форме. Нет проблемы. Ну, если кому-то очень приятно считать это симуляцией мышления, то для практических целей достаточно.

Кстати, в этом мысленном эксперименте, вероятно, есть провал - я думаю, что написать инструкции, которые бы человек исполнил за разумное время - невозможно. А если возможно - то интересно будет посмотреть. Впрочем, программа Элиза (1966), по нынешним меркам, не слишком сложная, приемлемо эмулировала психотерапевта. Может, закодировать в инструкциях ее аналог, общающийся в иероглифах, и не так сложно.

А еще это касается и вариантов мышления. Некоторые считают, что важным атрибутом мышления является способность строить абстракции и оперировать ими. Нейронные сети типа GPT это не умеют, они работают иначе. Но и не все люди это умеют, есть нарративное мышление текстами, и оно достаточно для практической деятельности, включая сдачу экзаменов в школе и институте и успешную работу в ряде позиций. Нет проблемы.

Итого, мы имеем три парадигмы программирования интеллекта

• логическое, символьное и правила вывода - Тьюринг
• коннекционистское - нейронные сети и обучение на данных для коррекции связей в графах
• эволюционное программирование - мутации и рекомбинация, отбор векторов данных. Холланд.

По эволюционному программированию деталей не было, я тут немного дополню Идея - мы в рамках некоторой задачи произвольно кидаем начальное приближение, а потом запускаем алгоритм мутаций и отбора. Например, надо придумать спецпроцессор для распознавания каких-то сигналов, например, букв. За основу мы берем какой-нибудь процессор, способный программно конфигурироваться, и несколько раз кидаем на него произвольный набор элементов случайным образом. Прогоняем тестовый набор, оцениваем результат, в некоторых случаях чисто статистически будет верный ответ. Дальше устраиваем мутации: некоторые элементы перестраиваются, остальное сохраняется. И сравниваем работу мутировавших вариантов друг с другом, лучший служит основой для следующего поколения. Процесс повторяется, пока результат не будет удовлетворять заданным критериям качества.

Это функционально сильно похоже на нейронные сети, но конструктивно устроено иначе. Можно использовать совместно, или для обучения нейронных сетей, а также для частных задач.

Третья программа - Энгельбарта принципиально отличается от Тьюринга и Мински. Если они работали над созданием ИИ, то Энгельбарт работал над тем, чтобы машина стала помощником человека в решении интеллектуальных задач, усилила его способности.

Он вводит понятие аугментации - усиление и расширение интеллекта с помощью технологий. Структура деятельности человека делится на 4 уровня.

• физические структуры
• ментальные структуры - работа сознания с данными
• концептуальные структуры - обработка информации и идей, формирование согласованных с другими людьми концепций
• символические (знаниевые) структуры - передача смыслов через символы и знаки, взаимодействие с компьютерами

Мышление символами, коллективно и социально-обусловлено. Коллективный IQ. И компьютеры поддерживают человека, обеспечивают координацию. И в результате мы имеем самоподдерживающуюся эволюцию человеко-машинной совместно развивающейся системы. В системе он выделяет человеческие процессы, процессы артефактов (машин), интерфейс человек-артефакт и обмен энергией.

Наращивание инструментов позволяет эффективно решать задачи - дает возможность ставить новые задачи. И выделялось три уровня: бизнес, улучшение процессов (инструментов), улучшение способов улучшения (разработки инструментов). Важно, что инструменты для пользователей - применяются самими разработчиками, и это дает петлю улучшений. Обязательный обмен результатами - идея сообществ. Уверенность, что языки будут настолько близки к естественным, что начнут программировать.

И в этом направлении он создал очень многое: компьютерную мышь, прототип GUI, множественные окна телеконференции, гипертекст и гипермедиа, редактирование между файлами, управление версиями документов, контекстная справка, единый набор команд, автоформат, командный язык с грамматикой, протоколы виртуальных терминалов, интернет.

В 1968 на большом мероприятии была презентация на 1000 человек: видеоконференция, гипертекст, мышь, сетевое взаимодействие, работа с текстом и GUI. При этом зрители в реальном времени наблюдали совместную работу нескольких человек, находящихся в разных точках на расстоянии 30 км, вместе с удаленным общением между ними. Это был результат работы 10 лет команды около 1000 человек, которая готовила элементы решений. Сейчас все это - норма, а тогда этап презентация задала некоторый ориентир светлого будущего.

Что важно, коммерческие продукты для этого светлого будущего были созданы не Энгельбартом, хотя его ученики в некоторых принимали участие, многое сделал Xerox. Почему не получилось? Алан Кей объясняет это через метафору "скрипка Энгельбарта" - завышенные требования к пользователю. Фреймворк - только для knowledge worker, он требовал слишком большого мастерства.

• универсализм вместо гибкости, не было адаптации под конкретных группах
• ставка на усложнение систем вместо упрощения
• попытка вовлечь пользователей в разработку, навязать роль
• высокий уровень навыков
• путаница между разработчиками и пользователями - слишком сложно для повседневности, разработчики не понимали пользователей
• внешний заказ подменили самозаказом - и финансирование прекратилось.

По сути делали инженеры для инженеров, требуя, чтобы все пользователи подтянулись до их уровня. То есть инженеры результатами пользовались, а для пользователей было слишком сложно.

Сам Петр формулирует другие причины

• не сложилась рабочая онтология в силу отсутствия объемлющей
• был вне СРТ, не понимал ее и экономику
• технологизация работы со знаниями - горизонтальная, а не вертикальная

В заключении лекции была схема мыследеятельности. Тезис Петра следующий: эта схема - не только обобщение 25 лет работы ММК, но и обобщение 350 лет развития философии мысли, начиная от метода Декарта. Разные философы рассматривали различные аспекты, а схема собрала их воедино.

• Декарт - Cogito (не мышление, рефлексия)
• Локк - understanding - понимание
• Витгенштейн - коммуникация
• Кондильяк - деятельность
• Бриджмен - мыслительная деятельность

Схема задает три важных принципа

1. Культурно-исторического, интерсубъективного существования интеллектуальных процессов
2. Разграничение между психикой индивидуума и интеллектуальными мыследеятельностными процессами, мышлением
3. Отделяет 5 процессов: мыследеяствование, рефлексия, коммуникация, понимание, чистое мышление (его Петр сейчас делит на два)

Если через нее взглянуть на программы, то видно следующее

• Энгельбарт говорил о мыследеятельности, но не смог поделить на модули
• Мински - проскочил вопрос онтологии, начал экспериментально действовать
• Тьюринг - завершил традицию логического мышления

А еще надо отметить, что все программы - исследование действием, на госденьги и гранты, а не решение практических задач. Среди них не было предпринимателей.

Петр предложил подумать над позиционированием этих работ на схеме мыследеятельности.

Мое мнение таково. Энгельбарт, создает поддержку для всех трех слоев. Это технологизация рутинной работы, обеспечение средств коммуникации и создания артефактов для коммуникации, поддержка мышления за счет экстериоризации памяти и создания коллективного хранения для него. И, наверное, с точки зрения этой схемы он действительно работал, смешивая различные уровни в какие-то комплексные решения. Но если оценка Алана Кея, что это было решение инженеров, сделанное для инженеров, верна, то проблема не в том, что он перемешивал разные уровни по схеме мыследеятельности, а в том, что он не думал о потребности людей в простых решениях. Ну или знал о такой потребности, но хотел, заставить их освоить сложное для их же блага. Это, в общем, вне схемы: она отражает мыследеятельность любой сложности.

Что касается Тьюринга и Мински, то они работали над созданием такой умной машины, которая бы могла занять место агента на схеме мыследеятельности. При этом основной фокус был в создании у этого агента уровня чистого мышления. Ведь чистое мышление, оперирование абстрактными объектами, выполняется с помощью какого-то материала, например, на нейронах человеческого мозга. У Тьюринга тут были теоретические заходы в части формулировки критерия для первого успеха через имитацию и идея обучения вместо моделирования мышления взрослого. А у Мински - несколько разных заходов на механизмы, которые позволят реализовать табло сознания для агента. В общем, успешных. Попутно они занимались и другими уровнями, и нейронные сети в качестве инструментов могут решать задачи других уровней.

Вообще частные задачи - любопытный вопрос. Например, нейронная сеть, обученная подирать режимы работы коксохимического конвертера, исходя из фотографий руды - она мыслит или нет. Ответ тут зависит от определения мышления, но при любом определении ответ будет одинаков для него и для технолога, который эти параметры выставляет, опираясь на свой опыт. Или вот нейронная сеть, обученная проектировать зубные коронки по трехмерным слепком, и замещающая зубных техников, которые сейчас делают в сложном специализированном софте трехмерного проектирования - она мыслит или нет? Там при создании такой нейронной сети обучили другую сеть оценивать результаты проекта, и заодно выяснили, насколько успешно сами техники делают свою работу. Оценивает он не хуже человека.

А вообще смотреть на любую деятельность или любой другой объект через схему имеет смысл в двух случаях: (а) если деятельность изначально организована в соответствии со схемой и (б) если мы хотим получить анализ деятельности в терминах этой схемы, сопоставить какие-то аспекты у разных экземпляров. И в случае (б) надо быть готовым к тому, что в деятельности разные элементы схемы будут причудливым образом перепутаны и склеены, потому что у тех, кто реализовывал эту деятельность она представлена иначе, или вообще деятельность складывалась исторически. ИТшники поймут аналогию: есть красивая трехуровневая модель интерфейс - бизнес-логика - хранение. Если софт писали сторонники этой схемы, то вся бизнес-логика будет на сервере приложений. А если нет, то бизнес-логика будет сложно размазана между интерфейсами, сервером приложений и базой данных, и целостности не будет.

На этом я, пожалуй, закончу про первый день.

Лекция 2. Что такое машина

Другие мои материалы по СМД-методологии

Disclaimer. Это моя интерпретация лекций, неполная и дополненная собственными мыслями.

Вторая лекция была посвящена истории использования машин для усиления человека и его замены в части физического труда, от древности до 19 века. Об умных машинах речи практически не шло, кроме первых вычислителей, тема затрагивалась косвенно.

Я вынес из нее 4 тезиса.

1. Декарт и Ламетри сделали онтологический (или мировоззренческий, в общем, сменили mindset) переход, представив человека как сложную машину. При этом Декарт сохранил не-машинную часть в виде мышления и души, а Ламетри от нее отказался. Петр говорит, что повлияли тут успехи медицины, они были медиками, вскрывали трупы, разбирали скелет и мышцы и видели там физическую систему.

Я с этим не согласен, Микеланджело тоже вскрывал трупы, чтобы разобраться с анатомией, и он был не один, механика скелета и мышц человеческого тела была вполне понятно, но никто и не думал сравнивать человека с машиной. Наоборот, механизмы уподобляли человеку, о чем Петр сам говорил в этой лекции, рассказывая про Альберти. Я думаю, что дело именно в смене мировоззрения, зачатки идеологии Просвещения, отрицания божественного и верой в науку. Хотя какие-то успехи науки и давали дополнительные основания для такой идеи. Но это точно не само развитие самих машин, эпоха - позднее.

2. Идея организации или более крупных организованностей как мегамашины. Петр говорит, что она появилась примерно тогда же, в конце 18 века, но ссылается на Льюиса Мамфорда, а это 1967 "The Myth of the Machine". Понятно, что не он первый это придумал, и все помнят фильм Чаплина "Новые времена", где эта идея обыграна художественно. Но мне кажется, что это идея 20 века, возникшая после конвейера Форда. Впрочем, тут могу ошибаться, и, по большому счету, это не важно.

Мамфорд же ретроспективно распространил это назад. Выделив, например, машину создания пирамид в Древнем Египте. Еще звучали машины создания продовольствия в Месопотамии, Франции и современная - их можно сравнивать. Только важно, что это именно ретроспективное выделение, и люди, которые создавали эти организационные системы не думали о них как о машинах. Они думали, что им надо построить пирамиду и организовывали это. Как позднее, в Средневековье, организовывали строительство соборов, замков или крепостей.

Только Вобан в 17 веке подходит к организации строительства технологично, рассчитывая нормы производительности труда для операций, например, рытья и перевозки земли, и далее переходя к количеству рабочих, их квалификации и срокам выполнения, а также стоимости. А потом этот проект зависает, потому что интенданты из экономии (или коррупции) нанимают плохих подрядчиков, которые берут дешевых рабочих, которые не выполняют своевременно. Петр цитировал письма Вобана по этому поводу - история вполне современная. Но и он не мыслил это как создание машины.

3. Машинизация как участие машины в организации, занятие ей позиций, а вовсе не замена человека или усиление его, как многие полагают. Этот тезис, естественно, требует предыдущего - рассмотрения организации как машины. Обычные машины занимают места физического труда, а умные будут занимать места интеллектуального труда.

Отмечу, что этот тезис можно выразить без пафоса концепции мегамашины, на языке системного подхода: изменение типов систем, входящих в надсистему, принципиально изменяет конструкцию надсистемы.

Важно, что машины не просто занимают позиции, а что система разделения труда реструктурируется и изменяется с учетом наличия машин в ходе промышленной революции. Фабрика Аркрайта принципиально отличается от мануфактурно-ремесленного производства не только сбором его в одном месте и приводом от парового двигателя, но и организацией синхронизированных технологических цепочек, что порождает позиции менеджера и технолога, которые за это отвечают. А типовое производство одинакового продукта требует выделить дизайнера как отдельную позицию - в мелком производстве отдельной позиции не требовалось. И так далее.

Интересно, что это изменение СРТ не отражено в энциклопедии Дидро и Даламбера, они фокусируются на ремесленном и мануфактурном производстве. Петр говорит, то объясняется взглядами Дидро. И Адам Смит тоже не показывает это изменение СРТ в своей книге, хотя это прямо касается его темы. Петр считает, что Алам Смит в целом не очень понимал про разделение труда, он излагал идеи, услышанные от Тюрго. Тот как раз хорошо понимал, он создал несколько отраслей во Франции. Но это было сделано на уходящих принципах мануфактурного производства.

Так вот, такие же изменения произойдут с интеллектуальным трудом с приходом ИИ, но пока мы не знаем как. Пока идет мануфактуризация - это процесс при котором целостная работа ремесленника по изготовлению изделия разделялась на операции, и часть операций отдавалась низкоквалифицированным рабочим, работающим за малую оплату. Рабочий, умеющий точить и закаливать булавки получал 5 шиллингов в день, а крутящий колесо - 6 пенсов, в 10 раз меньше - прямая выгода.

Это было с физическим трудом, а сейчас это произойдет с интеллектуальным. Местами уже произошло - калькуляторы, а до этого арифмометры вынесли вычисления из области интеллектуального труда, там осталось лишь составление формул вычислений, сводивших их к простым операциям. И началось это еще в 19 веке. Де Прони вел расчеты логарифмических таблиц, разделив расчетчиков на три группы: первая группа, математики - формулируют задачу, вторые - переводят ее в простые операции, третьи - ведут расчеты на бумажных листах, им достаточно уметь складывать и вычитать. Используется разработанный метод разности. Идея Бэббиджа - заменить третий класс на машину, так как там просто сложение и вычитание, отсюда название - разностная машина.

А дальше - следующий шаг. Разностная машина умела только складывать и вычитать. А Бэббиджу были нужны сложные вычисления. Он был консультантом, который оптимизировал производство. Там важно было спроектировать систему операций, посчитать производительность и экономику, чтобы выбрать из разных вариантов. Это большой объем вычислений.

Его аналитическая машина должна была уметь выполнять программы на перфокартах, принцип перфокарт позаимствован у Жаккарда, который так программировал ткацкий станок. Архитектура - вполне фон Неймана: память, процессор с регистрами и управляющим устройствам, ввод с перфокарт, вывод на печать и перфокарты для повторного использования. Команды - операции и перемещение между памятью и регистрами. Перфокарты с программой и данными. Но - финансирование найти не получилось, проект не был реализован.

В работах Бэббиджа над аналитической машиной участвовала Ада Лавлейс, она же издала работы Бэббиджа, в комментариях к которым привела как иллюстрацию программу расчета чисел Бернулли - первую в мире программу. И замечательное визионерское видение будущего, в котором на машину можно переложить любые интеллектуальные операции, если написать соответствующую программу, включая сочинение музыки.

История Бэббиджа - последняя часть лекции. А до этого - была длинная история различных механических машин, а также осмысления и описания их учеными. Тут получается забавная конструкция: практики создают машины, а ученые их изучают, собирают описания различных машин, им на это выделяют гранты, говоря современным языком. А сами машины не особо создают. Машины в виде водяных мельниц известны с глубокой древности, и уже в 1 веке Герон Александрийский описал простейшие машины и их комбинации. Впрочем, следующий атлас машин был в 13 веке, в альбоме Вилара де Оннекура, так что я склонен видеть тут еще одно подтверждение теории Фоменко о растянутой истории. Но не будем отвлекаться.

Эта история, на мой взгляд, можно свести к одному тезису: 4. Для конструирования машин следует перейти от модульного описания их устройства к функциональному их функций в надсистеме, ну и в описании устройства тоже работать с функциональным описанием, а не только с модульным. Это - моя формулировка на языке системного подхода, у Петра этот тезис явно сформулирован не был. Пример функционального описания устройства - это описание колеса у Альберти (15 век) из обода, который является внешней поверхностью, а не отдельной деталью, оси и втулки, которая между ними, и для функциональных частей приводятся материалы, а также рекомендации по изготовлению. А функциональное описание назначение появляется, когда мы формулируем, что машины предназначены для передачи движения, рассматриваем движение на входе и выходе и учим рассчитывать их передачу. При этом источником вращательного движения могут быть различные двигатели - ветер, вода, животные, и исполнительные механизмы, на которые движение передается - тоже различны и требовать разных типов движений - вращение, удары и так далее.

Петр подробно рассматривает историю различных атласов машин, с разными классификациями и учебники по созданию машин, и это - значительная часть лекции. Она любопытна, но, на мой взгляд, не более того. В обсуждении Петр сказал, что в замысле было показать, что процесс машинизации механических машин был сложным и длительным и нет оснований полагать, что с умными машинами будет быстрее.

Я лично считаю, что для этого нет оснований. Мануфактуризация, то есть применение машин для выполнения отдельных операций интеллектуального труда, идет активно. Я об этом слышу много докладов на разных конференциях. При этом позиции, которые заменяются - достаточно хорошо выделены, разделение интеллектуального труда на операции, чтобы можно было задействовать менее квалифицированных исполнителей идет давно. Другое дело, что с людьми для этого нужно достаточное количество этого низкоквалифицированного труда. То есть если работа технического писателя в команде - всего 0.2 ставки, то нанимать отдельного человека не будут, возложат на аналитика. А ChatGPT вполне может эти 0.2 ставки выполнить.

При этом ИИ хорошо приспособлен, чтобы выполнять определенные функциональные действия. Это стандартный прием - в промпте сказать: представь, что ты такой-то профессионал и сделай вот это. И он в целом сделает. Верховский в обсуждении приводил пример, что для человека задание "сделай анализ текста" достаточно, а для ИИ - нет. Тут, конечно, надо погружаться, но если имеется ввиду анализ текста как часть чьей-то нормированной профессиональной деятельности, то достаточно ИИ поставить в позицию. Если анализ текста - какая-то сложившаяся вв конкретной компании практика - то да, надо рассказать подробнее, но это надо рассказывать и любому новичку, который приходит на эту позицию. Может, конечно, быть ситуация, когда руководитель считает, что "анализ текста" это "сделай что мне нужно", при этом не умеет объяснить - что именно, и он просто менял исполнителей, пока очередной случайно не угадает, что ему нужно. Тогда да, печалька, ChatGPT (или GigaChat) поменять нельзя, и им надо объяснять.

Да, иногда одного человека меняют на несколько ИИ-агентов, которые по-разному специализированны на уровне промптов. Например, один ведет интервью с руководителем о потребностях в специалисте и описывает проект и вакансию, которую потом публикуют. Второй по откликам кандидатов быстро задает им пару вопросов, персонализированных с учетом их резюме и самой вакансии. Третий - оценивает откликнувшихся кандидатов с учетом резюме и ответов на вопросы, быть может по разным критериям. И топ-3 оправляются руководителю. Это я рассказал конструкцию реального HR-помощника в дочке Газпромнефти, обеспечивающей подбор, он действует уже год, хотя там не полный автомат, люди присматривают - примерно как руководитель за новичками. Или другая конструкция - один пишет текст, еще несколько оценивают его с позиций разных читателей, еще один проверяет ссылки, потом идет задание на исправление, может крутиться несколько итераций, это вообще типовая конструкция.

Теперь про машинизацию. Я пока не понимаю, зачем она в принципе нужна. Возможно, это будет в лекциях дальше, но мне важно сейчас зафиксировать свои мысли.

• Во-первых, для нее нет физических предпосылок. Это станки важно было собрать под одну крышу, рядом с паровым или водяным двигателем. А интеллектуальную работу можно выполнять удаленно и распределенно.
• Во-вторых методы управления интеллектуальной работой достаточно хорошо проработаны в ИТ, и это давно тиражируется на другие отрасли: таск-трекер, доски, предварительные оценки, мониторинг и анализ по метрикам, ретроспективная оценка и совершенствование процессов. Есть печалька с предсказуемостью хода проекта, но она объективно обусловлена характером труда и с этим умеют работать. Понятно, что где-то просто не умеют организовывать, в том числе потому, что работали с материальным производством, или потому, что вообще об этом не думали, но это проблемы конкретных организаций. Не все снимают фильмы столь технологично, как Голливуд, но это не значит, что это невозможно делать технологично.
• В-третьих, в отличие от материального производства не видно мест, где интеллектуальный труд был бы ограничением, где надо было бы наращивать его мощность и ставить на поток. Для материального производства такие места были.

На этом я, пожалуй, закончу конспект. Подробного пересказа истории механических машин не будет. Еще отмечу, что ИИ даст дополнительные перспективы замены человека на уровне действования, например, в роли автопилота для комбайна или грузовика. И будет открывать какие-то новые технологические возможности на этом уровне. Это - понятная ниша, хотя кейсы могут быть неожиданными. Например, Фаберлик создает фото одежды для каталогов, используя ИИ: девушка с подходящей фигурой снимается на смартфон на зеленом фоне в трех ракурсах, а ИИ делает остальное, включая модельное лицо. Это исключает участие фотомодели, фотографа и оборудованной фотостудии, и очень существенно экономит деньги и сроки. СРТ при этом тоже меняется, но локально.

А вот что будет, когда у человека будет персональный ИИ-помощник, и он вместо похода в магазин, поиска в интернете или в каталогах будет просить его подобрать подходящую одежду - вопрос интересный. ИИ-помощники не будут смотреть рекламу. Хотя каталоги им, наверное, смотреть придется. Но дальше какие-то производители могут начать представлять удобные им характеристики одежды вместо фотографий, а они оценят, насколько это соответствует фигуре человека, и, может, даже создадут его фото в этой одежде с помощью той же нейронной сети. Это, кстати, и производители могут делать: ты передаешь свое фото и параметры фигуры, и они делают генерацию. Пока тут есть технические трудности - нейронка не умеет естественно положить складки одежды свободного покроя, поэтому Фаберлику нужна реальная девушка. Но это, думаю, преодолеют, или будут держать фото 3-4 девушек с разной фигурой. Но вот как ИИ-помощник будет выбирать те 5 моделей, которые порекомендует хозяину, и как изменится протокол взаимодействия между ним и ИИ-агентами фабрик, которые будут консультантами по выбору на сайтах этих фабрик - вопрос интересный.

Теперь точно все.

Лекция 3. Системно-типологическое понятие машины

Другие мои материалы по СМД-методологии

Disclaimer. Это моя интерпретация лекций, неполная и дополненная собственными мыслями.

Третья лекция продолжала тему машины, и в ней речь шла о системах передачах данных, машинах для коммуникации. Если механические машины в завершении привели к машине Бэббиджа, то работы над машинами связи привели к понятию информации и созданию кибернетики.

Жесткая проблематизация Петром понятия информации, для которого, по его мнению, при онтологизации Винером был утрачен денотат, то есть нет возможности указать, каким физическим объектам она соответствует и почему - сильный тезис. Но, на мой взгляд, он не требовал столь глубокого погружения в детали технической истории. Петр объяснил, что для позиционирования в будущей СРТ надо представлять весь стек, и он на примере систем связей нам показывал. Что ж, возможно.

Теперь краткое изложение. История началась с флажковой передачи между кораблями, затем были различные семафорные линии, на станцию которой ездил Монте-Кристо у Дюма, чтобы передать ложное сообщение. Французское правительство монополизировало такую передачу для себя, впрочем частные сообщения дозволялись. Но скорость передачи была крайне низкой.

Затем появился гелиограф, передача зеркалами, а затем - телеграф. Как в случае с Бэббиджем, который в своей машине использовал десятичную систему, в опытных вариантах телеграфа пробовали передавать буквы, делали 26 проводов, и это было дорого. Потом начали кодировать, уменьшая число проводов, в Британии на железных дорогах почти весь 19 век работала 5-проводная система.

И, наконец Морзе в 1838 придумал свою кодировку и аппарат. И это в 10 раз ускорило передачу - до 13 слов в минуту.

На мой взгляд, любопытно, чем объясняется столь кривая кодировка с переменным количеством знаков в одном символе, что требует специально делать пробелы между знаками. Потому что в первых вариантах на ключе работал телеграфист, а на приеме аппарат печатал на ленте тире и точки. Но, наверное, какая-то система в этом была. Кстати, пишут, что у Морзе код был более сложный, было длинное тире, а к нынешнему виду его привел Герке в 1848.

К концу 19 века появились аппараты, которые печатали сообщение буквами при приеме, а также аппарат, с помощью которого можно было готовить перфоленту, а затем подготовленные сообщения быстро передавались. Для подготовки несколько человек могли работать одновременно с разными сообщениями.

Телеграфная связь быстро развивалась на суше, появились первые эксперименты по связи под водой, гуттаперчивая изоляция вроде это позволяла. Но первая попытка связать Дувр и Кале потерпела провал - уверенной передачи не было, а кабель быстро оборвали рыбаки. Новый кабель был в оплетке вокруг изоляции из железной проволоки для прочности, и такая оплетка заодно экранировала кабель, перестали появляться помехи, передача заработала, и морские линии начали развиваться. Дальше был проект связи через Атлантику и первая прокладка кабеля потерпела неудачу - физику процесса в деталях не понимали, сигнал затухал и срабатывало индуктивное сопротивление, которое размазывало отдельные символы и они накладывались. Эффект, собственно, проявился еще на первой передаче Дувр-Кале, затем но бронирование экранировало кабель, а для передачи через океан этого было недостаточно. Тут отдельно хочу заметить, что записано все это со слуха, и я не проверял физические детали, так что может быть много неверного.

Для Петра в этой истории важен тезис, что стоило сначала исследовать, а потом - делать, к этому выводу пришла комиссия для расследования первой неудачи. Я на это хочу сказать, что не сильно понятно, как и зачем было исследовать. Потому как рабочие подводные линии к тому времени были и работали. Да, тут эффект расстояния, но теории для объяснения всех этих явлений - не было, то есть нужен был эксперимент - вот его и поставили. Ну, да, можно было не через всю Атлантику, а на половину, но на кабель через Атлантику финансирование нашли, а на эксперимент - точно не нашли бы. В общем, у инженеров есть такая метафора "модель паровоза в натуральную величину". Смысл в том, что для проверки некоторых гипотез на прототипе, надо строить модель объекта в натуральную величину, и ее стоимость получается не сильно меньше стоимости объекта. И в этих случаях надо делать испытания на реальном объекте.

Но идем дальше. После получения результата, то есть передачи сообщений, пошла борьба за скорость передачи. Что потребовало численных моделей. И тут Петр говорит о работах Найквиста, Хартли и Шеннона. Они прорабатывали вопросы искажения сигнала - затухания, интерференции соседних сигналов из-за их расползания с перекрыванием интервалов и так далее. Нужна была какая-то мера пропускной способности линии, чтобы сравнивать разные технические решения. Слова в минуту или символы в минуту не подходили, потому что длина сигналов разных символов у Морзе различна. И в конце концов Шеннон предложил следующее: возьмем минимальную длительность к коде Морзе, которую имеет точка и промежуток между точкой и тире, и назовем передаваемый элемент битом. Тире и пробел между символами занимают три бита (не два - для хорошей различимости). И скорость будем мерить в битах в минуту или в секунду.

Потом, когда информацию начали хранить - то начали использовать тот же принцип измерения. Информация кодировалась двоичным кодом, 8 бит на символ, эту единицу назвали байтом, и меряют ей объем информации. Что тоже, на мой взгляд, логично. Ведь меряют же объемы бумажных библиотек в томах. А у Петра тут претензия, что с информацией ведь связан смысл, а такое измерение этот смысл во внимание не принимают.

И Петр подробно эту линию разбирает. Он показывает, что на схемах Хартли был отправитель и получатель, между которыми был передатчик, линия связи с помехами и приемник. И он в своих статьях говорил как раз о смысле, разбирая, например, смысл словосочетания "красные яблоки": слово яблоки указывает на объект, отсекая другие фрукты и другие объекты, красные - на атрибут цвета и отсекая другие, цвет тут присутствует неявно, а о других атрибутах ничего не говорят. И Хартли проводит рассуждения в терминах сокращения поля вариантов выбора за счет информации. А вот на схемах Шеннона отправителя и получателя нет, он говорит о технической задаче передачи произвольного сообщения, записанного знаками, без искажений, независимо от того, складываются эти знаки в слова, или нет. И тут произошла редукция смысловой задачи передачи смысла, ради которой и был обмен сообщениями, к технической задаче передачи сообщения.

Я тут никакой проблемы не вижу, все логично. Мы имеем дело с разными системными уровнями. На уровне коммуникации отправитель-получатель смысл есть. А когда мы превратили для передачи смысл в текст, последовательность символов, и рассматриваем задачу передачи этого текста, то смысл уже не важен. Тут мы с уровня мыслекоммуникации ужни на уровень мыследействования, человеко-машинную систему доставки сообщений. Но важно, что это другое мыследействие, чем мыследействие в рамках которого два агента вели коммуникацию. Подобно тому, как когда мы проваливаемся от экрана мышления, на котором разворачиваются смыслы, на уровень прохождения сигналов по ансамблям нейронов, то мы тоже ушли на уровень мыследействования, но это - другое мыследействование, физиология тела, находящаяся ниже уровня мыследействования, ради которого мы разворачиваем мысль на экране сознания.

Если мы посмотрим на современные протоколы в ИТ, то там физических и логических уровней стало больше. Например, при коммуникации через соцсеть под уровнем обмена сообщениями лежит http протокол, надстроенный над tcp/ip, а ниже несколько уровней протоколов передачи сигналов по проводам. И на каждом - свои единицы информации, в которых нет содержания более высоких уровней. И свои метрики скорости передачи, пропускной способности, задержек, искажений и так далее. Не вижу тут проблемы.

Любопытно, почему Хартли, обсуждая передачу сообщений в сообществе телеграфистов, говорит о передаче смысла. Вряд ли он не понимал разницу системных уровней. Тем более, что телеграф - он же аналогичен почте, почте без разницы, что в письме, которое она передает, она его вообще в граммах меряет. Может быть, ему просто хотелось обсудить вопросы смысла в этом профессиональном сообществе, может быть, были иные резоны. Не знаю.

После обсуждения связи Петр переходит к Кибернетике Винера. Винер тоже говорил об информации, но уже в содержательном смысле. В общем-то, на мой взгляд, продолжая линию Хартли. Тот говорил про количество выборов, а Винер говорит, что информация снижает энтропию - он говорит о том, что информация помогает сделать правильный выбор.

Понятно, что информацию в этом смысле трудно измерить. Поэтому ее продолжили мерить в битах и байтах, в том, что явно определено нижележащим системным уровнем. Как в ИТ сложность программных систем меряют в килобайтах или строках кода, и есть поправочные коэффициенты для разных языков разработки, и это как-то работает, хотя точность понятна.

А с измерением на уровне смысла - реальная проблема. Поток новостей читают все, но лишь некоторые биржевые трейдеры, правильно интерпретируя, получают прибыль. А другие - принимают решения о каких-то других действиях. Результат действий еще можно как-то померить, хотя тоже способ не очевиден, но фишка в том, что принятие решения основано на накопленной информации. При чем там еще срабатывает синергетический эффект складывания целостной картины. И не не действует закон сохранения, в отличии, например, от энергии: ты послал документ, но у тебя он тоже остался. В общем, когда с этим разберутся - будут мерить иначе. А пока инженерам хватает. Разобраться со смыслами, наверное, полагается философам, но, думаю, это сделают тоже инженеры, которые занимаются ИИ.

Так что денотат для информации при онтологизации Винера не потерян. Мы можем указать физический носитель в виде объектов работающей программы, например, состояний нейронов ИИ или индивидуума в момент принятия решений в активной форме, а также на хранилища, в которых она лежит в пассивной форме в книгах, на дисках, в базах знаний, в облаках, например, в википедии, и так далее. Да, мы можем ее мерить лишь в байтах и килобайтах, или числе параметров модели ИИ, но это не значит, что ее нет.

И да, смысловая информация не аддитивна. Большее число параметров модели нейронной сети вовсе не означает, что сеть умнее, то есть дает лучшие ответы на вопросы. Тут маркетинг, и так уже было. Есть гонка в числе пикселей в матрицах цифровых фото и видео камер. При этом в какой-то момент увеличение числа пикселей реально приводило к ухудшению фотографий, потому что тепловой шум соседних пикселей смазывал изображений, ухудшал качество. Потом с этим научились бороться аппаратными и программными средствами, но и сейчас реальное качество зависит не только от числа пикселей, а от многих причин. включая качество встроенной программной обработки. Но это - сложно, поэтому аргумент для потребителя - число пикселей.

Винер не просто так начал говорить про информацию. Он реально сменил онтологию, предложив рассматривать и людей и животных и организации как информационные системами, управляемые потоками информации и стремящимися к гомеостазу через принцип обратной связи для компенсации воздействия.

Винер предал идеи информации онтологический статус. Это не только явление для функционирования машин и систем машин, но и для понимания жизни и сознания. И таким образом снимался дуализм Декарта. Машины управляют через информацию, которые получают. И люди тоже через информацию, которую получают. Технические, живые и социальные системы работают на передаче сигналов и управления, и обратная связь для гомеостаза. Система стремиться к устойчивости, этот принцип можно примененять к механическим и живым системам. Человека отличает способность к обработки информации, адаптация через обратную связь. Человек и машина могут дополнять, совместная деятельность более эффективно, машины могут вычислять, за человеком - творчество. Энтропия - хаос, получая информацию - уменьшаешь неопределенность, снижаешь энтропию, можешь ее снижать, получая и обрабатывая информацию. Эта кибернетическая картина мира доминирует с 1960-х.

Кибернетика включает следующие компоненты.

• схема прямой и обратной связи
• системно-структурные представления сложных систем
• представление о самоорганизации
• представление об информации как о природной субстанции

Петр здесь вводит типологию механизмов обратной связи, поясняя на примере сливного бачка.

• Нулевая - связи нет, вода всегда течет
• Регулирующая - датчики, логические элементы. клапан выключения по уровню, или несколько, мин-макс
• Многоуровневая - комбинации весов, учетом потоков, расходов
• Самонастраивающая - самокоррекция с учетом опыта, большие запасы по периодам
• Когнитивная - обобщенные модели на основе данных, повторяющиеся паттерны
• Саморегуирующая - программа-оптимизатор, баланс между экономией и производительностью, обеспечивая оптимальный результат

Петр говорит, что опыт показал, что символьно-логические системы (экспертный вывод) хорошо работают в нижней части, до многоуровневой обратной связи включительно. А коннекционистское программирование (нейронные сети) - начиная с многоуровневой обратной связи и выше, через обучение по данным и опыту.

Я хочу отметить, что если опираться на текущий опыт развития ИИ это может быть справедливым, а вот опыт человечества говорит иное. Потому что коннекционистская парадигма - это обработка индивидуумом своего опыта и совершенствование мастерства. Как подмастерье в средневековье, которых за десять лет становился мастером. И опыт показал, что есть более эффективный способ - обобщить опыт мастеров, создать теорию, написать учебник и по нему обучать. А это - символьно-логический способ.

А еще отмечу, что принципиальная ошибка Винера - тезис о стремлении систем к гомеостазу. Гомеостаз - частный случай, а в общем системы входят как составные части в другие системы, это можно рассматривать на разных системных уровнях, интересы которых часто не совпадают, и как раз ситуативная выработка поведения с учетом противоречий - двигатель эволюции.

И тут надо подробнее рассмотреть вопрос, что значит "сделать правильный выбор?", который помогает информация. Любая живая система ведет некоторое сценарное планирование, разной глубины, иногда на один шаг "что сделать в моменте", это неважно. Цель в нем как раз определяется ситуационным балансом между интересами системных уровней, вплоть до "поесть или поспать" физиологически. Но дальше надо предсказывать, как поведет окружение, а для этого - иметь модель, в которую как раз поступает информация, и перестраивает ее, приводя в адекватное состояние. До млекопитающих эволюция модели шла по длинному циклу через генетический код, млекопитающие перешли к передаче через обучение. И есть описание процесса эволюции в виде принципа свободной энергии Фристона. Он количественно описывает утверждение Винера про информацию, снижающую неопределенность. Это описание в виде уравнений, аналогичных термодинамическим. В уравнении - мера информации, но там измерение устроено по результату, как оценка ошибочных предсказаний. Разобраться с принципом свободной энергии Фристона мне в свое время очень помогла эта статья. Системы ИИ с этой точки зрения являются живыми системами, ну или частями живых человеко-машинных систем, если кому-то так спокойнее.

Возвращаясь к лекции. В заключении был отдельная глава, детальное рассмотрение истории коннекционистской парадигмы. МакКаллок и Питтс в 1943 выдвинули идею имитации мозга на нейронных сетях, представив отдельный нейрон как логический элемент и-или-не, на основе наблюдений за живыми нейронами. А Шеннон в 1938 показал, что коммутационные устройства выполняют логические операции, так что для такой имитации была готова.

Тезис Петра: МакКалок и Питтс предположили то, что соответствовало технологиям их времени. А вообще еще в середине 19 века знали об аналогии между нейронами и электрическими сетями, Де Реймон это объяснял. А дальше идеи самоорганизующихся вычислений - часть ансамбля кибернетики, приложившей путь к машинному обучению. При этом идея самоорганизации общества давно была в в социальной философии, Спиноза и общественный договор. Таким образом, в середине 20 века идея из философии пришла в кибернетику, а дальше пошла распространяться на неживые системы, Илья Пригожин получил за это нобелевскую премию.

Я тут скажу, что между идеей модели нейрона и принятием решений сетью из таких нейронов, и знаниями о том, что сигнал в нейроне проводится электрическим импульсом - большая разница. И между эволюционной самоорганизацией по объективным законам, которые Пригожин распространил на химическую преджизнь, и идеей самоорганизации общества по общественному договору тоже большая разница. Первое - понятные, хотя и сложные механизмы, а второе - некоторая умозрительна идея. У нее есть какие-то основания в виде революций, которые регулярно происходят, но вот трактовка их как нарушения договора, непонятно какого, когда и кем заключенного - на совести работающих с этой идеей. Тем более, что обычно они не особо этим заморачиваются, а фокусируются на том, какой общественный договор должен быть наилучшим и как бы сделать так, чтобы все вдруг приняли такой прекрасный договор и добровольно и с песнями начали по нему жить.

А следующим тактом была теория клеточных ансамблей Хебба, которая объясняла обучение живых нейронных сетей мозга через весовую функцию вместо логической и изменение весов при прохождении сигнала. И Розенблат На основе Хебба реализовал нейрон как модель живого нейрона с обучением. А дальше Мински дополнил это еще идеей фреймов для структурирования информации через типизацию индивидуальных случаев. И именно поэтому в первой лекции у Петра был Мински, а не Розенблат.

Петр говорит, что под влиянием кибернетической онтологии, нейронные сети представили не как имитацию мозга, а иначе. Тут я согласен, но кибернетическая парадигма тут, по-моему, не при чем. Просто для нейронных сетей разработали математический формализм, с помощью которого получилось их обучать решению конкретных задач. И этот математический нейрон уже сильно отличается от реального нейрона в мозгу, там иначе устроены связи, они цифровые, а не аналоговые.

И в заключении - реплика про обучение роботов, управляемых нейронной сетью. Тут все похоже на людей. Человек может учиться на своем опыте, превращать его в знания, но это может быть вынесено во внешнюю систему из других людей, которые изучают как люди действуют, обобщают, производят знания, пишут учебники и учат других, эффективным приемам грузчиков учил Тейлор. Так и с роботами, цикл самообучения может быть встроен внутрь, а может быть устроен снаружи на основе обобщения опыта многих роботов в виде их логов, с участием людей, присматривающих за процессом. По разным соображениям сейчас выбирают вторую конструкцию, но это не принципиально. Ну и у человека блок самообучения неотчуждаем, а у роботов - можно не ставить, в этом разница.

Лекция 4. Система разделения труда по созданию умных машин: вызовы и ограничения

Другие мои материалы по СМД-методологии

Disclaimer. Это моя интерпретация лекций, неполная и дополненная собственными мыслями.

Четвертая лекция была посвящена развитию СРТ. Петр ввел 9-слойную схему СРТ. Он подчеркнул, что промышленные революции обычно понимают узко, как изменение производства за счет машинизации. Однако, машину кто-то должен придумать, создать, использовать, и для этого нужны социально-экономические условия, которые назобятся за рамками техники.

Кроме этой схемы в лекции была историческая часть, касающаяся развития технологий от Бэббиджа до фон Неймана, которые требовались для реализации компьютера, функционально спроектированного Бэббиджем. А также развитие технологий ИИ. А в последнем разделе было - представление о СРТ в ИИ.

Макс Вебер сказал, что кроме технического разделения труда есть экономическое - между предприятиями, специализирующимися по деятельности и накапливающие знания. И социальное разделение труда между слоями или классами. Он нарисовал 3 уровня и показал связи. И показал, что возможны социальные формы СРТ, препятствующие экономическим, что, в свою очередь, препятствует техническим. Вебер показывал, что из 5-7 форм организации общества, лишь одна способствует технологическому развитию. А остальные - не только НЕ способствуют, даже препятствуют заимствованию. Об этом у Вебера есть 4-томник Хозяйство и общество, и Петр рекомендует его прочитать. Его нельзя сократить, каждое слово - важно.

Интересно, что у англичан и французов разное понимание термина "индустриальная революция". Для англичан industry - ловкость, сноровка, действия человека. А для французов - это железка, машина. После Великой французской революции они поставили задачу догнать - и пошли заимствовать железо, а не СРТ, и это не дало эффекта.

Петр вводит 9-уровневую схему СРТ, которая состоит из 3 блоков по 3 уровня. Блоки следующие.

1. Институты
2. Компании
3. Материалы (и ресурсы)

Роль институтов - маршрутизация разных материалов! Институты могут поддерживать структуризацию уровня компаний, способствовать им, а могут хаотизировать.

Сложность тут в том, что при рассмотрении промышленных эволюций логично рассматривать ее с 6 уровня, на которой находятся железки - железные воплощения машин. Именно так я ее буду записывал, и дальше в начале идет номер строки, а перед названием строки - номер блока.

6. Компании: Железки - железные машины, используемые компанией и связанные с этим технологии операционной работы.

7. Материалы. Соционально-профессиональная структура - из нее черпается персонал для работы, и не только рабочий

8. Пространственная организация территорий, размещения промышленности, инфраструктур, систем расселения - определяет ресурсы персонала

9. Природные и климатические ресурсы, определяемые географическим размещением, с них можно начинать

Теперь от железок вверх

5. Компании: Экономическое разделение труда между фирмами

4. Компании: Технологии производства знаний - они необходимы, чтобы компания развивала СРТ.

3. Институты для производства и накопления знаний

2. Институты для возникновения и поддержания спонтанного порядка - политико-правовые и государственные институты

1. Институты: Денежная система - включение предпринимательских проектов в мировой ландшафт СРТ

• Машинизация - во всех 9 слоях, но есть базовый слой. Железки не развиваются, одно поколение сменяет другой. Меняется социальная организация.
• Машины (широко понимаемые) - тоже во всех слоях, так как ее же надо сначала придумать. Потом будет материализация.
• Человеческая материя - размазана.
  • Часть - в материалах и зависит от тела, а она - что дышим, едим, пьем. И последствия - дети хилые, малого роста, неспособны учиться.
  • А культура - в институтах, включая педагогические механизмы.

Вебер выдвигает тезис, что классовая структура есть только там, где предпринимательство. Потому что предприниматели расставляют людей по местам. Например, пролетариат - те, кто продает труд и получает заработную плату. При этом, после некоторого начального периода и понимания, что нельзя делать сильные перекосы, пролетариат перестал быть двигателем революции, сохранилась лишь борьба профессиональных групп за экономические права.

Где предпринимательства нет, там не классовое, а сословное общество, с передачей принадлежности по наследству. Твое положение не зависят от твоего места: ты можешь заняться торговлей, но остаться крепостным крестьянином.

В вечернем обсуждении была реплика Петра о государстве. Правильное, или настоящее государство - в границах права, и такое - не в любой стране. В России нет государства: делали конституционную монархию - бросили, и еще два раза была такая история, последний раз - недавно, сейчас. Придется лет через 30-40 заново делать государство.

Политико-правовые институты направляют людей. Человек хочет обмануть, ему право говорит - не надо, будут санкции. И важно, что если он обманывает, то санкции придут. Политические институты маршрутизируют группы, осознавшие свои интересы, чтобы договаривались.

Деньги - наверху, над государством, они - не средство административной системы. Да, большинство стран решили, что можно печатать фиатные деньги, но если они печатают слишком много - происходит фигня. И именно деньги работают глобально, на весь мир.

Дальше была схема волны промышленных революций. 150 лет

• 0 - 1550-1700 - Нидерланды, новое политическое образование
• 1 - 1700-1850 - Великобритания, ее тоже в таком виде не было
• 2 - 1850-2000 - США, это тоже новое образование на тот момент

Подробно их не рассматривали, это у Петра было во многих других лекциях. Соответственно, третья революция началась в 2000, сейчас идет первая половина первой стадии, которая завершится к 2050 и лишь тогда определиться облик новой СРТ, мы поймем, что из кандидатных технологий войдет в ядро нового СРТ, определится производственная клеточка новой революции.

В обсуждении вечером Петр сказал, что не отказывается от тезиса, что кандидатом на роль такой клеточки является Платформа. Но определяется это к концу первой стадии. Если смотреть на 1 революцию, то первая фабрика - 1732, но она не могла реализовать потенциал, так как вокруг мануфактуры, к 1776 появляется много фабрик в разных областях, а к 1800 они везде. Так же и со второй: первая ТНК появилась к 1840, а к 1900 (начало 2 стадии) - их было 50-100, а к 1950 уже были только ТНК, и тогда писали что ТНК отменит государство и будет управлять.

В общем, схема понятная, но я хочу сказать, что круглые сроки и длительности не очень важны в исторической перспективе, однако существенны для оценки текущего момента. И тут у меня есть определенные сомнения, потому что паровой двигатель, который был ключевым в 1 революции появляется в 1705, а к 1769 мы имеем уже усовершенствованную версию Уатта. Аналогично с промышленным электричеством и химией для второй волны. В третьей волне один из явных драйверов - компьютеры, и они есть с 1950, а к 2000 есть в продвинутом персональном варианте, а также в виде облачной инфраструктуры. Понятно, что все может быть подвижно и вариабельно, но есть у меня подозрение, что дату старта третьей волны надо сдвинуть вниз. А если верна идея про платформы, то первые платформы появились лет 10 назад, и сейчас их уже много, то есть мы должны быть ближе к концу 1 стадии, а не в ее начале. Правда, если ориентироваться на ИИ, как на ключевую конструкцию, а не только на компьютер, то там да, другой тайминг.

Дальше было рассмотрение периодов развития ИИ, с пиками интересов, ожиданиями и притоком инвесторов, и периодами затишья. Это - официальная история, как ее рассказывают многие. Я не буду ее пересказывать. Хочу только отметить, что надувание пузырей свойственно предпринимательской экономике, и масштабы этих пузырей велики. А потом новая технология сталкивается с объективными трудностями, как идея аналитической машины Бэббиджа столкнулась с проблемами элементной базы, на механике она была не реализуема. Так и по нейронным сетям после первых экспериментов стали понятны реальные потребности в памяти и скорости, и развитие исследований ждало, пока это будет достигнуто за счет других драйверов.

Те, кто описывают историю воодушевления и отката инвесторов обычно эту, техническую, сторону дела не рассматривают, а ограничиваются картиной пришли-ушли. Ну и дальше они рисуют, что раз в предыдущие разы инвесторы ушли, то уйдут и сейчас. Это неизвестно, может уйдут, а может нет. По поводу интернет-магазинов тоже был пузырь, вызвавшей потом кризис доткомов, но дальше инфраструктура подтянулась - и технология заработала. С моей точки зрения, сейчас по ИИ инфраструктурных проблем нет, а вопли про то, что ИИ сожрет всю электроэнергию вместе с криптой имеют чисто социальную подоплеку.

Дальше в лекции был тезис о том, что можно рассматривать развитие множества индивидуальных технологий, но эффективнее рассмотреть крупный план через появление "новых больших штук". Это не термин Петра, это из инфополя, есть такая игра и фильм - Next Big Thing. Я, правда, не понимаю, какое они имеют отношение, ну и ладно.

Петр полагает, что на роль новых больших штук, играющих в новой промышленной революции, может претендовать всего две вещи: компьютер и глубокое обучение. И тут засада: Петр для начала сказал, что он будет рассматривать только коммерчески состоявшиеся продукты. И компьютер таковым является, он реально стал массовой штукой. А вот глубокое обучение, которое почему-то выделено в истории нейронных сетей, продукта пока не дало. Коммерческие сделки идут только между компаниями, которые этим глубоким обучением занимаются, а раз так - то это не продажа потребителю, а кооперация и инвестирование в рамках разработки или даже способ надувания пузыря. Это как ситуация, если бы компьютеры разрабатывались университетами и продавались бы только между университетами, которые участвуют в их разработке. При этом есть вполне понятные другие кандидаты, например, сотовая телефония, которая прошла от кнопочных телефонов до смартфонов, послужила драйвером развития интернет и многих других технологий и реально поменяла СРТ. В том числе, сделав возможным появление платформенных решений, таких как Uber или booking. В общем, мне неясно.

При этом некоторые другие будущие варианты Петр назвал:

• Автономные транспортные средства и индивидуальные роботы
• Инструменты распределенной деятельности и коллективного взаимодействия, ниша в которую шел Энгельбарт
• Интернет вещей с элементами ИИ

Следующий такт лекции - объяснение логики большого перерыва от Бэббиджа до фон Неймана в истории компьютеров. По сути проект Бэббиджа функционально соответствовал тому, что реализовано первых компьютерах. Что ждали? А ждали, пока развитие технологий позволит создать подходящую элементную базу, которая сделает компьютеры возможными. Механический компьютер Бэббиджа получался слишком дорогим и ненадежным для массового использования. При этом драйвером для развития технологий были другие отрасли. Например, реле появились с развитием телеграфа, для которого мощным драйвером были железные дороги, а также телефона. А вакуумные лампы появились с развитием радиосвязи, они обеспечивали усиление сигналов. И так далее. У Петра в лекции - подробный список, продолжение истории развития машин и технологий, про которую было много на предыдущих лекциях, его не конспектирую.

Дальше - таймлайны развития компьютерных технологий и ИИ. И раздел про СРТ ИИ. На мой взгляд, он не сильно содержательный получился - примеры списков лабораторий, продуктов и технологий из разных отчетов, которые сам Петр называет "Кладбище логотипов". А дальше схема-кубик, на котором соответствующие друг другу строки на левой и задней стенке, которые я приведу таблицей

Знания и социум	Технологии и производство
Знания об индустрии	Инфраструктура для разработчиков и аналитика с ИИ
Социально-профессиональное устройство СРТ	Технологии мышления
Институты-регуляторы	Производители программного обеспечния
	Производство аппаратных решений
Технические решения: enterprise, горизонтальные, отраслевые, аппаратные

Последняя строка - грань основания кубика. У меня приведены заголовки, а на схеме все заполнено списками типов компаний, знаний, решений, институтов и так далее. И, как легко видеть, эта схема не очень соответствует той структуризации СРТ, которую Петр ввел в начале лекции.

Я бы сказал, что это тоже структурированное кладбище логотипов, на котором самые разные темы, больше поддерживающие, чем содержательно по ИИ. Потому что говоря про СРТ, ожидаешь все-таки некоторую схему во взаимосвязи.

Дальше были слайды о том, как въехать человеку в ИИ. К сожалению, на мой взгляд, тоже не слишком содержательные.

• Архитектура ИИ-ML проектов. По сути написано следующее: сначала поступающие структурированные данные подготовкой превращаются в информацию, которая с помощью алгоритмов превращается в знания(!), которые затем человек вместе с ИИ понимает. И выполняется это на современных вычислительных средствах, с использованием надежного ИИ. Это общая схема данные - информация - знания, ИИ там формально написан в ячейке алгоритмов и работе человека.
• Пул контрактов на разработку чат-бота. Есть такая категория проектов - освоить максимум средств за счет привлечения большого количества подрядчиков. Вот здесь - именно такая ситуация. При этом подрядчики ИИ не занимаются. Из ИИ там только natural language processing, при чем подключаемый как инфраструктурный сервис, то есть стандартный. Содержательной разработки самого чат-бота в виде сценариев разговоров, типовых вопросов или иным образом там вообще нет.
• Сравнение переписи в 19 веке и сейчас, с помощью современных средств, с выделением задач, которые раньше исполнялись людьми, а теперь это делает компьютер, преимущественно ИИ. Я бы тут тоже ожидал целостную функциональную схему: что такое - перепись населения, из которой, в том числе, было понятно зачем она проводится, каков результат и как устроен сам процесс. А тут из содержания - только решение о начале, которое тогда проводил мэр, а теперь инициирует сам умный город. При этом переписчики, судя по всему, сохранились - иначе зачем распознавание бумажных анкет, но вот этого в таблице нет. В общем, это как описывать СРТ создания книги таким образом: автор решил написать - написал текст - нарисовал или заказал иллюстрации - сверстал - вычитал - отправил в издательство. И вместо автора для операций поставить ChatGPT и MidJourney, а также Word.

На этом все. В сухом остатке для меня лично - 9-слойная схема СРТ.

Лекция 5. Ограничения СРТ по созданию умных машин

Другие мои материалы по СМД-методологии

Disclaimer. Это моя интерпретация лекций, неполная и дополненная собственными мыслями.

Пятая лекция была посвящена ограничениям СРТ, которые стоят перед развитием ИИ нейронных сетей, и только их. Что в некотором смысле логично, потому что это - основная парадигма, но, с другой стороны, экпертные системы тоже были основной парадигмой долгое время, а потом ситуация изменилась - сначала нарастили доступные мощности компьютеров, сделав возможными обучение нейронных сетей некоторым классам задач, а потом придумали глубокое обучение и другие методы, которые позволили резко повысить сложность решаемых задач, создав, в том числе, разговорные модели, которые сейчас воспринимаются как основной вариант ИИ.

Ограничения, о которых говорил Петр, мне знакомы, и я считаю их ложными. Сначала я их кратко перечислю, а потом дам комментарий. Я не буду разбирать каждое из ограничений потому, что дело не в конкретном пределе, а в том пути, который сейчас реализуется, и известны альтернативные пути, которыми его можно обойти.

Сначала был некоторый компаний, связанных с ИИ. Они быстро растут, лидирует nvidia, которая производит аппаратную часть, StartupLabs, которая поддерживает стартапы в этой области и Инфинити, которая строит инфраструктуру - специализированные облака, блокчейн, смарт-контракты.

И были кейсы: В Польше ИИ Диктатор управлял фирмой производства рома. ИИ Мика управляет наймом. В Китае ИИ сопровождает курсы обучения. Есть кейсы создания с помощью ИИ проектов автрматизации бизнес-процессов, возможно, с ведением проектов (в этом нет ничего сложного, если на уровне администрирования вести). Компании растут успешно и их давят через регулирование. Оштрафовали на 193к стартап, в котором робот-юрист реально помогал людям, в том числе в суде. Причина - компания оказывает юридические услуги, а в штате ни одного сертифицированного юриста. Как сертифицировать робота и является ли он в штате - неизвестно.

И был обзор роста уровня GPT-моделей.

• GPT-2 2019 - дошкольник.
• GPT-3 2020 - ученик начальной школы. связность абзацев, грамматика, генерация простого текста
• GPT-4 2022 - умный старшеклассник, побеждает большинство старшеклассников на любых тестов, лучшие результаты чем большинство.
• Gemini 1.5 - между 4 и 5 и стоит сильно меньше.

К 2030 ожидается, что смогут выполнять роль исследователя умных машин.

Хотя в списке приведен уровень по отношению к человеку, реально наблюдается та же хрень, что и с измерением информации в байтах: мощность моделей преимущественно меряется количеством параметров, считается, что увеличение числа параметров делает модель умнее. А сравнение с уровнем человека всегда - отдельный процесс, и совершенно неясно, насколько он объективен. Потому что можно ведь давать задачки, на которых модель тренирована. Обучение и увеличение числа параметров может приводить к деградации модели в смысле ответов на вопросы, это тоже уже показано на исследованиях и тестах.

Дальше был короткий ликбез про устройство - граф с весами, обратная связь. Граф можно представить вектором, а утверждения в разговоре вбрасывается в этот граф и идет обработка-предсказание. Есть разные методы обучения, была таблица с краткими пояснениями.

Итак, какие препятствия дальнейшему развитию.

Препятствия обучению моделей и взаимодействию с ними.

• Отсутствие объяснимости. Неясно как принимает решение. Новая позиция - создание объяснительных моделей. В финансовой - критично.
• Модели данных. Их мало, они плохие и даже опасны для сети. Даже плохие заканчиваются. Llame3 обучено на 15м токенов. Большие данные 100трлн токенов, однако значительная часть - спам и дубли, вычистка дает 30трлн. Их мало. А еще они портятся, и это может обвалить сеть.
• Переобучение - обучение может портить сеть. Когда она чрезмерно подстраивается под данные, включая шум. Снижение способности модели усваивать информацию, ухудшение работы на новых данных. Не связано с вычислительными ограничениями, оно с матрицей.
• Ограниченность сложным мышлением. Машина не думает. Слабы в имитации абстрактного мышления, планирования, ведения диалога как рассуждения. Терпеть не могут противоречия и никогда не пытаются использовать их как способ углубления содержания разговора, гомогенизирует, не переходит между позицию
• Отсутствие длинного контекста. Она теряет предмет рассуждения, работы. Похожи на сотрудника, который вопросом занимается 3 минуты. Могут работать в условиях краткосрочных задач, не могут решать долгосрочное и интегрировать большие объемы. CPT-4 контекст до 32к токенов, а Gemini - до 1м токенов.

Технические ограничения в индустрии ИИ. На основе оценок агентств, они не сходятся, но по основным - едины.

• Материалы: мало, недоступны политически. Чипы - ресурсы СРТ, GPU, память, соединения - всюду редкие металлы. Тантал и Кобальт - ограничены поставки, кбальт до 50к за тонну. МакКинзи считает ограничением медь, редкоземельные, особенно ниодим - магниты и электродвигатели, кобальт - политика в Конго, литий, палладий - Россия и ЮАР. Большие геополитические риски - страны с нестабильной ситуацией и Китай, который перехватил производство. Эскалация конфликтов. Маск анонсировал, что хочет начать с 1 млн роботов в год и с перспективой до 1 млрд, в каждом - 10+ чипов, чип 0.5 г тантала, итого 5к тонн при мировых запасах 120к тонн - караул!
• Инфраструктуры
  • Литографические машины, топовые Нидерланды и 2 в Японии. 100-150млн за машину, срок поставки - несколько лет. В мире их 300-400. СМЛ планирует увеличить производство до 90 в год к 2025, отсюда ограничение на производство чипов, будет нужно больше сотни. Узкое место. Переход на фотонные или квантовые не исключает литографию, любые изменения в дизайне - спецкомпании, там карту технологии делают несколько лет. И далее другие ограничения.
  • Энергетика. Для крупных обучающих кластеров. В США до 80 ГВт к 2030 году, это 12% мощности США. Охлаждение ест до 50% энергии. Кластер 10ГВТ за год 96ТВт, сопоставимо со штатом Вашингтон (92ТВт). Места с мощными источниками энергии - что ограничивает выбор места для размещения. ГЭС сама по себе не может, Уголь - до 1ГВт на станцию, газ 1.5ГВт, АЭС 6-7 реакторов. Их совсем мало.
  • Кейс Сингапура. Он сначала сделал нефтегазохимический, потом биологический, потом - развитие элементной базы для ИИ. Если взять целевой рамкой их планы - датацентр на 1ТВт, и не могут получить столько энергии, 59.4ТВт - поддержка датацентров, в их климате - охлаждение, все из газа. А АЭС строить не хотят.
• Пропускная способность сетей в датаценты. Ограничения. до 13% затрат на создание кластеров. Для перехода к продуктам нужно массовое производство агентов, для этого нужны кластеры, а это 20 лет.
• Ограничения скоростей вычисления. 4к ТФлопс, надо 10к. И шину увеличить. И Архитектура Фон Неймана в применении к глубокому обучению. Чипы-ускорители, и инвестиции растут. Дойдет до 1трлн$ хотя другие только до 400т к 2030. Прямая реализация в железе.

Учителя нейронных сеток под разные задачи. Их надо больше, и непонятно где взять. Нужно 10-100к человек.

• В мире - около 5к человек понимают, как оно устроено.
• Те, кого надо рекрутировать - лишены доступа к данным и моделям
• Закрытость моделей и ключевых алгоритмов, лаборатории закрывают обмен информации - в отличие от открытости предыдущих стадий. В результате работы застопорятся, что-то закроется.
• Невозможность использовать опыт. Способ воспитания следующего поколения ограничен временем. СМД учатся 10 лет, нельзя ускорить. Даже если появятся кадры, передача методик займет длительное время.

Социально-общественные проблемы

• Стандарты и юридические вопросы. Этические нормы для автономных систем. Конфиденциальность данных, права на интеллектуальную собственность. Международная координация слаба. Предвзятость алгоритмов, дискриминация ими. Безопасность данных, утечки данных, отсутствие единых стандартов. В Европе - закон для здравоохранения и автопилоты. Нормативное регулирование резко возросло. Количеств инцидентов, до 120 случаев в год. Определение ответственности за ИИ. Кто несет ответственность при аварии автомобиля с автопилотом? Инвесторы - видят, неопределенность растет, стартапы не предоставляют гарантий - кошмар, они-то надеялись, что все ОК!
• Конфиденциальность данных - потенциально нарушается. В 2018 cambridge analytics использовала алгоритмы анализа личной информации для таргетированной политической рекламы.
• Локальная оптимизация в ущерб обществу. Алгоритмы ценообразования для агрегаторов такси. Во время пиков спроса он увеличивает цены - а людям не нравится почему-то. Несоответствие целей человека целям людям. Попытки ввести штрафы выявляют соответствие машины тесту Тьюринга - машина начинает обманывать, искать лазейки в системе наказаний в свою пользу. И будет находить быстрее человека, если не блокировать целеобразование. ИИ игнорирует побочные эффекты и программисты не умеют это блокировать. И проблема безопасности - не в том, чтобы сделать умной, а согласовать с человеческими. Надо возвращаться к человеко-машинным системам как объектам проектирования и осмысления.

Теперь мои комментарий по поводу ограничений.

1. Технологические ограничения - связаны с путем на построение централизованной структуры для ИИ. Это уже было в эпоху больших компьютеров, когда рассчитывали, что нужно, чтобы дать каждому человеку доступ к компьютеру, получали гигантские цифры, и говорили, что это невозможно. Потом появились персоналки и проблема решилась, а сотовая связь и смартфоны решили проблемы постоянной связи.

При этом понятно, что гиганты, которые сделали ставку на централизованные решения, топят за него. С компьютерами IBM, которая делала майнфреймы и суперкомпьютеры для военных и корпораций, сделала и первую персоналку. А тут легкие модели, разворачиваемые локально - альтернативная ветвь развития. При этом уже еть достаточно умные модели, которые разворачиваются на компьютере разработчика, им даже кластер серверов не нужен. Почему IBM начала делать персоналки, а эти парни - нет? У меня несколько версий. Может, с 1980-х сменилась культура, тогда было принято держать долгую перспективу и исследования, а культура стартапов иная - сделал и быстро продал. А может, дело в том, что IBM уже продала достаточно много больших компьютеров, увидела, что рынок близок к исчерпанию, и начала искать способы расширения на массового потребителя, средний и мелкий бизнес - первые персоналки были для них.

В любом случае в этих ограничениях - очень много нагнетания страхов и манипуляций, с Танталом характерно: Маск не сделали ни одного робота, хочет всего миллион в год - при этом миллиард - это 1000 лет, и там кричат караул, потому что это потребует 5% разведанных запасов тантала! И так далее.

А локально разворачиваемые предобученные GPT уже есть, в том числе открытые и доступные бесплатно, их можно разворачивать и дообучать. И не так это сложно - потому что их создатели рассчитывают на широкого потребителя и на его возможности для обучения. Что-то они сделают сами, а чему-то - дообучат другие. И монополию малого количества лабораторий это тоже может разрушить. Чему они, понятно, будут сопротивляться.

Децентрализованный сценарий в обсуждении подробно раскрыл Николай Верховский. А Петр проблематизировал: почему вы думаете, что ИИ-помощников смогут обучать, если детей и сотрудников обучают плохо. Я тут хочу сказать, что ИИ - он не возражает, когда ему говорят, что он не прав, и готов обучаться. А человек - не всегда. И это - существенная разница.

Вообще, в этом году на конференциях - очень много докладов о разных прикладных применениях ИИ. Но началось это давно. Пару недель назад я делал об этом доклад на ПИР, который был посвящен теме ИИ, в презентации есть ссылки на разные кейсы - я делал репрезентативную подборку. А на самой конференции большинство футурологов пугали будущим, Петр (он тоже выступал) был самым взвешенным из них, а практики рассказывали об использовании, и никого из них будущее с ИИ не пугало. Мой отчет с конспектами части докладов ПИР-2024 (он еще будет дополняться, я пока не успел).

2. Проблемы обучения и исчерпания данных. Общий принцип развития технологий - выбери потенциал того, что есть, потом вкладывайся в обработку. Потому что у исследователей всегда есть, чем заняться. Первые успехи нейронок были без глубокого обучения, потом уперлись в предел - пошло глубокое обучение. Если смотреть детальнее - там несколько этапов со своими остановками и прорывами.

Сейчас уже понятно, что важно не только количество данных для обучения, но и их качество. Я слушал доклад, где автор делился, что добавив к слабенькой, разворачиваемой на собственном кластере китайской one-plane, токенизированную английскую википедию в виде контекста токенов (а это не так много), поучают ответы лучше, чем дает ChatGPT. Вообще версии ChatGPT дают некоторый эталон для сравнения, относительно объективный. И сравнивать ответы разных ИИ при оценке тестов может в автоматическом режиме другой ИИ, например, тот же ChatGPT. То есть получается, что можно экспериментировать и совершенствовать.

Просто загнать большой массив всего подряд для обучения - проще, чем разбираться. Но можно же и включить мозг, разобраться, приведенный пример показывает, что эффект дают даже очень простые решения. А еще если из GPT собрать простенькую модель нескольких агентов в разных позициях, то процент решения задач на некоторых тестах повышается кратно, у Петра эти примеры были.

Так что по обучению - масса резерва в нынешних технологиях, даже если не рассчитывать на новые методы - а они будут. Например, встройка механизмы рассуждений при решении задач.

Про сложность задач и чрезмерные обобщения со стороны ИИ, использование противоречий - решается постановкой ИИ в разные позиции. Ты в роли содержательного модератора. А до содержательного можно на скрипте прокрутить автоматического: выдай список позиций, кого затрагивает (или сторонников и противников), встань в каждую и выдай аргументы, попробуй найти решение win-win через синтез позиций. ИИ по умолчанию толерантен и оценивает позитивно, но если явно сказать "укажи недостатки и проблемы", например, при оценке кандидата или по работе человека - он это делает.

3. Про объяснения скажу отдельно. GPT умеет объяснять свой ответ. Это обяснение не имеет отношения к тому, что происходит у него внутри, он строит обоснование от готового ответа. Но множество людей поступают так же, и это не служит проблемой, чтобы работать с ними. Потому что человек не умеет иначе. Так что тут проблема надумана. И сильно связана с социальной проблемой вины и ответственности.

4. Социальные проблемы. Это - проблемы людей, а не технологий, общественного устройства. В законе и учебниках написано "компания имеет целью извлечение прибыли". Это люди заложили в оптимизатор цен, получили эффект взлета цен в некоторых ситуациях. И сваливают информацию на ИИ, как на безответственного. Или на программистов. А программисты - не при чем, вы им скажите, как должно вести себя ценообразование в таких ситуациях, они этоо заложат. Сказать должны люди, в виде владельцев компаний или регуляторов. А для этого - договориться. И личные данные, собранные в facebook, для таргетирвоанной пропаганды собрали и использовали конкретные люди, а не абстрактный ИИ. Ну и разберитесь с ними. Может, законы этого и не позволяют, но в Европе и Штатах у всех профессий есть этический кодекс - можно на этом уровне работать, если есть общее мнение, что тут нарушена приватность.

Но пока в информационном поле проблема таким образом не звучит, а звучит другая - запретить. Потому как ИИ, как всякая технология, меняет СРТ, а есть люди, которые от сложившейся СРТ получают понятный доход. Например, прибыли. И они приложили немало усилий, чтобы свой доход оградить, не допустить перепроизводства юристов, которая бы привела к конкуренции и снижению цены. Смысл сертификации - в этом, а не в реальной проверке знаний. Ситуация, знакомая по человеческому обществу. Вон, в Испании: по ряду достопримечательностей проводить экскурсии имеют право только сертифицированные гиды, среди которых русскоговорящих почти нет. При этом сертификационный экзамен уже 10 лет (историй 10 лет назад, могло измениться) просто не проводят, говоря, что гидов и так достаточно. Как результат - с экскурсией формально идет испанский гид, а русский как бы переводит, дальше там по-разному бывает, иногда испанец рассказывает интересное, и иногда просто молчит, потому как русский и так все знает.

На этом про лекцию Петра все. Но после перерыва была лекция Николая Верховского об его практике работы с ИИ для корпораций.

Сначала слайды про ситуацию

• В последние десятки лет (с 1975) производительность в среднем стоит на месте - то происходит в конце волны революции: все все оптимизировали, и неясно что делать. Это - объективно.
• LLM успешно решают инженерные задачи. На слайде - решение с 3 попыток, диапазон от 0.4 у avg candidates до 1 у top-candidates людей, и большинство LLM в этом диапазоне, а последние версии приближаются к 1.

Дальше схемы.

• Горизонтальное и вертикальное разделение труда, вертикальное - включает знания. Тот пакет технологий, который связан с машинизации в мД и частично МК - повышал горизонтальное разделение труда. А сейчас стоит задача повышения вертикальной СРТ, накопление, освоение и использование знаний.
• Деятельностное знание - поверх продуктивного действия: Замысел - Реализация. И там знания: управляющая часть действия и исполнительная. Деятельностное знание содержит много не отрефлектированных компонентов.
• Круговорот Замысел - Знание - Исполнение - Знание. У стрелок движения по схеме есть время, стоимость, усилия, производительность. Производительность можно применять не только для горизонтальной, но и для вертикальной СРТ. И производительность вертикальной СРТ определяет производительность горизонтальной.
• Bottleneck. Чаще всего оно завязано не на операционную деятельность, а завязано на мыслительную деятельность, которую не может своевременно выполнить некоторый человек, выполняет ее урывками и некачественно по разным причинам.

Есть известное деление на явное и неявное знание. Николай предлагает иное

• Есть знания статические - они записаны в библиотеки.
• Есть знания динамические - надо создавать каждый раз, когда начинаете действие.

Пример - построение маршрута в такси до эры навигаторов.

Я тут хочу отметить, что это все-таки другое деление, чем явные и неявные, я темой знаний в свое время достаточно плотно интересовался. Все-таки, знания - про долгое. И если мы говорим про случай такси, то у водителя есть неявная процедура, как в подобной ситуации оценивать маршрут. То есть к неявному знанию относится процедура создания ситуативного, динамического знания. А бывает еще неявное знание в статической форме, как опыт мастера. Собственно, само понятие неявных знаний появилось, когда Sony разрабатывало автоматическую тестомешалку, и послало инженеров учиться к лучшему повару в Токио, пекущему вкусные булочки. Тот не скрывал умение, учил учеников, но не у всех получалось. И один из инженеров в ходе обучения понял почему: он когда месил тесто не просто его сжимал, а скручивал особым движением, так что внутрь попадали пузырьки воздуха. Но не говорил этого. А на вопрос, почему он так делает, мастер ответил "меня так бабушка научила в детстве, я не знал, что именно это важно".

Тезис Верховского: Каждый, кто стоит на рабочем месте, строит динамические знания. И это умение - критичное.

Пример с металлургического завода РУСАЛ. Инженер смотрит на процесс горения глинозема, и определяет по характеру горения достройку параметров печи. То же самое можно сделать через анализ, и это делают, но анализ выполняется час-полтора, и на этой задержке теряется 9930 тонн в год. Они делали проект по перекладке этой работы на машины. Камера с нейросетью, матмодель, которая берет это вместе с составом материала и другими данными, и дает рекомендации. Человек из цепочки не выпадает, он принимает решение. Финальную ответственность они положить на машину не рискнули. Но человеку теперь не надо так много смотреть, наблюдая за характером горения, а это конкретный бонус для здоровья. Эта ситуация не только для конкретного участка завода, она повсеместна. Производительность умственного труда - важна.

Они разрабатывают метрику для производительности мыслительного труда. Knowledge processing time - время прохождения по циклу Знание - Замысел (решение) - исполнение - знание на схеме.

Еще кейс. Консультанты по продаже сложных технических объектов. Есть всегда один консультант, который может квалифицированно все рассказать. Он 20 лет работал. Но в компании гораздо больше тех, кто продает. И они обращаются к эксперту, тот помогает. Новички не способны организовать действия, пока не будет доступа к носителю знаний. Эксперты обычно bottleneck, и от него зависит производительность компании, и выдать компред без него невозможно. При этом у эксперта нет знания по конкретному случаю, они же разные и не повторяются. Но у него есть способ, которым новое динамическое знание получить в конкретной ситуации. И именно этот способ преобразования знания о ситуации в знание-компред - то, что надо извлечь и перенести на машину.

Это назвали когнитивной функцией или преобразованием знания. И работают над передачей его ИИ. Почему когнитивная функция, а не интеллектуальная операция? Потому что так заказчик меньше пугается, это какая-то психология срабатывает. Получается TaaS - thinking as a service.

Дальше были схемы, как идут эти преобразования, одна - поверх схемы мыследеятельности, другая отдельно.

Ситуация - распространенная и повсеместная, на 45-минутной сессии команда корпораций выписывают 30 кейсов.

Они проводят хакатоны, на которых люди настраивают чат-боты, которые начинают давать подобные рекомендации. Само извлечение знаний - не технология, гарантий нет, но в целом получается успешно. И от компаний есть пожелания не присылать специалистов к ним на хакатон, а поставить у себя такую практику, над этим тоже работают.

В конкретном кейсе по продаже паркета, когда чат-бот научили оценивать стоимость сразу в торговом зале, продажи возросли кратно. Это, в ряде случаев, получается ключевая компетенция, которой не обучают, но которую, оказывается, можно переложить на чат-бот.

Операция, переложенная на алгоритм и закрытая понятным интерфейсом - производительность повышается в разы.

Перекладывание паркета: были продавцы, которые могли в зале оценить стоимость, а были - которые говорили "надо замеры". Сделав систему, они увеличили продажи в разы.

Что стоит за ускорением обращения знаний? Гартнер. 4 типа аналитика по оси hindsight (ретро) - insight - foresight

• Описательная - монитор реального времени
• Диагностическая - что и почему
• Предсказательная - предвещает следующее состояние объекта, выдает предупреждения
• Предписывающая аналитика - говорит как делать, например, как ехать аналитику.

BB умеет решать три типа задач предсказаний: регрессия (подскажи число), классификация, кластеризация. И их достаточно для большинства задач.

И последняя схема - про экономику продукта. У продуктивного действия три модуля.

• модуль употребляющий продукт - в этом отличие продукта от результата, есть некто кто использует и платит ресурсом
• модуль преобразования
• модуль поставки материала и комплектующих

Для преобразователя экономика сойтись - оплата превышает издержки, то есть ты поставляешь ценность. Ценность тут конкретная. Экономия времени и ресурсов тому, кому делаешь продукт.

Сложность взаимодействия. У всех трех позиций картины мира разные, и это приводит к необходимости организовывать обращение знания между этими позициями. И всем трем надо взаимодействовать, согласуя задания, чтобы достичь продуктивности. Было бы значимо сделать единую онтологию, единый стандарт оперирования текстами и формат обращения данных в смысле контроля производства.

Снова схема на мыследеятельности

• мД: цепочка app supp - SCM - ERP - CRM - cust app.
• МК: облака и цифровые агенты
• М: цифровой двойник.

Еще Николай показал интересное преобразование схемы про анализ данных из университета Аахена. Оригинал - классический, внизу - данные, в середине - модели данных и преобразование, наверху - дашборды и графики. Если мы кладем это на схему мыследеятельности, два верхних слоя надо переставить: модели уходят в мышление, а дашборды - в слой коммуникации.

И в заключении - про ChatGPT. Это LLM, генеративный предобученный трансформер. Он в среднем слое, коммуникативная, а не мыслительная, как и говорит Петр. Но это коммуникативная машина нового класса - он не просто передает сообщение, он его преобразует.

Однако сейчас OpenAI делает расширение. Появляются модули мышления, например, для решения математических задач, они наверху, в слое мышления. И LLM может вычленить из разговора задачу, и передать туда. А внизу - деятельностные машины, управляемые командами, например, выгрузка в Excel или презентацию, и когда ты просишь привести результат к такой форме - то идет команда исполнителю. Маршрутизирует это все программа на классическом языке, там может быть работа по правилам, тогда это слой мышления, или жесткий алгоритм, тогда я бы сказал, что это в слое действий. Но это - не важно. Это будет от пользователя скрыто, он может считать, что одна умная машина работает в трех слоях, но реально это несколько агентов на разных парадигмах, каждый - в своем.

И в заключении - схема, где три типа эффектов

• less money - умные машины оптимизируют
• more money - повышение общение с клиентами, рекомендательные системы лояльность и т.п.
• new money - платформы, это про стандарты обращения знания в СРТ. Яндекс-Такси дает знания о маршрутах, а не только связывает водителя с пассажиром, и это тоже меняет СРТ.

На этом все.

Лекция 6. В каком смысле человеческий интеллект можно считать естественным

Основной тезис шестой лекции - человеческий интеллект нельзя считать естественным, ведь он формируется не естественным, природным процессом, а искусственным процессом, выполняемым обществом. И в лекции много схем, описывающих конструкции этого процесса. При этом естественная часть у него тоже присутствует.

Среди них был была схема трансляции культуры, дополненная важным тезисом о необходимости различать нормы культуры и социальные нормы, и процессы их трансляции: педагогика транслирует нормы культуры, а обучение - социальные.

При этом психофизическое, естественно, не исключается. В лекции была 4-компонентная схема человека, положенная на схемы мыследеятельности и включающая биоид на уровне действования, индивида и личность на уровне коммуникации и индивидуальность на уровне мышления.

Кроме этого в лекции подробно разбирались 5-слойка СМД системного подхода, разделение 4 технологий мышления, схемы акта деятельности, и продуктивного действия и разделение производства и клуба. Я не привожу схемы, предполагая, что читатель их вспомнит.

А теперь конспект подробно.

Об исследованиях

В начале Петр сказал, что разных исследований человека - много. Есть анализ поведения человека в соцсетях и игроков в компьютерных играх, отслеживание принятия решений и эмоционального состояния по движению глаз, сенсорами и МРТ, поведения перед экраном и в переписках, поиск различных корреляций. И все это на начальном этапе и очень фрагментарно, Петр давал примеры и статей и сетований на то, что не хватает данных для корреляций между получением образовательного кредита 10 лет назад и кредитом по ипотеке.

Я тут хочу сказать, что это - типичная ситуация современных научных исследований во многих областях науки. В Первой лекции Петр сказал, что Мински (или Энгельбарт?) в нулевых сетовали, что перестали финансировать исследования широкой рамки, что нужны гранты под конкретику. Так вот, авторы подобных исследований знают, как сформулировать цель, чтобы получить грант, и как написать в конце подобную статью-отчет. Главное - поймать нечто, хоть как-то напоминающее корреляцию. Но понятно, что в зависимости от корреляции ценность бывает разной, возможно, в описываемом кейсе исследование о корреляции между образовательным кредитом и ипотекой можно было еще продать какого-нибудь банку как один из факторов определения перспективности клиентов.

Дальше Петр сказал, что в первой версии был большой раздел про нейрофизиологию, но он его убрал из-за объема. Но рассказал историю про исследования мозга мухи дрозофиллы - его вели 10 лет и недавно завершили, построили структуру 140 тысяч нейронов и 55 миллионов синапсов. Для сравнения - у человека 86 млрд нейронов и 100-500 трлн синапсов. Оказалось, что мозг в основном состоит из нейронов от глаз. Основная задача - создавать картину мира по зрительной информации. И в нем гораздо больше анализирующих, чем отдавать команду. Связи - менее 10 синапсов, но есть привилегированные - более 100 и более 1000. И эта карта сейчас используется для создания интерактивной модели мозга. Выявлены нейроны, которые дают команду остановиться, реакция на пищу по сенсорам вкуса и так далее. Следующий уровень - карта мозга мыши, там в 1000 раз больше нейронов.

Я не знал, что эти исследования завершились, интересно. Важно, что получается адекватное поведение. Потому что предыдущая модель дождевого червя не сложилась, он полз не так, как оригинал.

Но вообще я хочу отметить, что нейрофизиологи многое знают не только о мухе, но и о животных и человеке. И знают интересное и практически применимое. Например, модель мотивации Хелен Фишер описывает четыре нейрофизиологических механизма мотивации: счастье поиска и исследований - дофамин, счастье победы - тестостерон, счастье эмапатии и взаимоотношений - окситоцин и счастье регулярной жизни - серотонин. Оригинальные исследования были вокруг исследований взаимоотношений и любви, с задачей научно доказать, что возникающие в ходе этого эмоции обусловлены не следованием литературе романтиков 19 века, наложеным на желание секса, а имеют основания. Доказательство требовалось, потому что mainstream американской психологии утверждал обратное. И там сложные исследования, один из этих путей мотивации она реально открыла, он не был известен раньше. Они рассчитаны на стандартный цикл: поиск партнера, фокусировка на одном, достижение взаимности, потом зачатие и переключение на нежность с секса. а после рождения - на быт, потому как до трех лет важно, чтобы мужчина помогал матери. Потом результаты были обобщены на другую деятельность, отчасти обобщением исследований по конкретным гормонам. И дальше тест, потому что все четыре системы есть у каждого, но работают в разную силу. И важно, чтобы среди рабочих активностей, и вообще в жизни было то, что соответствует вашим сильным мотивациям.

Что интересно, эти четыре типы мотивации хорошо соответствуют четырем типам игроков в модели Бартла для компьютерных игр, которая появилась раньше. А модель Бартла - она рабочая, используется как база для разработки таких игр, в которых игроки продолжают играть. А еще эти четыре типа соответствуют стилям управления Адизеса. Адизес же подметил их в наблюдении, а потом, не углубляясь в механизмы, раскрыл рационально. А тут понятны основания. В общем, подобные соответствия моделей и побудили меня написать книгу Инженерная модель личности, которая также доступна как серия статей (по ссылке - оглавление).

А теперь возвращаюсь к лекции Петра.

Схема воспроизводства и трансляции культуры

Для начала - различим понятие искусственного и естественного.

• искусственное - то, что мы создаем
• естественное - то, что существует независимо от нашей деятельности

Из этого определения следует, что естественный интеллект - оксюморон, потому что у ребенка, выросшего вне общества никакого интеллекта не возникает, он даже говорить не может, если больше 4 лет с рождения так был, извеcтны случаи таких детей-маугли.

Я, кстати, отмечу, что с точки зрения нейрофизиологии это объяснимо: в мозге нейроны и связи создаются с большим запасом, макcимум - в два года, а потом идет процесс сокращения того, что совсем не пригодилось, природа оптимизирует, и к 7-8 годам выходит на некоторое стабильное состояние по количеству, при этом резерв под обучение все равно остается, и рост синапсов происходит, и даже новые нейроны появляются, в гиппокампе, ответственном за память - вообще практически до старости. Вот и схлопнулись у Маугли области, ответственные за речь безвозвратно.

Таким образом, можно полагать, что не только природа, но и люди - особый тип материала, на котором развертывается деятельность. Есть множество ситуаций операционной деятельности с воспроизводством, ведь станки и инструменты ломаются, люди меняются. Как же воспроизводится деятельность?

Это происходит за счет того, что сформированная повторяющаяся деятельности фиксируется и сохраняется в культуре в виде некоторой нормы, через рефлексию и очистку частных повторений от ситуативного. И эти нормы могут быть воспроизведены в деятельности. Нормы сохраняются, и могут изменяться, если деятельность изменяется, в том числе совершенствуется. Цикл жизни нормы таков: рефлексия - формирование способа - трансляция норм - передача норм - реализация в новой ситуации - и снова рефлексия.

И это все - искусственные, а не естественные процессы. Они по-разному обустроены в каждом обществе, в них могут возникать различные разрывы. Известны случаи, когда трансляция культурной нормы обрывается, норма дальше идет только в устной традиции - а в ней нельзя говорить о сохранении. Известны случаи, когда утерян смысл культурной нормы, не осталось людей, которые его понимают, и деятельность застывает и повторяется без всякого смысла, догматично.

В схему вписываются нормы управления деятельностью - и не так, как у Винера в схеме обратной связи, тут нет гомеостаза. Социальное действие - поверх схемы.

Я тут хочу отметить, что письменность - это изобретение, которое оторвало человечество от животных. Передача и воспроизведение норм в устной традиции есть у многих млекопитающих, природа как раз на них перешла от эволюции через генетический код к эволюции через обучение. Но вот долгое сохранение возможно только через знаковую запись.

Социальные и культурные нормы

Схема нормы лежит на объектно-онтологической доске, для воспроизводства ее надо перенести на оргдеятелностную. При этом оргдеятельностная доска разбита на 5 слоев системного подхода в СМД, снизу-вверх: Материал - Морфология - Связи - Функциональная структура - Процесс. Слой морфологии - особенность СМД, в других вариантах ее нет. Идея следующая: деятельность предъявляет требования к материалу, на котором она разворачивается. В случае людей - это компетенции и психофизиологические характеристики. Реальные индивидуумы им не соответствуют, и образуется разрыв. Более того, они обладают самодвижением, поэтому разрыв дышит, он может увеличиваться или уменьшаться. А при изменении процесса одни организованность подстраиваются, а другие - выламываются.

Любую схему можно рассматривать через любой слой: видеть процессы, структуру, связи, морфологию.

Николай Гартман на конгрессе в 1946 сформулировал, что самостоятельности более низких от более высоких слоев соответствует частичная зависимость высоких от низких. Высокие управляют, но они лежат на нижних, нет свободного парения высоких слоев. Органическая жизнь зависит от неживой природы. Душевная жизнь - от органической. Под культурой лежит социальное, и социальное прорастает через культуру. Тем не менее, каждая культура и другие высокие слои имеют свободу влиять на нижние. Свободу надо рассматривать в каждом уровне, и по отношению к нижележащим и вышележащим.

Слой культуры лежит над слоем социальных отношений. В обоих слоях - свои нормы. Схемы воспроизводства не задают культуру саму по себе. Надо перейти к эмпирическим формам. Предельные идеальные типы: воспроизводство без культуры и культура без реализации. Воспроизводство без культуры - каргокульт, способ - копирование, подражание в поведении, без понимания содержания и смысла процесса. В истории есть периоды, когда культуры нет, а воспроизводство продолжается. Культура без реализации - тоже есть.

Культура начинает существовать за счет культур техники - там идет социальная организация. Шаманство, египетские жрецы, храмы (все равно - гончарного искусства или любви). Воспроизводство культуры через специальную деятельность. Формы, когда хранится нормы и образцы. Аббатство Клюни. Грамматика и Логика Пор-Рояля, которые на 200 лет определили нормы выражения результатов в речи. Или софисты. Или пифагорейцы, которые впервые включили формы обучения за деньги. Это все нормы хранения и трансляции норм.

Каналы трансляции культуры - разные. Трансляция как педагогика, трансляция на сохранение, трансляция с инновациями. Разные типы деятельности, и сообщества сложно уживаются.

Воспитание транслирует лишь социальные нормы, а трансляция культуры исчезает. Обучение также дает лишь социальные нормы, без трансляции культуры. Широкое распространение учебной деятельности дает упадок культуры. Гимназии в царской России выполняли трансляцию культуры и обучение, советская школа - лишь обучение. Пик культуры был в 1900, потом свертывается и распадается. Королев был возможен, потому что еще была культура. И этому есть объяснение: в России культура слишком долго была аристократической, культуры буржуазии не сложилось, а октябрьская революция была крестьянской, и все это снесла. И только потом, после смерти Сталина началось постепенное обуржуазивание общества, этот и процесс продолжается до сих пор.

Петр показывает различие культурных и социальных норм на схеме мыследеятельности, проводя стрелку воспроизводства по диагонали, и располагая выше нее, то есть преимущественно в области мышления и коммуникации, и меньше в действии, культурные нормы, а ниже, то есть преимущественно в действии и коммуникации, и незначительно в мышлении - социальные.

• Культура - сохранение и творческое совершенствование образца, а также его воспроизводство.
• Социальные - нормы социального взаимодействия, они часто пытаются разрушить культурные нормы, и заменить их.

При этом в обществе они переплетаются. Изобретение письменности - культурное событие, а вот кого учить писать и читать, а кому быть неграмотным - социальная норма.

Различие социальных и культурных норм появилось в 20 веке, до этого их полагали единым целым. Кризисы и революции показали разницу. Надо различать социальная педагогику, которая дает социализацию, от просто педагогики, которая обеспечивает введение в мир культуры человечества. Сергей Гессен в Основах педагогики фокусировался на жестком различии между социальной педагогикой и культурной педагогикой.

Я тут хочу отметить, что Гессен критикует Монтессори за то, что та не ставит вопрос о том, кого именно она хочет воспитать, вернее отвечает на него, исходя из склонностей конкретного ребенка, и не ставит цели приобщения человека к культуре (это из вики). Я тут хочу отметить, то посылка Монтессори - вполне в русле современных представлений о реализации потенциала конкретного ребенка как о цели воспитания и образования. И функциональное место культуры занято и в советском обществе и в других некоторым набором концептов. Они - разные, они отличаются от того, что было до революции, они отличаются в разных странах. Есть много типологий ценностей, которые так или иначе измеряют ценностно-культурные различия, в своей книге (и этой статье) я разбираю их подробно и не буду здесь останавливаться. Конечно, Петр в описании культуры фокусируется на тезисе, что культура - это сохранение и творческое совершенствование образца, это замечательно - но про ту же русскую гимназию известно, что там было много косных и догматичных учителей, наряду с прогрессивными и талантливыми, и, в конечном итоге, это зависело от конкретной гимназии.

А еще, размышляя про культурные и социальные нормы вспомнил лекции Петра на одной из игр в Бекасово, где он вводил различния между нравственностью, этикой и моралью. Нравственность - это самооценка, по Канту нравственный закон - внутри. Этика - это нормы поведения в сообществе, отсюда профессиональные этические кодексы. А мораль - это отношение к другому, на тебя не похожему, и тут есть определенная печалька в современном обществе. С другой стороны, социальные законы - про отношение к другому, не члену сообщества, а этика - про отношение внутри сообщества, и вроде как ей соответствует культура. Получается, что должно быть наоборот, с культурой лучше, чем с социальными нормами. Я спросил об этом на вечернем обсуждении, Петр сказал, что вопрос правильный, будет думать.

Процессы на схеме МД - нормированы, все пять, включая рефлексию и понимание. Но нормированность - разная.

Книга Георгия Петровича Щедровицкого "Педагогика и логика". В советское время набор был рассыпан, издана недавно. При занятии индивидуумом места возникает несоответствие между навыками, умениями и знаниями и требованиями деятельности. Описание навыков - часть требований деятельности. Функция обучения состоит в том, чтобы обеспечить формирование индивидов деятельности в соответствии с образцами в виде живой деятельности или в виде знаковых средств о деятельности. Она дополняет механизм трансляции, но отчасти противоположный - когда обучение останавливается на знаковых формах (теории), и не доводится до практики.

Есть разные уровни владения. Если владеешь математикой, то формула - эффективное средство трансляции. А если учащийся не владеет формулами, то ему нужно сначала овладеть средством формул как таковым, понимать переход от деятельности к формулам и назад. Это - учение. Как альтернатива - не использовать для таких учащихся описания на языке формул.

Я отмечу, что в случае формул это может показаться чрезмерным, в школе все их на некотором уровне учат. Но именно на некотором, и сложные формулы действительно можно употреблять ограничено. Я с этим сталкивался в ИТ, объясняя модели софта сотрудникам заказчика. Там надо выбирать, какие средства использовать в документах и объяснениях. И учитывать, что первоначальное обсуждение часто ведется с квалифицированными специалистами, инженерами, а потом модель надо транслировать на широкую аудиторию пользователей.

Итак, прямое копирование - это до-культурная форма обучения. А культурная - через знаковые средства. Но знаковые средства должны быть приспособлены для этого. Научные знаковые средства приспособлены сложно. Более того, там абстрагирование от деятельности Задача поставить знаковые формы, чтобы неофиты осваивали деятельность - задача педагогического процесса. Сегодня школы и ВУЗы педагогикой не занимаются, они занимаются социализацией индивидуумов в социальные структуры - это политическая, а не педагогическая деятельность.

Учение (овладение знаками) нужно для обучения. А на высоких уровнях - наоборот, составление индивидуальных программ - учение.

Итого, интеллект - искусственно-естественное образование, социальная часть - естественная, а культурная - искусственная. Кентавр-система - и система образования тоже должна быть кентавром.

Это - сильный тезис. Но он противоречит другому материалу. Дело в том, что в лекции было много разных примеров социального и культурного в их противопоставлении, и я далеко не все социальные примеры могу классифицировать как естественные образования, в них много искусственного. Например, Петр явно говорит, что кого учить читать и писать - социальная норма. Но она далеко не всегда складывается естественно, естественно это было бы, если бы отдали вопрос конкретной семье и не регулировали. А это не так, известны нормы обязательного образования, не только всеобщего, Недоросль Фонвизина ведь все помнят. И наоборот, нормы, которые устанавливали сословные и другие барьеры в получении образования, хотя и несколько дальше, чем читать и писать.

Схема Мыследеятельности - 5 интеллектуальных процессов

Принципы схемы МД

• принцип культурно-исторического интерсубъективного существования процессов - было
• отделяет 5 интеллектуальных процессов - это сейчас
• отделяет психику от мыследеятельности - это дальше

Любая мыследеятельностная ситуация - распределена, никто никогда не делает в одиночку. Надо объединять способности и делить задачи. Это схема нижнего уровня мД - много позиций.

Для описания этого уровня используется схема "способа деятельности" - акт деятельности. Есть простая форма Цель, средство, знания, и сложная, на ней до 40 процессов и элементов.

Чтобы деятельность шла с малыми затратами ресурсов надо договориться: зачем объединяем усилия и как хотим добиться - о целях и средствах. Это слой Коммуникации. Коммуникация - не речевое поведение или общение, она позиционная. Понимание и взаимопонимание требует языков в сообществах.

Понимание. Со стороны говорящего - выражение в речи, либо того, что он мыслит, либо рефлексии участия в ситуации. На способ выражения наложена норма, она называется Логика. Это культурный способ выражения результатов мышления в речи. Первым - Аристотель. Декарт первым сформулировал: логика говорит, как выражать, но не как мыслить, давайте сделаем логику для мышления. Для понимания тоже есть нормы, одна из них - герменевтика.

Обывателю кажется, что деятельность - вокруг материальных вещей, оно видно. А реально основной вопрос - синхронизация. Думает каждый своей головой, но для совместной деятельности и кооперации должны быть похожие способы мышления, особенно это важно в процессе устранения разрывов. Для лопаты легко указать образец. А вот про хороший бизнес или управление государством, или о предпринимательских шансах - сложнее, очень много таких мыслительных абстракций. Формирование и передача таких понятий в культуре - экономит мышление. Это доска, на которую вынесены представления. Георгий Петрович назвал это чистым мышлением, а Петр - конструктивным.

Управление может быть между любой парой уровней, получается 6 вариантов.

Технологии мышления

• Конструирование - Проектирование - Исследование - Программирование. Соответствуют промышленным революциям, взлет начинается при массовизации соответствующей технологии.
• При запуске системы мыследеятельности в конкретной ситуации вместо всякой хрени (общения) используются другие технологии: Проблематизация -> Схематизации -> (Объективация и Позиционирования). Мы позиционируемся на схеме, или объективируем, осмысливаем ее.

Разрывов в схеме - масса. Дорого, нет исполнителей и так далее. Типология - несколько страниц. И в реальной ситуации видно, где разрыв.

4 компоненты человека

Это пунктирные наметки СМД-антропологии.

Нельзя путать позицию и индивида. Есть 4 фокуса представлений о человек, которые можно положить на схему мыследеятельности.

• Слой действий - Биоид, уникальный набор параметров, психофизиологическая морфология начинается с зачатия
• Слой Коммуникаций - два фокуса, Индивид и Личность, о различиях - дальше.
• Слой Мышления: Индивидуальность - то, что сформировалось в мышлении в ходе индивидуального жизненного пути

Схема двигательного акта Бернштейна 1930-40е. Уровни координации движений, рефлекторное кольцо для обратной связи.

• A. От бесскелетных позвоночных. Низ-верх по гравитации
• B. Координаты собственного тела - положение собственных органов. Пространство - через собственное тело
• C. Пространственное поле - соединение сигналов уровня Б и память об устройстве внешнего пространства. От зрения и слуха, но складывается и у слепых и глухих, просто в других формах, и достаточно совершенное. Пространственное поле - объективно, оно сильно больше своего тела, оно обширно. И важно, что мы двигаемся в пространстве, мы ощущаем (осознаем) наше движение в пространстве, а не наоборот. И эта уверенность, когда покачнувшись мы думаем на пространство - то это расстройство вестибуляного аппарата. Метричность и геометричность, оценка протяжений, форм, точность. Самое объективное из пространств. Заполнено объектами и силами между объектами - силовое поле (когда мы думаем, можем ли поднять камень). Движения - целевые, откуда-то и куда-то, у них цель перемещения. Ниже - лишь позы тела. Два подуровня: верхний в третьем - точность броска, нижний - точность позиционирования и ходьбы (к Б).
• А-B-C - уровни координации движения, выше - уровни действия.
• D. Координация действий с предметом. Не только координация человека, но и животных. Ведущее афферентация - предмет. Психологические образы предметов, связь между сенсорными и гностическими составляющими. Не предмет как форма, а смысловая структура двигательного акта, перевод смысловой задачи в порядок двигательных действий. Бежать по пересеченной местности, бороться с животным и так далее.
• E. Интерсубъективный характер действий
• F - Построение смысла действия.

Петр сказал, что все эти уровни - биоид. Но Петр на старших уровнях подробно не останавливался, а мне представляется, что два старших уровня - не биоид, E - коммуникация, а F - мышление.

Производство и клуб

Это схема Георгия Петровича разделения деятельности на две сферы

• Производство - систематическая деятельность
• Клуб - формирование правил деятельности.

В производстве индивид занимает фиксированное место, а зависимость между местами отражают форму деятельности и переносятся на отношения между индивидами. Можно сказать, что на производстве индивид - винтик производственной машины, занявший место.

Места производства поддерживают социальные средства, на переломах СРТ рассыпается и складывается иная. Индивиды могут выпадать из деятельности, и включаться в другие или остаются вне производственной сферы.

В ситуации потребности в изменениях - надо понимать как менять структуру. И этим занимается клуб. Там люди отделяются от зависимости производственных структур. И там - пространство свободных действий от условности производственных структур.

В клубе люди выступают как личности, или аристотелевские политические животные, там иные взаимоотношения людей. Предмет клуба: структура производственной деятельности, распределение ее результатов, образование и право на него итак далее. Конфликты в клубах разрушаются случайно - анархия. Но надо структурировать - и тут вырастают статусные знаки. Сначала как отражение заслуг в производстве и местах. Но статусы долговечнее конкретных мест и не механически к ним привязаны.

Между сферами производства и клуба перевертываются отношения: из зависимой сферы клуб становится управляющей структурой. Человек вступает в разнообразные производственные и клубные отношения, выращивает две ипостаси - индивидную и личностную. И там есть сложная совместимость по занятию производственных и клубных мест. И поверх этого - индвивидуальность, определяемая историей человека.

Я хочу отметить, что некоторое противоречие. С формулировкой, что производство - место, где играем по правилам, а клуб - место обсуждение правил - все хорошо. Но как только в клубах появляются статусы и правила, такая система рассыпается. Нельзя работать в столь различных определениях. Или правила есть, или их нет. Понятно, что могут быть культурные правила, нормирующие обсуждения, просто чтобы оно было производительным, но это не вопрос статусов.

При этом Петр явно приводит аналогию с английскими клубами джентльменов. И тут тоже проблема. Потому что, с одной стороны, там явно способы управления обществом, изменения правил игры. Но я бы не сказал, что они - неформальные, скорее, они альтернативные, то есть подчиняются другим правилам. Это как с партиями, о которых Петр тоже говорил: когда-то люди неформально обсуждали политику, но современные партии - вполне производственные структуры. А еще некоторые английский клубы при вскрытии оказываются местом, где человек становился свиньей, проявлял свою животную сущность, которую в иных местах социум проявлять не давал. Так что тут надо аккуратнее.

Рефлексия

За счет чего происходит занятие позиций и свободное поведение, если процессы нормированы? Начиная с Декарта способность человека ходить по позициям, местам, ролям называется рефлексией. Декарт приписывает рефлексию как базовую способность человека. Это говорит Кант и СМД-подход. Рефлексия позволяет человеку занять любое место в производственных и клубных структурах.

Я отмечу, что способность к рефлексии и к занятию позиции не дана от рождения. Собственно, Петр тоже это неявно признал, когда в обсуждении сказал, что это - компетенция, что ей надо учить. И можно помогать, например, с помощью ИИ - это идея Верховского.

А я хочу отметить, что рефлексия все-таки сильно отличается от способности занять позицию, в том числе с точки зрения нейрофизиологии. В мозгу есть область, отвечающая за модель самого человека, и рефлексия - достройка ансамблей нейронов в этой области, и она на базовом уровне врожденная. А за модели других людей отвечают другие области, там модель строится на общих принципах моделирования объектов мозгом через множественные типологии и прототипы экземпляров, и это - другой базовый механизм, родственный осознанию пространства вокруг. А себя человек к этим типологиям не относит. Отсюда - основная ошибка атрибуции, в просторечии "все - уроды, а я - д'Артаньян".

В Рефлексии задействованы две функции: внимание и память, они дают психофизиологическую подложку для рефлексии. Есть 4 типа рефлексии.

• объективирующая - признаем объективным
• субъективирующая - признание внутренним
• ретроспективная
• проспективная

Первые две - про внимание, вторые две - про память.

И в конце - схема продуктивного действия, цикл Знание - Замысел - Реализация - Знание. Рефлексия - соотнесение замысла и реализации чтобы выявить несоответствия, откорректировать себя и сам план, и придать корректировке пространственно-временную определенность.

Про биологическую основу понимаем очень мало, что-то про производственную, почти ничего про клубную. И почти ничего про индивидуальность, про способность быть историческим существом.

Лекция 7. Как умные машины изменят мир мыследеятельности и пространство предпринимательских проектов

Другие мои материалы по СМД-методологии

Disclaimer. Это моя интерпретация лекций, неполная и дополненная собственными мыслями.

Лекция сегодня была посвящена сценарием будущего развития. Петр обосновал, почему сценарий крупного централизованного развития ИИ, который был позавчера, он считает наиболее вероятным и реалистичным. Хотя альтернативный децентрализованный сценарий, который он назвал романтичным, тоже возможен, хотя и менее вероятный. Вообще предполагалось, что после лекции Петра желающие смогут рассказать альтернативные варианты, но лекция заняла много времени. Но я, готовясь, написал тезисы о своем варианте и опубликовал их в чате группы, а теперь включаю в конспект. В терминологии Петра это - децентрализованный вариант.

Помимо обсуждения сценариев, была таблица функций, которые можно передать машине, и которые пока передать не получается и классификация трендов. А до сценариев Петр подробно рассматривал нынешнюю ситуацию с точки зрения промышленных революций. Это рассмотрение позиционирует ситуацию в ряду аналогичных и должно помочь сделать ставку.

В конспекте я немного перенес тезисы из обсуждения в конце в месте конспекта, где обсуждались эти вопросы, в основном это касается сценариев.

Фазы промышленной революции и динамика инновационного проекта

Тезисы - напоминание. Про промышленные революции было во второй лекции и многих других лекциях Петра, так что здесь был фокус на переходе между революциями.

• Петр ввел 0 революцию в Нидерландах. Дискуссии, был ли в Нидерландах промышленный капитализм, или только торговый, как писал Маркс, 150 лет. И Петр обосновал, что промышленный капитализм был.
• Центрами промышленных революций были только новые образования, до 0 революции не было Нидерландов, 7 объединились. Аналогично в Великобритании - Англия объединилась с Шотландией. США - они новые, а после войны Севера и Юга переформатирование.
• Сейчас - начальная стадия 3 революции, потому как нумерация с нуля.
• Каждая революция проходит три фазы

  1 фаза Складывается технологический и институциональный каркас. Складывается, его до этого нет. Для внешнего наблюдателя - незаметно, он видит отдельные артефакты.

  2 фаза - когда сложилось - начинается рост, в разном темпе.

  3 фаза - потенциал роста использования ресурсов и производительности исчерпывается и начинается стагнация.

• В самоопределении предпринимателя важно понимание стадий.
  • На 3 фазе - СРТ уже сложилась и достигнуты пределы. Остается рента, в том числе технологическая. Капиталы идут с спекуляции и стимулирование спроса на старые продукты. Спекуляция вымывает товар из цикла, финансилизация. Из денег проще делать деньги, чем товары. Рост цен, предприниматель не может сделать расчет.
  • Мы в начале новой стадии, условных 25 лет. Но все проблемы завершения предыдущей присутствуют, революции накладываются и в начале новой присутствует старая СРТ. На ее фоне новые процессы - скрыты, тут область ставок, а не область расчетов.

Динамика инновационного проекта в начале волны. Аналогичные фазы можно выделить и в других условиях, но в начале волны есть важная особенность: потребность в ценностях, которые дает новая технология, еще не сформированы.

1. Замысел проекта, позиционирование относительно решения проблем завершающей стадии прошлой волны на новых технологиях. Еще не новые ценности для потребителя, а старые. Проекция будущего в настоящее. Есть разница между ситуации с проблемами (пока нет конкретной проблемами) и проблемную ситуацию (есть конкретная проблема). Денис Ковалевич полагает, что это - преждевременно для предпринимателя, он работает от точки сформировавшегося спроса, а на этой стадии риски слишком велики. Но актуализация ценностей - это конец первой стадии, до этого все проекты будут именно такими.
2. Формирование архитектуры проекта. Субъективное представление о ценности и прибыли - можно вступать в кооперацию. Но вокруг все - из старой СРТ, несут ее в деятельности и в понимании, mindset. B их надо вовлечь, с учетом их представлений о ценностях. И держатели производства, и команда проекта и потребители должны понять и принять ценность, и дальше - оценивать вклады. Каждый участник обычно переоценивает свой вклад. Увеличение вклада участника не означает увеличение прибыли. И тут надо договориться о прибыли, оно должно стать интерсубъективным. Предприниматель их расставляет. Я отмечу, что если слишком жестко расставляет - они уходят). Должны договориться по распределению прибыли и вложениям. Есть вклады в виде капитала и труда, и ценность денег зависит от потребности. Забота предпринимателя - сдержать перенос ценности продукта на ценность вкладываемых факторов, чтобы была высокая прибыль проекта. Важно соблюдение обязательств и конфиденциальности. А после масштабирование может быть технологическая рента.
3. Долина смерти. После запуска выручка не покрывает затрат. Это может быть годами, тут история Эдисона, которая будет дальше. На этом этапе может не хватить ресурсов.
4. Масштабирование. Добиться признания ценности - сложно. Производство должно быть массовым, чтобы были сетевые эктерналии. Чем шире круг участников, признавших ценности блага, тем шире в СРТ. Они копируют, идет трансформация СРТ. Увеличивается вширь больше), ввысь (большее значение) и вглубь (изменение СРТ и новые ценовые пропорции). На этом этапе вопрос в том, чтобы повышение ценности не перешло в рост цен материалов и издержек.
5. Формирование новой нормы. Новые ценности формируют новые ценовые пропорции. Объективируются и субъективируются в них. Старые СРТ разваливаются, новые складываются. Или старые остаются в одних странах, а новые - в других, с перераспределением межстранового СРТ и капиталов. Формируются платформы, новая ценность переносится на ключевые узлы платформ. Для этого важна стабильность денег, это в середине большой волны, не в конце. Наличие здоровой системы очень важно, это становится основой интеграции новой ценности в общество.
6. Рутинизация. Помимо распространения новой ценности, масштабов производства, включая подражателей. Платформа дает прибыль, но дальше она снижается, норма прибыли снижается. Капиталы пробуют уйти в другое место, но там жесткая система, и системы начинают не расширяться, а рушится.

Текущий 2024 аналогичен 1874, 1724 и 1574 (возникновение объединенных провинций - 1572). Можно посмотреть, какие предпринимательские проекты тогда были. Отмечу, правда, что у такого анализа проблема ошибки выжившего. В теории можно смотреть и провалы, а не только успехи,

В любом случае - вопрос как и когда будет новый продукт. И там предвидение будущего спроса, для потребителей, которого нет, и экономика. То есть тут вопрос - насколько угадал, предвидел ценность, помог формированию, и насколько попал в ее удовлетворение (или расчистил площадку для других). Вся прибыль - в будущем.

Правда, тут я отмечу, что с ИИ нестандартная ситуация: ценность ИИ сформирована в общественном сознании уже в 1960-е. Потому она стояла на стопе "пока не можем". Экономическую ценность, конечно, надо доказывать, но на уровне информационного поля проблем нет. не надо прорываться через барьер непонимания. Хотя опасения тоже сформировали, но с этим можно работать.

История лампочки Эдисона. В 1880 - первая фабрика, через год - еще один завод. 1881 себестоимость лампочки была 1.1$. Для широкого использования ламп, которые были новыми благами, нужна доступная цена продажи. Эдисон разработал план завоевания потребителя, с расчетом что с начала цена 0.4$ и не менялась. А с развитием технологий цена производства должна снизится, и потом покрыть убытки. В 1882 себестоимость снизилась до 0.7, масштаб вырос, и годовой убыток стал больше. В 1883 ряд ручных операций заменили на машинные и улучшена технология, до 0.5. Но количество изготовленных ламп возросло, что убытков больше. В 1884 году себестоимость 0.37, и за 1 год он возместил убытки. На 1885 году 0.22 а выпуск 1м в год - и это прибыль, которая дальше увеличивалась.

История интересная, и я полез смотреть подробности и окружение. Во-первых, одних лампочек было недостаточно, им еще было нужно электричество. Эдисон, кроме лампочек, производил динамо-машины. Возможно, это были комплексные проекты - электростанция, сеть проводов, освещение, хотя могли быть и отдельные продажи. А если это комплексный муниципальный проект, то городским властям надо было гарантировать, что лампочки будут доступны, потому что на электростанцию они, наверное, могли собрать, а на лампы нет. А лампы тогда работали не долго. Но в таком случае себестоимость лампочки - это ни о чем, надо смотреть экономику проекта в целом, учитывая динамо-машину. Во-вторых, Эдисона поджимали конкуренты. Он работал с постоянным электрическим током, и там все было готово в 1879, а в 1880 это впервые установили на пароходе, а первая станция была в 1882. Конкуренты, Thomson-Houston Electric, работали с переменным. У них что-то не ладилось компанию с инвестициями они смогли сделать в 1882, а первую станцию - в 1886. Но про опыты наверняка было известно, были другие конкуренты, там еще American Electric была основана тоже в 1880. Так что, вполне возможно, было решение J.P.Morgan, который финансировал компанию Эдисона, под репутацию и обещания, что с себестоимостью разберутся, для захвата рынка. И это оправдалось: переменный ток был более эффективным, но рынок был уже занят и в 1892 Edison Electric купила их, а объединенную компанию назвали General Electric. Любопытно, что главой объединенной новой компании стал президент Thomson-Houston, а Эдисон в 1894 продал свои акции, оставшись консультантом. В общем, в более широкой рамке история получается сложнее, и не факт, что Эдисон там - основной предприниматель.

Сценарии развития текущей ситуации

Текущая стадия промышленной революции - середина первой фазы

• Новая СРТ не сложилась, а старая растеряла потенциал
• В этой стадии - перепроизводство инженерных инициатив и решений, большая часть которых - на прошлой волне
• Деньги - из старой СРТ
• И все это надо рассматривать в контексте изменений международной СРТ.

Получается следующая ситуация

• Когда ChatGPT используют в старой СРТ, потенциал невелик, и не может обеспечить долгосрочной прибыли.
• Непонятно, где будет рост СРТ. И как начнется. По разным трендам время течет неравномерно.
• При этом часть мест финансируется военными и госами, экономика искажена.
• Предприниматели смотрят на инженерные изобретения и не очень понимают перспективы, живут в старой СРТ.
• Смотрят на финтех, а не процессы и материалы - потому как спекуляции на третьей фазе предыдущей волны как раз на пике.
• Прогнозируют рост инвестиций, но надо смотреть на происхождение: произошел перенос из старого, или нет.
• Стартап студии растут быстро, в них копится вертикальная составляющая - но инженерная, а не предпринимательская.

Было ли это в прошлом? Было. В 1697 Дефо написал эссе Век прожектерства. Это как раз конец 3 фазы 0 революции. Он описал удивительное явление: авантюристы обогащались. предлагая властям разные проекты.

Петр различает лидерские индустриализации и догоняющие, которые могут быть предпринимательские и административные. Лидерские всегда были предпринимательскими. Они происходят за счет того, что в силу разных причин на одной территории собирается много предпринимателей, которые все время ищут новые проекты. И в какой-то момент складыватеся.

В 1660 William Petty в Англии пишет книгу, в которой задается вопросами: почему в Нидерландах каждый человек получает 18 центов в день, а у нас 6? Нас больше, у нас флот, больше ресурсов, мы выиграли первую войну. А они все равно получают больше. У него разные ответы. А Петр думает - предпринимательство.

Понятно, то появляется идея собрать административно ресурсы и направить на догоняющую индустриализацию. Кольбер: почему голландцы даже наши каботажные маршруты контролируют и шляпы у нас делают? И он начинает создавать торговые компании, импортозамещать и так далее. И через 20 лет - полный коллапс. И когда король вызывает и спрашивает - где, то советует войной пойти.

На каждом такте разрыв вырастает. Между Францией и Голландией 1675 - почти никакой разницы. Между США, Францией и Германией в конце первой революции - похоже. США работает за счет предпринимательства, а Германия административно. Важно: администрирование на каждом шаге - все жестче. Иначе не получится. в том числе это относится к администрированию в тех странах, которые были лидерами. Предпринимательская - пунктиром, высоко, а административная - массовая и расширяется. Кто-то достигает, кто-то в серединке.

Растет масштаб конфликтов. Идут войны следующих типов

• гражданские конфликты внутри стран, в том числе претендентов на лидерство - в странах претендентов конфликт между новым и старым там больше.
• множественные конфликты между странами за места в международной СРТ. Включая 1 и 2 мировые войны.
• конфликт между ведущим претендентом на лидерство в ходе новой революции и старым лидером

Почему создание больших кластеров и введение режима секретности Петр полагает высоковероятным? Потому что на 3 стадии 2 пром.революции наибольший вызов для старой системе приходит со стороны военных конфликтов. Дроны: последний Карабах, Украина, Ближний восток, в будущем Тайвань - страны включатся в новую гонку вооружений. Он не рад сценарию, но считает его вероятным.

При этом сценарий Мегапроектов он считает реалистичным сейчас, но его реализация может подготовить почву для иного. Проблема в моменте: если посмотреть на войны - они смещаются к началу волны и это - плохо.

ВПК не является источником инноваций, но это не мешает ему разворачиваться, брать власть. ВПК может как создавать инженерный навес нового, так и продолжать развитие старого, развивать. Это как раз вторая мировая. Чем слабее позиции стран уходящей волны, тем больше вероятность, что они пойдут на альянс с административной системой. Но жесткая рамка заказа - сделает прагматизацию, без исследований. Это в рамках основного сценария. А в децентрализованном - освобождается.

И была реплика Николая Верховского про основной сценарий. Разработчики ИИ, понимая ограничения, приходят к выводу, что энергоемкость и материалоемкость зависит от архитектуры мыслительного процесса, самого работы GPT внутри семантического поля. В новых версиях они вставляют рассуждения, и еще показывают, как рассуждала GPT в логах. B это снижает энергоемкость. А еще дает реальное, а не виртуальное объяснение, как пришли к решению. Есть надежда на большой заказ и возможность. Но может оказаться, что такие деньги не соберут. Получается, что одни просят 5 трлн, а другие предлагают альтернативы. И сейчас идет драка, как делать. Но исследований нет. Из закрытых конференций - машину на чипе режут модулями и рисуют волшебные структуры.

А я тут должен отметить, что для дронов нужны легкие локальные решения, а не мегаИИ, о котором проект. Хотя, конечно, военных можно в разном убедить.

Про децентрализованный сценарий Петр сказал, что у него есть свои трудности: блокчейн - медленный, доступность для широких кругов - под вопросом. Это романтическое направление: все люди научатся жить, и станут сами себе хозяевами. И менее вероятный.

Я тут отмечу, что блокчейн - не обязателен, хотя есть те, кто за него топят. Вообще сценариев много, они включают мировоззренческую и технологическую составляющую, надо разбираться на следующем уровне подробности в деталях. Я тут недавно прочитал Бердяева Истоки русского коммунизма, и там явно видно, что нельзя просто делить на тех, кто был за монархию и против, там было много разных движений, а победило одно.

В конце революции образуются инженерные решения - они просто накапливаются, потому что без применения. НАСА - пример сплоченного, но неспособного коллектива. Пришлось уволить, они устроились в стартапы, там много. Инженерные проекты живут своей жизнью. Иногда за счет предпринимателей.

Онтологически у лидера текущей нет шанса стать следующей - они сохранили структуру. И одна из проблем США - как сохранить, они не могут смириться. До 1 мировой Британцы надеялись вернуть. Предприниматели, интуитивно понимая - инвестируют в другие точки. Голландцы с 1675 не инвестировали в Голландии, они по всему миру (Англия, Франция, Россия, колонии, Англия). Не надо делать инъекцию в протез. А элиты пытаются удержать.

Реплика Верховского. В промреволюциях - всегда флажки стран. Но реально там масса предпринимателей, складывается по миру, и дальше ищет, где локализовать, где институты меньше мешают.

Петр. В начале - возможно. Голландское чудо складывали немецкие протестанты, пираты, евреи из Португалии и так далее. И шла война за независимость, и внешнее давление было важнее внутренрих конфликтов. А как война закончилась - стало печалька.

А в Англии элиты колоний начали использоваться как противовес. США вышел совсем, а другие - имели позиции, сдерживали, и это вторая сторона. Англия и США - колониальный тип. Индия для Англии - экстерниализация безопасности, офицеры из Англии, а солдаты оттуда и не отвлекали англичан от труда на производстве.

Я тут отмечу, что сложилась нестандартная ситуация: основное количество инженеров, работающих с технологиями старой волны - в США, и там это сознательная политика. Вообще новая волна будет особенной, потому что теория волн и промышленных революций хорошо проработана и известна правящим социальным группам. И они не ждут, а действуют, и начали это больше полувека назад с попытки остановить технологический прогресс, а заодно и рост населения - римский клуб, концепция устойчивого развития и так далее. У Переслегина, кстати, это поломало его теорию волн развития, которые у него короче революций Петра: пятая волна, которая началась около 1960, получилась нестандартной.

Если американское правительство вложится, решая другие задачи: сохранение геополитики, стабилизация расходной части населения, стабилизация отношений между штатами. Мегапроект может это решить. Не факт, что запустят, могут оценить, что новый Манхеттен не потянуть. Еще могут запустить, но не добиться результатов. Но все равно сделают существенный кусок: сформируется пузырь, лопнет, много всего останется.

Мой сценарий развития

В этом месте уместно поместить тезисы по моему сценарию развития. Я их написал и опубликовал до лекции Петра. Если кратко - я за децентрализованный сценарий, в котором не вижу ограничений.

1. Есть много разных конкретных задач, которые интересно переложить на компьютер по разным причинам, ИИ расширяет классы возможного.
2. В сценарии я опираюсь на развитие софта - базы данных, ERP и другие, потому что они решали те же самые задачи, в деятельности, но у них - другие технологические возможности. При этом у баз данных разнообразие задач поуже, у ERP - пошире, и сценарии - различны. Где задачи ИИ находятся в этом ряду не понятно.
3. Флагманы (OpenAI) сделали ставку на один продукт-монстр, который будет для всех задач, потому как все их делает человек, значит все они одинаковы. При этом уже продукт не один, есть несколько крупных конкурентов, за ними идут конкуренты поменьше, это повторяет ситуацию скорее с базами данных, чем с ERP.
4. Флагманы решили монополизировать рынок, может, разделить на двоих-троих, через регулирование. А заодно продать государству как стратегический ресурс. Через регулирование можно все угробить, но я считаю, что все угробить таким образом не получится, а свое преимущество они рискуют потерять, потому что если OpenAI придут управлять генералы или бюрократы, то там рассыплется. Будет больше альтернатив, они будут догонять. Что по поводу этого говорят флагманы - фигня, это как Oracle объяснял, то его не догонят.
5. Конечные задачи решаются малыми командами собиранием человеко-машинных системы из разных ИИ и поддерживающих людей по агентской схеме. Люди работают на стадиях конструирования, сборки схем и их обучения и на сопровождении, то есть перестройке и дообучении. А также следят за операционной работой и вмешиваются - как руководитель следит за работой отдела. Там есть точки развития технологий, например, научиться методологически технологично собирать тестовые наборы, чтобы сравнивать разные решения, и при этом избегая эффекта, чтобы агент чрезмерно подстраивался под тестовые данные. Принципы и подходы для этого есть, отработаны на системах аналитики и других, но надо перенести. И именно они выбирают, что использовать как базу ИИ-агентов, можно собрать из нескольких агентов ChatGPT, или несколько разных платформ, включая традиционные вычислительные программы.
6. Многие задачи требуют локального развертывания по нормативным соображениям, и уже есть модели, которые можно развернуть на кластерах, доступных небольшому университету или компании, и даже на машине разработчика. И там возможна архитектура с узкими специализациями, например базовая LLM общего назначения для диалога, к которой подключена модель, тренированная для узкого класса задач. Или не очень узкого, например, написания кода на почти 200 языках программирования - оказалось, что это однородная задача. И обучать такие модели тоже может небольшая команда на разумных мощностях, это может быть частью проекта. Появляются аналогичные платформы для физически действующих роботов, и их тоже может использовать и доводить небольшая команда. Вообще, подсоединить исполнительный механизм к ИИ - не проблема, автопилоты рулят окружающим миром.
7. У ИИ, в отличие от людей, нет ограничения, что специалиста можно нанять только на полную ставку (или на полставки) - он может отвечать на специализированный вопрос, и команды агентов могут быть большими. Часть агентов делают просто персонализацией промптов: ответь как такой-то специалист, учитывая это и это, ИИ умеет занимать производственное рабочее место, особенно уже существующее в СРТ для человека. При этом, если вопрос не является уникальным, а встречается в задачах по всему миру, то модель получается повторно-используемой. Ее могут продавать, а могут выложить в открытый доступ - все равно в ходе проекта ее сделали, а для команды есть бонус, что ее наймут дообучать эту или сделать аналогичное.
8. Децентрализованное развитие снимает все препятствия СРТ, о которых шла речь, кроме социальных и экзистенциальных. С энергетикой разберутся, ее хватает, надо учить умнее, а часть проблем, типа тантала - просто надуманные. И люди для обучения и конструирования тоже находятся, для многих задач сверхвысокой квалификации не требуется, будут команды, решающие задачи разной сложности.
9. По социальным проблемам - независимо от того, что выплескивают на широкие массы, в основе - консервативные посылы существующих социальных институтов управления обществом, как общего характера, так и частных, например, профессиональных сообществ, таких как юристы. То есть они исходят из социальных групп, устроивших ренту из управляющих позиций. Ретроспективно оценивая, думаю, что остановить прогресс у них не получится. Одних сметут, потому как их монополия уже достала другие группы, с другими - договорятся.
10. Проблемы этики, ответственности за действия, целеполагания, объяснения действий и другие экзистенциальные проблемы - мнимые, для разгона страхов. ИИ справляется не хуже человека, а местами - лучше, и этого достаточно. Если распространить предъявляемые к автопилотам требования на всех водителей, то водить машины надо всем запретить. И так далее. Многие из этих проблем снимет военное применение ИИ, которое уже есть и активно развивается.
11. Начнется все с ИИ-помощников, вернее уже началось и пойдет экспотенциально. И их применение, и настройка не сложнее работы с смартфоном или компьютером, или обучения помощников-новичков. Перед людьми у ИИ есть преимущества - они не болеют, неутомимы и, главное, готовы признать и исправить свои ошибки. ИИ-художник или дизайнер не отвечает "не учите меня рисовать, я художник - я так вижу". У него нет эффекта Даннинга-Крюгера переоценки возможностей. И так далее. Так что лет через пять они будут у каждого, как сейчас есть смартфон, а уровень использования будет различным. При этом будет много команд и компаний, которые будут создавать разных помощников, можно будет выбрать. Что важно, если, например, вы выбираете воспитателя своим детям - важно, чтобы он транслировал ту картину мира, которую вы считаете правильной. Самостоятельность помощников будет повышаться, воспитатель детей - многофункциональный постоянно действующий ИИ. А нанимать ИИ для этой задачи будут - самим же возиться лень или нет времени (что одно и то же), и ИИ комфортнее и сильно дешевле, чем воспитатель-человек, это же софт в смартфоне. ИИ-помощники будут и узкие - планировщик отпуска, личный стилист, который вряд ли будет читать рекламы в нынешней форме, и покупать одежду после одобрения будет он, посоветовавшись о потребительских качествах с ИИ-помощниками, которые уже купили - для этого будут специализированные платформы. Оплачивать это все надо будет по подписке.
12. На тренды социального развития общества ИИ в моей модели общества повлияет не сильно, он ее ускорит. Но у меня - оптимистичная модель, в ней нет, например, будущей горячей мировой войны. Подробное обсуждение - за рамками этих тезисов. Но если кратко, то основания для меня носят культурный характер: ядром противостояния старому лидеру является тройка Россия-Китай-Индия, которые по базовой культуре настроены договариваться, и будут договариваться, тем более, что понимают, что конфликт будут провоцировать.
13. В какой-то момент кто-то из руководителей или владельцев решит, что продолжить дело его помощник сможет лучше, чем преемник. Даст доступ к счету - для этого же достаточно открыть браузер и войти в банк-клиент. И поставит вокруг систему, управляемую ИИ-агентами, предназначенную для обеспечения непрерывного функционирования производств, чтобы менеджеры отключить не могли. Или унесет в облака и там спрячет с резервированием. Будет присматривать, а потом перестанет. После первого прецедента будут последователи.

Что можно отдать машине, а что - не получается

Дальше было несколько слайдов, которые Петр повторно не комментировал, на которых перечислялось, что можно отдать машине, а что - пока не получается, поделенные по трем слоям схемы мыследеятельности, дополненной слоем способов самоорганизации. Он подробно не комментировал, и я не буду их переписывать. У участников слайды есть.

Но я хочу сохранить свой комментарий в чате по поводу некоторых пунктов, которые, как кажется, нельзя отдать машине. Для начала, мне кажется неверной сама бинарная постановка. Правильно спрашивать, какова автономность машины в рамках совместного мыследействия, а какова доля человека. И можно ли ее повышать, есть ли пределы. И это аналогично любому найму помощника или сотрудника: что можно ему отдать сейчас в автономное действие, к какому совместному действию можно привлечь и каков его потенциал.

Далее, почти по всем пунктам, которые не получается отдать машине, я вижу не просто потенциал когда-то в будущем, а возможность этого уже сейчас. Все пункты я разбирать не буду, но парочку прокомментирую. Вполне может быть, что по некоторым пунктам списка я не понимаю их настоящего пафоса, но так многие люди, думаю, тоже их понимают без пафоса.

1. Постановка целей. Тут есть технологизированный процесс OKR. Ставится рамочная цель, например, удвоить выручку или запустить такой-то продукт, определяются критерии продвижения (для выручки - очевидно, для запуска - менее). Дальше вопрос о средствах - гипотезы, как ее можно достигнуть. Ранжирование гипотез по перспективности. Вопрос об экспериментах для проверки гипотез и их стоимости. Повторное ранжирование, потому как может есть гипотеза более скромная, чем топовая, зато легко проверяемая. И дальше - организация экспериментов конкретными командами людей (и машин). На всех шагах этого процесса GPT уже сейчас может вносить неплохой вклад, так что в деятельность команды. В конкретном случае он может оказаться решающим. Тут же как, когда ты предложил PT написать 20 вариантов, потом оценить каждый и ранжировать, а потом топ-3 отправил в работу - кто это сделал, он или ты? Один случай может быть случайностью, а если ты всегда отправляешь в работу топ-3 - то ты заменил в этой операции себя на GPT. Тут, кстати, что интересно. Ограничением менеджмента всегда было количество подчиненных на менеджера, особенно при плотном управлении. Возможно, GPT это ограничение снимает.
2. Занятие позиции есть из коробки. Представь себя таким-то. B можно дополнить скриптом - каждое утро посмотрит такую-то инфу, проанализируй, реши что делать и так далее. Правда, это получается, если позиция стандартная. А если она нестандартная - ее надо сначала описать.
3. Создание норм коллективной деятельности. Новые он, наверное, не создаст, но предложить усовершенствования - может. И предложить варианты организации работы новой команды - тоже. Он же все существующие знает. И этого - достаточно. Потому как, например, в ИТ была большая работа квалифицированной группой - проанализировать как реально ведутся проекты. Результат - примерно 220 практик, фреймворк рамочной организации и язык описания комбинаций, плюс библиотека с описаниями методов. Это я про OMG Essence.
4. Выделять категории из текстов, а также рисовать схемы в заданном формализме GPT умеет уже сейчас. Я не знаю, есть ли среди формализмов категориальные схемы, но вообще онтологии аналогичны структурам классов, а диаграммы классов GPT разрабатывает и вроде рисует и понимает нарисованные.
5. Проактивность и остановка действия - легко через регулярный скрипт для анализа изменений контекста и генерации идей, которые по некоторым критериям могут автоматом идти в исполнение, или наоборот, по мониторинг с оценкой происходящего по каким-то метрикам и сигналами остановки. Все это делают роботы, торгующие на биржах или мониторинг процессов.

Какие видны изменения в профессиях

Для занятия ИИ позиций СРТ, вероятно, потребуется еще доисследовать человека как биоида для успешного взаимодействия, а также по входу и выходу из СРТ. Исследования человека анонсировал только Маск.

Что будет происходить с традиционными профессиями? Не будет конкуренции машин с людьми, будут конкурировать люди без машин и люди с разными машинами.

• Обычные учителя будут понимать умным машинам в задачах обучения. Перейдет к ИИ, а они сопровождать. До сложных аспектов образовательного процесса не допустят.
• Учителя с высоким уровнем знаний - их было в России около 30, они в 22 уехали. И будут работать только с нестандартными ситуациями. Мотивация, работа с особыми потребностями, новые программы, критическое мышление, креативность.
• Есть шанс, что учитель впервые займется не политикой, а педагогикой.
• Обращение с умными машинами надо будет освоить, иначе ученики вообще не будут с ними взаимодействовать.
• Индивидуальность обучения заставит обращать внимание на социальные функции школы. Коммуникация и проектная работа ведь требуется. И новые функции.

Медицина - реальные результаты, прогнозы и анализ снимков. Исследование медицинских данных, первичная диагностика автоматизирована и проходить, индивидуальные схемы лечения, учет генетики, подстройка лечения под динамику состояния пациента. Компетентные - на консультировании и нейронок.

Юристы - тоже самое. Сложные дела, где нужно право и переговорной позицией. А остальное массово будет на ИИ, и даст массовую доступность простых юридических действий. Это как-то изменит социальную жизнь.

ИИ возьмет позиции администраторов, контролировать ход процесса, перераспределять ресурсы, люди - обрабатывать особые ситуации. ИИ будет предоставлять прогнозы, но не заменит социальные связи топов. Впрочем, я думаю, что у топов будут помощники-аватары, и их будут отправлять на переговоры, при чем ассиметрично: аватар с человеком. И, возможно, обнаружат, что аватары ведут переговоры лучше.

Тренды будущего

Цифровые помощники:

• инет вещей - интеграция сенсоров и облачных платформ. Работа почти без участия человека. Производственные и коммунальные сектора. Климат, ресурсы и так далее. Датчиков будут миллиарды, там нужны новые подходы и концепты, протоколов с обратной связью недостаточно.
• Совместно-распределенная деятельность. Миро и зум - удаленная работа, ковид интенсифицировал. teams, jira, confluence, много маленьких стартапов, но миро тоже был таким. И там очень много чего есть. Включая развитие традиционных офисных пакетов. Создание личных аватаров для имитации присутствия. Там - огромный потенциал. Тут развилка: погружение в виртуальный мир или объективация в общем пространстве.
• Ассистенты на ладони. web 3.0? контроль информации на пользователей, интеграция интеллектов и смарт-контрактов. Демонополизация рынка. Блокчейн и смартконтракты. И новая цифровая экономика. Помогать принимать решения и самоопределяться. Профилактика проблем, принимать решения быстро и точно. Обучаться предпочтениям и адаптироваться к стилю мышления, оптимизировать стиль общения. Переводить, предлагать переговоры, поддерживать связь между участниками в реальном времени. А заодно управлять финансами.
• Еще есть роботы-агенты и киборги, это он не комментирует.

Варианты общественного устройства.

• Цифровой феодализм: централизация власти, отсутствие собственности и пользователей, экономическая зависимость, отсутствие альтернатив.
• цифровая демократия, контроль данных пользователей, полный контроль за ними, децентрализованные платформы с децентрализацией властных ресурсов
• цифровой тоталитаризм - социальный кредит-рейтинг в Китае и так далее.

В обсуждении, Верховский.

• Эксперимент, который идет - когда люди рабочей профессии на местах оценивают состояние систем. Проект цифровой прораб - когда люди, оценивают состояние технических систем, общаются по рации с моделью, которая ставит задачи и получает ответы. Общаются на родном, привычном языке, там много стран. Если что - поддержка. В развитии - поскольку встроенная камера - дешевая, система наблюдает, логирует и выдает инструкции по совершенствованию навыков, индивидуальный план развития, по конкретным точкам: инструкция 65, задача номер 98 - и повысится грейд.
• Большинство из 8 млрд не имеет никакого доступа к образованию - а к этому будет, демократизация образования и перспективы.
• Любой сценарий - не только предсказание будущего, но и проектирование всего. Linux - децентрализованный, открытый, и сейчас - большинство. Генерализация любого сценария условна. А действия - позволяют оставить полезный артефакт.
• Ему нравится тезис: не надо стараться возглавить сценарий, надо услышать - и делать свою работу.