7324
правки
Изменения
Новая страница: «{{RightNote|Другие мои материалы по СМД-методологии}} {{red|'''Disclaimer. Это моя инт…»
{{RightNote|[[:Категория:СМД|Другие мои материалы по СМД-методологии]]}}
{{red|'''Disclaimer. Это моя интерпретация лекций, неполная и дополненная собственными мыслями.'''}}
Третья лекция продолжала тему машины, и в ней речь шла о системах передачах данных, машинах для коммуникации. Если механические машины в завершении привели к машине Бэббиджа, то работы над машинами связи привели к понятию информации и созданию кибернетики.
Жесткая проблематизация Петром понятия информации, для которого, по его мнению, при онтологизации Винером был утрачен денотат, то есть нет возможности указать, каким физическим объектам она соответствует и почему - сильный тезис. Но, на мой взгляд, он не требовал столь глубокого погружения в детали технической истории. Петр объяснил, что для позиционирования в будущей СРТ надо представлять весь стек, и он на примере систем связей нам показывал. Что ж, возможно.
Теперь краткое изложение. История началась с флажковой передачи между кораблями, затем были различные семафорные линии, на станцию которой ездил Монте-Кристо у Дюма, чтобы передать ложное сообщение. Французское правительство монополизировало такую передачу для себя, впрочем частные сообщения дозволялись. Но скорость передачи была крайне низкой.
Затем появился гелиограф, передача зеркалами, а затем - телеграф. Как в случае с Бэббиджем, который в своей машине использовал десятичную систему, в опытных вариантах телеграфа пробовали передавать буквы, делали 26 проводов, и это было дорого. Потом начали кодировать, уменьшая число проводов, в Британии на железных дорогах почти весь 19 век работала 5-проводная система.
И, наконец Морзе в 1838 придумал свою кодировку и аппарат. И это в 10 раз ускорило передачу - до 13 слов в минуту.
На мой взгляд, любопытно, чем объясняется столь кривая кодировка с переменным количеством знаков в одном символе, что требует специально делать пробелы между знаками. Потому что в первых вариантах на ключе работал телеграфист, а на приеме аппарат печатал на ленте тире и точки. Но, наверное, какая-то система в этом была. Кстати, пишут, что у Морзе код был более сложный, было длинное тире, а к нынешнему виду его привел Герке в 1848.
К концу 19 века появились аппараты, которые печатали сообщение буквами при приеме, а также аппарат, с помощью которого можно было готовить перфоленту, а затем подготовленные сообщения быстро передавались. Для подготовки несколько человек могли работать одновременно с разными сообщениями.
Телеграфная связь быстро развивалась на суше, появились первые эксперименты по связи под водой, гуттаперчивая изоляция вроде это позволяла. Но первая попытка связать Дувр и Кале потерпела провал - уверенной передачи не было, а кабель быстро оборвали рыбаки. Новый кабель был в оплетке вокруг изоляции из железной проволоки для прочности, и такая оплетка заодно экранировала кабель, перестали появляться помехи, передача заработала, и морские линии начали развиваться. Дальше был проект связи через Атлантику и первая прокладка кабеля потерпела неудачу - физику процесса в деталях не понимали, сигнал затухал и срабатывало индуктивное сопротивление, которое размазывало отдельные символы и они накладывались. Эффект, собственно, проявился еще на первой передаче Дувр-Кале, затем но бронирование экранировало кабель, а для передачи через океан этого было недостаточно. Тут отдельно хочу заметить, что записано все это со слуха, и я не проверял физические детали, так что может быть много неверного.
Для Петра в этой истории важен тезис, что стоило сначала исследовать, а потом - делать, к этому выводу пришла комиссия для расследования первой неудачи. Я на это хочу сказать, что не сильно понятно, как и зачем было исследовать. Потому как рабочие подводные линии к тому времени были и работали. Да, тут эффект расстояния, но теории для объяснения всех этих явлений - не было, то есть нужен был эксперимент - вот его и поставили. Ну, да, можно было не через всю Атлантику, а на половину, но на кабель через Атлантику финансирование нашли, а на эксперимент - точно не нашли бы. В общем, у инженеров есть такая метафора "модель паровоза в натуральную величину". Смысл в том, что для проверки некоторых гипотез на прототипе, надо строить модель объекта в натуральную величину, и ее стоимость получается не сильно меньше стоимости объекта. И в этих случаях надо делать испытания на реальном объекте.
Но идем дальше. После получения результата, то есть передачи сообщений, пошла борьба за скорость передачи. Что потребовало численных моделей. И тут Петр говорит о работах Найквиста, Хартли и Шеннона. Они прорабатывали вопросы искажения сигнала - затухания, интерференции соседних сигналов из-за их расползания с перекрыванием интервалов и так далее. Нужна была какая-то мера пропускной способности линии, чтобы сравнивать разные технические решения. Слова в минуту или символы в минуту не подходили, потому что длина сигналов разных символов у Морзе различна. И в конце концов Шеннон предложил следующее: возьмем минимальную длительность к коде Морзе, которую имеет точка и промежуток между точкой и тире, и назовем передаваемый элемент битом. Тире и пробел между символами занимают три бита (не два - для хорошей различимости). И скорость будем мерить в битах в минуту или в секунду.
Потом, когда информацию начали хранить - то начали использовать тот же принцип измерения. Информация кодировалась двоичным кодом, 8 бит на символ, эту единицу назвали байтом, и меряют ей объем информации. Что тоже, на мой взгляд, логично. Ведь меряют же объемы бумажных библиотек в томах. А у Петра тут претензия, что с информацией ведь связан смысл, а такое измерение этот смысл во внимание не принимают.
И Петр подробно эту линию разбирает. Он показывает, что на схемах Хартли был отправитель и получатель, между которыми был передатчик, линия связи с помехами и приемник. И он в своих статьях говорил как раз о смысле, разбирая, например, смысл словосочетания "красные яблоки": слово яблоки указывает на объект, отсекая другие фрукты и другие объекты, красные - на атрибут цвета и отсекая другие, цвет тут присутствует неявно, а о других атрибутах ничего не говорят. И Хартли проводит рассуждения в терминах сокращения поля вариантов выбора за счет информации. А вот на схемах Шеннона отправителя и получателя нет, он говорит о технической задаче передачи произвольного сообщения, записанного знаками, без искажений, независимо от того, складываются эти знаки в слова, или нет. И тут произошла редукция смысловой задачи передачи смысла, ради которой и был обмен сообщениями, к технической задаче передачи сообщения.
Я тут никакой проблемы не вижу, все логично. Мы имеем дело с разными системными уровнями. На уровне коммуникации отправитель-получатель смысл есть. А когда мы превратили для передачи смысл в текст, последовательность символов, и рассматриваем задачу передачи этого текста, то смысл уже не важен. Тут мы с уровня мыслекоммуникации ужни на уровень мыследействования, человеко-машинную систему доставки сообщений. Но важно, что это другое мыследействие, чем мыследействие в рамках которого два агента вели коммуникацию. Подобно тому, как когда мы проваливаемся от экрана мышления, на котором разворачиваются смыслы, на уровень прохождения сигналов по ансамблям нейронов, то мы тоже ушли на уровень мыследействования, но это - другое мыследействование, физиология тела, находящаяся ниже уровня мыследействования, ради которого мы разворачиваем мысль на экране сознания.
Если мы посмотрим на современные протоколы в ИТ, то там физических и логических уровней стало больше. Например, при коммуникации через соцсеть под уровнем обмена сообщениями лежит http протокол, надстроенный над tcp/ip, а ниже несколько уровней протоколов передачи сигналов по проводам. И на каждом - свои единицы информации, в которых нет содержания более высоких уровней. И свои метрики скорости передачи, пропускной способности, задержек, искажений и так далее. Не вижу тут проблемы.
Любопытно, почему Хартли, обсуждая передачу сообщений в сообществе телеграфистов, говорит о передаче смысла. Вряд ли он не понимал разницу системных уровней. Тем более, что телеграф - он же аналогичен почте, почте без разницы, что в письме, которое она передает, она его вообще в граммах меряет. Может быть, ему просто хотелось обсудить вопросы смысла в этом профессиональном сообществе, может быть, были иные резоны. Не знаю.
После обсуждения связи Петр переходит к Кибернетике Винера. Винер тоже говорил об информации, но уже в содержательном смысле. В общем-то, на мой взгляд, продолжая линию Хартли. Тот говорил про количество выборов, а Винер говорит, что информация снижает энтропию - он говорит о том, что информация помогает сделать правильный выбор.
Понятно, что информацию в этом смысле трудно измерить. Поэтому ее продолжили мерить в битах и байтах, в том, что явно определено нижележащим системным уровнем. Как в ИТ сложность программных систем меряют в килобайтах или строках кода, и есть поправочные коэффициенты для разных языков разработки, и это как-то работает, хотя точность понятна.
А с измерением на уровне смысла - реальная проблема. Поток новостей читают все, но лишь некоторые биржевые трейдеры, правильно интерпретируя, получают прибыль. А другие - принимают решения о каких-то других действиях. Результат действий еще можно как-то померить, хотя тоже способ не очевиден, но фишка в том, что принятие решения основано на накопленной информации. При чем там еще срабатывает синергетический эффект складывания целостной картины. И не не действует закон сохранения, в отличии, например, от энергии: ты послал документ, но у тебя он тоже остался. В общем, когда с этим разберутся - будут мерить иначе. А пока инженерам хватает. Разобраться со смыслами, наверное, полагается философам, но, думаю, это сделают тоже инженеры, которые занимаются ИИ.
Так что денотат для информации при онтологизации Винера не потерян. Мы можем указать физический носитель в виде объектов работающей программы, например, состояний нейронов ИИ или индивидуума в момент принятия решений в активной форме, а также на хранилища, в которых она лежит в пассивной форме в книгах, на дисках, в базах знаний, в облаках, например, в википедии, и так далее. Да, мы можем ее мерить лишь в байтах и килобайтах, или числе параметров модели ИИ, но это не значит, что ее нет.
И да, смысловая информация не аддитивна. Большее число параметров модели нейронной сети вовсе не означает, что сеть умнее, то есть дает лучшие ответы на вопросы. Тут маркетинг, и так уже было. Есть гонка в числе пикселей в матрицах цифровых фото и видео камер. При этом в какой-то момент увеличение числа пикселей реально приводило к ухудшению фотографий, потому что тепловой шум соседних пикселей смазывал изображений, ухудшал качество. Потом с этим научились бороться аппаратными и программными средствами, но и сейчас реальное качество зависит не только от числа пикселей, а от многих причин. включая качество встроенной программной обработки. Но это - сложно, поэтому аргумент для потребителя - число пикселей.
Винер не просто так начал говорить про информацию. Он реально сменил онтологию, предложив рассматривать и людей и животных и организации как информационные системами, управляемые потоками информации и стремящимися к гомеостазу через принцип обратной связи для компенсации воздействия.
Винер предал идеи информации онтологический статус. Это не только явление для функционирования машин и систем машин, но и для понимания жизни и сознания. И таким образом снимался дуализм Декарта. Машины управляют через информацию, которые получают. И люди тоже через информацию, которую получают. Технические, живые и социальные системы работают на передаче сигналов и управления, и обратная связь для гомеостаза. Система стремиться к устойчивости, этот принцип можно примененять к механическим и живым системам. Человека отличает способность к обработки информации, адаптация через обратную связь. Человек и машина могут дополнять, совместная деятельность более эффективно, машины могут вычислять, за человеком - творчество. Энтропия - хаос, получая информацию - уменьшаешь неопределенность, снижаешь энтропию, можешь ее снижать, получая и обрабатывая информацию. Эта кибернетическая картина мира доминирует с 1960-х.
Кибернетика включает следующие компоненты.
* схема прямой и обратной связи
* системно-структурные представления сложных систем
* представление о самоорганизации
* представление об информации как о природной субстанции
Петр здесь вводит типологию механизмов обратной связи, поясняя на примере сливного бачка.
* Нулевая - связи нет, вода всегда течет
* Регулирующая - датчики, логические элементы. клапан выключения по уровню, или несколько, мин-макс
* Многоуровневая - комбинации весов, учетом потоков, расходов
* Самонастраивающая - самокоррекция с учетом опыта, большие запасы по периодам
* Когнитивная - обобщенные модели на основе данных, повторяющиеся паттерны
* Саморегуирующая - программа-оптимизатор, баланс между экономией и производительностью, обеспечивая оптимальный результат
Петр говорит, что опыт показал, что символьно-логические системы (экспертный вывод) хорошо работают в нижней части, до многоуровневой обратной связи включительно. А коннекционистское программирование (нейронные сети) - начиная с многоуровневой обратной связи и выше, через обучение по данным и опыту.
Я хочу отметить, что если опираться на текущий опыт развития ИИ это может быть справедливым, а вот опыт человечества говорит иное. Потому что коннекционистская парадигма - это обработка индивидуумом своего опыта и совершенствование мастерства. Как подмастерье в средневековье, которых за десять лет становился мастером. И опыт показал, что есть более эффективный способ - обобщить опыт мастеров, создать теорию, написать учебник и по нему обучать. А это - символьно-логический способ.
А еще отмечу, что принципиальная ошибка Винера - тезис о стремлении систем к гомеостазу. Гомеостаз - частный случай, а в общем системы входят как составные части в другие системы, это можно рассматривать на разных системных уровнях, интересы которых часто не совпадают, и как раз ситуативная выработка поведения с учетом противоречий - двигатель эволюции.
И тут надо подробнее рассмотреть вопрос, что значит "сделать правильный выбор?", который помогает информация. Любая живая система ведет некоторое сценарное планирование, разной глубины, иногда на один шаг "что сделать в моменте", это неважно. Цель в нем как раз определяется ситуационным балансом между интересами системных уровней, вплоть до "поесть или поспать" физиологически. Но дальше надо предсказывать, как поведет окружение, а для этого - иметь модель, в которую как раз поступает информация, и перестраивает ее, приводя в адекватное состояние. До млекопитающих эволюция модели шла по длинному циклу через генетический код, млекопитающие перешли к передаче через обучение. И есть описание процесса эволюции в виде принципа свободной энергии Фристона. Он количественно описывает утверждение Винера про информацию, снижающую неопределенность. Это описание в виде уравнений, аналогичных термодинамическим. В уравнении - мера информации, но там измерение устроено по результату, как оценка ошибочных предсказаний. Разобраться с принципом свободной энергии Фристона мне в свое время очень помогла [https://evan-gcrm.livejournal.com/1548097.html эта статья]. Системы ИИ с этой точки зрения являются живыми системами, ну или частями живых человеко-машинных систем, если кому-то так спокойнее.
Возвращаясь к лекции. В заключении был отдельная глава, детальное рассмотрение истории коннекционистской парадигмы. МакКаллок и Питтс в 1943 выдвинули идею имитации мозга на нейронных сетях, представив отдельный нейрон как логический элемент и-или-не, на основе наблюдений за живыми нейронами. А Шеннон в 1938 показал, что коммутационные устройства выполняют логические операции, так что для такой имитации была готова.
Тезис Петра: МакКалок и Питтс предположили то, что соответствовало технологиям их времени. А вообще еще в середине 19 века знали об аналогии между нейронами и электрическими сетями, Де Реймон это объяснял. А дальше идеи самоорганизующихся вычислений - часть ансамбля кибернетики, приложившей путь к машинному обучению. При этом идея самоорганизации общества давно была в в социальной философии, Спиноза и общественный договор. Таким образом, в середине 20 века идея из философии пришла в кибернетику, а дальше пошла распространяться на неживые системы, Илья Пригожин получил за это нобелевскую премию.
Я тут скажу, что между идеей модели нейрона и принятием решений сетью из таких нейронов, и знаниями о том, что сигнал в нейроне проводится электрическим импульсом - большая разница. И между эволюционной самоорганизацией по объективным законам, которые Пригожин распространил на химическую преджизнь, и идеей самоорганизации общества по общественному договору тоже большая разница. Первое - понятные, хотя и сложные механизмы, а второе - некоторая умозрительна идея. У нее есть какие-то основания в виде революций, которые регулярно происходят, но вот трактовка их как нарушения договора, непонятно какого, когда и кем заключенного - на совести работающих с этой идеей. Тем более, что обычно они не особо этим заморачиваются, а фокусируются на том, какой общественный договор должен быть наилучшим и как бы сделать так, чтобы все вдруг приняли такой прекрасный договор и добровольно и с песнями начали по нему жить.
А следующим тактом была теория клеточных ансамблей Хебба, которая объясняла обучение живых нейронных сетей мозга через весовую функцию вместо логической и изменение весов при прохождении сигнала. И Розенблат На основе Хебба реализовал нейрон как модель живого нейрона с обучением. А дальше Мински дополнил это еще идеей фреймов для структурирования информации через типизацию индивидуальных случаев. И именно поэтому в первой лекции у Петра был Мински, а не Розенблат.
Петр говорит, что под влиянием кибернетической онтологии, нейронные сети представили не как имитацию мозга, а иначе. Тут я согласен, но кибернетическая парадигма тут, по-моему, не при чем. Просто для нейронных сетей разработали математический формализм, с помощью которого получилось их обучать решению конкретных задач. И этот математический нейрон уже сильно отличается от реального нейрона в мозгу, там иначе устроены связи, они цифровые, а не аналоговые.
И в заключении - реплика про обучение роботов, управляемых нейронной сетью. Тут все похоже на людей. Человек может учиться на своем опыте, превращать его в знания, но это может быть вынесено во внешнюю систему из других людей, которые изучают как люди действуют, обобщают, производят знания, пишут учебники и учат других, эффективным приемам грузчиков учил Тейлор. Так и с роботами, цикл самообучения может быть встроен внутрь, а может быть устроен снаружи на основе обобщения опыта многих роботов в виде их логов, с участием людей, присматривающих за процессом. По разным соображениям сейчас выбирают вторую конструкцию, но это не принципиально. Ну и у человека блок самообучения неотчуждаем, а у роботов - можно не ставить, в этом разница.
[[Категория:Щедровицкий. Может ли машина мыслить]]
{{red|'''Disclaimer. Это моя интерпретация лекций, неполная и дополненная собственными мыслями.'''}}
Третья лекция продолжала тему машины, и в ней речь шла о системах передачах данных, машинах для коммуникации. Если механические машины в завершении привели к машине Бэббиджа, то работы над машинами связи привели к понятию информации и созданию кибернетики.
Жесткая проблематизация Петром понятия информации, для которого, по его мнению, при онтологизации Винером был утрачен денотат, то есть нет возможности указать, каким физическим объектам она соответствует и почему - сильный тезис. Но, на мой взгляд, он не требовал столь глубокого погружения в детали технической истории. Петр объяснил, что для позиционирования в будущей СРТ надо представлять весь стек, и он на примере систем связей нам показывал. Что ж, возможно.
Теперь краткое изложение. История началась с флажковой передачи между кораблями, затем были различные семафорные линии, на станцию которой ездил Монте-Кристо у Дюма, чтобы передать ложное сообщение. Французское правительство монополизировало такую передачу для себя, впрочем частные сообщения дозволялись. Но скорость передачи была крайне низкой.
Затем появился гелиограф, передача зеркалами, а затем - телеграф. Как в случае с Бэббиджем, который в своей машине использовал десятичную систему, в опытных вариантах телеграфа пробовали передавать буквы, делали 26 проводов, и это было дорого. Потом начали кодировать, уменьшая число проводов, в Британии на железных дорогах почти весь 19 век работала 5-проводная система.
И, наконец Морзе в 1838 придумал свою кодировку и аппарат. И это в 10 раз ускорило передачу - до 13 слов в минуту.
На мой взгляд, любопытно, чем объясняется столь кривая кодировка с переменным количеством знаков в одном символе, что требует специально делать пробелы между знаками. Потому что в первых вариантах на ключе работал телеграфист, а на приеме аппарат печатал на ленте тире и точки. Но, наверное, какая-то система в этом была. Кстати, пишут, что у Морзе код был более сложный, было длинное тире, а к нынешнему виду его привел Герке в 1848.
К концу 19 века появились аппараты, которые печатали сообщение буквами при приеме, а также аппарат, с помощью которого можно было готовить перфоленту, а затем подготовленные сообщения быстро передавались. Для подготовки несколько человек могли работать одновременно с разными сообщениями.
Телеграфная связь быстро развивалась на суше, появились первые эксперименты по связи под водой, гуттаперчивая изоляция вроде это позволяла. Но первая попытка связать Дувр и Кале потерпела провал - уверенной передачи не было, а кабель быстро оборвали рыбаки. Новый кабель был в оплетке вокруг изоляции из железной проволоки для прочности, и такая оплетка заодно экранировала кабель, перестали появляться помехи, передача заработала, и морские линии начали развиваться. Дальше был проект связи через Атлантику и первая прокладка кабеля потерпела неудачу - физику процесса в деталях не понимали, сигнал затухал и срабатывало индуктивное сопротивление, которое размазывало отдельные символы и они накладывались. Эффект, собственно, проявился еще на первой передаче Дувр-Кале, затем но бронирование экранировало кабель, а для передачи через океан этого было недостаточно. Тут отдельно хочу заметить, что записано все это со слуха, и я не проверял физические детали, так что может быть много неверного.
Для Петра в этой истории важен тезис, что стоило сначала исследовать, а потом - делать, к этому выводу пришла комиссия для расследования первой неудачи. Я на это хочу сказать, что не сильно понятно, как и зачем было исследовать. Потому как рабочие подводные линии к тому времени были и работали. Да, тут эффект расстояния, но теории для объяснения всех этих явлений - не было, то есть нужен был эксперимент - вот его и поставили. Ну, да, можно было не через всю Атлантику, а на половину, но на кабель через Атлантику финансирование нашли, а на эксперимент - точно не нашли бы. В общем, у инженеров есть такая метафора "модель паровоза в натуральную величину". Смысл в том, что для проверки некоторых гипотез на прототипе, надо строить модель объекта в натуральную величину, и ее стоимость получается не сильно меньше стоимости объекта. И в этих случаях надо делать испытания на реальном объекте.
Но идем дальше. После получения результата, то есть передачи сообщений, пошла борьба за скорость передачи. Что потребовало численных моделей. И тут Петр говорит о работах Найквиста, Хартли и Шеннона. Они прорабатывали вопросы искажения сигнала - затухания, интерференции соседних сигналов из-за их расползания с перекрыванием интервалов и так далее. Нужна была какая-то мера пропускной способности линии, чтобы сравнивать разные технические решения. Слова в минуту или символы в минуту не подходили, потому что длина сигналов разных символов у Морзе различна. И в конце концов Шеннон предложил следующее: возьмем минимальную длительность к коде Морзе, которую имеет точка и промежуток между точкой и тире, и назовем передаваемый элемент битом. Тире и пробел между символами занимают три бита (не два - для хорошей различимости). И скорость будем мерить в битах в минуту или в секунду.
Потом, когда информацию начали хранить - то начали использовать тот же принцип измерения. Информация кодировалась двоичным кодом, 8 бит на символ, эту единицу назвали байтом, и меряют ей объем информации. Что тоже, на мой взгляд, логично. Ведь меряют же объемы бумажных библиотек в томах. А у Петра тут претензия, что с информацией ведь связан смысл, а такое измерение этот смысл во внимание не принимают.
И Петр подробно эту линию разбирает. Он показывает, что на схемах Хартли был отправитель и получатель, между которыми был передатчик, линия связи с помехами и приемник. И он в своих статьях говорил как раз о смысле, разбирая, например, смысл словосочетания "красные яблоки": слово яблоки указывает на объект, отсекая другие фрукты и другие объекты, красные - на атрибут цвета и отсекая другие, цвет тут присутствует неявно, а о других атрибутах ничего не говорят. И Хартли проводит рассуждения в терминах сокращения поля вариантов выбора за счет информации. А вот на схемах Шеннона отправителя и получателя нет, он говорит о технической задаче передачи произвольного сообщения, записанного знаками, без искажений, независимо от того, складываются эти знаки в слова, или нет. И тут произошла редукция смысловой задачи передачи смысла, ради которой и был обмен сообщениями, к технической задаче передачи сообщения.
Я тут никакой проблемы не вижу, все логично. Мы имеем дело с разными системными уровнями. На уровне коммуникации отправитель-получатель смысл есть. А когда мы превратили для передачи смысл в текст, последовательность символов, и рассматриваем задачу передачи этого текста, то смысл уже не важен. Тут мы с уровня мыслекоммуникации ужни на уровень мыследействования, человеко-машинную систему доставки сообщений. Но важно, что это другое мыследействие, чем мыследействие в рамках которого два агента вели коммуникацию. Подобно тому, как когда мы проваливаемся от экрана мышления, на котором разворачиваются смыслы, на уровень прохождения сигналов по ансамблям нейронов, то мы тоже ушли на уровень мыследействования, но это - другое мыследействование, физиология тела, находящаяся ниже уровня мыследействования, ради которого мы разворачиваем мысль на экране сознания.
Если мы посмотрим на современные протоколы в ИТ, то там физических и логических уровней стало больше. Например, при коммуникации через соцсеть под уровнем обмена сообщениями лежит http протокол, надстроенный над tcp/ip, а ниже несколько уровней протоколов передачи сигналов по проводам. И на каждом - свои единицы информации, в которых нет содержания более высоких уровней. И свои метрики скорости передачи, пропускной способности, задержек, искажений и так далее. Не вижу тут проблемы.
Любопытно, почему Хартли, обсуждая передачу сообщений в сообществе телеграфистов, говорит о передаче смысла. Вряд ли он не понимал разницу системных уровней. Тем более, что телеграф - он же аналогичен почте, почте без разницы, что в письме, которое она передает, она его вообще в граммах меряет. Может быть, ему просто хотелось обсудить вопросы смысла в этом профессиональном сообществе, может быть, были иные резоны. Не знаю.
После обсуждения связи Петр переходит к Кибернетике Винера. Винер тоже говорил об информации, но уже в содержательном смысле. В общем-то, на мой взгляд, продолжая линию Хартли. Тот говорил про количество выборов, а Винер говорит, что информация снижает энтропию - он говорит о том, что информация помогает сделать правильный выбор.
Понятно, что информацию в этом смысле трудно измерить. Поэтому ее продолжили мерить в битах и байтах, в том, что явно определено нижележащим системным уровнем. Как в ИТ сложность программных систем меряют в килобайтах или строках кода, и есть поправочные коэффициенты для разных языков разработки, и это как-то работает, хотя точность понятна.
А с измерением на уровне смысла - реальная проблема. Поток новостей читают все, но лишь некоторые биржевые трейдеры, правильно интерпретируя, получают прибыль. А другие - принимают решения о каких-то других действиях. Результат действий еще можно как-то померить, хотя тоже способ не очевиден, но фишка в том, что принятие решения основано на накопленной информации. При чем там еще срабатывает синергетический эффект складывания целостной картины. И не не действует закон сохранения, в отличии, например, от энергии: ты послал документ, но у тебя он тоже остался. В общем, когда с этим разберутся - будут мерить иначе. А пока инженерам хватает. Разобраться со смыслами, наверное, полагается философам, но, думаю, это сделают тоже инженеры, которые занимаются ИИ.
Так что денотат для информации при онтологизации Винера не потерян. Мы можем указать физический носитель в виде объектов работающей программы, например, состояний нейронов ИИ или индивидуума в момент принятия решений в активной форме, а также на хранилища, в которых она лежит в пассивной форме в книгах, на дисках, в базах знаний, в облаках, например, в википедии, и так далее. Да, мы можем ее мерить лишь в байтах и килобайтах, или числе параметров модели ИИ, но это не значит, что ее нет.
И да, смысловая информация не аддитивна. Большее число параметров модели нейронной сети вовсе не означает, что сеть умнее, то есть дает лучшие ответы на вопросы. Тут маркетинг, и так уже было. Есть гонка в числе пикселей в матрицах цифровых фото и видео камер. При этом в какой-то момент увеличение числа пикселей реально приводило к ухудшению фотографий, потому что тепловой шум соседних пикселей смазывал изображений, ухудшал качество. Потом с этим научились бороться аппаратными и программными средствами, но и сейчас реальное качество зависит не только от числа пикселей, а от многих причин. включая качество встроенной программной обработки. Но это - сложно, поэтому аргумент для потребителя - число пикселей.
Винер не просто так начал говорить про информацию. Он реально сменил онтологию, предложив рассматривать и людей и животных и организации как информационные системами, управляемые потоками информации и стремящимися к гомеостазу через принцип обратной связи для компенсации воздействия.
Винер предал идеи информации онтологический статус. Это не только явление для функционирования машин и систем машин, но и для понимания жизни и сознания. И таким образом снимался дуализм Декарта. Машины управляют через информацию, которые получают. И люди тоже через информацию, которую получают. Технические, живые и социальные системы работают на передаче сигналов и управления, и обратная связь для гомеостаза. Система стремиться к устойчивости, этот принцип можно примененять к механическим и живым системам. Человека отличает способность к обработки информации, адаптация через обратную связь. Человек и машина могут дополнять, совместная деятельность более эффективно, машины могут вычислять, за человеком - творчество. Энтропия - хаос, получая информацию - уменьшаешь неопределенность, снижаешь энтропию, можешь ее снижать, получая и обрабатывая информацию. Эта кибернетическая картина мира доминирует с 1960-х.
Кибернетика включает следующие компоненты.
* схема прямой и обратной связи
* системно-структурные представления сложных систем
* представление о самоорганизации
* представление об информации как о природной субстанции
Петр здесь вводит типологию механизмов обратной связи, поясняя на примере сливного бачка.
* Нулевая - связи нет, вода всегда течет
* Регулирующая - датчики, логические элементы. клапан выключения по уровню, или несколько, мин-макс
* Многоуровневая - комбинации весов, учетом потоков, расходов
* Самонастраивающая - самокоррекция с учетом опыта, большие запасы по периодам
* Когнитивная - обобщенные модели на основе данных, повторяющиеся паттерны
* Саморегуирующая - программа-оптимизатор, баланс между экономией и производительностью, обеспечивая оптимальный результат
Петр говорит, что опыт показал, что символьно-логические системы (экспертный вывод) хорошо работают в нижней части, до многоуровневой обратной связи включительно. А коннекционистское программирование (нейронные сети) - начиная с многоуровневой обратной связи и выше, через обучение по данным и опыту.
Я хочу отметить, что если опираться на текущий опыт развития ИИ это может быть справедливым, а вот опыт человечества говорит иное. Потому что коннекционистская парадигма - это обработка индивидуумом своего опыта и совершенствование мастерства. Как подмастерье в средневековье, которых за десять лет становился мастером. И опыт показал, что есть более эффективный способ - обобщить опыт мастеров, создать теорию, написать учебник и по нему обучать. А это - символьно-логический способ.
А еще отмечу, что принципиальная ошибка Винера - тезис о стремлении систем к гомеостазу. Гомеостаз - частный случай, а в общем системы входят как составные части в другие системы, это можно рассматривать на разных системных уровнях, интересы которых часто не совпадают, и как раз ситуативная выработка поведения с учетом противоречий - двигатель эволюции.
И тут надо подробнее рассмотреть вопрос, что значит "сделать правильный выбор?", который помогает информация. Любая живая система ведет некоторое сценарное планирование, разной глубины, иногда на один шаг "что сделать в моменте", это неважно. Цель в нем как раз определяется ситуационным балансом между интересами системных уровней, вплоть до "поесть или поспать" физиологически. Но дальше надо предсказывать, как поведет окружение, а для этого - иметь модель, в которую как раз поступает информация, и перестраивает ее, приводя в адекватное состояние. До млекопитающих эволюция модели шла по длинному циклу через генетический код, млекопитающие перешли к передаче через обучение. И есть описание процесса эволюции в виде принципа свободной энергии Фристона. Он количественно описывает утверждение Винера про информацию, снижающую неопределенность. Это описание в виде уравнений, аналогичных термодинамическим. В уравнении - мера информации, но там измерение устроено по результату, как оценка ошибочных предсказаний. Разобраться с принципом свободной энергии Фристона мне в свое время очень помогла [https://evan-gcrm.livejournal.com/1548097.html эта статья]. Системы ИИ с этой точки зрения являются живыми системами, ну или частями живых человеко-машинных систем, если кому-то так спокойнее.
Возвращаясь к лекции. В заключении был отдельная глава, детальное рассмотрение истории коннекционистской парадигмы. МакКаллок и Питтс в 1943 выдвинули идею имитации мозга на нейронных сетях, представив отдельный нейрон как логический элемент и-или-не, на основе наблюдений за живыми нейронами. А Шеннон в 1938 показал, что коммутационные устройства выполняют логические операции, так что для такой имитации была готова.
Тезис Петра: МакКалок и Питтс предположили то, что соответствовало технологиям их времени. А вообще еще в середине 19 века знали об аналогии между нейронами и электрическими сетями, Де Реймон это объяснял. А дальше идеи самоорганизующихся вычислений - часть ансамбля кибернетики, приложившей путь к машинному обучению. При этом идея самоорганизации общества давно была в в социальной философии, Спиноза и общественный договор. Таким образом, в середине 20 века идея из философии пришла в кибернетику, а дальше пошла распространяться на неживые системы, Илья Пригожин получил за это нобелевскую премию.
Я тут скажу, что между идеей модели нейрона и принятием решений сетью из таких нейронов, и знаниями о том, что сигнал в нейроне проводится электрическим импульсом - большая разница. И между эволюционной самоорганизацией по объективным законам, которые Пригожин распространил на химическую преджизнь, и идеей самоорганизации общества по общественному договору тоже большая разница. Первое - понятные, хотя и сложные механизмы, а второе - некоторая умозрительна идея. У нее есть какие-то основания в виде революций, которые регулярно происходят, но вот трактовка их как нарушения договора, непонятно какого, когда и кем заключенного - на совести работающих с этой идеей. Тем более, что обычно они не особо этим заморачиваются, а фокусируются на том, какой общественный договор должен быть наилучшим и как бы сделать так, чтобы все вдруг приняли такой прекрасный договор и добровольно и с песнями начали по нему жить.
А следующим тактом была теория клеточных ансамблей Хебба, которая объясняла обучение живых нейронных сетей мозга через весовую функцию вместо логической и изменение весов при прохождении сигнала. И Розенблат На основе Хебба реализовал нейрон как модель живого нейрона с обучением. А дальше Мински дополнил это еще идеей фреймов для структурирования информации через типизацию индивидуальных случаев. И именно поэтому в первой лекции у Петра был Мински, а не Розенблат.
Петр говорит, что под влиянием кибернетической онтологии, нейронные сети представили не как имитацию мозга, а иначе. Тут я согласен, но кибернетическая парадигма тут, по-моему, не при чем. Просто для нейронных сетей разработали математический формализм, с помощью которого получилось их обучать решению конкретных задач. И этот математический нейрон уже сильно отличается от реального нейрона в мозгу, там иначе устроены связи, они цифровые, а не аналоговые.
И в заключении - реплика про обучение роботов, управляемых нейронной сетью. Тут все похоже на людей. Человек может учиться на своем опыте, превращать его в знания, но это может быть вынесено во внешнюю систему из других людей, которые изучают как люди действуют, обобщают, производят знания, пишут учебники и учат других, эффективным приемам грузчиков учил Тейлор. Так и с роботами, цикл самообучения может быть встроен внутрь, а может быть устроен снаружи на основе обобщения опыта многих роботов в виде их логов, с участием людей, присматривающих за процессом. По разным соображениям сейчас выбирают вторую конструкцию, но это не принципиально. Ну и у человека блок самообучения неотчуждаем, а у роботов - можно не ставить, в этом разница.
[[Категория:Щедровицкий. Может ли машина мыслить]]
