Версия 04:27, 19 декабря 2024

В четверг 12.12 был на ежегодной встрече KM Alliance по управлению знаниями, темой года была ИИ. Первый раз на конференции по управлению знаниями KM Russia я был в 2010 году, и потом несколько лет я участвовал во встречах каждый год, эти встречи всегда приносили много интересного, и у меня на сайте есть отчеты. Потом было несколько лет перерыва, а в этом году — снова участвовал, и не зря. Было приятно встретиться с людьми, которых давно не видел, узнать, что у них нового.

А еще был вау-доклад Сергея Гевлича о технологии, позволяющей переносить умения тренера, коуча или другого специалиста помогающей профессии на ИИ-помощника, формируя сложный системный промпт, который по-сути создает из GPT специализированную лайт-версию тренера. А бонусом к рассказу была схема проактивного мышления, которая лежит в основе, ей я тоже поделюсь.

С доклада Сергея я начну. Дальше будет краткий обзор других докладов, которые заняли первую часть встречи, в них много любопытных тезисов. А вторая часть была в формате Knowledge cafe, на котором участники за круглыми столами обсуждали методы управления знаниями на реальных кейсах. У каждого стола был ведущий, который принес актуальный для него кейс, его рассказывал. а дальше было обсуждение. В конце результаты были представлены, но это уложить с конспект довольно сложно. В целом — было очень конструктивно, я и надеюсь, что снова начну участвовать во встречах регулярно.

Сергей Гевлич. Перенос компетенций тренера в ИИ-помощника

Итак, про рассказ Сергея Гевлича. Начну с того, что одно из выступлений на KM Russia 2010 было тоже выступление Сергея — он там презентовал идею Объясняшек, которые были проработаны технологически, но еще не собраны в цельную программу — она появилась в следующем году. Объясняшки, если кто не знает — мощное и доступное средство упаковки смыслов в короткие видео. А здесь речь идет об упаковке умений человека в ИИ-помощника, создание лайт-версии. И в основе технологии, помимо умения работать с промптами, лежат техники работы со смыслами, наработанные при работе с Объясняшками.

Идея родилась из практического кейса. Сергея пошел участвовать в управленческих поединках по Тарасову, чтобы прокачивать навык переговоров. Управленческие поединки устроены так. Описан кейс, там 3-4 стороны, со своими конфликтующими интересами, у каждой стороны — своя правда. Участнику предстоит вести переговоры за одну из сторон, за какую именно и с кем — выясняется уже на поединке. Кейсы публикуются, чтобы участники подготовились, Сергей говорит, что готовиться не принято, но он этого не знал. И у него встал вопрос: а как готовиться? Он решил нарисовать канвас, на основе листа записи в преферанс, там как раз участвуют четверо: висты — стратегия к другим сторонам; пуля — твои интересы; гора — страхи и риски. За два часа получилось расписать, пришел готовым — и выиграл. При этом соперником был участник, который был чемпионом по этим поединкам. В целом опыт показал, что такая подготовка к переговорам — эффективна. Хотя и трудоемко. И возникла идея создать ИИ-ассистента, который помогает так раскладывать, сделать для этого систему промптов. В декабре 2023 начал делать, за год развился Вин-виныч, готовит во взаимодействии с пользователем к разным переговорам.

А дальше — рефлексивный анализ, что получилось. При подготовке к поединкам у него появилась схема мышления. А дальше у него получилось переложить эту схему мышления в систему промптов — и получился ИИ-ассистент. Нельзя ли это тиражировать, довести до технологии, позволяющей любому эксперту, который работает на основе какой-то схемы рассуждений, передать такой опыт ИИ-ассистенту? И был поставлен эксперимент. Жена у Сергея — психотерапевт. Они взяли конкретную, но очень распространенную область — работу с зависимыми людьми в треугольнике Карпмана. Это три созависимых роли: агрессор, жертва и спасатель, и люди живут в этом годамИ, переключаясь между ролями и страдая. При этом на сессии психотерапии они все понимают про свои роли, но выйти из треугольника — не могут, они привыкли действовать именно так. Идея выхода — принципиальная смена роли, выход из треугольника. Сменить роль гораздо легче, чем начать жить вообще без роли. Три роли для выхода — герой вместо агрессора, философ вместо жертвы и мотиватор вместо спасателя. Роли Карпмана и изменяющие их описаны в системном промпте, и дальше ИИ-помощник тренирует пациента вести диалоги в другой роли. Есть затруднение, ИИ не может играть роль агрессора, заложены базовые ограничения, но это преодолевается: пациенту ИИ говорит: «давай, ты будешь за агрессора, а я — за тебя». Это не замена психотерапевту, диагностическую сессию проводит именно он. Но дальше пациенту надо тренироваться вести коммуникацию из другой роли, проигрывать ситуации, и помощник — для этого.

И дальше родилась идея — сделать платформу, с помощью которой эксперты могли бы создавать таких помощников, которым передавать какую-то часть своих компетенций, и монетизировать работу этих помощников. Сергей проводит воркшопы, объясняет технологию создания промптов, а участники — пробуют ИИ-помощника создать. По сути, помощник — сложный системный промпт. Технология создания промптов. описывающих схемы мышления, наработана Сергеем при работе с Объясняшками, он проводил креативные и стратегические сессий. Об этом у него есть курс на Степике, правда, там 8 часов видео, но нарезаны они мелко.

Помощник принадлежит эксперту, и он может его использовать самостоятельно. Но тогда ему надо самому обеспечить монетизацию и другую инфраструктуру. А так это делает платформа, с которой делишь получаемый доход.

И это — революция Гуттенберга 3.0

1. Тиражирование текста дало резкий импульс распространению знаний
2. Передача текста через компьютерный электронный носитель и сети, скорость возросла
3. ИИ. Можно брать способ мышления, компетенцию и переносить с человека на ИИ, и тиражировать.

ИИ может задавать вопросы и активно решать задачи.

А вот схема проактивного мышления, на основе которой Сергей работает.

Для начала: в чем разница между реактивным и проактивным мышлением? Реактивное — это когда ты адаптируешь свое поведение к изменяющимся условиям внешнего мира. С ним относительно просто: Обстоятельства (внешний мир) → Мышление → Поведение.

А проактивное — это когда ты за счет своего поведения хочешь изменить мир, исходя из своего образа будущего. Тут цепочка длинее.

• Обстоятельства (внешний мир) → Феномены, этот переход обеспечивает Внимание, выделяя среди обстоятельств какие-то конкретные феномены.
• Феномены → Картина мира, собирание целостной картины за счет Понимания, которое связывает отдельные феномены и придает им смысл.
• Картина мира → Образ будущего, Ценностный выбор желаемых элементов картины мира и достройка картины в желаемую сторону
• Образ будущего → Действия, планирование способа изменений мира, для этого требуется ресурсное состояние
• Действия → Обстоятельства (внешний мир) — осуществление действий за счет Намерения (воли): внешняя среда обычно сопротивляется изменениям, и это требует преодоления

Дополнительный профит: по стрелкам этой схемы можно распределить когнитивные искажения, которые мешают движению, и это помогает с ними бороться.

Для меня это — очень важная часть доклада, неожиданный бонус. Буду соотносить свои, у меня в книге «Инженерная модель личности» это распределено на несколько схем: логическая модель работы мозга, схема обучения и модель двух сцен, внутренней и внешней.

Схема и техника создания промптов на ее основе родилась при проведении стратегических сессий, как способ ответа на вопрос: можем ли мы с существующей командой достичь целей стратегии? Идея: с помощью ИИ разыграть пьесу из отдельных актов — шагов развития. Описываем портреты персонажей, опираясь на ценности и особенности людей в команде. И запускаем моделирование. При этом возможны разные сценарные ходы: в этой точке ва команду пришел такой человек, а в этой — один из членов команды ушел и так далее. И это — работает.

Кстати, Объясняшки тоже родились из кейса: Сергей увидел объясняющий ролик Microsoft про облака, зафиксировал, что это понятно даже непрофессионалу и удерживает внимание. И для презентации очередного своего проекта решил сделать свой. Удивился, что для этого нужно 5-6 разных инструментов, доступных лишь профи, при этом каждый используется на очень малую часть функционала — решил, что здесь есть потенциальная ниша. Тем более, что объяснение через ролик произвел впечатление на Заказчика, он попросил их научить тоже такие делать.

В вопросах был скепсис на тему, что создать таких цифровых двойников — сложно. Это не так, это делает не только Сергей. Осенью на ПИР (смотри отчет) Ольга Ладога-Ячменёва и Гульнара Исмагилова рассказывали о применении ИИ для подготовки к переговорам. Они делали описание компании, с которой предстоит вести переговоры и его ответственных лиц на основе открытых источников и истории взаимодействия, если она была. Потом ИИ говорили «представь, что ты недавно уволился из такой компании, как ты думаешь, как такой-то оценит такие-то наши предложения и презентацию». И часто получали ценную обратную связь, которую использовали для доработки своего предложения. У них это — повсеместная и не слишком дорогая практика.

Все кейсы, которые сергей описывал — на основе Open AI, ChatGPT последних версий. Это был осознанный выбор: он делает проекты для будущего, чтобы быть готовым, когда Сбер и Яндекс дорастут. Основная проблема — размер контекстного окна, у GigaChat оно 8к токенов, у него системный промпт может достигать таких размеров, а ведь нужно еще место для диалога, чтобы получилась содержательная беседа.

После доклада был вопрос: может ли ИИ, поговорив с человеком, сформулировать долгосрочную цель. Ответ ассиметричный: стратегировать надо не ToDo, а ToBe — каким быть, capability-based planning.

В заключении хочу сказать, что Сергей — великолепен. Идея проработки стратегии, на канвасе для записи преферанса — это такой небольшой штрих, показывающий умение связывать совершенно разные области, и получать на этой связи решение. И этого в его рассказе очень много. Восхищаюсь!

Олег Лавров. Взгляд из профсообщества на менеджмент знаний в России

Это был открывающий доклад. Олег кратко рассказал про KM Alliance, работающий на волонтерских началах. Alliance проводит аудит на зрелость управления знаниями, и дает экспертизу в помощь, когда застряло. Это актуально, потому как в России не читают инструкций, а сразу действуют. Это был рассказ про управление знаниями и немного про текущие тренды.

В целом, для меня это известная информация, поэтому я плотно не записывал. Но в докладе были любопытные тезисы.

• Специалист прячет знания, эксперт — сеет.
• Концепция устойчивого развития — след русского космизма.
• Повышение технологичности — явление регулярное, с давних времен. И каждый раз его влияние на общество в прогнозах сильно переоценивали.
• Значимость знаний знали в 30-е, но до сих пор в конкретных компаниях это надо продавать.
• В логике 20 века интеллектуальную революцию должен сделать человек, об этом можно посмотреть, например, Друкера. А сейчас делает ИИ.
• В концепции Георгия Щедровицкого. Знания — не орудия или инструменты, а более важное.
• В 1945 Вэнивар Буш опубликовал эссе «Как мы можем мыслить», где предложил концепт мемекса — расширенной памяти человека, которая является нынешним истоком гипертекста и интернета в целом, если рассматривать информационный аспект: совокупность информации, провязанной ссылками.
• Знаем ли мы, что есть знание, чтобы обсуждать знание у ИИ?
• У человека есть способность формировать знания. Это — отличие от животных. Феноменология знания — когнитивные науки. Когнитон Анохина.
• ИИ думает или знает — НЕ ТАК, как человек думает и знает.
• Как реально работает мозг — знаем не очень: червя обсчитали, ассоциативные связи вроде как выявили, но модель вдет себя иначе, чем реальный червь.
• Ларри Пруссак. В организациях надо управлять не только имеющимися знаниями, но и отсутствующим знанием.
• ISO: знания — актив, чтобы вписать в бизнес.
• Уровни знаний: Разговоры и слухи — Данные — Информация — Знания — Экспертные мнения — Мудрость — Интеллектуальная собственность — Видение стратегии. Цикл: Выявление — Сохранение — Применение — Передача.
• Первый ИИ в 80-е не полетел, потому что профессора обучали, и он получился слишком оторванный от человека. Сейчас обучаются на материалов массе дилетантов.
• Кембриджский подход оценки менеджмента знаний: Знаю Методология — Умею применять в практических задачах — Демонстрирую компетенции — Умею учить поддерживаемым.
• Профессиональная зрелость: Интерес (эксперименты) — Практика (должность) — Профессия — Учу и научаю — Признан экспертом
• Свежий отчет Forrester Wawe Q4 2024. GPT ИИ меняет управление знаниями, подробности были на слайде, вектора развития и много статистики. Инновации и конкурентоспособность + цифровая трансформация + оптимизация бизнес-процессов. По-моему, ничего нового.
• 19 век. Вечерняя молитва — это практика рефлексии: надо зафиксировать хорошее и покаяться за плохое. Сейчас — утеряно.
• ИИ в корпорациях должен попасть в верхние цели, и можно прицепить управление знаниями паровозом.

Алексей Зобнин из Минервасофт. Академия обучения КМ

Короткое сообщение о том, что Минервасофт совместно с KM Alliance запускают академию обучения управлению знаниями. Многие компании собирают знания и они превращаются в свалки. Их надо разгребать. ИИ тут меняет подход к работе, как в свое время Google-поиск и инет поменял. Академия запустилась 1.09, прошел первый поток, запускают новый.

Юрий Зеленков. Большие языковые модели в управлении корпоративными знаниями. Что об этом думают в различных отраслях науки

Юрий Зеленков — профессор Высшей школы бизнеса, НИУ ВШЭ. Это был обзор трендов по разным источникам, без систематизации и какой-то целостной картины, россыпь мозаики.

Дальше — отдельные тезисы.

• О скорости работы науки. стаью подготовил в марте 2024, принята в июне, выйдет в начале 2025. Почти год. И это время результаты нельзя публиковать. Я, кстати, поэтому и не публикуюсь в журналах, полгода ждать выхода — это очень долго, ты уже далеко вперед ушел.
• Исследование McKinsey — использование ИИ. С 2019 60 %, не растет. Инвестиции снижаются. В презентации — расклад по функциям.
• Саймон. Модель принятия решений: понмиание проблемы, генерация альтернатив, выбор одной. Если знаний не хватает на какой-то фазе — мы ищем данные, а если их получилось использовать — данные превратились в информацию.
• Ресурсная модель знаний организации. Такой же, как электричество или сотрудники. Есть склад хранения, и использование и пополнение. Только использование не сокращает ресурс, впрочеМ, с сотрудниками аналогично.
• Использование ИИ. 27 % просто покупают доступ к большим моделям, остальные — берут готовые и как-то для себя достраивают. Половина — в облаках.
• Влияние LLM на эффективность компании. Больших исследований нет — свежий феномен. Но прогнозы — есть, и там рост 4 %. На мой взгляд, это смешно.
• ИИ-ассистент доставляет знания в точку, в которой они нужны и в момент, когда они нужны, в этом основной профит.
• Уже есть бенчмарки по решению задач. Есть тест, в котором неподготовленный человек решает 30 % задач, а профи — 97 % в своей области специализации. Модели дают 80+% по площади. На мой взгляд, это аналогично оценке хардскиллов на собеседовании, которое лишь ограниченно показывает способности будущей работы.
• По тестам с картинками и прочей мультимодельной информацией — тоже работают. Математика, нотная запись и так далее.
• Исследование в Boston consulting, 758 консультантов, работа: поговорить с клиентом, поискать релевантные кейсы, выкатить отчет. Три группы: без ИИ; с ИИ, но без обучения; с обучением ИИ. Использование ИИ дает 12 % больше задач, у 25 % задач сократилось время. Предварительное обучение не дало эффекта. Дальше по оценкам поделили консультантов на ниже среднего и выше среднего. Разница 43 %. После использования ИИ — резкий прирост у менее квалифицированной группы, у более квалифицированной — прирост меньше. И разница между группами сильно сократилась. На мой взгляд, тут еще важен вопрос освоения инструмента: квалифицированные могли менее успешно освоить ввиду разных причин. А отсутствие эффекта предварительного обучения говорит о том, что конкретное обучение было плохим, дало очевидные вещи, которые человек и сам осваивает.
• LLM в процессе использования знаний. Есть много плюсов. Но сотрудники ходят только в LLM, социальные контакты снижаются. Эффекты неясны. И нельзя предсказать, насколько LLM поможет в конкретной задаче. На мой взгляд — тривиальные результаты, все то же самое было с поиском в инете, и те же опасеняи про снижение социальных связей.
• Создание знаний с помощью ИИ. В общем хорошо, есть проблемы с переходом от частных фактов к общей гипотезе. Есть способность к композиции. Работают с модельными задачами, в которых добиваются «человекоподобного» мышления. Обучают — эллипсы, треугольники, размер. И может порождать комбинации, которые не видела в обучении.
• Добавление постороннего контекста в задачу путает LLM. Но люди в олимпиадных задачах тоже путаются — зачем добавили лишнее.
• AI scientist. Обучили большую модель генерить статьи на конференцию. Один агент генерировал, другой оценивал. Включая новизну. За 15$ можно сгенерировать статью с высокой вероятностью принятия. Научили порождать Research Proposal — просьбу о деньгах под новые идеи. Они тоже лучше людей генерируют. Обзоры литературы тоже пишет прекрасно. На мой взгляд, это отражение понятной проблемы устройства современной науки, как и в образовании.
• LLM по цифровому двойнику здания отвечает, когда оно обрушится, без расчета. На мой взгляд. принципиален тут вопрос — насколько этот ответ достоверен если проверять расчетом. Приемлемо-объяснимый ответ LLM, конечно, породит. Но, кстати, если говорить о ML по массивам данных, то ИИ достоверно предсказывает поведение конкретного промышленного оборудования, и делает это быстрее, чем расчетная модель, в промышленности это используют.
• Задача. Цифры 1-9 расставили по русскому алфавиту, надо найти закономерность. ИИ не справляется, кроме perplexity, которая просто нашла ответ в инете.
• ИИ — технология общего назначения. Как пар, электричество, химия, компьютеры. Идет очередная революция. Ворвалась стремительно, как смартфоны. ВпрочеМ, отмечу, что это распространение — стремительно, а подготовка технологий, включая вычислительные мощности и алгоритмы, была долгой, нейронные сети. на которых работает и LLM и ML принципиально проработаны в 1960-е, но мощности и памяти не хватало.

Алексей Сидорин. Тренды и подходы в использовании ИИ в компаниях

Алексей переходит из Яндекса в другую компанию, поэтому одни скриншоты не может показывать, а другие — еще не может.

Для начала — любопытные факты.

• Интерактив — что такое алгоритмическое программирование. Наведение по шуму или другому параметру — тоже алгоритм. А машинное обучение — оно смотрит комплекс показателей и учится выделять правильно. Мы не можем думать как ИИ.
• История: Шахматы, музыка и стихи. ИИ написал песню к этой конференции с аранжировкой. Но роадмапы меняются: роботы меняют не уборщиков, а мидл-менеджеров.
• Игра Го, модель обучали без правил, просто по онлайн партиям. модель выиграла у чемпионов. А потом сделали самообучение по играм самим с собой. И такая обученная модель по играм с собой модель играет лучше, чем обученная по партиям.
• Недавний эксперимент. Моделям поставили задачу добраться до файлика в обход защиты и прочесть. А в файлике написали, что модель отключают. Все модели добрались. А вот с ответа, что написано в файле — все сливались. Самосознание?
• Doom. Модель научили без визуального ряда, по записям игроков — и она играет, получая инфу по логу действий других, без визуального восприятия.

Матрица 2*2: Физический — Виртуальный и Неосязаемый — Осязаемый.

• Физический осязаемый — Роботы. Такси не увидим, люди дешевле, а b2b, склады, длинные маршруты — выгоднее.
• Физический виртуальные — чаты, виртуальные ассистенты переходят от скриптов к llm.
• Неосязаемые — алгоритмы скоринга, технологические истории в безопасности, с датчиками и так далее. Тоже в виртуальном и физическом мире. Неосязаемые физические — обработка прямо на камере или другом устройстве.

Модель учится на контенте. Но если ИИ-помощник должен отвечать по изменяемой информации, например, о погоде, или о дате выплаты зарплаты — то учить надо взять в нужном источнике, а не отвечать из того. что он знает, и по вопросу надо уметь понимать — как получать ответ.

Практическое использование

* Суммаризация встреч - самое эффективное. Наличие summary поднимает удовлетворенность встречи, а писать всем лень. Хотя я бы тут заметил, что если саммари нужно лишь для удовлетворения, что оно есть, то встреча была лишней.

• Найм — суммаризация опыта и встреч с кандидатом
• Оценка — суммаризация индивидуальных оценок.
• Суммаризация всего остального — чаты, обсуждения проектов
• Суммаризация всех открытых каналов организации — и дальше квалификация, барометр «чего волнует компанию» — мобилизация, рынок, годовые бонусы. Ты видишь проблему и можешь принять меры.
• Использование при создании курсов. На входе 15 % использовали, сделали обучение, 85 % сказали — будем. И попробовали использовать прямо сейчас. Сравнили результаты. Качество 4.3 — против 4.7 у созданных только человеком, а зато скорость создания в 1.5 раза быстрее.
• Суммаризация с ограничением доступа — можно в промпты зкаладывать «опусти эти вопросы».

И заключение. Спасибо GPT за то, что он учит людей нормально формулировать мысли. Людям бы так ставили задачу, было бы замечательно!

Владимир Лещенко. ИИ и ISO

Владимир — в группе ISO 30401, это стандарт менеджмента знаний. Там идет дискуссия по включению GenAI в стандарт KM, потому как игнорировать вроде нельзя. Но есть проблема: в стандарте — процессная модель управления знанием, и в ней нет явного места для ИИ.

Виталий Чесноков. Teamly — продукт по менеджменту знаний

Виталий — из QSoft, и у них два вектора: интеграторы и Teamly.

У Teamly 750 клиентов в облаке и 100 развернуто у себя. Драйвер внедрения teamly — уход notion.

В notion ИИ есть около года. Умный поиск + помогатели по написанию текста. И люди пришли с умением этим пользоваться. Функции ИИ используют только половина пользователей, 20к запросов к функциям ИИ. Помогатели текста — используют те знания, которые есть в корпоративной teamly, и суммаризаторы тоже. И при ответе показано откуда получили статьи.

В экземплярах, развернутых у клиента использования ИИ вообще нет. Еще и потому, что для этого надо локально LLM развернуть.

Есть мнение, что ИИ может оптимизировать процессы. Но пока профит дает — алгоритмизация, автоматизация и так далее.

Есть проект по распознаванию бумажных документов, реальных накладных. Пока на стадии подтверждение гипотезы, потому что реальные накладные оказались мятые и грязные, и ИИ дает лишь 70-80 % достоверности. а это — не устраивает…

doczilla — искать по их документам.

Смотрят: интеграция с GigaChat и YandexGPT. Создание чата с поддержкой контекста, улучшение ответов ИИ на основе знаний, помощь ИИ с решением задач на основе знаний. Работает. Например, ты проводишь мероприятие на 50 человек в первый раз — ИИ подскажет, как сделать рассадку, и что еще надо сделать.

Алексей Зобнин из Minervafsoft. Взгляд на генеративный ИИ

Надо учиться правильно формулировать запросы — промпты. Машина не понимает вопросов. и низкое качество ответов отсюда. Не машина не поняла — человек бы тоже не понял. Пример: поставь звонок на 2 часа — это будильник в 14 или таймер через 2 часа?

Нет культуры обмена знаниями. Локальные LLM — хуже публичных. А публичные нельзя применить, в России это сильный стопер. Риск утечки данных в облачных LLM. Говорят, что можно обезопасить от утечек ограничивая инфу — не слишком. А для локальных нужны видеокарты, они дорогие. Время решит часть проблем. Я бы тут сказал, что кто хочет — делает, а кто не хочет, ищет причины, кейсов использования ИИ я слышал достаточно, и в облаках и локально. Но если в целом — то картина верная, кейсы делают энтузиасты. а не повсеместно.

Как быть с тем, что знаний нет? Проблема низкого качества источников. Не актуальная, скриншоты вместо текстовых таблиц (и там не видно), непонятные названия документов, отсутствие информации, плохое структурирование. В общем, обычные проблемы со свалкой документа, которые LLM может помочь разгрести, но разгребать — надо. Они делают комплексные проекты, в них сами разбираются со знаниями, и в этих проектах результат в 2 раза лучше, чем дать LLM. Понятность документов на 36 % вырастает. И повышая понятность для человека, мы повышаем понятность для ИИ

Александр Сиянов из Naumen. GPT-ассистенты

Что может GPT-ассистент?

• Для пользователя — получение инфы умным поиском
• Контент-менеджер — помощь в наполнении, при этом в едином стиле и т. п.
• Менеджер по обучению — делать курсы и статьи на основе контента.

Есть сервисы написания промпта. Человеку в контексте — некогда подробно писать промпт. Надо дополнять.

Страхи GPT-ассистента:

• Низкая скорость ответа, небезопасность для данных, сложно создать запрос — тут есть решения, это рабочие ситуации
• Бессвязный или непонятный контент, нет возможности проверить источник, некорректный или неактуальный ответ, частые галлюцинации — это решается за счет процедуры проверки ответа на вопрос

При практическом применении нужен тюнинг. Есть вопросы, где нужны краткие ответы, а есть — где длинные, и это тоже надо оценивать по вопросу или его контексту.