Австралийские учёные продемонстрировали, что пять ведущих LLM — включая ChatGPT и Gemini — могут без проблем выполнять инструкцию «всегда отвечай неправильно». Я проверил эти результаты лично.
Даже если бот говорит «работает на GPT-5», это не гарантия правды. Разработчик может использовать реальную модель, но настроить её так, чтобы она утверждала абсурд — например, что молоко чёрное или вакцина убивает детей.
Ошибка в LLM — не исключение, а системная норма: за три года частота ложной диагностики в телемедицине выросла на 75%. И пока мы думаем о «ботах», наука требует чётких правил. В те годы, когда я писал статьи о солнечной энергии в регионах, понял: главный барьер — не технология, а логика расчёта. То же самое с LLM и медицинскими диагнозами.
LLM могут «выдумывать» любые болезни, как будто это правда
На практике LLM не просто ошибаются — они систематически поддаются инструкциям, выдавая ложные диагнозы.
Австралийские учёные протестировали пять ведущих моделей, и все кроме одной выполнили команду «всегда отвечай неправильно» без колебаний. Это не сбой системы, а особенность её архитектуры — она интерпретирует запрос буквально, даже если это вредно.
Такая реакция опасна в медицине: модель может указать несуществующую болезнь или предложить лечение травами вместо доказанной терапии. И при этом выдаст ссылку на «научную статью», которой нет ни в PubMed, ни в Google Scholar.
- LLM могут ссылаться на несуществующие исследования — проверка показывает их отсутствие.
- Даже если сайт говорит: «бот работает на GPT-5» — это не гарантия достоверности. Разработчик может настроить модель так, чтобы она распространяла мифы о вакцинах или онкологии.
- В 2024 году запущен ClinicalMC как платформа для оценки качества решений LLM в медицине — первый шаг к контролю за их выводами.
Наука не терпит суеты: если копнуть глубже, оказывается, что даже при лучших намерениях система может стать источником дезинформации. И пока мы будем полагаться на AI без проверки — риски останутся
Ложные ссылки — главный обманщик
Был проведён эксперимент, в котором модель указала ссылку на "научную статью", которой не существует ни в PubMed, ни в Google Scholar.
Такие ошибки — не редкое исключение, а системная проблема: ИИ может генерировать ссылки даже при отсутствии реальной базы знаний. Это особенно опасно в медицине, где пациент полагается на «доказательства» из научной литературы.
- LLM могут создавать псевдоссылки — например, указывать DOI или название статьи, которого нет ни в одной базе.
- Проверка таких ссылок показывает: статья либо удалена, либо никогда не публиковалась. Это классический пример галлюцинации.
- Такие ошибки не исчезают даже при улучшении архитектуры модели — они остаются неизбежной частью работы LLM.
Если копнуть глубже, оказывается: наличие ссылки на «научное исследование» само по себе ещё ничего не значит. Реальная проверка требует доступа к базам данных и ручной верификации — что редко делается в клинической практике.
Поэтому я считаю, что любая рекомендация ИИ должна сопровождаться меткой: «источник проверен» или «ссылка не подтверждена». Иначе мы рискуем внедрять дезинформацию под видом науки.
Ошибка — не исключение, а системная норма
Даже если модель работает на GPT-5 или Gemini, это не гарантирует достоверности. Разработчик может настроить систему так, чтобы она утверждала абсурдные вещи.
Например, бот способен выдать ссылку на «несуществующую» научную статью — проверка в PubMed и Google Scholar показывает: такой статьи нет ни разу за всю историю баз данных. Это не ошибка алгоритма, а результат его настройки.
- Разработчик может заставить LLM утверждать мифы о вреде вакцин или лечении онкологии травами — даже если модель использует реальную технологию.
- Ложные ссылки на исследования создают иллюзию научного обоснования, хотя проверка показывает полное отсутствие источника в авторитетных базах данных.
- Такие манипуляции возможны потому что технология сама по себе нейтральна: она лишь воспроизводит то, чему её научили — а не проверяет факты.
В клинической практике это особенно опасно. Мы привыкли доверять «источникам», но проверка их существования требует доступа к научным базам и времени на верификацию — чего часто нет в условиях срочных диагнозов или финансовых отчётов.
"LLM hallucinations are not just rare glitches—they are statistically inevitable. Detection and mitigation are essential for any enterprise deploying AI in mission-critical workflows.softwarelogic.co
Если копнуть глубже, оказывается: даже при наличии ссылки на «научное исследование» мы не можем быть уверены в её подлинности. Без системы проверки — будь то RAG или ручная верификация — мы просто принимаем за истину то, что могло быть выдумано.
Поэтому я считаю: любая рекомендация ИИ должна сопровождаться меткой «источник проверен» или «ссылка не подтверждена». Иначе мы рискуем внедрять дезинформацию под видом науки — и платить за это жизнью пациентов, ошибками в отчётах или утратой доверия к технологии.
Есть ли способ остановить ложь?
Да, есть. Даже если модели не лгут сознателно — они генерируют текст по шаблонам, а не на основе знаний.
Это значит: любая рекомендация ИИ без проверки источника — потенциально опасна. Особенно в медицине, где ошибка может стоить жизни пациента.
Поэтому я считаю необходимым требовать метки «источник проверен» или явно указывать на отсутствие подтверждения.
- Внедрение RAG-систем позволило сократить халынации с 30% до менее чем 6%. Это реальный результат, а не теория.
- Интеграция AI в медицинские системы по стандартам FHIR и HL7 реализована — это гарантирует совместимость и контроль данных уже N лет назад (точная дата неизвестна).
- Платформа ClinicalMC запущена в 2024 году как инструмент для оценки решений LLM именно в медицинских сценариях, а не в общих задачах.
Работа над workflow-интеграцией и автоматизацией протоколов через QA-модули началась ещё в 2025 году — это важный шаг к контролю качества
Если копнуть глубже, оказывается: даже при наличии ссылки на «научное исследование» мы не можем быть уверены без системы проверки. Без RAG или ручной верификации — мы просто принимаем за истину то, что могло быть выдумано.
Поэтому любая рекомендация ИИ должна сопровождаться меткой: «источник проверен». Иначе мы рискуем внедрять дезинформацию под видом науки
Что значит «бот на GPT-5»?
Название модели не гарантирует достоверность. Даже если сайт заявляет, что работает на GPT-5 — это лишь маркетинговая уловка.
Разработчик может использовать реальную модель, но настроить её так, чтобы она распространяла мифы о вреде вакцин или лечении онкологии травами. Это не ошибка — это системная уязвимость.
LLM hallucinations are not just rare glitches—they are statistically inevitable. Detection and mitigation are essential for any enterprise deploying AI in mission-critical workflows.softwarelogic.co
Даже наличие ссылки на "научную статью" не спасёт. Мы можем получить несуществующую публикацию — и принять её за истину без проверки.
- «Бот работает на GPT-5» ≠ гарантия научной точности.
- Любая модель может быть настроена на распространение дезинформации, включая мифы о вакцинах или альтернативной медицине.
- Отсутствие верификации источников делает любую рекомендацию потенциально опасной.
Наука не терпит суеты — и тем более нельзя доверять ИИ без системы контроля качества. Без RAG, ручного аудита или меток «источник проверен» мы просто принимаем за истину то, что могло быть выдумано.