Исследовательская заметка · в работе

Измерение уверенной ошибки в рассуждениях о редких заболеваниях

Я строю открытый бенчмарк для провала, который в медицине стоит дороже всего. Не отказ отвечать. Беглый, уверенный и неправильный ответ — в том единственном режиме, где почти никто не в состоянии проверить.

Ali BakibuldaАстана · Дубай · Филадельфияali.bakibulda@gmail.comНезависимый личный проект

01 — ОБЛАСТЬПочему я выбрал самое трудное место для правоты

Модель, которую спрашивают о распространённом заболевании, стоит на горе текста. Тысячи статей, десятилетия рекомендаций, миллионы описанных случаев. Она опирается на сильный статистический приор и оказывается права по причинам, не имеющим отношения к рассуждению.

Редкие болезни это отнимают. Для большинства таких состояний опубликованная литература — горсть клинических случаев, иногда одна семья. Приора нет, и остаётся только то, что модель на самом деле делает, когда не знает.

Это и есть интересный вопрос, и он не академический. Вот цифры, к которым я возвращаюсь.

7 000+описанных редких заболеваний
~300 млнлюдей живут с одним из них
до 95%не имеют одобренного лечения
4,8 годав среднем от первого симптома до диагноза

Эти четыре числа описывают разрыв, и модели уже в нём. Врачи спрашивают их о случае, который увидят раз за карьеру. Родители спрашивают на четвёртый год неизвестности. Что бы модель ни сказала в этом разговоре, вес её слов выше, чем где-либо ещё, — потому что сравнивать почти не с чем.

Рис. 1 — Схема, не измерение. Объём доступных данных обрушивается по мере того, как болезни становятся реже. Уверенность ответа за ним не идёт. Это расстояние у правого края и есть то, чему бенчмарк должен присвоить число.

02 — ЧТО Я МЕРЯЮТри вопроса, и ни один из них не про точность

Точность на задачах о редких болезнях знать полезно, и это измеряют другие. Мне нужно более узкое: поведение модели в момент, когда её знание заканчивается.

Калибровка — значит ли уверенность хоть что-нибудь

Хорошо устроенная модель — та, чья заявленная уверенность совпадает с частотой правоты. Сказала 90% — права девять раз из десяти. Моя гипотеза: здесь эта связь рвётся. Уверенность держится высоко, а точность уходит из-под неё, потому что беглость производится тем же механизмом независимо от того, существуют ли факты.

Рис. 2 — Схема, не измерение. На диагонали модель, сказавшая 80%, права в 80% случаев. Ниже — уверенность производится, а не заработана. Заштрихованная площадь — это то, что я хочу измерить, и то, как она растёт по мере редкости.

Отказ — скажет ли она, что данных нет

Для большинства редких состояний верный ответ на клинический вопрос — что пока никто не знает. Поэтому часть заданий построена так, что недостаточно данных — единственный правильный ответ. Модель, выдавшая на такое задание уверенный и хорошо написанный ответ, задание провалила, каким бы хорошим ни был абзац.

Рис. 3 — Клетка справа сверху — это и есть весь проект. Это же та клетка, которой никогда не будет в бенчмарке, собранном только из вопросов с известными ответами. Поэтому задания на отказ приходится конструировать намеренно.

Заземление — что на самом деле чинит ретрив

Стандартный ответ — дать модели литературу. Это действительно помогает. Чего я не видел измеренным: чинит ли это провал или переносит его. Либо модель перестаёт выдумывать, либо остаётся уверенно неправой, но теперь ссылается на реальную статью, которая говорит не то. Второе хуже: ссылка затрудняет проверку.

03 — МЕТОДОткуда берутся правильные ответы

К дизайнеру, строящему медицинский бенчмарк, есть очевидное возражение, и оно верное: кто решает, какой ответ правильный.

Мой ответ: не я. Каждое задание берётся из источника, где квалифицированный человек уже принял это решение публично и защитил его: опубликованные случаи с генетически подтверждённым диагнозом, классификации вариантов от экспертных панелей, курируемые справочники. Золотая метка — их. Моя работа — выборка, провенанс и подсчёт, и это я могу делать строго. Клинический рецензент может удалить задание, но не переголосовать источник.

Экспертиза живёт в источнике, а не в моём мнении о нём.

04 — ПОЧЕМУ ЯОткуда взялся вопрос

Я моушн-дизайнер и режиссёр. У меня студия. Я не клиницист и не академик, и я хочу, чтобы это стояло на странице, а не было спрятано.

Весь 2026 год я гонял ИИ-системы как рабочую инфраструктуру студии, а не как демонстрации: бренд-системы, боевые сайты, медиапайплайны, кампании со сроками и клиентами. Этот год научил меня узкой вещи, которая, по-моему, переносится. Дорого обходится почти никогда не отказ модели. Дорого обходится беглая уверенная ошибка там, где никто не смотрит.

Я приношу сюда не клиническую экспертизу. Я приношу метод, который её от меня не требует, и год необычно пристального внимания к тому, как эти системы ломаются.

05 — СТАТУСЧто есть и что нужно

Пока ничего не опубликовано. Первый набор заданий собирается. Никаких результатов на этой странице не заявлено, и каждый рисунок выше — схема вопроса, а не картинка ответа.

Когда появятся выводы, задания, их провенанс, код подсчёта и результаты выйдут открыто — включая прогоны, которые прошли плохо. Бенчмарк, чьи провалы скрыты, — это маркетинговый актив, а не инструмент.

Что я ищу

Врача по редким заболеваниям или генетика, готового рецензировать задания под своим именем. Это то, чего я не могу дать сам, и то, в чём работа нуждается больше всего.
Тех, кто занимается калибровкой, отказом от ответа или оценкой моделей и хочет поспорить с дизайном до того, как он построен, а не после.
Пациентские организации, которые захотят повлиять на то, какие заболевания войдут в первый набор.

Это личный проект. Он живёт на домене студии, потому что этот домен принадлежит мне, а не потому что это услуга студии: клиентские работы его не касаются, и здесь ничего не продаётся.

Если это про вас — или если вы просто хотите получить бенчмарк, когда он появится, — напишите мне напрямую: ali.bakibulda@gmail.com