Как мы проверяем
Правила карты допустимого — что проверяется, что берётся на веру, судьи, пороги, виды тестов, статусы и разбор присланных теорий в четыре этапа.
Что проверяем
На карту попадают отдельные утверждения с числом — такие, для которых понятно, с каким измерением их сравнивать. Присланную теорию мы разбираем целиком, в четыре этапа (ниже), но статус на карте получают только её утверждения, а не теория и не автор.
Каждое число в карточке помечено:
- измерено — взято из опубликованного измерения;
- выведено — посчитано из измеренного по явной формуле;
- принято — допущение, без которого вывод не получается; допущения самой проверки собраны отдельно, см. ниже.
Что берётся на веру
Ни одна проверка не обходится без допущений. Поэтому у каждой карточки перечислено, что берётся на веру, и у каждого теста указано, на какие из этих посылок он опирается:
- П — посылки самого утверждения. Из них утверждение состоит или выводится. У неравенства Белла их три: ничто не распространяется быстрее света, параметры существуют до измерения, измерения независимы друг от друга; граница |S| ≤ 2 следует из всех трёх сразу.
- В — вспомогательные посылки. На них стоит отдельный тест, но не само утверждение: верна обработка опубликованного числа, честна выборка, два опыта измеряют одну и ту же величину.
Тест, исключивший утверждение, опровергает сочетание всех своих посылок, а не какую-то одну. Если посылок утверждения несколько, опровергнуто их пересечение: хотя бы одна неверна, но какая — данные не говорят. Поэтому опыты Белла опровергают тройку посылок, а не доказывают нелокальность.
В каждой исключённой карточке скрипт выписывает, какое сочетание опровергнуто и от каких вспомогательных посылок пришлось бы отказаться, чтобы его сохранить. Когда независимые тесты стоят на разных вспомогательных посылках, спасти утверждение можно, только отказавшись от посылок каждого из них сразу.
Общее для всех проверок: заявленная погрешность — стандартное отклонение, а ошибки распределены близко к нормальному закону. На этом стоит перевод расхождения в σ.
Судья — скрипт
У каждой карточки есть скрипт-судья. Он берёт числа только из библиотеки измерений — у каждого числа там указан источник, — считает расхождение и выносит статус по правилу. Скрипты и данные будут выложены в открытый репозиторий; прогон воспроизводится командой
python -m judges.run_all --card <имя карточки>
Правило
- Порог — 5σ. Если утверждение расходится с измерением на 5 стандартных отклонений или больше, статус — «исключено данными». Меньше — «не исключено этим тестом».
- Погрешности. Статистическая и систематическая складываются в квадратуре. У асимметричной погрешности берётся сторона, обращённая к сравниваемому значению.
- Теоретическая погрешность. Если утверждение не объявило порядок своего приближения, допуск судьи равен погрешности измерения, с которым его сравнивают.
- Итог карточки. Карточка исключена, если её исключил хотя бы один тест. Все тесты показываются, включая те, что не исключили. Вместе со статусом указывается, какое сочетание посылок опровергнуто.
Правила меняются только записью в журнале изменений с датой, до применения. После изменения все карточки пересчитываются автоматически.
Виды тестов
| Тест | Как считается расхождение |
|---|---|
| Два значения | Разность, делённая на погрешности обоих, сложенные в квадратуре |
| Совместность ряда измерений | Хи-квадрат с учётом корреляций между измерениями → вероятность случайно получить такой разброс → её эквивалент в σ |
| Опубликованное p-значение | Вероятность из самой публикации → её односторонний эквивалент в σ |
| Воспроизведение | Опубликованное число против пересчёта из сырых данных: «воспроизводится», если расхождение меньше 5σ |
На картах шкала расхождения логарифмическая: на ней помещаются и сотые доли σ, и тысячи σ.
Статусы
| Статус | Что значит |
|---|---|
| исключено данными | есть измерение, с которым утверждение расходится на 5σ и больше |
| не исключено этим тестом | названный тест утверждение не исключает; это не значит, что оно верно |
| непроверяемо в этой формулировке | нет числа или нет измерения, с которым его сравнить |
| воспроизводится / не воспроизводится | опубликованное число совпадает или не совпадает с пересчётом из сырых данных |
| проверка не завершена | сторонняя проверка упёрлась в нераскрытые данные; по правилу остановки вердикт не выносится |
Статуса «подтверждено» нет: измерение может исключить утверждение, но не может его доказать.
Концепции и теории. Концепция — учение, которое претендует на всеобщность: объявляет, что описывает все явления или все взаимодействия. Теория описывает свою область; она может быть частью концепции. Общая теория относительности и квантовая механика по отдельности на всеобщность не претендуют — они части концепции «научный консенсус»; отдельное утверждение концепцией не бывает никогда. Рейтинг ведётся по концепциям.
Статус теории и концепции целиком — по худшему утверждению. Каждое утверждение сайта отнесено к теории или концепции; если утверждение следует из нескольких теорий вместе — как проблема космологической постоянной из общей теории относительности, квантовой механики и Стандартной модели, — оно относится к каждой, и каждая получает его статус с пометкой, с какими теориями вместе. Снять такой статус теория может, только отказавшись от своей доли посылок. Статус концепции — по худшему утверждению всех её частей: если опровергнутое сочетание целиком лежит внутри концепции, опровергнута она сама.
Разбор присланной теории: четыре этапа
Теорию разбираем в четыре этапа, и все четыре идут всегда: противоречие на первом не отменяет остальных. Как это выглядит — в учебном образце разбора.
- Вводные. Выписываем явно всё, на чём стоит теория: постулаты, названные автором, и неявные — те, что используются в выводе, но не названы; определения терминов; свободные параметры. Опираясь на раздел общепринятой физики, теория наследует все его постулаты, а взяв оттуда формулу — постулаты, из которых формула выведена, если не выводит её сама. Постулаты разделов собраны в реестре постулатов. Затем проверяем совместность: каждый свой постулат против каждого своего и каждого унаследованного. Известные противоречия между разделами — например, сложение скоростей по Галилею и постоянство скорости света — выносятся автоматически, если теория наследует оба. Для постулатов делается тест заменой: если замена на противоположное не меняет ни одной наблюдаемой, это выбор языка, а не физика.
- Логика. Восстанавливаем цепочку вывода: каждый шаг — из каких посылок, что следует и где это в тексте. Ошибка перехода называется по закрытому списку: размерность, вычисление, неявная посылка, круг, подмена понятия, подгонка, предел, аналогия, «не следует». Размерности и выкладки проверяются пересчётом, и пересчёт приводится в разборе.
- Опыт. Утверждения с числом сверяются с измерениями по общему правилу. Исключённое утверждение опровергает сочетание тех постулатов, из которых оно выведено, — их показывает цепочка второго этапа.
- Выводы вне опыта. Следствия, которых опыт ещё не касался: отличается ли вывод от общепринятого и насколько, какая точность нужна, чтобы различить, и какой опыт её даёт. Вывод фиксируется датой разбора. Если данные уже есть, вывод переходит на третий этап.
У каждого разбора стоит дата: он отражает текст, присланный к этому дню. Автор может исправить теорию и прислать её снова — кнопкой «Прислать исправленную версию» на странице разбора. Новая версия разбирается заново по тем же правилам, прежние остаются в истории версий со своими датами.
Кто решает
Никто лично. Статус «исключено данными» выносит только скрипт по опубликованному правилу; числа приходят только из библиотеки измерений.
Анализ текста на этапах 1, 2 и 4 — постулаты, переходы, выводы вне опыта — делает ИИ по правилам выше. Каждое замечание указывает место в тексте и тип из закрытого списка, поэтому его можно проверить и оспорить. Структуру разбора проверяет и досчитывает скрипт: ссылки на постулаты и шаги, наследование, круги в выводе и то, какое сочетание опровергнуто.
Люди участвуют по желанию: присылают теории и утверждения, находят ошибки в скриптах, данных и разборах. Спор решается исправлением скрипта, данных или разбора и перезапуском, а не авторитетом.
Одинаково для всех
Утверждения общепринятой физики проверяются тем же способом: те же судьи, тот же порог, те же четыре этапа. Утверждения из программы основателя проекта, если попадают на карту, проходят те же скрипты и те же пороги — см. Кто мы.
О людях не пишем
Карточки говорят только об утверждениях и числах: «значение X не воспроизводится измерением Y». Оценок людей нет. У автора утверждения есть право ответа: ответ или исправленная теория присылается новой версией заявки и публикуется рядом с прежним разбором.