Исследования, которые можно повторить
Сравниваем технические решения на одинаковой нагрузке и публикуем всё, что нужно для проверки: код стенда, команды, версии и сырые результаты. Если измерение не проводилось — публикации нет.
Публикации
Внутренние инженерные эксперименты
Кроме публичных измерений у InterLAB есть внутренние экспериментальные инструменты для анализа решений и моделирования сценариев. На них мы проверяем подходы до того, как предлагать их в проектах.
Это прототипы для внутреннего использования, а не продукты и не услуги: они не продаются, внешней проверки не проходили, и результатов по ним мы не приводим. Названия, устройство, алгоритмы и данные этих инструментов не публикуются. Если подход пройдёт проверку по протоколу ниже, он появится здесь отдельной публикацией — с методом и ограничениями.
Протокол публикации
- 01
Вопрос и гипотеза — до измерения
Фиксируем, что сравниваем, какие метрики считаем и что будет считаться честным сравнением.
- 02
Одинаковые условия
Варианты запускаются на одной машине, на одних данных и с одной конфигурацией; несколько повторов, фоновые нагрузки отмечаются.
- 03
Сырые данные и код стенда
К каждой публикации прилагаются скрипт, команды запуска, версии и необработанные результаты — чтобы получить свои цифры.
- 04
Ограничения вслух
Пишем, на что результат не распространяется: другое железо, сеть, объёмы, версии. Одна машина — не статистика по индустрии.
Как цитировать и проверять
Ссылка и дата
Указывайте адрес публикации и дату. У каждого исследования в конце статьи — готовый текст цитаты и список файлов.
Цифры — вместе с условиями
Медиана без версии, объёма данных и среды вводит в заблуждение. Приводите условия замера рядом с цифрой.
Проверка на своей машине
Код стенда, генерация данных и команды открыты: повторите замер и сравните со своими цифрами — по контрольной сумме данных видно, что набор тот же.
Ошибки и поправки
Нашли ошибку в методе, данных или выводах — напишите на hello@interlab.app с номером исследования.
Чего здесь не будет
- Цифр без метода и сырых данных
- Клиентских данных и деталей уязвимостей без разрешения
- «Бенчмарков» на чужих production-системах
- Выводов шире, чем позволяет измерение
Нужно измерить что-то в вашем продукте?
Нагрузку, скорость страниц или запросов к базе можно проверить на вашем стенде — в рамках аудита или консультации.
- Первый короткий разговор бесплатный — выбираем формат работы
- NDA — по вашему или нашему шаблону
- Стоимость — после брифа и согласования объёма