Методология / без магии

Что именно делает Vanga, когда «угадывает» рейтинг

Vanga не знает будущего и не «смотрит» фильм до премьеры. Это CatBoost-модель, которая ищет статистические закономерности в исторических IMDb-данных и оценивает возможный рейтинг по информации, известной до релиза.

01 · Данные

IMDb — основа, а не источник готового ответа

Из официальных IMDb datasets строится локальная DuckDB. Vanga берёт оттуда структуру фильма и прошлую историю участников, а не фактический рейтинг прогнозируемой картины.

title.basics

Год, хронометраж, жанры и каноническое название.

title.principals

Режиссёры и актёрский состав с их IMDb ID.

title.crew

Сценаристы; из него строится нормализованная локальная таблица writer history.

title.ratings

Исторический target и прошлые рейтинги для temporal-агрегатов.

02 · Feature engineering

Признаки, которые можно было знать до выхода

Vanga нормализует год и длительность, кодирует жанры и персоналии и строит исторические средние рейтинги. Для человека с несколькими ролями история разделяется: режиссёрские работы не смешиваются с актёрскими.

Фильмгод · runtime · жанры · название
+
Людирежиссёр · сценарист · актёры
+
Только прошлоеhistory до года прогноза
→
CatBoostоценка 0–10
03 · Проверка

Временной holdout вместо случайного shuffle

Последние два календарных года доступной выборки откладываются в test. Более старые годы идут в train. Так проверка ближе к реальному сценарию: обучиться на прошлом и попробовать предсказать более новые фильмы.

TRAINстарые годы
TESTпоследние 2 года
ЦЕЛЬбудущая премьера
04 · Активная модель

Не рекламные цифры — metadata работающего поколения

Этот блок запрашивается у локального Vanga API. Если сервис недоступен, страница методологии продолжает работать, но не подставляет выдуманные метрики.

Generation 20261002T125203Z-52864a3c неизменяемое поколение активного model artifact
Schema 3 версия feature/metadata-контракта
MAE 1.025 средняя абсолютная ошибка temporal holdout
RMSE 1.342 сильнее штрафует крупные промахи
R² 0.271 объяснённая вариация на тестовом периоде
Test period 2025–2026 13993 строк
Uncertainty нет эмпирическая калибровка диапазона по holdout errors
Model size 8.0 МБ размер опубликованного CatBoost artifact
Показать признаки активного поколения 20
startYear Год выхода

Влияние года релиза и временного контекста, который модель видела в исторических данных.

runtimeMinutes Хронометраж

Влияние указанной длительности фильма относительно закономерностей обучающей выборки.

director_avg_rating История режиссёра

Средний рейтинг прошлых фильмов режиссёра, вышедших до указанного года.

actor_1_avg_rating История актёра №1

Средний рейтинг прошлых фильмов первого указанного актёра до года прогноза.

actor_2_avg_rating История актёра №2

Средний рейтинг прошлых фильмов второго указанного актёра до года прогноза.

actor_3_avg_rating История актёра №3

Средний рейтинг прошлых фильмов третьего указанного актёра до года прогноза.

is_marvel Связь с Marvel

Эвристический признак, указывающий на узнаваемый паттерн Marvel.

is_dc Связь с DC

Эвристический признак, указывающий на узнаваемый паттерн DC.

is_star_wars Связь со Star Wars

Эвристический признак, указывающий на узнаваемый паттерн Star Wars.

is_harry_potter Связь с Harry Potter

Эвристический признак, указывающий на узнаваемый паттерн франшизы Harry Potter.

is_bond Связь с Bond

Эвристический признак, указывающий на узнаваемый паттерн франшизы James Bond.

title_len Длина названия

Слабый текстовый признак: количество символов в названии фильма.

title_word_count Слова в названии

Количество слов в названии как дополнительный статистический признак.

has_digit Цифра в названии

Бинарный признак: присутствует ли цифра в названии фильма.

has_colon Двоеточие в названии

Бинарный признак структуры названия: есть ли в нём двоеточие.

genres_combined Сочетание жанров

То, как выбранная комбинация жанров соотносится с историческими рейтингами похожих фильмов.

director_id Паттерн режиссёра

Категориальный сигнал CatBoost: модель узнаёт режиссёра как отдельную сущность и учитывает исторические закономерности.

actor_1_id Паттерн актёра №1

Категориальный сигнал первого актёра. Нулевой вклад означает, что для этого прогноза сигнал почти не изменил оценку.

actor_2_id Паттерн актёра №2

Категориальный сигнал второго актёра. Нулевой вклад означает, что для этого прогноза сигнал почти не изменил оценку.

actor_3_id Паттерн актёра №3

Категориальный сигнал третьего актёра. Нулевой вклад означает, что для этого прогноза сигнал почти не изменил оценку.

05 · Объяснение результата

SHAP отвечает на «что сдвинуло этот прогноз?»

После inference Vanga получает вклад каждого признака относительно базового уровня модели. Положительное значение повышает итоговый прогноз, отрицательное — снижает. Это вклад в пунктах рейтинга, а не процент уверенности.

базовый уровень+SHAP-вклады=прогноз
06 · Неопределённость

Почему диапазон честнее одного красивого числа

При новом retrain абсолютные ошибки на temporal holdout калибруются по квантилям. Интерфейс может показать, например, центральный прогноз и диапазон, внутри которого находилась заданная доля исторических ошибок. Это не вероятность результата фильма.

07 · Публикация модели

Новый retrain не должен автоматически вытеснять более точную модель

1Train + temporal test

Candidate сначала получает метрики на временной выборке.

2Quality gate

На сопоставимом holdout MAE сравнивается с активным поколением.

3Artifact checks

Проверяются metadata и лимит размера модели без второй загрузки CatBoost в RAM.

4Atomic switch

Только после проверок меняется current.json; при ошибке рабочая модель остаётся прежней.

08 · Ограничения

Где прогнозу нельзя доверять как факту

Vanga — экспериментальная статистическая модель. Она может промахиваться на необычных проектах, новых режиссёрах и актёрах, фильмах с редкой комбинацией жанров или когда до премьеры известно мало данных.

Не рецензия

Модель не оценивает художественное качество и не заменяет мнение зрителей.

Не вероятность

Рейтинг 7.3 не означает «73% шанса на успех».

Не знание будущего

Vanga видит только признаки и исторические закономерности, а не сам будущий фильм.

Данные меняются

IMDb пополняется, поэтому следующие поколения модели могут обучаться на более свежей истории.

Теперь можно спорить с моделью

Выберите будущий фильм и проверьте Vanga

А после премьеры сохранённый прогноз можно будет сравнить с фактическим IMDb-рейтингом без пересчёта задним числом.

Открыть Vanga →