# Резюме проекта «Анализ стабильности полей»

## Цель проекта

Проект исследует многолетнюю устойчивость урожайности полей и связь результата с севооборотом и агрохимией. Основная управленческая задача — перейти от сравнения абсолютной урожайности к сопоставимой оценке эффективности поля относительно его дивизиона, культуры и конкретного сезона.

Источник анализа — `fields_stab_notebook.ipynb` от 21.08.2026. В исходном массиве 155 510 записей по 15 551 полю. Углублённый анализ выполнен для 4 105 полей, признанных стабильными, и 41 050 наблюдений «поле–год». Архив агрохимических операций содержит около 777 тыс. строк; после очистки и агрегации сформировано 64 543 паспорта обработок «поле–год».

## Что сделано

- Очищены ошибки и выбросы урожайности; незасеянные периоды сохранены в истории как «Пар».
- Рассчитан индекс относительной продуктивности:

  `yield_ratio = урожайность поля / медиана той же культуры в том же дивизионе и году`.

  Значение 1,00 означает результат на уровне локальной нормы сезона.
- Для каждого поля определены многолетняя норма, стабильность и аномальные годы. Аномалией считается отклонение более чем на ±25% от собственной многолетней нормы поля.
- Построена динамика урожайности по культурам, дивизионам и годам.
- Оценено влияние культуры-предшественника.
- Данные по удобрениям и СЗР очищены, категоризированы и объединены с историей урожайности.
- Выполнены непараметрические статистические тесты, корреляционный анализ, CatBoost-моделирование и интерпретация факторов с помощью SHAP.
- Созданы карточки полей и реестры аномалий для предметной проверки.

## 7 выводов и рабочих гипотез

### 1. Относительный индекс лучше абсолютной урожайности выявляет реальную эффективность поля

Одинаковая урожайность может означать разные результаты в разные годы. В примере из ноутбука 64,7 ц/га в 2025 году соответствуют локальной норме (`yield_ratio = 1,011`), тогда как 66 ц/га в 2016 году были на 42,1% выше нормы дивизиона. Это делает `yield_ratio` подходящей основой для управленческого мониторинга.

**Гипотеза:** рейтинг полей по относительной продуктивности устойчивее и полезнее для принятия решений, чем рейтинг по ц/га.

### 2. В 2024–2025 годах усилился риск отрицательных аномалий

До 2023 года всплески часто преобладали над провалами или были сопоставимы с ними. В 2024–2025 годах баланс изменился в сторону провалов. В 2025 году зафиксировано 608 аномалий, из них 352 провала — 58%.

**Гипотеза:** изменение связано с погодным режимом, качеством операций или накопленным эффектом севооборота; без метеоданных причины разделить нельзя.

### 3. Риски существенно различаются по дивизионам и культурам

В выбранном году повышенная доля аномалий отмечена в дивизионах Север — 26,2% и Ростовский — 22,0%. Более стабильны Черноземье — 8,0% и Краснояружская ЗК — 9,7%. Среди культур рисковой выглядит кукуруза на зерно — 27,8% аномалий с сильным перевесом провалов; рис — наиболее стабильная культура, 9,8%.

**Гипотеза:** единая для холдинга норма управления риском будет менее эффективна, чем отдельные пороги для сочетаний «дивизион × культура».

### 4. Предшественник — наиболее сильный из исследованных управляемых факторов

По SHAP предшественник занимает первое место: средний абсолютный вклад около 0,025 в полной модели и 0,030 в модели по удобренным полям. Его влияние в полной модели примерно в 2,5 раза выше влияния общей нормы удобрений.

Для озимой пшеницы благоприятны нут (`yield_ratio = 1,12`), горох и соя (`1,06`); повторная пшеница связана со снижением на 5–6%. Для яровой пшеницы повторный посев связан с падением примерно на 15%.

**Гипотеза:** экономическая оптимизация севооборота может дать более устойчивый эффект, чем общее наращивание доз удобрений.

### 5. Схема «подсолнечник → озимая пшеница» требует компенсации, но увеличение доз не возвращает рост

После подсолнечника под пшеницу вносится на 26–31% больше удобрений, чем после гороха. В 2021–2025 годах средняя норма в этой схеме выросла примерно с 236 до 370 кг/га, но средний `yield_ratio` снизился с 0,98 до 0,89. После подсолнечника в 84,3% случаев следует озимая пшеница, а пар используется лишь в 3,06% случаев.

**Гипотеза:** дополнительные удобрения компенсируют часть ущерба от предшественника, но не устраняют лимитирующие факторы — влагу, структуру почвы, болезни или дефицит отдельных элементов.

### 6. Универсальной положительной зависимости «больше удобрений — выше урожайность» нет

Корреляции неоднородны:

- яровая пшеница: `ρ = +0,211`, `p = 0,0029`;
- озимая пшеница: `ρ = +0,036`, эффект практически нулевой, хотя статистически значимый;
- кукуруза: `ρ = +0,019`, `p = 0,6229`, значимой связи нет;
- подсолнечник: `ρ = −0,152`, `p = 0,0028`.

По дивизионам направление также меняется: для озимой пшеницы связь положительна в Новокубанском (`ρ = +0,322`) и Черноземье (`+0,207`), но отрицательна в Краснояружской ЗК (`−0,468`).

**Гипотеза:** наблюдается эффект назначения — повышенные дозы чаще получают проблемные поля, поэтому простая корреляция смешивает реакцию на удобрения и исходное состояние поля.

### 7. Диапазон 350–500 кг/га выглядит зоной потенциальной отдачи, но пока не является нормативом

SHAP-анализ показывает положительный сдвиг при 350–500 кг/га и плато либо смешанный эффект свыше 500 кг/га. Однако тестовый `R²` моделей низкий: 0,126 на полном массиве и 0,134 на записях с удобрениями. Следовательно, модели описывают лишь около 13% вариации `yield_ratio`.

**Гипотеза:** диапазон 350–500 кг/га стоит проверять в контролируемых опытах отдельно по культуре, дивизиону, предшественнику и обеспеченности почвы. Использовать его как единую рекомендацию по холдингу преждевременно.

## 7 векторов дальнейших исследований

### 1. Причины роста провалов в 2024–2025 годах

Добавить осадки, температуру, гидротермический коэффициент, засуху и сроки критических фаз. Разложить аномалии на погодную, технологическую и полевую составляющие. Результат — карта причин потерь и раннее предупреждение риска.

### 2. Квазиэкспериментальная оценка отдачи удобрений

Сравнивать максимально похожие поля внутри одного дивизиона, культуры, года, предшественника и класса почвы; применять matching, fixed effects или difference-in-differences. Результат — оценка дополнительного урожая и маржи на дополнительный кг действующего вещества, а не простая корреляция.

### 3. Полевые опыты по дозам и точкам насыщения

Провести рандомизированные полосовые опыты с несколькими дозами вокруг текущей нормы, особенно в диапазоне 300–550 кг/га. Обязательно разделять N, P, K и микроэлементы. Результат — локальные кривые отклика и экономически оптимальная доза.

### 4. Экономика альтернатив севооборота

Сопоставить маржу полного цикла для схем «подсолнечник → пшеница», «горох → пшеница», повторной пшеницы и вариантов с паром. Учитывать урожай, цены, удобрения, СЗР, топливо и фитосанитарные последствия на горизонте 3–5 лет. Результат — оптимизация не отдельной культуры, а прибыли ротации.

### 5. Диагностика проблемных полей

Объединить агрохимические обследования почвы, гранулометрию, рельеф, pH, гумус, NPK, спутниковые индексы и историю операций. Проверить, почему высокая доза иногда лишь возвращает поле к медиане. Результат — сегменты ограничений и адресные программы восстановления.

### 6. Контроль качества агрономических данных

Разделить отсутствие операции и отсутствие записи, унифицировать единицы измерения и считать действующее вещество на гектар. Ввести проверки экстремальных значений: в сырых данных встречались 67 000,7 кг/га; клиппинг затронул 128 записей, или 0,98%. Результат — доверенный слой данных для аналитики и нормативов.

### 7. Система раннего предупреждения и приоритизации полей

Построить прогноз риска провала до сезона и обновлять его после сева и по ходу вегетации. Использовать временное разделение train/test, калибровку вероятностей и мониторинг дрейфа. Результат — список полей для агрономического обследования и превентивных действий с оценкой ожидаемого экономического эффекта.

## Ограничения текущего исследования

- Наблюдательные данные позволяют находить связи, но не доказывают причинный эффект.
- Погода, почва, сорт/гибрид, сроки и качество операций не включены в итоговую модель.
- Суммарная норма смешивает разные удобрения и единицы; не рассчитано действующее вещество N–P–K.
- Нулевое значение агрохимии может означать как отсутствие внесения, так и отсутствие записи.
- Случайный train/test split может помещать одно поле и соседние годы в обе выборки; для оценки переноса нужен временной и групповой split.
- Порог аномалии ±25% и статус «стабильное поле» заданы правилами и требуют проверки чувствительности.
- Низкий тестовый `R²` не позволяет использовать текущую модель как точный прогнозный инструмент.

## Управленческое резюме

Проект уже создал полезный аналитический фундамент: сопоставимую метрику эффективности, реестр аномалий, оценку севооборота, паспорта агрохимии и карточки полей. Главный практический сигнал — севооборот и локальные условия важнее механического увеличения общей нормы удобрений. Следующий этап должен перейти от корреляций к экономически измеримым причинным эффектам через улучшение данных и контролируемые полевые проверки.