120 lines
16 KiB
Markdown
120 lines
16 KiB
Markdown
# Резюме проекта «Анализ стабильности полей»
|
||
|
||
## Цель проекта
|
||
|
||
Проект исследует многолетнюю устойчивость урожайности полей и связь результата с севооборотом и агрохимией. Основная управленческая задача — перейти от сравнения абсолютной урожайности к сопоставимой оценке эффективности поля относительно его дивизиона, культуры и конкретного сезона.
|
||
|
||
Источник анализа — `fields_stab_notebook.ipynb` от 21.08.2026. В исходном массиве 155 510 записей по 15 551 полю. Углублённый анализ выполнен для 4 105 полей, признанных стабильными, и 41 050 наблюдений «поле–год». Архив агрохимических операций содержит около 777 тыс. строк; после очистки и агрегации сформировано 64 543 паспорта обработок «поле–год».
|
||
|
||
## Что сделано
|
||
|
||
- Очищены ошибки и выбросы урожайности; незасеянные периоды сохранены в истории как «Пар».
|
||
- Рассчитан индекс относительной продуктивности:
|
||
|
||
`yield_ratio = урожайность поля / медиана той же культуры в том же дивизионе и году`.
|
||
|
||
Значение 1,00 означает результат на уровне локальной нормы сезона.
|
||
- Для каждого поля определены многолетняя норма, стабильность и аномальные годы. Аномалией считается отклонение более чем на ±25% от собственной многолетней нормы поля.
|
||
- Построена динамика урожайности по культурам, дивизионам и годам.
|
||
- Оценено влияние культуры-предшественника.
|
||
- Данные по удобрениям и СЗР очищены, категоризированы и объединены с историей урожайности.
|
||
- Выполнены непараметрические статистические тесты, корреляционный анализ, CatBoost-моделирование и интерпретация факторов с помощью SHAP.
|
||
- Созданы карточки полей и реестры аномалий для предметной проверки.
|
||
|
||
## 7 выводов и рабочих гипотез
|
||
|
||
### 1. Относительный индекс лучше абсолютной урожайности выявляет реальную эффективность поля
|
||
|
||
Одинаковая урожайность может означать разные результаты в разные годы. В примере из ноутбука 64,7 ц/га в 2025 году соответствуют локальной норме (`yield_ratio = 1,011`), тогда как 66 ц/га в 2016 году были на 42,1% выше нормы дивизиона. Это делает `yield_ratio` подходящей основой для управленческого мониторинга.
|
||
|
||
**Гипотеза:** рейтинг полей по относительной продуктивности устойчивее и полезнее для принятия решений, чем рейтинг по ц/га.
|
||
|
||
### 2. В 2024–2025 годах усилился риск отрицательных аномалий
|
||
|
||
До 2023 года всплески часто преобладали над провалами или были сопоставимы с ними. В 2024–2025 годах баланс изменился в сторону провалов. В 2025 году зафиксировано 608 аномалий, из них 352 провала — 58%.
|
||
|
||
**Гипотеза:** изменение связано с погодным режимом, качеством операций или накопленным эффектом севооборота; без метеоданных причины разделить нельзя.
|
||
|
||
### 3. Риски существенно различаются по дивизионам и культурам
|
||
|
||
В выбранном году повышенная доля аномалий отмечена в дивизионах Север — 26,2% и Ростовский — 22,0%. Более стабильны Черноземье — 8,0% и Краснояружская ЗК — 9,7%. Среди культур рисковой выглядит кукуруза на зерно — 27,8% аномалий с сильным перевесом провалов; рис — наиболее стабильная культура, 9,8%.
|
||
|
||
**Гипотеза:** единая для холдинга норма управления риском будет менее эффективна, чем отдельные пороги для сочетаний «дивизион × культура».
|
||
|
||
### 4. Предшественник — наиболее сильный из исследованных управляемых факторов
|
||
|
||
По SHAP предшественник занимает первое место: средний абсолютный вклад около 0,025 в полной модели и 0,030 в модели по удобренным полям. Его влияние в полной модели примерно в 2,5 раза выше влияния общей нормы удобрений.
|
||
|
||
Для озимой пшеницы благоприятны нут (`yield_ratio = 1,12`), горох и соя (`1,06`); повторная пшеница связана со снижением на 5–6%. Для яровой пшеницы повторный посев связан с падением примерно на 15%.
|
||
|
||
**Гипотеза:** экономическая оптимизация севооборота может дать более устойчивый эффект, чем общее наращивание доз удобрений.
|
||
|
||
### 5. Схема «подсолнечник → озимая пшеница» требует компенсации, но увеличение доз не возвращает рост
|
||
|
||
После подсолнечника под пшеницу вносится на 26–31% больше удобрений, чем после гороха. В 2021–2025 годах средняя норма в этой схеме выросла примерно с 236 до 370 кг/га, но средний `yield_ratio` снизился с 0,98 до 0,89. После подсолнечника в 84,3% случаев следует озимая пшеница, а пар используется лишь в 3,06% случаев.
|
||
|
||
**Гипотеза:** дополнительные удобрения компенсируют часть ущерба от предшественника, но не устраняют лимитирующие факторы — влагу, структуру почвы, болезни или дефицит отдельных элементов.
|
||
|
||
### 6. Универсальной положительной зависимости «больше удобрений — выше урожайность» нет
|
||
|
||
Корреляции неоднородны:
|
||
|
||
- яровая пшеница: `ρ = +0,211`, `p = 0,0029`;
|
||
- озимая пшеница: `ρ = +0,036`, эффект практически нулевой, хотя статистически значимый;
|
||
- кукуруза: `ρ = +0,019`, `p = 0,6229`, значимой связи нет;
|
||
- подсолнечник: `ρ = −0,152`, `p = 0,0028`.
|
||
|
||
По дивизионам направление также меняется: для озимой пшеницы связь положительна в Новокубанском (`ρ = +0,322`) и Черноземье (`+0,207`), но отрицательна в Краснояружской ЗК (`−0,468`).
|
||
|
||
**Гипотеза:** наблюдается эффект назначения — повышенные дозы чаще получают проблемные поля, поэтому простая корреляция смешивает реакцию на удобрения и исходное состояние поля.
|
||
|
||
### 7. Диапазон 350–500 кг/га выглядит зоной потенциальной отдачи, но пока не является нормативом
|
||
|
||
SHAP-анализ показывает положительный сдвиг при 350–500 кг/га и плато либо смешанный эффект свыше 500 кг/га. Однако тестовый `R²` моделей низкий: 0,126 на полном массиве и 0,134 на записях с удобрениями. Следовательно, модели описывают лишь около 13% вариации `yield_ratio`.
|
||
|
||
**Гипотеза:** диапазон 350–500 кг/га стоит проверять в контролируемых опытах отдельно по культуре, дивизиону, предшественнику и обеспеченности почвы. Использовать его как единую рекомендацию по холдингу преждевременно.
|
||
|
||
## 7 векторов дальнейших исследований
|
||
|
||
### 1. Причины роста провалов в 2024–2025 годах
|
||
|
||
Добавить осадки, температуру, гидротермический коэффициент, засуху и сроки критических фаз. Разложить аномалии на погодную, технологическую и полевую составляющие. Результат — карта причин потерь и раннее предупреждение риска.
|
||
|
||
### 2. Квазиэкспериментальная оценка отдачи удобрений
|
||
|
||
Сравнивать максимально похожие поля внутри одного дивизиона, культуры, года, предшественника и класса почвы; применять matching, fixed effects или difference-in-differences. Результат — оценка дополнительного урожая и маржи на дополнительный кг действующего вещества, а не простая корреляция.
|
||
|
||
### 3. Полевые опыты по дозам и точкам насыщения
|
||
|
||
Провести рандомизированные полосовые опыты с несколькими дозами вокруг текущей нормы, особенно в диапазоне 300–550 кг/га. Обязательно разделять N, P, K и микроэлементы. Результат — локальные кривые отклика и экономически оптимальная доза.
|
||
|
||
### 4. Экономика альтернатив севооборота
|
||
|
||
Сопоставить маржу полного цикла для схем «подсолнечник → пшеница», «горох → пшеница», повторной пшеницы и вариантов с паром. Учитывать урожай, цены, удобрения, СЗР, топливо и фитосанитарные последствия на горизонте 3–5 лет. Результат — оптимизация не отдельной культуры, а прибыли ротации.
|
||
|
||
### 5. Диагностика проблемных полей
|
||
|
||
Объединить агрохимические обследования почвы, гранулометрию, рельеф, pH, гумус, NPK, спутниковые индексы и историю операций. Проверить, почему высокая доза иногда лишь возвращает поле к медиане. Результат — сегменты ограничений и адресные программы восстановления.
|
||
|
||
### 6. Контроль качества агрономических данных
|
||
|
||
Разделить отсутствие операции и отсутствие записи, унифицировать единицы измерения и считать действующее вещество на гектар. Ввести проверки экстремальных значений: в сырых данных встречались 67 000,7 кг/га; клиппинг затронул 128 записей, или 0,98%. Результат — доверенный слой данных для аналитики и нормативов.
|
||
|
||
### 7. Система раннего предупреждения и приоритизации полей
|
||
|
||
Построить прогноз риска провала до сезона и обновлять его после сева и по ходу вегетации. Использовать временное разделение train/test, калибровку вероятностей и мониторинг дрейфа. Результат — список полей для агрономического обследования и превентивных действий с оценкой ожидаемого экономического эффекта.
|
||
|
||
## Ограничения текущего исследования
|
||
|
||
- Наблюдательные данные позволяют находить связи, но не доказывают причинный эффект.
|
||
- Погода, почва, сорт/гибрид, сроки и качество операций не включены в итоговую модель.
|
||
- Суммарная норма смешивает разные удобрения и единицы; не рассчитано действующее вещество N–P–K.
|
||
- Нулевое значение агрохимии может означать как отсутствие внесения, так и отсутствие записи.
|
||
- Случайный train/test split может помещать одно поле и соседние годы в обе выборки; для оценки переноса нужен временной и групповой split.
|
||
- Порог аномалии ±25% и статус «стабильное поле» заданы правилами и требуют проверки чувствительности.
|
||
- Низкий тестовый `R²` не позволяет использовать текущую модель как точный прогнозный инструмент.
|
||
|
||
## Управленческое резюме
|
||
|
||
Проект уже создал полезный аналитический фундамент: сопоставимую метрику эффективности, реестр аномалий, оценку севооборота, паспорта агрохимии и карточки полей. Главный практический сигнал — севооборот и локальные условия важнее механического увеличения общей нормы удобрений. Следующий этап должен перейти от корреляций к экономически измеримым причинным эффектам через улучшение данных и контролируемые полевые проверки.
|