Добавить Анализ.md

Анализ.md

@@ -0,0 +1,119 @@
+# Резюме проекта «Анализ стабильности полей»
+
+## Цель проекта
+
+Проект исследует многолетнюю устойчивость урожайности полей и связь результата с севооборотом и агрохимией. Основная управленческая задача — перейти от сравнения абсолютной урожайности к сопоставимой оценке эффективности поля относительно его дивизиона, культуры и конкретного сезона.
+
+Источник анализа — `fields_stab_notebook.ipynb` от 21.08.2026. В исходном массиве 155 510 записей по 15 551 полю. Углублённый анализ выполнен для 4 105 полей, признанных стабильными, и 41 050 наблюдений «поле–год». Архив агрохимических операций содержит около 777 тыс. строк; после очистки и агрегации сформировано 64 543 паспорта обработок «поле–год».
+
+## Что сделано
+
+- Очищены ошибки и выбросы урожайности; незасеянные периоды сохранены в истории как «Пар».
+- Рассчитан индекс относительной продуктивности:
+
+  `yield_ratio = урожайность поля / медиана той же культуры в том же дивизионе и году`.
+
+  Значение 1,00 означает результат на уровне локальной нормы сезона.
+- Для каждого поля определены многолетняя норма, стабильность и аномальные годы. Аномалией считается отклонение более чем на ±25% от собственной многолетней нормы поля.
+- Построена динамика урожайности по культурам, дивизионам и годам.
+- Оценено влияние культуры-предшественника.
+- Данные по удобрениям и СЗР очищены, категоризированы и объединены с историей урожайности.
+- Выполнены непараметрические статистические тесты, корреляционный анализ, CatBoost-моделирование и интерпретация факторов с помощью SHAP.
+- Созданы карточки полей и реестры аномалий для предметной проверки.
+
+## 7 выводов и рабочих гипотез
+
+### 1. Относительный индекс лучше абсолютной урожайности выявляет реальную эффективность поля
+
+Одинаковая урожайность может означать разные результаты в разные годы. В примере из ноутбука 64,7 ц/га в 2025 году соответствуют локальной норме (`yield_ratio = 1,011`), тогда как 66 ц/га в 2016 году были на 42,1% выше нормы дивизиона. Это делает `yield_ratio` подходящей основой для управленческого мониторинга.
+
+**Гипотеза:** рейтинг полей по относительной продуктивности устойчивее и полезнее для принятия решений, чем рейтинг по ц/га.
+
+### 2. В 2024–2025 годах усилился риск отрицательных аномалий
+
+До 2023 года всплески часто преобладали над провалами или были сопоставимы с ними. В 2024–2025 годах баланс изменился в сторону провалов. В 2025 году зафиксировано 608 аномалий, из них 352 провала — 58%.
+
+**Гипотеза:** изменение связано с погодным режимом, качеством операций или накопленным эффектом севооборота; без метеоданных причины разделить нельзя.
+
+### 3. Риски существенно различаются по дивизионам и культурам
+
+В выбранном году повышенная доля аномалий отмечена в дивизионах Север — 26,2% и Ростовский — 22,0%. Более стабильны Черноземье — 8,0% и Краснояружская ЗК — 9,7%. Среди культур рисковой выглядит кукуруза на зерно — 27,8% аномалий с сильным перевесом провалов; рис — наиболее стабильная культура, 9,8%.
+
+**Гипотеза:** единая для холдинга норма управления риском будет менее эффективна, чем отдельные пороги для сочетаний «дивизион × культура».
+
+### 4. Предшественник — наиболее сильный из исследованных управляемых факторов
+
+По SHAP предшественник занимает первое место: средний абсолютный вклад около 0,025 в полной модели и 0,030 в модели по удобренным полям. Его влияние в полной модели примерно в 2,5 раза выше влияния общей нормы удобрений.
+
+Для озимой пшеницы благоприятны нут (`yield_ratio = 1,12`), горох и соя (`1,06`); повторная пшеница связана со снижением на 5–6%. Для яровой пшеницы повторный посев связан с падением примерно на 15%.
+
+**Гипотеза:** экономическая оптимизация севооборота может дать более устойчивый эффект, чем общее наращивание доз удобрений.
+
+### 5. Схема «подсолнечник → озимая пшеница» требует компенсации, но увеличение доз не возвращает рост
+
+После подсолнечника под пшеницу вносится на 26–31% больше удобрений, чем после гороха. В 2021–2025 годах средняя норма в этой схеме выросла примерно с 236 до 370 кг/га, но средний `yield_ratio` снизился с 0,98 до 0,89. После подсолнечника в 84,3% случаев следует озимая пшеница, а пар используется лишь в 3,06% случаев.
+
+**Гипотеза:** дополнительные удобрения компенсируют часть ущерба от предшественника, но не устраняют лимитирующие факторы — влагу, структуру почвы, болезни или дефицит отдельных элементов.
+
+### 6. Универсальной положительной зависимости «больше удобрений — выше урожайность» нет
+
+Корреляции неоднородны:
+
+- яровая пшеница: `ρ = +0,211`, `p = 0,0029`;
+- озимая пшеница: `ρ = +0,036`, эффект практически нулевой, хотя статистически значимый;
+- кукуруза: `ρ = +0,019`, `p = 0,6229`, значимой связи нет;
+- подсолнечник: `ρ = −0,152`, `p = 0,0028`.
+
+По дивизионам направление также меняется: для озимой пшеницы связь положительна в Новокубанском (`ρ = +0,322`) и Черноземье (`+0,207`), но отрицательна в Краснояружской ЗК (`−0,468`).
+
+**Гипотеза:** наблюдается эффект назначения — повышенные дозы чаще получают проблемные поля, поэтому простая корреляция смешивает реакцию на удобрения и исходное состояние поля.
+
+### 7. Диапазон 350–500 кг/га выглядит зоной потенциальной отдачи, но пока не является нормативом
+
+SHAP-анализ показывает положительный сдвиг при 350–500 кг/га и плато либо смешанный эффект свыше 500 кг/га. Однако тестовый `R²` моделей низкий: 0,126 на полном массиве и 0,134 на записях с удобрениями. Следовательно, модели описывают лишь около 13% вариации `yield_ratio`.
+
+**Гипотеза:** диапазон 350–500 кг/га стоит проверять в контролируемых опытах отдельно по культуре, дивизиону, предшественнику и обеспеченности почвы. Использовать его как единую рекомендацию по холдингу преждевременно.
+
+## 7 векторов дальнейших исследований
+
+### 1. Причины роста провалов в 2024–2025 годах
+
+Добавить осадки, температуру, гидротермический коэффициент, засуху и сроки критических фаз. Разложить аномалии на погодную, технологическую и полевую составляющие. Результат — карта причин потерь и раннее предупреждение риска.
+
+### 2. Квазиэкспериментальная оценка отдачи удобрений
+
+Сравнивать максимально похожие поля внутри одного дивизиона, культуры, года, предшественника и класса почвы; применять matching, fixed effects или difference-in-differences. Результат — оценка дополнительного урожая и маржи на дополнительный кг действующего вещества, а не простая корреляция.
+
+### 3. Полевые опыты по дозам и точкам насыщения
+
+Провести рандомизированные полосовые опыты с несколькими дозами вокруг текущей нормы, особенно в диапазоне 300–550 кг/га. Обязательно разделять N, P, K и микроэлементы. Результат — локальные кривые отклика и экономически оптимальная доза.
+
+### 4. Экономика альтернатив севооборота
+
+Сопоставить маржу полного цикла для схем «подсолнечник → пшеница», «горох → пшеница», повторной пшеницы и вариантов с паром. Учитывать урожай, цены, удобрения, СЗР, топливо и фитосанитарные последствия на горизонте 3–5 лет. Результат — оптимизация не отдельной культуры, а прибыли ротации.
+
+### 5. Диагностика проблемных полей
+
+Объединить агрохимические обследования почвы, гранулометрию, рельеф, pH, гумус, NPK, спутниковые индексы и историю операций. Проверить, почему высокая доза иногда лишь возвращает поле к медиане. Результат — сегменты ограничений и адресные программы восстановления.
+
+### 6. Контроль качества агрономических данных
+
+Разделить отсутствие операции и отсутствие записи, унифицировать единицы измерения и считать действующее вещество на гектар. Ввести проверки экстремальных значений: в сырых данных встречались 67 000,7 кг/га; клиппинг затронул 128 записей, или 0,98%. Результат — доверенный слой данных для аналитики и нормативов.
+
+### 7. Система раннего предупреждения и приоритизации полей
+
+Построить прогноз риска провала до сезона и обновлять его после сева и по ходу вегетации. Использовать временное разделение train/test, калибровку вероятностей и мониторинг дрейфа. Результат — список полей для агрономического обследования и превентивных действий с оценкой ожидаемого экономического эффекта.
+
+## Ограничения текущего исследования
+
+- Наблюдательные данные позволяют находить связи, но не доказывают причинный эффект.
+- Погода, почва, сорт/гибрид, сроки и качество операций не включены в итоговую модель.
+- Суммарная норма смешивает разные удобрения и единицы; не рассчитано действующее вещество N–P–K.
+- Нулевое значение агрохимии может означать как отсутствие внесения, так и отсутствие записи.
+- Случайный train/test split может помещать одно поле и соседние годы в обе выборки; для оценки переноса нужен временной и групповой split.
+- Порог аномалии ±25% и статус «стабильное поле» заданы правилами и требуют проверки чувствительности.
+- Низкий тестовый `R²` не позволяет использовать текущую модель как точный прогнозный инструмент.
+
+## Управленческое резюме
+
+Проект уже создал полезный аналитический фундамент: сопоставимую метрику эффективности, реестр аномалий, оценку севооборота, паспорта агрохимии и карточки полей. Главный практический сигнал — севооборот и локальные условия важнее механического увеличения общей нормы удобрений. Следующий этап должен перейти от корреляций к экономически измеримым причинным эффектам через улучшение данных и контролируемые полевые проверки.