fields-classification/Анализ.md

Резюме проекта «Анализ стабильности полей»

Цель проекта

Проект исследует многолетнюю устойчивость урожайности полей и связь результата с севооборотом и агрохимией. Основная управленческая задача — перейти от сравнения абсолютной урожайности к сопоставимой оценке эффективности поля относительно его дивизиона, культуры и конкретного сезона.

Источник анализа — fields_stab_notebook.ipynb от 21.08.2026. В исходном массиве 155 510 записей по 15 551 полю. Углублённый анализ выполнен для 4 105 полей, признанных стабильными, и 41 050 наблюдений «поле–год». Архив агрохимических операций содержит около 777 тыс. строк; после очистки и агрегации сформировано 64 543 паспорта обработок «поле–год».

Что сделано

• Очищены ошибки и выбросы урожайности; незасеянные периоды сохранены в истории как «Пар».

• Рассчитан индекс относительной продуктивности:

  yield_ratio = урожайность поля / медиана той же культуры в том же дивизионе и году.

  Значение 1,00 означает результат на уровне локальной нормы сезона.

• Для каждого поля определены многолетняя норма, стабильность и аномальные годы. Аномалией считается отклонение более чем на ±25% от собственной многолетней нормы поля.

• Построена динамика урожайности по культурам, дивизионам и годам.

• Оценено влияние культуры-предшественника.

• Данные по удобрениям и СЗР очищены, категоризированы и объединены с историей урожайности.

• Выполнены непараметрические статистические тесты, корреляционный анализ, CatBoost-моделирование и интерпретация факторов с помощью SHAP.

• Созданы карточки полей и реестры аномалий для предметной проверки.

7 выводов и рабочих гипотез

1. Относительный индекс лучше абсолютной урожайности выявляет реальную эффективность поля

Одинаковая урожайность может означать разные результаты в разные годы. В примере из ноутбука 64,7 ц/га в 2025 году соответствуют локальной норме (yield_ratio = 1,011), тогда как 66 ц/га в 2016 году были на 42,1% выше нормы дивизиона. Это делает yield_ratio подходящей основой для управленческого мониторинга.

Гипотеза: рейтинг полей по относительной продуктивности устойчивее и полезнее для принятия решений, чем рейтинг по ц/га.

2. В 2024–2025 годах усилился риск отрицательных аномалий

До 2023 года всплески часто преобладали над провалами или были сопоставимы с ними. В 2024–2025 годах баланс изменился в сторону провалов. В 2025 году зафиксировано 608 аномалий, из них 352 провала — 58%.

Гипотеза: изменение связано с погодным режимом, качеством операций или накопленным эффектом севооборота; без метеоданных причины разделить нельзя.

3. Риски существенно различаются по дивизионам и культурам

В выбранном году повышенная доля аномалий отмечена в дивизионах Север — 26,2% и Ростовский — 22,0%. Более стабильны Черноземье — 8,0% и Краснояружская ЗК — 9,7%. Среди культур рисковой выглядит кукуруза на зерно — 27,8% аномалий с сильным перевесом провалов; рис — наиболее стабильная культура, 9,8%.

Гипотеза: единая для холдинга норма управления риском будет менее эффективна, чем отдельные пороги для сочетаний «дивизион × культура».

4. Предшественник — наиболее сильный из исследованных управляемых факторов

По SHAP предшественник занимает первое место: средний абсолютный вклад около 0,025 в полной модели и 0,030 в модели по удобренным полям. Его влияние в полной модели примерно в 2,5 раза выше влияния общей нормы удобрений.

Для озимой пшеницы благоприятны нут (yield_ratio = 1,12), горох и соя (1,06); повторная пшеница связана со снижением на 5–6%. Для яровой пшеницы повторный посев связан с падением примерно на 15%.

Гипотеза: экономическая оптимизация севооборота может дать более устойчивый эффект, чем общее наращивание доз удобрений.

5. Схема «подсолнечник → озимая пшеница» требует компенсации, но увеличение доз не возвращает рост

После подсолнечника под пшеницу вносится на 26–31% больше удобрений, чем после гороха. В 2021–2025 годах средняя норма в этой схеме выросла примерно с 236 до 370 кг/га, но средний yield_ratio снизился с 0,98 до 0,89. После подсолнечника в 84,3% случаев следует озимая пшеница, а пар используется лишь в 3,06% случаев.

Гипотеза: дополнительные удобрения компенсируют часть ущерба от предшественника, но не устраняют лимитирующие факторы — влагу, структуру почвы, болезни или дефицит отдельных элементов.

6. Универсальной положительной зависимости «больше удобрений — выше урожайность» нет

Корреляции неоднородны:

• яровая пшеница: ρ = +0,211, p = 0,0029;
• озимая пшеница: ρ = +0,036, эффект практически нулевой, хотя статистически значимый;
• кукуруза: ρ = +0,019, p = 0,6229, значимой связи нет;
• подсолнечник: ρ = −0,152, p = 0,0028.

По дивизионам направление также меняется: для озимой пшеницы связь положительна в Новокубанском (ρ = +0,322) и Черноземье (+0,207), но отрицательна в Краснояружской ЗК (−0,468).

Гипотеза: наблюдается эффект назначения — повышенные дозы чаще получают проблемные поля, поэтому простая корреляция смешивает реакцию на удобрения и исходное состояние поля.

7. Диапазон 350–500 кг/га выглядит зоной потенциальной отдачи, но пока не является нормативом

SHAP-анализ показывает положительный сдвиг при 350–500 кг/га и плато либо смешанный эффект свыше 500 кг/га. Однако тестовый R² моделей низкий: 0,126 на полном массиве и 0,134 на записях с удобрениями. Следовательно, модели описывают лишь около 13% вариации yield_ratio.

Гипотеза: диапазон 350–500 кг/га стоит проверять в контролируемых опытах отдельно по культуре, дивизиону, предшественнику и обеспеченности почвы. Использовать его как единую рекомендацию по холдингу преждевременно.

7 векторов дальнейших исследований

1. Причины роста провалов в 2024–2025 годах

Добавить осадки, температуру, гидротермический коэффициент, засуху и сроки критических фаз. Разложить аномалии на погодную, технологическую и полевую составляющие. Результат — карта причин потерь и раннее предупреждение риска.

2. Квазиэкспериментальная оценка отдачи удобрений

Сравнивать максимально похожие поля внутри одного дивизиона, культуры, года, предшественника и класса почвы; применять matching, fixed effects или difference-in-differences. Результат — оценка дополнительного урожая и маржи на дополнительный кг действующего вещества, а не простая корреляция.

3. Полевые опыты по дозам и точкам насыщения

Провести рандомизированные полосовые опыты с несколькими дозами вокруг текущей нормы, особенно в диапазоне 300–550 кг/га. Обязательно разделять N, P, K и микроэлементы. Результат — локальные кривые отклика и экономически оптимальная доза.

4. Экономика альтернатив севооборота

Сопоставить маржу полного цикла для схем «подсолнечник → пшеница», «горох → пшеница», повторной пшеницы и вариантов с паром. Учитывать урожай, цены, удобрения, СЗР, топливо и фитосанитарные последствия на горизонте 3–5 лет. Результат — оптимизация не отдельной культуры, а прибыли ротации.

5. Диагностика проблемных полей

Объединить агрохимические обследования почвы, гранулометрию, рельеф, pH, гумус, NPK, спутниковые индексы и историю операций. Проверить, почему высокая доза иногда лишь возвращает поле к медиане. Результат — сегменты ограничений и адресные программы восстановления.

6. Контроль качества агрономических данных

Разделить отсутствие операции и отсутствие записи, унифицировать единицы измерения и считать действующее вещество на гектар. Ввести проверки экстремальных значений: в сырых данных встречались 67 000,7 кг/га; клиппинг затронул 128 записей, или 0,98%. Результат — доверенный слой данных для аналитики и нормативов.

7. Система раннего предупреждения и приоритизации полей

Построить прогноз риска провала до сезона и обновлять его после сева и по ходу вегетации. Использовать временное разделение train/test, калибровку вероятностей и мониторинг дрейфа. Результат — список полей для агрономического обследования и превентивных действий с оценкой ожидаемого экономического эффекта.

Ограничения текущего исследования

• Наблюдательные данные позволяют находить связи, но не доказывают причинный эффект.
• Погода, почва, сорт/гибрид, сроки и качество операций не включены в итоговую модель.
• Суммарная норма смешивает разные удобрения и единицы; не рассчитано действующее вещество N–P–K.
• Нулевое значение агрохимии может означать как отсутствие внесения, так и отсутствие записи.
• Случайный train/test split может помещать одно поле и соседние годы в обе выборки; для оценки переноса нужен временной и групповой split.
• Порог аномалии ±25% и статус «стабильное поле» заданы правилами и требуют проверки чувствительности.
• Низкий тестовый R² не позволяет использовать текущую модель как точный прогнозный инструмент.

Управленческое резюме

Проект уже создал полезный аналитический фундамент: сопоставимую метрику эффективности, реестр аномалий, оценку севооборота, паспорта агрохимии и карточки полей. Главный практический сигнал — севооборот и локальные условия важнее механического увеличения общей нормы удобрений. Следующий этап должен перейти от корреляций к экономически измеримым причинным эффектам через улучшение данных и контролируемые полевые проверки.