Потоки опроса серверов и опроса состояния, предлагаю разделить потоки

Насколько я понимаю, на данный момент в FI опрос содержания серверов на предмет появления новых файлов и опрос состояния серверов это единый процесс с общим лимитом одновременных потоков и с общей переменной SERVER_SCAN, которая появилась в последней бете.

Чем это плохо: опрос серверов со сканом каталогов процесс длительный и часто действительно есть смысл количество таких потоков ограничить. Но в этом случае есть риск, что все потоки окажутся заняты именно длительным опросом содержания серверов и периодический опрос состояния серверов окажется надолго прерван (будет стоять в общей очереди).

Предлагаю:

1) разделить лимиты количества потоков для опроса состояния и опроса содержимого серверов.

2) для опроса состояния не использовать переменную SERVER_SCAN или ее аналог, а просто до окончания опроса состояния сервера сохранять ее предыдущее значение.

Лимит потоков опроса был с самой первой версии.

Вводить две лимитные переменные? И так FI перегружена настройками

Не понял, поподробнее.

Я имел ввиду переменную, которая только появилась.

На мой взгляд в данном случае надо бы, процессы ведь по сути имеют кардинально разную продолжительность и нагрузку на сеть, вот и хочется лимитировать их по разному.

Я использую FTPInfo для автоматической генерации отчета о состоянии серверов, который аплоадится на веб-сервер.

В beta9 иногда (не всегда) получалось, что если для каких-то серверов идет опрос содержимого, то в отчете о состоянии они оказывались недоступными. Происходило это не всегда, но часто, закономерности не выявил.

Теперь в beta10 я периодически получаю отчет, где сразу у всех серверов статус оказывается "опрашивается", причем если лимитировать число потоков это ничуть не помогает, статус все равно меняется у всех одновременно, а лимит влияет лишь на то с какой скоростью рассосется очередь. Пока для того чтобы такая ситуация возникала реже пришлось увеличить период опроса, а отчеты генерировать каждую минуту.

Хотелось бы, чтобы статус при опросе состояния менялся только после завершения проверки, а до завершения сохранялся старый статус.

В принципе того же хотелось бы и для показателя "Размер" файлов на сервере. Там ситуация такая: если на момент запланированного опроса сервер недоступен, то размер файлов обнуляется (возможно не всегда, но в большинстве случаев). С количеством файлов на сервере такого не происходит, это значение сохраняется! Если же процесс опроса был прерван посередине, это значение может так и остаться промежуточным до следующего опроса. Хотелось бы, чтобы эти параметры изменялись только после полного завершения процесса опроса, а до этого сохранялись предыдущие значения, иначе постоянно получаются отчеты с недостоверными данными.

А в этот самый момент всем серверам пришло время опрашиваться?
Статус "опрашивается" может быть выставлен и в том случае, если сервер ждёт очереди на опроса.

Невозможно. Во время опроса статус сразу же изменяется.

Тем более. "Размер" во время опроса постоянно меняется.

Можешь определить при каких условиях это происходит?

Во время опроса сервера я не могу гарантировать точность данных. А с хранением предыдущих значений будет путаница.

А в этот самый момент всем серверам пришло время опрашиваться?
Статус "опрашивается" может быть выставлен и в том случае, если сервер ждёт очереди на опроса.

Да, все так и есть, таймаут между опросами состояния для всех серверов всегда общий поэтому и опрашиваются они примерно одновременно и получается такая вот очередь. В результате отчет о состоянии серверов сформированный в такие моменты выглядит несколько неинформативно. Именно поэтому я и предложил если это возможно разделить эти два процесса под общим названием "опрос" на разные, т.к. функционал с точки зрения пользователя у них совершенно разный.

Невозможно. Во время опроса статус сразу же изменяется.

Но до beta10 ведь не было этого статуса и не было этой проблемы. Проблема в том, что статус для обоих процессов общий, для опроса состояния серверов он не нужен.

Тем более. "Размер" во время опроса постоянно меняется.

А чем подсчет размера отличается от подсчета количества файлов? При опросе содержимого серверов в окне программы число файлов остается прежним, а подсчет новых ведется в скобках. При недоступности сервера потери количества файлов не происходит. Может быть можно использовать аналогичный алгоритм для размера? У меня в отчете о состоянии показатель общего размера файлов на сотне серверов в разное время отличается раза в два, число файлов же при этом примерно стабильно и гораздо ближе к действительности.

Можешь определить при каких условиях это происходит?

Провел сейчас эксперимент: выделяю один из серверов, который заведомо находится в оффлайне и жму на нем Enter, размер файлов тут же обнулился, в графе количество файлов осталось старое значение, а в скобках там же появился ноль. В итоге опросить сервер не удалось, число файлов осталось актуальным на момент предыдущего успешного опроса, размер данных на сервере нулевой. В отчете о состоянии - то же самое.

Беру другой сервер в оффлайне, жму Enter, в графе количество файлов в скобках появляется число отличное от нуля, но меньшее реального количества файлов, размер на этот раз не обнулился. Предполагаю, что для этого сервера предыдущий опрос завершился не полностью и количество файлов в поле осталось на момент предыдущего успешного опроса, а размер подсчитан на момент обрыва незакончившегося опроса.

Кстати, еще одна непонятка с тем же сервером. Расписание опроса у него такое: опрос каждые 9999 мин., при неудаче 999 повторов через 60 минут. Т.е. по идее если опрос завершился неудачно, то он должен пытаться опросить сервер до победного конца раз в час. Но при этом в поле "До опроса" стоит более 166 часов, т.е. как я подозреваю больше он пытаться не будет. Почему? Ведь инициированый мной опрос прошел неудачно. Или я что-то не так понимаю?

Во время опроса сервера я не могу гарантировать точность данных. А с хранением предыдущих значений будет путаница.

Но по количеству файлов нормально ведь работает, в чем же разница?

Попытки повтора при недоступности сервера отрабатываются только при автоматическом опросе. При ручном опросе этого нет, так было сделано специально.
Могу разрешить повтор при недоступности и для ручного запуска...