FTPInfo | Главная Помощь Поиск Участники Календарь Файлы |
Здравствуйте Гость ( Вход | Регистрация ) | Выслать повторно письмо для активации |
_Prodavec_ |
Дата 29.11.2009 - 08:09
|
||
Новичок Профиль Группа: Members Сообщений: 3 Пользователь №: 1555 Регистрация: 29.11.2009 |
Первое ПКМ по серверу -> Настройка сервера -> Информация о сервере -> Информация о маршруте до сервера -> Старт Затем появляется в поле "Ответ сервера" его ответ, причем частенько с полезной инфой, в число потоков, ограничения, владельце и связи с ним. Хотелось бы чтобы как-то можно было эту инфу получать по нажатию отдельной кнопки/пункта контекстного меню/окошка сбоку, включаемого через меню Вид/иного способа, а не лезть в дебри настроек, ждать трассировки, которая может длится минуты и только потом получать инфу. Смотреть в лог - не вариант, это все равно что по воробьям из пушки палить. Настоящее имя и версия сервера в целях безопасности от хитрожопых сокрыто
Второе Возможно ли задавать время таймаута отдельно для каждого сервера? Ситуация на сервере есть каталоги-ссылки на другие ФТП. Для пользователей они видны как обычные папки и даже папки в которых не видно какому серверу принаждежит тот или иной файл. Для пользователя это прозрачно, но суть в другом. При получении списка файлов Быстрым методом зажержка может быть фатальной - потому что FTPInfo считает что ответ на команду LIST должен уложиться в таймаут, в то время как фтп сервер, к которому подрублен ФТПИнфо еще только собирает инфу о каталогах на "вторичном" сервере (по сути занят работой FTPInfo). Все бы хорошо, но надо время таймаута увеличить для ДАННОГО сервера, либо в опциях где-то ставить, что этот сервер содержит или может содержать "папки-ссылки" на другие сервера. К сожалению мой фтп не умеет пока передавать через FXP LIST -lR, и список папок с файлами получает медленным способом. Буду писать в тех поддержку, чтобы в новой версии была возможность использования LIST -lR через FXP, но в FTPInfo хочется чтобы предусмотрели такое подключение (с LIST -l). Смоделировать ситуацию очень просто, если нужно, дам ссылку на такой фтп. Третье Каким-то образом изменить шаблон и/или систему отображения списка файлов в отчетах таким образом, чтобы при исследовании списка можно было перемещать по нему как по фтп. То есть в оффлайне, но не через Менеджер файлов, а в самом отчете! 1. Тогда можно будет помещать этот отчет на Web-узле и его может индексировать внешний поисковик, выдывая удобные ссылки на каталоги. 2. Визуально удобно будет просматривать ФТП пользователю без FTPInfo через HTTP, если сервер в дауне или в целях экономии ресурсов ФТП сервера (как это сделано в крупных поисковых движках по фтп, тот же файл сеарч) Баги и др 1. При нажатии Сервера -> Шаблоны настроек настроек серверов FI закрывается, не выдавая никаких ошибок. FTPInfo 2.0.0 beta 15 2. "Сервера" в главном меню считают неграмотным, это разговорная лексика. Правильно СерверЫ (на конце Ы, а не А) 3. В Быстром режиме неверно считается объем файлов и структура. Дошло до того что объем файлов 185 Гб, число файлов 0, а в Файловом Менеджере в списке файлов только те что в корневой директории. Но это не всегда так, бывает что и нормально считает. Раз на раз не приходится, отказался от Быстрого режима, но учитывая объем сервера... опрос проходит часа 3-4 4. Неверно формируется список файлов. По статистике пишет 224076 файлов и 3973 Гб. Когда формирует отчет в HTML со списком файлов, там другая инфа: "Количество файлов на сервере: 51525" Чутка несоответствие. А если ставишь Быстрый опрос, то и объем тоже может не совпадать (см. выше) Спасибо за программу, отличная разработка для отличного протокола Проделана большая работа, за что респект автору. |
||
MAS |
Дата 1.12.2009 - 12:46
|
||||||||||||||||||||
Старик Профиль Группа: Автор Сообщений: 1228 Пользователь №: 2 Регистрация: 21.06.2005 |
"Максимальное количество переходов" установить в "0" - вот и не будет трассировки, а сразу ответ сервера.
Почему??! А помимо опроса можно произвести проверку доступности - выполняется быстро, и в лог пишется все "приветствие сервера".
Очень часто это "лечится" повторным опросом сервера. Настраивается две попытки опроса сервера с неким временем ожидания между опросами. В итоге получается: по первому опросу сервер начинает создавать список файлов. А по второму опросу этот список забирается. С некоторыми серверами такое прокатывает - они кэшируют созданный ls-LR список и с течении некоторого времени просто отдают его по запросу. Об индивидуальном таймауте подумаю...
Зачем??!
Ну.... тут можно именно "изменить шаблон" - добавить в него скрипты или ещё что. Это можно сделать и самому - шаблоны редактируются.
Для этих целей как раз и существует Фаловый менеджер в FI.
Угу, ошибка.
Аналогично.
Хм, это происходит на каком-то конкретном сервере или на всех? Можно как-то определить причину "раз на раз не приходится"?
Если удалить базу сервера и опросить заново - сбой будет? Этот самый сервер из инета доступен? можно в мыло параметры доступа к нему - попробую просканить и посмотреть на результаты. Иначе придеться заниматься "удаленной отладкой" |
||||||||||||||||||||
_Prodavec_ |
Дата 2.12.2009 - 06:00
|
||||||||||||||
Новичок Профиль Группа: Members Сообщений: 3 Пользователь №: 1555 Регистрация: 29.11.2009 |
Работает, оно то понятно. Но лезть "ПКМ по серверу -> Настройка сервера -> Информация о сервере -> Информация о маршруте до сервера -> Старт" далеко, проще конечно нажать ПРОБЕЛ и посмотреть в лог. Смысл был такой - чтобы не показывать "кишки" конечному пользователю (у которого лог по умолчанию отключен), просто в отдельном окошке выводилась только информация приветствия и ничего более. Зачем? Ситуация, когда пользователь игнорирует (банально не зная условий, ибо откуда он узнает?)( ее, просто ставит на закачку файлы с превышающим числом потоков типична. При этом не видит и не может понять почему через некоторое время сервер перестает отвечать (Антихаммер). Даже связаться с админом - проблема, если ссылку получил на какой нибудь файл, а ресурс, где оказывается поддержка ФТП сервера не известна, пока не залезешь в лог и не нажмешь ПРОБЕЛ или в недра меню. Ведь логично что по пробелу ты получишь - доступность сервера, а не "Информация о сервере". Кстати! Чего же вы Статус доступности сделали в виде зеленого цвета и подписи "Доступен". Ведь с тем же успехом можно сказать - смотри лог, там все видно будет А сам сервер в списке оставить прежним белым цветом или серым.
Немножко не понял ситуации (можно на ты? ) ls -LR работает отлично если сервер не содержит виртуальных папок, ссылающихся на внешние ресурсы. Он очень быстро отдает информацию о "подопечных" ему каталогах, при этом не нагружая HDD сервера. Но как только появляется папка-внешний_фтп, сразу начинается ступор - сервер не отдает список по ls -LR, и... не передается "вторичному" серверу ls -LR (почему - не знаю, может в целях безопасности, может недодумались просто), он начинается как FTPInfo самостоятельно лазить по каталогам и смотреть содержимое через команду LIST -al. Когда же вторичный сервер будет просмотрен, только тогда сформируется список и только тогда по ls -LR он отдается FTPInfo, но этот процесс бывает очень долгим (несколько часов). При это список не передается частично, он передается ЦЕЛИКОМ сразу. А пока он не сформировался FTPInfo расценивает ситуацию как обрыв и превышение таймаута, при этом не знает что обрыва то нет, идет процесс формирования, просто "первичный" сервер занят работой и не отвечает на LIST типа 220 WAIT_PLEASE_I_AM_GENERATING_FILE_LIST_TILL_AND_ONLINE__ITS_ALL_OKEY Если увеличить время таймаута - все окей, но тогда... жесть, тогда если произойдет реальный обрыв, так и будет висеть в ожидании. Это применимо только к Быстрому режиму, для остальных все ок. Список кешируется только для "своих" по отношению к серверу папок, для "виртуальных" - нет. PS непонятно. Сейчас все работает и соединение не разрывает Правда время таймаута увеличил с 15 сек до 30 в FTPInfo. Сервер отдает просмотренные каталоги порциями. Чудно.
Смысл - сделать поисковик, в качестве ядра - FTPInfo. Он бы помимо индексации мог выдавать содержимое ФТП через Веб как Файл Менеджер - удобно раскрывать каталоги, лазить по ним. Но раз так... думал может кто откликнется и есть заготовки с шаблонами, где файл лист выдается в виде дерева. Придется наверное самому делать.
Не знаю, пока не нашел закономерности. Сейчас еще попробую потыкать, может и определю зависимость от чего либо. На других сервера так же. Вот свой написал в ЛС, там смотри.
Попробую. На счет доступности из инета. В ЛС письмо напишу, там вся инфа есть. На "типичном" логине нет смысла делать Быстрый опрос, ибо на вторичные сервера все равно LIST -lR не пересылает. Просто будет написано
Часа этак четыре-пять и что там происходит не будет понятно. А на "нет_вторичных" работает, для экономии времени, но пропадает львиная доля данных. Так что сделано для отладки. Используй первый логин. Ладно, попробуем разобраться со статистикой. А еще список обновленных файлов чудит - показывает файлы, якобы новые, а на самом деле они там давно храняться, но после первого опроса были внесены в базу. Сейчас пытаюсь понять от чего зависит. Предположительно - от большого числа файлов Еще чудит список новых файлов. Почему-то показывает старые файлы. Кажется это происходит на следующие сутки от предыдущего опроса. Можешь проверить даже на моем сервере - там на след. день будут выведены каталоги, которые не были тронуты. Но опять такие не всегда. Сейчас опрашиваю серверы и вижу что некоторые определены правильно: "Нет изменений". Странно. Еще нет доступа к Файл Менеджеру, точнее к структуре каталогов, во время опроса сервера. Было бы неплохо, чтобы он отображал уже опрошенные каталоги, без прерывания опроса. И если для сервера установлено макс. число потоков 2 и более - давал возможность закачать. То есть: (Макс число потоков) - (1 поток на опрос) = число потоков под закачку. А еще есть возможность соединяться с сервером в несколько потоков, но FTPInfo не использует эту возможность. PS Стер базу, заново опросил сервер, сгенерил отчет "список файлов" - он опять косячный, теперь там уже другие цифры:
Кроме того в самой программе: Файлов: 224013 Новых файлов: 155716 Размер: 3973 Гб Размер новых файлов: 679 Гб И это при ПЕРВОМ опросе, после очистки базы! Так же теперь не уверен в корректности отображения числа каталогов, но не проверял. |
||||||||||||||
MAS |
Дата 3.12.2009 - 10:10
|
||||||||||||||||||||||||||||||
Старик Профиль Группа: Автор Сообщений: 1228 Пользователь №: 2 Регистрация: 21.06.2005 |
Т.е. юзер ОСМЫСЛЕННО выключает отображение лога и не понимает почему с сервера ничего не скачивается? В таком случае он сам себе злобный Буратино! Что касается максимального количества потоков закачки - FI пытается ох определить автоматически.
Хм, ну это просто решается - пара строк в документации на FI и все Так и напишу, мол при первом опросе сервера внимательно читаем лог
Потому что опрос серверов и проверка доступности - это основная задача программы, вот и показывается цветом. А запрос информации о сервере требуется один раз в жизни - вот поэтому как-то не вижу особого смысла в отдельном окне.
А-а-а-а, теперь понятно - создание списка идет часами. Хм, в этом случае, имхо, не поможет даже индивидуальное увеличение таймаута. Висеть кучу часов и ждать ответа, удерживая соединение - это что-то с чем-то...
Может, всё же, данные закэшировались?
Как мне кажется, это делается несколько иначе. FI производит опорс сервера и все данные попадают в БД, из которой уже Веб-поисковик достает данные. И уже Веб-поисковик позволяет через браузер "лазать по содержимому"
Видать, такое никому не было нужно ВЫкладывание на сервер список изменений на сервере - видел, кто-то список изменений заливал в свою БД (как раз для дальнейшего поиска через Веб).
Потестирую.
Чудит просмотр изменений через FI или чуднО в списке изменений? Если второе - то смотри документацию. В список изменений попадают все измененые файлы от последнего создания списка. Т.е. при первом создании списка там будут ВСЁ файлы.
Вот это странно - буду разбираться.
Это сделано специально.
Не получится - опрос и просмотр будут мешаться друг другу.
В смысле опрос сервера в несколько потоков?
Охренеть. Буду разбираться с этим. |
||||||||||||||||||||||||||||||
_Prodavec_ |
Дата 5.12.2009 - 04:25
|
||||||||||||
Новичок Профиль Группа: Members Сообщений: 3 Пользователь №: 1555 Регистрация: 29.11.2009 |
Не то чтобы ОТКЛЮЧАЕТ По дефолту лог не показывается, то есть правильнее было бы сказать НЕ ВКЛЮЧАЕТ. ЛАдно фиг с ним, наше дело предложить. Я то знаю куда лезть за инфой, у меня лог всегда включен.
Если бы закешировались, то опрос бы других серверов не производился (те что в FTP_Link\server1, FTP_Link\server2...FTP_Link\serverN). Ну вообщем сейчас по крайней мере не разрывает соединения. Почему не знаю, силы электричества.
Я уже думал над этим. Думаю так будет лучше.
К сожалению ситуация повторяется. Если файлов на фтп много, то косяки проявляются: 1. Неверное отображения числа новых файлов и объема новых файлов в колонках в самом FI 2. Неверное отображение числа файлов и числа новых файлов в отчете "список файлов" 3. Список изменений на второй опрос показывает каталоги и файлы которые не были изменены (см. скрины ниже). Спецом несколько раз перепроверил. Первый опрос: http://img692.imageshack.us/img692/5763/changes01.png Второй опрос: http://img11.imageshack.us/img11/4470/changes02.png Папки Pics, SoundWorks, Video не меняли свое содержимое между опросами (впрочем они уже давно не меняют свое содержимое), в то время как в _upload изменения были. Период между опросами где-то 20 часов. Если файлов немного (найти "немного" сложно время опроса немаленькое, надо ж брать и закрывать расшаренные папки, потом опять опрос запускать, потом опять если надо закрывать и так пока не станет нормально считать), то работает.
Жаль.
Именно! Опрос в несколько потоков. Трафик там совсем небольшой. Естессно это касается только Обычного и Медленного режимов. В Быстром нет смысла. К примеру есть у нас аккаунт ftp://user:pass@server.ru/, разрешено 3 потока. Я могу например запустить FTPInfo, пусть в 1 поток опрашивает его, другие два потока могу потратить на Total Commander и фоновую закачку, либо в том же FTPInfo может качаться некий файл в два потока. Но например - мне нужно сейчас просто как можно быстрее получить список файлов, при этом нет возможности использовать быстрый режим (есть вторичные сервера в виртуальной файловой системе сервера, в целях безопасности просто запрещена ls -LR, иные причины). У меня есть два свободных потока, почему бы по ним не запустить параллельный опрос других директорий, пока например опрашивается ftp://user:pass@server.ru/video, другой поток опрашивает ftp://user:pass@server.ru/music и т.п.? В мануале написано что можно разделить сервер на два, да круто! Если ты уже знаешь что это за сервер и что там храниться иожно взять и разделить на столько "вирт." серверов сколько надо, а потом параллельно опрашивать их (с ограничением на число потоков). Но: 1. Ты не знаешь реально сколько файлов хранится на фтп, чтобы разделять 2. Сервер делится на две-три-более баз 3. Больше ручной работы (и только если точно знаешь что хранится и в каком количестве, а значит первый опрос уже должен быть произведен), в то время как установив в поле "Число потоков опроса: [ 3 ]" можно быть уверен в близком к троекратному (ну скок потоков) ускорению Обычного и Медленного опроса. 4. Нет цели сэкономить траффик на процедуре опроса, важнее скорость: в случае если ты сканируешь отдельные каталоги, да, понятно, у тебя лимитный тариф или просто скорость мизерная, нужна полоса и на другие задачи. Но в данном случае эти самые 50 мб траффика так и так уйдут, но лучше бы это ускорить, благо сервер позволяет в несколько потоков сканить себя. Особенно актуально вот даже сейчас. Сканирование сервера с нуля 4-5 часов занимает. PS Еще косяк. Если с FI переключился на другую программу, переключение обратно на FI через Индикатор (черненькое окошко с трафиком) по двойному щечлку ЛКМ приведет к тому что окно FI на долю секунды выведется на передний план и опять спрячется на задний. Только если еще раз, сразу после этого кликнуть дважды по Индикатору, на FTPInfo переключаешься. Переключение через ALT+TAB, ALT+ESC, Панель Задач, Таск Мэнэджер, значек в Трее работает корректно. |
||||||||||||
MAS |
Дата 5.12.2009 - 17:05
|
||||||||||||||||||
Старик Профиль Группа: Автор Сообщений: 1228 Пользователь №: 2 Регистрация: 21.06.2005 |
Э-э-э, мне помниться, что при первом старте программы окно лога выводится, это уже потом его можно скрыть. Надо будет проверить, если это не так - пофиксить.
Не заметил. Буду ещё проверять.
В фйле отчета или в окне "изменения на сервере"?
Хм, опрашивал этот сервер - не заметил таких сбоев. Попробую повторно пересканировать через 20 часов
Это в планах.
Проверю. |
||||||||||||||||||