Поиск на сервере с сайта, Вопрос не только к автору. Ко всем.

Итак, при опросе сервера FTPInfo создаёт некую базу, которая хранится в файлах "Имя сервера.dat". Очевидно, что с помощью php можно организовать поиск по этой базе. Для этого надо знать, как устроен файлик.

Отсюда вопросы:
1. Станет кто-нибудь пробовать?
2. Может, можно эту базу попробовать скормить уже имеющемуся поисковому движку (навскидку - http://risearch.org/), адаптировав либо движок, либо (страшно подумать Х) ) - базу?

Я, конечно, понимаю, что это вопрос не совсем к автору FTPInfo, но вдруг он и php знает... Думаю, это был бы прорыв в функциональности программы (хотя скрипт и не относится непосредственно к самой программе =)).

Вряд ли. Да и какой поиск будет через php? Чем он будет отличаться от имеющегося поиска в FI? Только возможностью выдавать результаты через web?

Можно, и (вроде бы) это делали. Причем наиболее простым способом:
FI создает отчет по нужному шаблону, а уже этот шаблон скармливается движку.

В чём заключался бы этот прорыв?

Именно! Представьте себе много серверов. Поиск на средствами самих FTP-серверов организовать сложно, иногда практически невозможно, да и к тому же это неудобно для пользователей. FTPInfo опрашивает их, скажем, раз в день, создавая базу. В этом и заключается прорыв (может, громковато, но это оооочень существенный плюс программе): значительно снижается нагрузка на FTP-серверы, достигается удобство пользования поиском, недостижимое при поиске средствами самого сервера. Все в выигрыше: и сервер, и посетитель =)

Хм... кроме того, что кто-то вроде бы делал, информации нет? Может, известно, кто пытался?

Чуть выше =)

Имеется, прежде всего, нагрузка на процессор =)

Именно! Представьте себе много серверов.....
значительно снижается нагрузка на FTP-серверы, достигается удобство пользования поиском, недостижимое при поиске средствами самого сервера. Все в выигрыше: и сервер, и посетитель =)

"Хозяин сервера" каждый день опрашивает свой сервер и выкладывает базу файлов. Или кто-то опрашивает сервер и заливает на него базу.
Далее для опроса сервера всем достаточно скачать 1 файлик и всё!
У всех есть свежая база для FI, все ищут средствами FI. И всё довольны.

Хм... кроме того, что кто-то вроде бы делал, информации нет? Может, известно, кто пытался?

А какая ещё нужна информация? Формат данных для "засыпания данных в БД" известен? Напиши шаблон под этот формат.
Укажи FI создавать отчет по этому шаблону при наличии изменений на сервере. Далее нужно как-то указать твоему скрипту забрать файл отчета и залить его в БД.
Всё.

У нас в локалке есть поиск, причем вероятно используется FI
(судя по строке URL: http://80.92.99.241/cgi-bin/Site.dll/FtpInfo?IP=10.0.0.15)
причем поиск длится несколько секунд.
FTP серверов в локалке ~500

А если сформулировать вопрос немного иначе: не затруднит ли автора сделать так чтобы вместо файликов *.dat и др была одна бд например MySQL , а вот от туда все это будет оч просто обрабатывать пхп, а если и настройки через мускул сделать то вообще будет идеальная прога! Я такую в инете уже давно искал и нашел тока пару скриптов которые так проц грузят что хоть вешайся! А интерфейс на пхп мы за пару недель напишем! Вот тогда будет очень дельная вещь!!! (потом можно будет еще и про консольную версию помечтать.... ))

Ага, и для использования FI мне, обычному юзеру, надо будет ставить MySQL или еще какой-нибуть сервер баз данных к себе на домашнюю машину. Нет уж, увольте!

Разве что автор добавит такую возможность, так сказать, "дополнительно". Для желающих .

И потом. А чем вас всех не устраивает возможность скачивания FI уже готовой базы с ФТП сервера или создания, нужных для разбора пхп, файлов с помощью шаблонов? Я не вижу, чтобы кто-то здесь конструктивно рассмотрел недостатки этих способов. Может быть просветите?

Как уже говорилось, один из вариантов - создание спец. шаблона.
Типа

Но есть несколько минусов:
1. Необходим внешний механизм, который будет обрабатывать полученный sql файл и выкладывать данные в БД.
2. В именах файлов могут встречаться недопустимые символы, которые сделают невозможным экспорт данных в БД.

Отсюда вывод: было бы здорово, если бы появилась возможность экспортировать данные о файлах напрямую в MySQL, минуя этап шаблонизации. Например по завершении очередного сканирования.

Внешний механиз необходим и для запуска самого FI. Следовательно его все равно придется искать. Например, SQL Server имеет встроенные средства импорта, экспорта и преобразования данных (и не только) и планировщик задач, которые с лихвой решат все эти проблемы (причем, обе сразу). Про MySQL ничего сказать не могу - просто не знаю . Согласен, что SQL Server более громоздок, чем MySQL. Но можно еще использовать сценарии VBScript или JScript, которые сейчас уже работают, наверное, на любой OS Windows. Да и пхп, наверное, тоже может это делать.

Набор недопустимых символов зависит от конкретного менеджера баз данных, следовательно, обработку таких символов лучше возложить на сам sql-скрипт, который используется для заливки даных в БД. Благо, сейчас уже все SQL диалекты поддерживают операторы условного перехода.

А у меня вывод , что просто можно добавить возможность запуска какого-нибудь исполняемого файла с опциями в командной строке после завершения сканирования. Это дало бы возможность, вообще, не привязываться к конкретной реализации функции поиска через Web-интерфейс: кто-то использует MySQL, кто-то Access, а кому-то достаточно текстовых файлов, полученных из шаблонов.


Во всяком случае, радикальный переход на какую-либо БД был бы ошибкой, так как это сразу бы отсекло тех пользователей, которым такой механизм не нужен, так как он будет загружать систему, а FI и без того потребляет процессорное время на 99%. А добавьте сюда еще компоненты доступа к данным! Это под силу лишь серверам.
А делать два режима хранения данных... Ну это на усмотрение автора .

Нет уш! Если делать такое то только в отдельной версии программы, потому что любого нормального юзера даже опциональные настройки да и само слово МУСКУЛ напугает (также можно вспомнить что я предлагал весь интерфейс убрать и сделать прогу консольной, а управлять только через таблицы в бд. Что точно на доп версию тянет)

Не видел ты ленивых юзеров не разу.....

Откуда? У у этой проги как раз основной плюс в том что она в отличии от других индексаторов не грузит проц! Индексируя один - свой фтп на максимальной скорости (задержка 0) самое большое что я увидел 3%!

А про все остальное скажу, что если самому городить прогу (скрипт) то это время и главное надежность, а вы все же поищите чтонить подобное по сети и когда не найдете подумайте как это людям понравится, ведь если будет нужен всего одни исполняемый файл, база и пхп, а все настройки будут реализованы через старый интерфейс или тот же пхп, то все сисадмины (пусть и ламерские ) с криками "УРА!!!" сбегутся на этот сайт и будут всех благадарить!
вот

Не видел? Ха! Да я с ними работал до недавнего времени. Только есть юзеры ленивые от того, что не знают (и их оказалось большинство!), а есть просто ленивые, которые и знать не хотят .
Первым можно объяснить, а для вторых даже делать ничего не надо.

Да Вы счастливчик! . У меня при опросе 400 серверов в несколько потоков проц занят по полной. Да и не у меня одного, если почитать форум.

Да я, собственно, не против этого, только если эта фича не "ущемит прав" обычного пользователя, не админа. Поскольку вопрос изначально ставился так:

и в нем речь не шла об отдельной версии программы, то я и представил свою точку зрения на это.

Тут не соглашусь! Я в своей сети кучу сервисов сделал и все всем оч понятно объяснил 80% просто нечего не хотят делать, форум еще юзают а вот остальное...

Тут я присал про другое, а именно про то что аналогичные проги с веб интерфейсом при опросе одного сервака грузят проц как нельзя, при равном приоритете другой софт просто не работает!

На а то что я среза не написал понятно про то что это должна быть отдельная версия уш извините. Но все же, спорим мы тут бестолку, а придут автор и скажет что лень! И все тут

еще раз повторю - ПРИЛИЧНЫХ АНАЛОГОВ В СЕТИ НЕНАШЛОСЬ!!!! А интерфейс на пхп мы и сами забацаем, а потом отдадим в добрые руки, но хотелось бы чтобы это был интерфейс к базе данных а не к файликам на харде!

Что-то подсказывает мне, что так оно и будет . Но возможно все.

И одна из причин может быть та, что каталоги и файлы на сервере - вещь иерархическая, а БД, например, MySQL - реляционная. Конечно, можно умудриться запихать одно в другое, но что-то мне снова подсказывает, что производительность от этого совсем не выиграет, если, вообще, не проиграет. Да и индексация данных от этого под вопросом, потому как тесно зависит от структуры БД.

Есть, конечно, иерархические СУБД, но я не слышал, чтобы они широго применялись на веб-сайтах, хотя, возможно, я ошибаюсь.

А какая разница делать 100 файлов в 5 папках или просто 100 табличек друг за другом? (ведь если если я не ошибаюсь то содержимое файла и таблицы может быть одно и тоже только поиск и доступ разный) в этом я проблемы не вижу, придется только писать содержимое файла *.dat в таблицу строчка за строчкой и все! Или я ошибаюсь?