[BiR]

Уважаемый admiN!
Меня посетила, как не странно, мня-мня-мысль... :) А почему бы не сделать на сайте раздел, где каждый смог бы оставить свою ссылку на какой-нибудь инетересный ресурс в Сети. ???
Наверняка каждый из участников просмотрел немало сайтов с интересной инвормацией и при этом не прочь поделиться оной с другими. Мне кажется, что не обязательно это делать в форуме, хотя разместить все это можно на той же страничке, но чтобы все это дело было без отзывов со стороны других участников (как в обычном форуме). Конечно тот кто оставляет ссылку, при этом бы мог оставить свой небольшой комментарий, но, допустим, не более 200-300 печатных знаков (например как на сайтах компаний сотовой связи при отправке бесплатных SMS сообщений есть ограничение вводимого текста). Можно сделать кучу разделов, чтобы каждый оставлял ссылки по темам (например: "Кулинария", "Графика и дизайн", "3D графика", "Строительство и ремонт", "Юридические вопросы", "Программное обеспечение" etc.).
Для начала можно кинуть клич для участников форума, чтобы они оставили свой список разделов, а вы бы, как админ затем сделали бы окончательный вариант для общего пользования.
Думается, что с технической точки зрения это не составит труда. К тому же мне, например, если где-то возникнет вопрос: "А где можно найти то-то и то-то", проще сослаться на ваш сайт, чем держать в голове вагон ссылок. Неужели вы не будете заинтересованы в такой рекламе?
Может быть я выразил свою идею немного сумбурно, но надеюсь не до такой степени, чтобы было непонятно.
А какое ваше мнение о вышеизложенном?
С уважением. :)

[admin]

Идея неплохая. У нас была идея публиковать на какой-нибудь страничке ресурсы в локальной сети, а вот о Интернете как-то даже и не задумывались! Спасибо, мы подумаем.

[BiR]

Цитата: (admiN ) Идея неплохая. У нас была идея публиковать на какой-нибудь страничке ресурсы в локальной сети, а вот о Интернете как-то даже и не задумывались! Спасибо, мы подумаем.

Ну и чем закончился мыслительный процесс?... ;) Я подобную идею кинул на ПУЕСе, но пока и тамошний Админ молчит. :-/ Может быть это с технической точки зрения неосуществимая задача? ??? Тогда извиняйте,.. вспылил,.. был не прав... :)

[admin]

Да нет, идея классная! Все дело в том, что наш дизайнер сейчас по ряду причин не в состоянии быстро делать те или иные задания :-/, кот. перед ним ставят. У меня появилась еще одна мысль, но этот проект уже для локальной сети. А Вам спасибо за идею, потому что она дала толчок моей ;D

[sasha]

Идея для локальной сети проста - надо сделать интедсатор ресурсов локалки!

[sapienr]

Мне нравится местный админ потому что он обычно отвечает "Идея неплохая". :-)

У меня есть идея - давайте разместим на главной странице beirel.ru рекламу сайта saper.ru, так же как это сделал pues.ru в обмен на взаимную рекламу.

Я конечно не настаиваю на том чтобы сотня пушкинцев смотрела на моём сайте вашу рекламу, дело, как говорится, добровольное - это просто предложение.

[sasha]

Saper, ты бы хоть в инфо свою страницу указал :)

[sapienr]

Цитата: (sasha ) Идея для локальной сети проста - надо сделать интедсатор ресурсов локалки!

Поиск по шарам и ФТП ? Классная штука, готовой кстати под Windows и чтоб с web-интерфейсом и поиском, типа Яндекса, я обыскался но не нашёл. Думаю многими в стране и мире был бы очень востребован такой программный продукт.

Давай я напишу тебе ТЗ, ты его выполнишь, потом мы это всё дело продадим выгодно, уедем на Канары и будем жить там до старости на те проценты которые нам будут перечислять от показа баннеров в окне индексатора ? :-)

[BiR]

Цитата: (Saper ) ... потом мы это всё дело продадим выгодно, уедем на Канары и будем жить там до старости на те проценты которые нам будут перечислять от показа баннеров в окне индексатора ? :-)

А мона я вам буду краски растирать?... ;D

[sasha]

Цитата: (Saper ) Поиск по шарам и ФТП ?

Именно!

Цитата: (Saper ) Давай я напишу тебе ТЗ, ты его выполнишь, потом мы это всё дело продадим выгодно, уедем на Канары и будем жить там до старости на те проценты которые нам будут перечислять от показа баннеров в окне индексатора ? :-)

Давай!

Если бы я как раньше тока учился, я бы за месяцок такую системку сварганил, что закачались бы все :)))
Но и так чё-нить сделаю, просто медленно всё будет.

Насчёт канар это ты круто взял, я уже похожих по сложности систем несколько написал (туристическую и биллинговую), но вот на постоянное место жительства на канары ещё рановато :)))

Я уже столкнулся с проблеммами отбора файлов для индекса!
я тестировал на своём ftp (другие были в 5-ть утра уже выключены:))) своего вчера ночью написанного ftp-жука. Он начал индексировать файлы в директории Counter-Strike, оцтой! как определить чего надо, а чего нет. Я пока придумал только правила, по ним он Counter-Strike и вообще игры не индексирует, но они лажёвые и это не выход.
Можно конечно просто по расширениям файлов - это просто, но слабовато...

[sapienr]

Цитата: (sasha ) я тестировал на своём ftp (другие были в 5-ть утра уже выключены:))) своего вчера ночью написанного ftp-жука. Он начал индексировать файлы в директории Counter-Strike, оцтой! как определить чего надо, а чего нет. Я пока придумал только правила, по ним он Counter-Strike и вообще игры не индексирует, но они лажёвые и это не выход. Можно конечно просто по расширениям файлов - это просто, но слабовато...

Что это за жук такой, который выбирает что индексировать, а что нет ? Это что ж получается, если я в нём буду искать cs.exe, который мне ну просто позарез нужен он мне выдаст 0 ссылок, хотя в сети их навалом ? Запоминать нужно ВСЁ.

1) Найти работающие в сети машины
2) Определить есть ли на них открытые шары или работает ли ФТП сервер
3) Рекурсивно обойти все доступные каталоги и запомнить имена всех файлов во всех каталогах в индексе
4) Повторять пункт 1-3 через какое то заданное время
5) На основе статистики опросов вычислять и показывать пользователям процент uptime найденных машин и, например, их текущий статус  - включен/выключен
6) Если при проверке файлы найденные ранее перестали быть доступными по запомненному пути - удалять их из индекса.

[sasha]

Извини Saper, но помоему надо немного не так...

> Запоминать нужно ВСЁ.
> 3) Рекурсивно обойти все доступные каталоги и запомнить имена всех файлов во всех каталогах в индексе.

Слелать чтобы запоминало всё - самое простое, но!
В одном Counter-Strike 6728 файлов и 182 директории. На лазанье и запись инфы в базу по критериям всей этой никому не нужной мути уйдёт уйма времени! А таких папок дофига!!!

[admin]

Думаю писать что-либо уже не имеет смысла, т.к. я на локальный сайт выложил отличную бесплатную программу для поиска рашаренных ресурсов, а также и ftp, http ресурсов. Тестируйте и пишите свои замечания. По моим ощущениям ей намного удобнее пользоваться, чем обычным сетевым окружением.

[sasha]

Да нет, я хочу написать потому, что мне интересно написать, интересен процесс, а не только результат :)))

Ну и вообще-то эта программка, хоть она и быстрая (реально! хорошо написали), но всё же мне вообще не удалось найти конкретный файл hl.exe не знаю почему, он лежит у меня в /games/Counter-Strike, да и не совсем это то, я могу посмотреть только ресурсы на включённых компах...

p.s.
для поиска фильмов на включённых компах - рекомендую! :))) я наверно и сам буду активно ей пользоваться...

[admin]

Мне тоже очень понравилась - рекомендую!

[sapienr]

Цитата: (sasha ) Извини Saper, но помоему надо немного не так... Слелать чтобы запоминало всё - самое простое, но! В одном Counter-Strike 6728 файлов и 182 директории. На лазанье и запись инфы в базу по критериям всей этой никому не нужной мути уйдёт уйма времени! А таких папок дофига!!!

В интернете миллионы сайтов и миллиарды страниц, однако Google запоминает всё. :-)

Для MS-SQL сервер поиск в таблице из, например, 2-3 сотен тысяч записей по полю с уникальным индексом не составит никакого труда и время отклика для веб-приложения будет приемлимым, т.е. самым обычным для сайтов в интернет - 1-2 секунды.

Естественно важно проектирование правильной структуты БД. То поле о котором я говорил -
это ТОЛЬКО само имя файла которое уникально. Места (адреса и пути, а также возможно размер файла, так как бывают файлы с одинаковым именем и разными размерами) где был обнаружен этот файл должны храниться в связанной таблице, гораздо большей по объёму, но с ней тоже не возникнет никаких проблем, потому что из неё результаты будут выбираться также по индексированному полю  - parentid, связывающему местонахождение с идентификатором имени файла в первой таблице (я обычно называю его recordid). Проще говоря результаты найденные в первой таблице (простых имён файлов), а найдутся они мгновенно, за доли секунды, отфильтруют результаты выборки из второй таблицы - их местонахождения в сети.

Извините что разжёвываю как могу, так как я не знаю уровня подготовки собеседников в работе с современными реляционными БД. Вобщем коротко говоря, используя коррелированный SQL-запрос с условием по индексированным полям таблиц можно ожидать быстрого получения результата (секунды) в таблицах с сотнями тысяч или даже миллионами записей.

Насчёт лазанья и записи я думаю тоже беспокоиться не стоит, Яндекс лазает и не устаёт, пишет постоянно, индексирует, обновляет, "устаревает" ранее найденное и ничего ему не делается, несмотря на то что у него задача гораздо сложнее, слова, падежи и т.п. У нас же просто имя файла, размер, местонахождение и высокоскоростная сеть (100/10 мбит) в которой может находиться 100-5000 машин - ну просто детские размеры в масштабах интернета, трафик бесплатен, кроме того мы же ничего не качаем, мы просто получаем списки и атрибуты файлов и старательно их записываем - неспеша, неторопясь, всё правильно сортируя и запоминая. Например 2-3 раза в день, или один раз в день. Или каждую машину 1 раз в день, но в случайное время, так чтобы нагрузка была размазана во времени, таким образом, кстати, получатся более точные данные о uptime времени этого сервера.

Так что, по моему скромному мнению, о уйме времени можно не беспокоиться - индексирующий сервер и программа на нём железная, им время непочём - они работают круглосуточно, главное постоянное обновление инфы и эффективный поиск в ней, ну и баннеры конечно, красивые и дорогие - много баннеров ! :-)

P.S. Машина должна работать - человек думать. :-) Идея реальная, видимых препятствий не наблюдается, конкурентных решений на рынке нет. Глобальные www.filesearch.ru - не в счёт, это другая ниша - рыскающая по мировой сети и не имеющая доступа к миллионам машин которые работают в интрасетях с доступом в интернет через шлюз, а каждой такой интрасети нужен внутренний поисковик.

P.P.S. И Google и Yahoo кстати сейчас выпустили локальные поисковики, только для вашей машины, вы ставите её на свой компьютер и она индексирует и выдаёт результаты поиска текста среди ваших фалов на локальных дисках. Поддерживаются десятки форматов - PDF, DOC, RTF, TXT и т.п.

[sasha]

Цитата: (Saper ) Извините что разжёвываю как могу, так как я не знаю уровня подготовки собеседников в работе с современными реляционными БД.

Началось с того, что в институте у меня был курс БД (2 семестра), позднее я работал в нескольких проектах с большими БД на interbase (туристическая  http://exat.ru/ (вроде сейчас переходит на Oracle)) и oracle (и маленькими на mysql:)). В данный момент в мои обязанности входит администрирование серьёзной (~24Гб!) БД на Oracle (не буду говорить где:)).  В общем подготовка у меня нормальная и, соотв., мне интереснее услышать идеи логического плана...

Цитата: (Saper ) Насчёт лазанья и записи я думаю тоже беспокоиться не стоит, Яндекс лазает и не устаёт, пишет постоянно, индексирует, обновляет, "устаревает" ранее найденное и ничего ему не делается, несмотря на то что у него задача гораздо сложнее, слова, падежи и т.п.

Как ты думаешь раз в какой срок Яндекс обновляет каждую ссылку?
Ни в какой!
Т.к. переиндексация всех сегодняшних его ресурсов займёт год.
Он ищет только по новым ресурсам отданным ему на растерзание! В день он индексирует меньше ресурсов, чем их появляется!
(один из моих преподавателей в МАИ написал Rambler)

Я даже и не думал, что поиск будет долгим - поиск по базе в 10-20тыс записей конечно не будет долгим :)))

Цитата: (Saper ) Или каждую машину 1 раз в день, но в случайное время, так чтобы нагрузка была размазана во времени

Именно так.
А точнее, запоминается время последнего переиндексирования и если прошло уже больше и компьютер включён, то происходит его переиндексация.

Цитата: (Saper ) конкурентных решений на рынке нет

Думаю, что есть, хотя сам не знаю...

Просто я посмотрел, что мне выдал мой паучёк и оказалось, что там стока мусора, вот я и подумал, а нельзя ли как-нить отсортировать... Вы меня не правильно поняли, кол-во ресурсов маленькое - ничего тормозить не будет :)
(Переиндексация всего моего (10.0.3.3) ftp займёт не больше 10-15 минут)

Насчёт того, что поисковик работает круглосуточно это да, но ведь в нашей локалке ещё надо поймать ресурс пока его не выключили :))) а ночью вообще ничего не работает.

p.s.
не надо сравнивать моё начинание с интернет поисковиками, это всё равно, что сравнивать windows с calc.exe...
но надо понять, что эти задачи совершенно разные!

[sasha]

Вот поставил apache, php, mysql :)
прикрутил всё ко всему, и переиндексировал свой ftp. (только свой)
пока ничего серьёзного, но можете посмотреть:
http://10.0.3.3

на php я никогда ничего не писал, т.ч. не ругайтесь :)

* - поиск любой подстроки
по умолчанию * ставится с обоих концов введённой строки.

[sasha]

решил сам чё-нить поискать...
поискал '*sex*'...
опа!!! я и не знал, что у меня чё-то найдётся :)

[sasha]

Цитата: (sasha ) Переиндексация всего моего (10.0.3.3) ftp займёт не больше 10-15 минут

Она заняла ~7 мин и это с учётом, что мой комп только ей и занимался! Это 1 хост, без ограничения по скорости! (Правда у меня в ftp 10681 файл в 1004 директориях, скока мусора!).