Пароль и фильтрация по MAC-адресу должны защитить вас от взлома. На самом деле безопасность в большей степени зависит от вашей осмотрительности. Неподходящие методы защиты, незамысловатый пароль и легкомысленное отношение к посторонним пользователям в домашней сети дают злоумышленникам дополнительные возможности для атаки. Из этой статьи вы узнаете, как можно взломать WEP-пароль, почему следует отказаться от фильтров и как со всех сторон обезопасить свою беспроводную сеть.

Защита от незваных гостей

Ваша сеть не защищена, следовательно, рано или поздно к вашей беспроводной сети подсоединится посторонний пользователь — возможно даже не специально, ведь смартфоны и планшеты способны автоматически подключаться к незащищенным сетям. Если он просто откроет несколько сайтов, то, скорее всего, не случиться ничего страшного кроме расхода трафика. Ситуация осложнится, если через ваше интернет-подключение гость начнет загружать нелегальный контент.

Если вы еще не предприняли никаких мер безопасности, то зайдите в интерфейс роутера через браузер и измените данные доступа к сети. Адрес маршрутизатора, как правило, имеет вид: http://192.168.1.1 . Если это не так, то вы сможете выяснить IP-адрес своего сетевого устройства через командную строку. В операционной системе Windows 7 щелкните по кнопке «Пуск» и задайте в строке поиска команду «cmd». Вызовите настройки сети командой «ipconfig» и найдите строку «Основной шлюз». Указанный IP - это адрес вашего роутера, который нужно ввести в адресной строке браузера. Расположение настроек безопасности маршрутизатора зависит от производителя. Как правило, они расположены в разделе с названием вида «WLAN | Безопасность».

Если в вашей беспроводной сети используется незащищенное соединение, следует быть особенно осторожным с контентом, который расположен в папках с общим доступом, так как в отсутствие защиты он находится в полном распоряжении остальных пользователей. При этом в операционной системе Windows XP Home ситуация с общим доступом просто катастрофическая: по умолчанию здесь вообще нельзя устанавливать пароли - данная функция присутствует только в профессиональной версии. Вместо этого все сетевые запросы выполняются через незащищенную гостевую учетную запись. Обезопасить сеть в Windows XP можно c помощью небольшой манипуляции: запустите командную строку, введите «net user guest ВашНовыйПароль» и подтвердите операцию нажатием клавиши «Enter». После перезагрузки Windows получить доступ к сетевым ресурсам можно будет только при наличии пароля, однако более тонкая настройка в этой версии ОС, к сожалению, не представляется возможной. Значительно более удобно управление настройками общего доступа реализовано в Windows 7. Здесь, чтобы ограничить круг пользователей, достаточно в Панели управления зайти в «Центр управления сетями и общим доступом» и создать домашнюю группу, защищенную паролем.

Отсутствие должной защиты в беспроводной сети является источником и других опасностей, так как хакеры могут с помощью специальных программ (снифферов) выявлять все незащищенные соединения. Таким образом, взломщикам будет несложно перехватить ваши идентификационные данные от различных сервисов.

Хакеры

Как и прежде, сегодня наибольшей популярностью пользуются два способа защиты: фильтрация по MAC-адресам и скрытие SSID (имени сети): эти меры защиты не обеспечат вам безопасности. Для того чтобы выявить имя сети, взломщику достаточно WLAN-адаптера, который с помощью модифицированного драйвера переключается в режим мониторинга, и сниффера - например, Kismet. Взломщик ведет наблюдение за сетью до тех пор, пока к ней не подключится пользователь (клиент). Затем он манипулирует пакетами данных и тем самым «выбрасывает» клиента из сети. При повторном подсоединении пользователя взломщик видит имя сети. Это кажется сложным, но на самом деле весь процесс занимает всего несколько минут. Обойти MAC-фильтр также не составляет труда: взломщик определяет MAC-адрес и назначает его своему устройству. Таким образом, подключение постороннего остается незамеченным для владельца сети.

Если ваше устройство поддерживает только WEP-шифрование, срочно примите меры - такой пароль за несколько минут могут взломать даже непрофессионалы.

Особой популярностью среди кибермошенников пользуется пакет программ Aircrack-ng, который помимо сниффера включает в себя приложение для загрузки и модификации драйверов WLAN-адаптеров, а также позволяет выполнять восстановление WEP-ключа. Известные методы взлома - это PTW- и FMS/KoreKатаки, при которых перехватывается трафик и на основе его анализа вычисляется WEP-ключ. В данной ситуации у вас есть только две возможности: сначала вам следует поискать для своего устройства актуальную прошивку, которая будет поддерживать новейшие методы шифрования. Если же производитель не предоставляет обновлений, лучше отказаться от использования такого устройства, ведь при этом вы ставите под угрозу безопасность вашей домашней сети.

Популярный совет сократить радиус действия Wi-Fi дает только видимость защиты. Соседи все равно смогут подключаться к вашей сети, а злоумышленники зачастую пользуются Wi-Fi-адаптерами с большим радиусом действия.

Публичные точки доступа

Места со свободным Wi-Fi привлекают кибермошенников, так как через них проходят огромные объемы информации, а воспользоваться инструментами взлома может каждый. В кафе, отелях и других общественных местах можно найти публичные точки доступа. Но другие пользователи этих же сетей могут перехватить ваши данные и, например, взять под свой контроль ваши учетные записи на различных веб-сервисах.

Защита Cookies. Некоторые методы атак действительно настолько просты, что ими может воспользоваться каждый. Расширение Firesheep для браузера Firefox автоматически считывает и отображает в виде списка аккаунты других пользователей, в том числе на Amazon, в Google, Facebook и Twitter. Если хакер щелкнет по одной из записей в списке, он сразу же получит полный доступ к аккаунту и сможет изменять данные пользователя по своему усмотрению. Firesheep не осуществляет взлом паролей, а только копирует активные незашифрованные cookies. Чтобы защититься от подобных перехватов, следует пользоваться специальным дополнением HTTPS Everywhere для Firefox. Это расширение вынуждает онлайн-сервисы постоянно использовать зашифрованное соединение через протокол HTTPS, если он поддерживается сервером поставщика услуг.

Защита Android. В недавнем прошлом всеобщее внимание привлекла недоработка в операционной системе Android, из-за которой мошенники могли получить доступ к вашим аккаунтам в таких сервисах, как Picasa и «Календарь Google», а также считывать контакты. Компания Google ликвидировала эту уязвимость в Android 2.3.4, но на большинстве устройств, ранее приобретенных пользователями, установлены более старые версии системы. Для их защиты можно использовать приложение SyncGuard.

WPA 2

Наилучшую защиту обеспечивает технология WPA2, которая применяется производителями компьютерной техники еще с 2004 года. Большинство устройств поддерживают этот тип шифрования. Но, как и другие технологии, WPA2 тоже имеет свое слабое место: с помощью атаки по словарю или метода bruteforce («грубая сила») хакеры могут взламывать пароли - правда, лишь в случае их ненадежности. Словари просто перебирают заложенные в их базах данных ключи - как правило, все возможные комбинации чисел и имен. Пароли наподобие «1234» или «Ivanov» угадываются настолько быстро, что компьютер взломщика даже не успевает нагреться.

Метод bruteforce предполагает не использование готовой базы данных, а, напротив, подбор пароля путем перечисления всех возможных комбинаций символов. Таким способом взломщик может вычислить любой ключ - вопрос только в том, сколько времени ему на это потребуется. NASA в своих инструкциях по безопасности рекомендует пароль минимум из восьми символов, а лучше - из шестнадцати. Прежде всего важно, чтобы он состоял из строчных и прописных букв, цифр и специальных символов. Чтобы взломать такой пароль, хакеру потребуются десятилетия.

Пока еще ваша сеть защищена не до конца, так как все пользователи внутри нее имеют доступ к вашему маршрутизатору и могут производить изменения в его настройках. Некоторые устройства предоставляют дополнительные функции защиты, которыми также следует воспользоваться.

Прежде всего отключите возможность манипулирования роутером через Wi-Fi. К сожалению, эта функция доступна лишь в некоторых устройствах - например, маршрутизаторах Linksys. Все современные модели роутеров также обладают возможностью установки пароля к интерфейсу управления, что позволяет ограничить доступ к настройкам.

Как и любая программа, прошивка роутера несовершенна - небольшие недоработки или критические дыры в системе безопасности не исключены. Обычно информация об этом мгновенно распространяется по Сети. Регулярно проверяйте наличие новых прошивок для вашего роутера (у некоторых моделей есть даже функция автоматического обновления). Еще один плюс перепрошивок в том, что они могут добавить в устройство новые функции.

Периодический анализ сетевого трафика помогает распознать присутствие незваных гостей. В интерфейсе управления роутером можно найти информацию о том, какие устройства и когда подключались к вашей сети. Сложнее выяснить, какой объем данных загрузил тот или иной пользователь.

Гостевой доступ — средство защиты домашней сети

Если вы защитите роутер надежным паролем при использовании шифрования WPA2, вам уже не будет угрожать никакая опасность. Но только до тех пор, пока вы не передадите свой пароль другим пользователям. Друзья и знакомые, которые со своими смартфонами, планшетами или ноутбуками захотят выйти в Интернет через ваше подключение, являются фактором риска. Например, нельзя исключать вероятность того, что их устройства заражены вредоносными программами. Однако из-за этого вам не придется отказывать друзьям, так как в топовых моделях маршрутизаторов, например Belkin N или Netgear WNDR3700, специально для таких случаев предусмотрен гостевой доступ. Преимущество данного режима в том, что роутер создает отдельную сеть с собственным паролем, а домашняя не используется.

Надежность ключей безопасности

WEP (WIRED EQUIVALENT PRIVACY). Использует генератор псевдослучайных чисел (алгоритм RC4) для получения ключа, а также векторы инициализации. Так как последний компонент не зашифрован, возможно вмешательство третьих лиц и воссоздание WEP-ключа.

WPA (WI-FI PROTECTED ACCESS) Основывается на механизме WEP, но для расширенной защиты предлагает динамический ключ. Ключи, сгенерированные с помощью алгоритма TKIP, могут быть взломаны посредством атаки Бека-Тевса или Охигаши-Мории. Для этого отдельные пакеты расшифровываются, подвергаются манипуляциям и снова отсылаются в сеть.

WPA2 (WI-FI PROTECTED ACCESS 2) Задействует для шифрования надежный алгоритм AES (Advanced Encryption Standard). Наряду с TKIP добавился протокол CCMP (Counter-Mode/CBC-MAC Protocol), который также базируется на алгоритме AES. Защищенную по этой технологии сеть до настоящего момента взломать не удавалось. Единственной возможностью для хакеров является атака по словарю или «метод грубой силы», когда ключ угадывается путем подбора, но при сложном пароле подобрать его невозможно.

Поисковые инструменты

Поисковые инструменты - это особое программное обеспечение, основная цель которого – обеспечить наиболее оптимальный и качественный поиск информации для пользователей Интернета. Поисковые инструменты размещаются на специальных веб-серверах, каждый из которых выполняет определенную функцию:

1. Анализ веб-страниц и занесение результатов анализа на тот или иной уровень базы данных поискового сервера.

2. Поиск информации по запросу пользователя.

3. Обеспечение удобного интерфейса для поиска информации и просмотра результата поиска пользователем.

Приемы работы, используемые при работе с теми или другими поисковыми инструментами, практически одинаковы. Перед тем как перейти к их обсуждению, рассмотрим следующие понятия:

1. Интерфейс поискового инструмента представлен в виде страницы с гиперссылками, строкой подачи запроса (строкой поиска) и инструментами активизации запроса.

2. Индекс поисковой системы – это информационная база, содержащая результат анализа веб-страниц, составленная по определенным правилам.

3. Запрос – это ключевое слово или фраза, которую вводит пользователь в строку поиска. Для формирования различных запросов используются специальные символы ("", ~), математические символы (*, +, ?).

Схема поиска информации проста. Пользователь набирает ключевую фразу и активизирует поиск, тем самым получает подборку документов по сформулированному (заданному) запросу. Этот список документов ранжируется по определенным критериям так, чтобы вверху списка оказались те документы, которые наиболее соответствуют запросу пользователя. Каждый из поисковых инструментов использует различные критерии ранжирования документов, как при анализе результатов поиска, так и при формировании индекса (наполнении индексной базы данных web-страниц).

Таким образом, если указать в строке поиска для каждого поискового инструмента одинаковой конструкции запрос, можно получить различные результаты поиска. Для пользователя имеет большое значение, какие документы окажутся в первых двух-трех десятках документов по результатам поиска и на сколько эти документы соответствуют ожиданиям пользователя.

Большинство поисковых инструментов предлагают два способа поиска – simple search (простой поиск) и advanced search (расширенный поиск) с использованием специальной формы запроса и без нее. Рассмотрим оба вида поиска на примере англоязычной поисковой машины.

Например, AltaVista удобно использовать для произвольных запросов, «Something about online degrees in information technology», тогда как поисковый инструмент Yahoo позволяет получать мировые новости, информацию о курсе валют или прогнозе погоды.

Освоение критериев уточнения запроса и приемов расширенного поиска, позволяет увеличивать эффективность поиска и достаточно быстро найти необходимую информацию. Прежде всего, увеличить эффективность поиска Вы можете за счет использования в запросах логических операторов (операций) Or, And, Near, Not, математических и специальных символов. С помощью операторов и/или символов пользователь связывает ключевые слова в нужной последовательности, чтобы получить наиболее адекватный запросу результат поиска. Формы запросов приведены в таблице 1.

Таблица 1

Простой запрос дает некоторое количество ссылок на документы, т.к. в список попадают документы, содержащие одно из слов, введенных при запросе, или простое словосочетание (см. таблицу 1). Оператор and позволяет указать на то, что в содержании документа должны быть включены все ключевые слова. Тем не менее, количество документов может быть все еще велико, и их просмотр займет достаточно времени. Поэтому в ряде случаев гораздо удобнее применить контекстный оператор near, указывающий, что слова должны располагаться в документе в достаточной близости. Использование near значительно уменьшает количество найденных документов. Наличие символа "*" в строке запроса означает, что будет осуществляться поиск слова по его маске. Например, получим список документов, содержащих слова, начинающиеся на "gov", если в строке запроса запишем "gov*". Это могут быть слова government, governor и т.д.

Наиболее развитый сервис поиска русскоязычной информации предоставляет поисковый сервер Яndex. В Яndex можно просто написать по-русски фразу, описывающую то, что Вы хотите найти, и система проанализирует и обработает Ваш запрос, а затем постарается найти все, что относится к заданной теме. Вы можете, используя специальные операторы, составить строку, поясняющую поисковой системе, каким Вашим требованиям должна отвечать интересующая Вас информация.

Не менее популярная поисковая система Rambler ведет статистику посещаемости ссылок из собственной базы данных, поддерживаются те же логические операторы И, ИЛИ, НЕ, метасимвол * (аналогично расширяющему диапазон запроса символу * в AltaVista), коэффициентные символы + и -, для увеличения или уменьшения значимости вводимых в запрос слов.

Давайте рассмотрим наиболее популярные технологии поиска информации в Интернет.

ИПС (информационно-поисковая система) – это система, обеспечивающая поиск и отбор необходимых данных в специальной базе с описаниями источников информации (индексе) на основе информационно-поискового языка и соответствующих правил поиска.

Релевантность – это соответствие результатов поиска сформулированному запросу.

Пертинентность (в информационном поиске) - соответствие полученной информации информационной потребности пользователя.

Пертинентность измеряется степенью соответствие между ожиданиями пользователя и результатами поиска (сравните с релевантностью), которая определяется как отношение объема полезной для пользователя информации к общему объему полученной информации, найденнойпоисковой системой.

Достижение высокой степени пертинентности - основное поле конкурентной борьбы современных поисковых систем. Именно для максимального удовлетворения информационных потребностей пользователей в настоящее время в ИП-системах широко применяются теории и методы семантических сетей, контент-анализа и глубинного анализа текстов (Text mining,интеллектуальный анализ текстов ).

Для поиска нужной информации в сети используется адрес ресурса (англ . Uniform Resource Locator (URL ) адрес), содержащий имя протокола, по которому нужно обращаться к требуемой информации, адрес сервера и имя файла на этом сервере (рис. 2).

Рис. 2. Пример адреса ресурса

Поиско́вая систе́ма - программно-аппаратный комплекс свеб-интерфейсом, предоставляющий возможность поискаинформациивИнтернете. Под поисковой системой обычно подразумеваетсясайт, на котором размещён интерфейс системы. Программной частью поисковой системы являетсяпоисковая машина(поисковый движок) -комплекс программ, обеспечивающий функциональность поисковой системы и обычно являющийся коммерческой тайной компании-разработчика поисковой системы

Поиск информации в Интернете осуществляется с помощью специальных программ, обрабатывающих запросы - информационно-поисковых систем (ИПС) . Существует несколько моделей, на которых основана работа поисковых систем, но исторически две модели приобрели наибольшую популярность - это поисковые каталоги и поисковые указатели .

Поисковые каталоги устроены по тому же принципу, что и тематические каталоги крупных библиотек. Они обычно представляют собой иерархические гипертекстовые меню с пунктами и подпунктами, определяющими тематику сайтов, адреса которых содержатся в данном каталоге, с постепенным, от уровня к уровню, уточнением темы. Поисковые каталоги создаются вручную . Высококвалифицированные редакторы лично просматривают информационное пространство WWW, отбирают то, что по их мнению представляет общественный интерес, и заносят в каталог.

Основной проблемой поисковых каталогов является чрезвычайно низкий коэффициент охвата ресурсов WWW. Чтобы многократно увеличить коэффициент охвата ресурсов Web, из процесса наполнения базы данных поисковой системы необходимо исключить человеческий фактор - работа должна быть автоматизирована.

Автоматическую каталогизацию Web-ресурсов и удовлетворение запросов клиентов выполняют поисковые указатели . Работу поискового указателя можно условно разделить на три этапа:

сбор первичной базы данных. Для сканирования информационного пространства WWW используются специальные агентские программы - черви, задача которых состоит в поиске неизвестных ресурсов и регистрация их в базе данных;

индексация базы данных - первичная обработка с целью оптимизации поиска. На этапе индексации создаются специализированные документы - собственно поисковые указатели;

рафинирование результирующего списка. На этом этапе создается список ссылок, который будет передан пользователю в качестве результирующего. Рафинирование результирующего списка заключается в фильтрации и ранжировании результатов поиска.

Под фильтрацией понимается отсев ссылок, которые нецелесообразно выдавать пользователю (например, проверяется наличие дубликатов). Ранжирование заключается в создании специального порядка представления результирующего списка (по количеству ключевых слов, сопутствующих слов и др.).

Главной задачей любой ИПС является поиск информации релевантной информационным потребностям пользователя. Очень важно в результате проведенного поиска ничего не потерять, то есть найти все документы, относящиеся к запросу, и не найти ничего лишнего. Поэтому вводится качественная характеристика процедуры поиска – релевантность.

Релевантность – это соответствие результатов поиска сформулированному запросу.

1 Поисковые инструменты

Поисковые инструменты - это особое программное обеспечение, основная цель которого – обеспечить наиболее оптимальный и качественный поиск информации для пользователей Интернета. Поисковые инструменты размещаются на специальных веб-серверах, каждый из которых выполняет определенную функцию:

Машины веб-поиска - это сервера с огромной базой данных URL-адресов, которые автоматически обращаются к страницам WWW по всем этим адресам, изучают содержимое этих страниц, формируют и прописывают ключевые слова со страниц в свою базу данных (индексирует страницы).

Более того, роботы поисковых систем переходят по встречаемым на страницах ссылкам и переиндексируют их. Так как почти любая страница WWW имеет множество ссылок на другие страницы, то при подобной работе поисковая машина в конечном результате теоретически может обойти все сайты в Интернет.

Именно этот вид поисковых инструментов является наиболее известным и популярным среди всех пользователей сети Интернет. У каждого на слуху названия известных машин веб-поиска (поисковых систем) – Яndex, Rambler, Aport.

Работа машин веб-поиска сводится к следующему:

Анализ веб-страниц и занесение результатов анализа на тот или иной уровень базы данных поискового сервера.

Поиск информации по запросу пользователя.

Обеспечение удобного интерфейса для поиска информации и просмотра результата поиска пользователем.

Приемы работы, используемые при работе с теми или другими поисковыми инструментами, практически одинаковы. При их описании используются следующие понятия:

Интерфейс поискового инструмента представлен в виде страницы с гиперссылками, строкой подачи запроса (строкой поиска) и инструментами активизации запроса.

Индекс поисковой системы – это информационная база, содержащая результат анализа веб-страниц, составленная по определенным правилам.

Запрос – это ключевое слово или фраза, которую вводит пользователь в строку поиска. Для формирования различных запросов используются специальные символы ("", ~), математические символы (*, +, ?).

Схема поиска информации проста. Пользователь набирает ключевую фразу и активизирует поиск, тем самым получает подборку документов по сформулированному (заданному) запросу. Этот список документов ранжируется по определенным критериям так, чтобы вверху списка оказались те документы, которые наиболее соответствуют запросу пользователя. Каждый из поисковых инструментов использует различные критерии ранжирования документов, как при анализе результатов поиска, так и при формировании индекса (наполнении индексной базы данных web-страниц).

В России наиболее крупными и популярными поисковыми указателями являются:

«Яndex» (www.yandex.ru)

«Pамблер» (www.rambler.ru)

«Google» (www.google.ru)

«Апорт2000» (www.aport.ru)

2 Механизмы поиска

Обобщенная технология поиска состоит из следующих этапов:

Пользователь формулирует запрос

Система проводит поиск документов (или их поисковых образов)

Пользователь получает результат (сведения о документах)

Пользователь совершенствует или реформирует запрос

Организация нового поиска...

Как правило, поисковые машины поддерживают два режима: режим простого поиска и режим расширенного поиска. Рассмотрим обобщенные возможности.

Формирования запроса в режиме простого поиска. Можно просто вводить через пробел одно или несколько слов; поиск слов со всевозможными окончаниями моделируется символом * в конце слова. Многие системы позволяют искать словосочетания или фразу, для этого необходимо ее заключить в кавычки. Возможно обязательное включение или исключение определенных слов.

Основная проблема поиска по примитивно составленному запросу (в виде перечисления ключевых слов) заключается в том, что поисковая машина найдет все страницы, на которых указанные слова встречаются в любой части документа. Как правило, количество найденных страниц будет слишком велико.

Для улучшения качества поиска в режиме простого поиска допустимо использование логических операторов и операторов, позволяющих ограничить область поиска, а также выбор определенной категории документов из представленного списка.

Многие поисковые системы включают в свой язык составления запросов специальные операторы, позволяющие проводить поиск в определенных зонах документа, например, в его заголовке, или искать документ по известной части его адреса.

Режим расширенного или детального запроса в разных системах реализован индивидуально, но чаще всего это бланк, в котором упомянутые операторы и ключевые элементы реализуются простой установкой соответствующих флажков или выбором параметров из списка.

Ниже в качестве примера приведены сведения из раздела помощь поисковой системы Yandex: окно расширенного поиска, язык запросов, искать в найденном.

Искать в найденном Если в результате запроса Яндекс нашел много документов, но по более широкой теме, чем вам хочется, вы можете сократить этот список, уточнив запрос. Еще один вариант - включить флажок в найденном в форме поиска, задать дополнительные ключевые слова, и следующий поиск будет вестись только по тем документам, которые были отобраны в предыдущем поиске.

Памятка по использованию языка запросов

Интересной возможностью является поиск документов в сети, ссылающиеся на страницу с указанным вами адресом (URL). Таким образом, можно найти в сети страницы, на которых есть ссылки на ваш Web-сайт. Некоторые системы позволят ограничить область поиска внутри указанного домена.

В качестве дополнительных специальных операторов можно выделить:

Операторы поиска документов с определенным графическим файлом;

Операторы ограничения по дате искомых страниц;

Операторы близости между словами;

Операторы учета словоформы;

Операторы сортировки результатов (по релевантности, свежести, старости).

Следует заметить, что, к великому сожалению, на сегодняшний день не существует стандарта на количество и синтаксис поддерживаемых операторов для различных поисковых систем. Попытки разработать стандарт на синтаксис поддерживаемых операторов предпринимаются, поэтому есть надежда на то, что разработчики поисковых систем позаботятся об удобстве пользователей. На данном этапе развития средств поиска, пользователь, обращаясь к определенной поисковой системе, непременно должен в первую очередь ознакомиться с ее правилами составления запросов. Как правило, на домашней странице будет обязательно присутствовать ссылка Помощь (Help), по которой вы перейдете к справочной информации.

Различные поисковые системы описывают разное количество источников информации в Интернет. Поэтому нельзя ограничиваться поиском только в одной поисковой системе.

Рассмотрим способы представления результатов поиска в поисковых машинах.

Чаще всего количество найденных документов превышает несколько десятков, а в отдельных случаях может достигать сотен тысяч! Поэтому в качестве формы выдачи составляется список документов по 5-10-15 единиц на странице с возможностью перехода к следующей порции внизу страницы. Обязательно указывается заголовок и URL(адрес) найденного документа, иногда система указывает в процентах степень релевантности документа.

В описании документа чаще всего содержится несколько первых предложений или выдержки из текста документа с выделением ключевых слов. Как правило, указана дата обновления (проверки) документа, его размер в килобайтах, некоторые системы определяют язык документа и его кодировку (для русскоязычных документов).

Что можно делать с полученными результатами? Если название и описание документа соответствует вашим требованиям, можно немедленно перейти к его первоисточнику по ссылке. Это удобнее делать в новом окне, чтобы иметь возможность далее анализировать результаты выдачи. Многие поисковые системы позволяют проводить поиск в найденных документах, причем вы можете уточнить ваш запрос введением дополнительных терминов.

Если интеллектуальность системы высока, вам могут предложить услугу поиска похожих документов. Для этого вы выбираете особо понравившийся документ и указываете его системе в качестве образца для подражания.

Однако, автоматизация определение похожести – весьма нетривиальная задача, и зачастую эта функция работает неадекватно вашим надеждам. Некоторые поисковики позволяют провести пересортировку результатов. Для экономии вашего времени можно сохранить результаты поиска в виде файла на локальном диске для последующего изучения в автономном режиме.

Лекция 4. Инструменты информационного поиска

Постоянное обновление информационного массива в сочетании с приростом объема данных крайне усложняет учет имеющихся документов и, соответственно, поиск, который условно можно разделить на:

• фактографический поиск: в энциклопедиях, справочниках, словарях,
• библиографический поиск: библиотеки, каталоги, программы.
• документальный поиск: электронные документы, электронные библиотеки, электронные журналы.

Важность проблемы информационного поиска привела к образованию целой отрасли, задача которой заключается именно в оказании помощи пользователю по навигации в киберпространстве. Составляют эту отрасль специальные поисковые службы или сервисы . Их традиционно разделяют на:

• справочники или каталоги
• поисковые системы

Эти разновидности визуально очень похожи, поскольку «каждый справочник обладает собственной поисковой системой, а каждая поисковая система - собственным справочником» . Однако принципы их работы базируются на абсолютно разных подходах и технологиях. При этом каждая разновидность поисковых сервисов применяется в решении определенного типа задач. Информационный поиск подразумевает использование определенных стратегий, методов, механизмов и средств. Поведение пользователя, осуществляющего управление процессом поиска, определяется не только информационной потребностью, но и инструментальным разнообразием системы - технологиями и средствами, предоставляемыми системой. Выбором инструмента во многом определяется стратегия поисковой деятельности и поисковые технологии.

Поисковые технологии - унифицированные (оптимизированные в рамках конкретной информационно-поисковой системы) последовательности эффективного использования отдельных средств поиска в процессе взаимодействия пользователя с системой.

По используемым поисковым технологиям информационные системы можно разбить на 3 категории:

• тематические каталоги и специализированные каталоги (онлайновые справочники);
• поисковые машины (полнотекстовый поиск);
• средства мета-поиска.

Тематические каталоги предусматривают обработку документов и отнесение их к одной из нескольких категорий, перечень которых заранее задан. Фактически это знакомое всем библиотекарям индексирование на основе классификации . Специализированные каталоги или справочники создаются по отдельным отраслям и темам. Поисковые машины (самое развитое средство поиска в Интернете) реализуют технологию полнотекстового поиска. Индексируются тексты, расположенные на запрашиваемых серверах. При использовании средств метапоиска запрос осуществляется одновременно несколькими поисковыми системами. Результат поиска объединяется в общий, упорядоченный по степени релевантности, список.

Средства поиска - взаимозависимый комплекс информационно-поисковых языков и языков определения/управления данными, обеспечивающий структурные и семантические преобразования объектов обработки (документов, словарей, совокупностей результатов поиска).

1. Справочники

Поисковые средства первой группы представляют собой электронные справочники, имеющие четкую иерархическую систематическую или логико-тематическую структуру, во многом напоминающую структуру систематического каталога библиотеки . Работа со справочниками позволяет ориентироваться в Интернет-ресурсах в пределах отдельных отраслей знания, углубляясь от общего к частному, меняя иерархические ветви, возвращаясь на несколько шагов назад и т.д.

Среди российских разработок в этой области значатся:

• Апорт (адрес: www.aport.ru ),
• List.ru (адрес: list.mail.ru ),
• Weblist (адрес: www.weblist.ru ),
• Иван Сусанин (адрес: www.susanin.net )
• Улитка (адрес: www.ulitka.ru ).

Главной отличительной особенностью справочников является то, что они сделаны вручную. Редакционные коллегии каждого из справочников, которые по характеру труда напоминают отделы каталогизации и систематизации крупных библиотек , регулярно просматривают содержимое вновь появившихся серверов и отслеживают изменения на уже существующих. Выявленные данные анализируются и заносятся в разделы справочника в соответствии с принятой классификацией. Описание сервера в целом (или раздела, если он представляется вполне самостоятельным блоком) снабжается краткой аннотацией, содержащей общие сведения о характере имеющейся информации. В некоторых случаях заносятся добавочные сведения о языке документов, посещаемости ресурса, его физическом месторасположении и т.п.

Основными параметрами, характеризующими достоинства справочников, являются:

• объем;
• оперативность отражения новых или изменившихся ресурсов;
• логичность и последовательность иерархической схемы классификации;
• перекрестность структуры.

Объемом справочника определяется степень его надежности или « информационная прочность» . В некоторых системах существует специальный механизм, периодически проверяющий доступность сайта и исключающий его из перечня при долгом «отсутствии» в Сети. Логичностью (научностью) применяемой схемы классификации определяется степень простоты, с которой пользователи находят требуемые сведения. Система перекрестных ссылок позволяет выявить информацию, используя разные подходы (например, территориальный или отраслевой). В этом случае схема классификации должна автоматически выводить пользователя на искомый объект, какой бы путь поиска не был выбран.

Возможности составления запроса для этого вида поисковых средств особой роли не играют. Сложные разыскания, требующие детализации запроса, с помощью каталогов не проводятся.

Справочники предназначены для решения трех типов задач :

• ориентация в незнакомой отрасли знания;
• разыскание крупных объектов, каковыми являются, к примеру, серверы организаций или значительных проектов;
• получение готового перечня ресурсов, имеющих размытый поисковый образ (библиотек определенного типа, транспортных расписаний или сайтов политических партий и т.д.)

Другим примером является сравнение справочника ресурсов с систематическим каталогом библиотеки, в котором от книги (в данном случае, целого сайта) остается лишь описание и аннотация.

2. Поисковые системы

В основу работы поисковых систем (поисковых машин) заложены совершенно иные технологические принципы. Задача поисковых машин - обеспечить детальное разыскание информации, что может быть достигнуто только за счет учета (индексирования ) содержания максимально возможного числа веб-страниц. В отличие от справочников, поисковые машины функционируют в автоматизированном режиме и имеют единообразный принцип действия.

Поисковые системы состоят из двух базовых компонентов. Первый компонент представляет собой программу-робот , задача которого передвигаться с сервера на сервер и находить там новые (или изменившиеся) документы, скачивая их на главный компьютер системы. Робот просматривает содержимое документа, находит новые ссылки, - как на другие документы сервера, так и внешние сайты. Далее программа самостоятельно направляется по указанным ссылкам, находит новые документы, после чего процесс повторяется вновь, напоминая хорошо известный в библиографии «метод снежного кома» . Выявленные документы обрабатываются (индексируются) вторым компонентом поисковой системы. При этом, как правило, учитывается все содержание страницы, включая текст, иллюстрации, аудио- и видеофайлы. Индексации подвергаются все слова в документе, что дает возможность использовать поисковые системы для детального поиска по самой узкой тематике. Образуемые индексные файлы , хранящие информацию о том, какое ключевое слово, сколько раз, в каком документе и на каком сервере употребляется, составляют ту базу данных, к которой обращается библиотекарь, вводящий в строку запроса сочетания ключевых слов.

Вывод результатов осуществляется с помощью специального модуля, который производит интеллектуальное ранжирование результатов . При этом в расчет берется:

• местоположение термина в документе (название, заголовок, основной текст), частота его повторения,
• процентное соотношение искомого термина к тексту страницы,
• число и авторитетность внешних ссылок на данную страницу с других сайтов.

К основным параметрам поисковых систем относятся:

• число проиндексированных серверов и отдельных документов (объем индексных файлов);
• степень оперативности обновления базы данных за счет включения сведений о новых материалах и удаления устаревших;
• возможности для составления запроса;
• интеллектуальность системы ранжирования результатов поиска;
• наличие дополнительных сервисных функций, облегчающих работу пользователя.

Возможности поискового механизма выражать запрос максимально точно в значительной степени предопределяют качество полученных результатов. Каждая машина имеет свою собственную лексику, которая по-разному позволяет детализировать поисковое предписание .

Все поисковые машины обладают модулем ранжирования результатов поиска . Это второй базовый компонент всех систем. Перечень факторов, принимаемых во внимание при определении места документа в перечне ссылок, необычайно широк: от местоположения слова на странице до рейтинга (авторитета) страниц, имеющих ссылки на найденный документ.

• Google (адрес: www.google.com ),
• AlltheWeb (адрес: www.alltheweb.com ),
• Alta Vista (адрес: www.altavista.com ).

Подобные поисковые средства существуют и в России. Все они предназначены для работы с русскоязычными документами и обладают мощным http://www.metabot.ru ).

Выводы по теме лекционного блока

Поисковая система делает выборку страниц из базы данных в соответствии с запросом, затем страницы упорядочиваются по степени убывания совпадений (примеч. А.А.)

В данном случае наблюдается прямая аналогия с принципами работы распределенных сводных каталогов библиотеки. Ключевой возможностью мета-поиска является способность рассылать запросы пользователя одновременно по различным поисковых системам - с последующим суммированием результатов. (примеч. А.А.)

Обращаясь к справочникам, библиотекарь может рассчитывать на получение лишь очень общих сведений по тематике, и никогда - детальных данных: от сервера крупной корпорации, содержащего тысячи страниц, в справочнике будет представлено лишь наименование и несколько строк аннотации.