Технология поиска информации в Интернете: информационные поисковые системы Интернета. Технология поиска информации в Интернет

Сеть Интернет растет гигантскими темпами и найти информацию, необходимую конкретному пользователю, не очень просто. Но возможно, поскольку в сети есть ресурсы, которые помогут не утонуть в океане информации и новичку, и профессионалу.

Появление всемирной паутины World Wide Web стало количественным и качественным скачком в области информационных технологий. Число новых ресурсов и объем информации, которую они содержат, растет лавинообразно, увеличивается количество иголочек в информационном "стоге сена" и, соответственно, размер его самого. Для поиска информации в сети имеются следующие виды ресурсов:

• - информационные порталы;
• - каталоги интернет-ресурсов;
• - поисковые системы.

Сама сеть Интернет постепенно превратилась в Средство Массовой Информации с огромной аудиторией пользователей во всем мире и невероятным объемом информации. Она стала глобальным средством информации, опутавшим каналами связи весь земной шар, но не поглотила привычные нам СМИ, они органически влились в сеть на правах самостоятельных информационных ресурсов. Практически каждая газета, радиостанция или телеканал в любой стране мира имеет свое представительство в сети Интернет.

Электронная версия газеты может и, как правило, сильно отличается от бумажной, значительно превышая ее по объему - формат данных, публикуемых на интернет-сайтах более гибок, он не ограничен выделенными под материал страницами, газетными и журнальными колонками. Появляется элемент интерактивности - читатели могут оставить свои комментарии и отзывы о прочитанной статье, новости, аналитическом обзоре.

Некоторые периодические издания, например, TIMES, даже выполнили оцифровку архивов газеты за все время ее существования, включая годы, когда еще не было ни компьютеров, ни компьютерных сетей, правда, поиск по таким архивам платный и стоит довольно дорого.

Наиболее авторитетным и профессиональным источником оперативной информации для пользователей сети Интернет и для средств массовой информации служат Веб-ресурсы информационных агентств. Обладая широкой корреспондентской сетью, ежедневно и ежечасно, в сети Интернет и по каналам электронной связи они распространяют общественно-политическую, экономическую, научную, финансовую информацию.

Поисковые инструменты

Поисковые инструменты - это особое программное обеспечение, основная цель которого - обеспечить наиболее оптимальный и качественный поиск информации для пользователей Интернета. Поисковые инструменты размещаются на специальных веб-серверах, каждый из которых выполняет определенную функцию:

• 1. Анализ веб-страниц и занесение результатов анализа на тот или иной уровень базы данных поискового сервера.
• 2. Поиск информации по запросу пользователя.
• 3. Обеспечение удобного интерфейса для поиска информации и просмотра результата поиска пользователем.

Приемы работы, используемые при работе с теми или другими поисковыми инструментами, практически одинаковы. Перед тем как перейти к их обсуждению, рассмотрим следующие понятия:

• 1. Интерфейс поискового инструмента представлен в виде страницы с гиперссылками, строкой подачи запроса (строкой поиска) и инструментами активизации запроса.
• 2. Индекс поисковой системы - это информационная база, содержащая результат анализа веб-страниц, составленная по определенным правилам.
• 3. Запрос - это ключевое слово или фраза, которую вводит пользователь в строку поиска. Для формирования различных запросов используются специальные символы ("", |, ~), математические символы (*, +, ?).

Схема поиска информации проста. Пользователь набирает ключевую фразу и активизирует поиск, тем самым получает подборку документов по сформулированному (заданному) запросу. Этот список документов ранжируется по определенным критериям так, чтобы вверху списка оказались те документы, которые наиболее соответствуют запросу пользователя. Каждый из поисковых инструментов использует различные критерии ранжирования документов, как при анализе результатов поиска, так и при формировании индекса (наполнении индексной базы данных web-страниц).

Таким образом, если указать в строке поиска для каждого поискового инструмента одинаковой конструкции запрос, можно получить различные результаты поиска. Для пользователя имеет большое значение, какие документы окажутся в первых двух-трех десятках документов по результатам поиска и на сколько эти документы соответствуют ожиданиям пользователя.

Большинство поисковых инструментов предлагают два способа поиска - simple search (простой поиск) и advanced search (расширенный поиск) с использованием специальной формы запроса и без нее. Рассмотрим оба вида поиска на примере англоязычной поисковой машины.

Например, AltaVista удобно использовать для произвольных запросов, «Something about online degrees in information technology», тогда как поисковый инструмент Yahoo позволяет получать мировые новости, информацию о курсе валют или прогнозе погоды.

Освоение критериев уточнения запроса и приемов расширенного поиска, позволяет увеличивать эффективность поиска и достаточно быстро найти необходимую информацию. Прежде всего, увеличить эффективность поиска Вы можете за счет использования в запросах логических операторов (операций) Or, And, Near, Not, математических и специальных символов. С помощью операторов и/или символов пользователь связывает ключевые слова в нужной последовательности, чтобы получить наиболее адекватный запросу результат поиска.

Простой запрос дает некоторое количество ссылок на документы, т.к. в список попадают документы, содержащие одно из слов, введенных при запросе, или простое словосочетание (см. таблицу 1). Оператор and позволяет указать на то, что в содержании документа должны быть включены все ключевые слова. Тем не менее, количество документов может быть все еще велико, и их просмотр займет достаточно времени. Поэтому в ряде случаев гораздо удобнее применить контекстный оператор near, указывающий, что слова должны располагаться в документе в достаточной близости. Использование near значительно уменьшает количество найденных документов. Наличие символа "*" в строке запроса означает, что будет осуществляться поиск слова по его маске. Например, получим список документов, содержащих слова, начинающиеся на "gov", если в строке запроса запишем "gov*". Это могут быть слова government, governor и т.д.

Наиболее развитый сервис поиска русскоязычной информации предоставляет поисковый сервер Яndex. В Яndex можно просто написать по-русски фразу, описывающую то, что Вы хотите найти, и система проанализирует и обработает Ваш запрос, а затем постарается найти все, что относится к заданной теме. Вы можете, используя специальные операторы, составить строку, поясняющую поисковой системе, каким Вашим требованиям должна отвечать интересующая Вас информация.

Не менее популярная поисковая система Rambler ведет статистику посещаемости ссылок из собственной базы данных, поддерживаются те же логические операторы И, ИЛИ, НЕ, метасимвол * (аналогично расширяющему диапазон запроса символу * в AltaVista), коэффициентные символы + и -, для увеличения или уменьшения значимости вводимых в запрос слов.

Наиболее популярные технологии поиска информации в Интернет .

У русскоязычных пользователей наибольшей популярностью пользуются поисковые системы Google , Яндекс и Рамблер .

Информационный поиск как процесс

Поиск информации представляет собой процесс выявления в некотором множестве документов (текстов) всех тех, которые посвящены указанной теме (предмету), удовлетворяют заранее определенному условию поиска (запросу) или содержат необходимые (соответствующие информационной потребности) факты , сведения, данные .

Процесс поиска включает последовательность операций, направленных на сбор, обработку и предоставление информации.

В общем случае поиск информации состоит из четырех этапов:

• определение (уточнение) информационной потребности и формулировка информационного запроса;
• определение совокупности возможных держателей информационных массивов (источников);
• извлечение информации из выявленных информационных массивов;
• ознакомление с полученной информацией и оценка результатов поиска.

Виды поиска

Методы поиска

Адресный поиск

Процесс поиска документов по чисто формальным признакам, указанным в запросе.
Для осуществления нужны следующие условия:

1. Наличие у документа точного адреса
2. Обеспечение строгого порядка расположения документов в запоминающем устройстве или в хранилище системы.

Адресами документов могут выступать адреса веб-серверов и веб-страниц и элементы библиографической записи , и адреса хранения документов в хранилище.

Семантический поиск

Процесс поиска документов по их содержанию .

• Перевод содержания документов и запросов с естественного языка на информационно-поисковый язык и составление поисковых образов документа и запроса.
• Составление поискового описания, в котором указывается дополнительное условие поиска.

Принципиальная разница между адресным и семантическим поисками состоит в том, что при адресном поиске документ рассматривается как объект с точки зрения формы, а при семантическом поиске - с точки зрения содержания.

При семантическом поиске находится множество документов без указания адресов.

В этом принципиальное отличие каталогов и картотек .

Поиск информации - процесс выявления в массиве информации записей, удовлетворяющих заранее определенному условию поиска или запросу.

ИП рассматривает поиск информации в документах , поиск самих документов, извлечение метаданных из документов, поиск текста, изображений, видео и звука в локальных реляционных базах данных, в гипертекстовых базах данных таких, как Интернет и локальные интранет-системы .

Существует некоторая путаница, связанная с понятиями поиска данных, поиска документов, информационного поиска и текстового поиска. Тем не менее, каждое из этих направлений исследования обладает собственными методиками, практическими наработками и литературой.

В настоящее время ИП - это бурно развивающаяся область науки, популярность которой обусловлено экспоненциальным ростом объемов информации, в частности в сети Интернет . ИП посвящена обширная литература и множество конференций. Одной из наиболее известных является TREC , организованной в 1992 Министерством обороны США совместно с Институтом Стандартов и Технологий (NIST) с целью консолидации исследовательского сообщества и развития методик оценки качества ИП.

Запрос и объект запроса

Говоря о системах ИП, употребляют термины запрос и объект запроса .

Запрос - это формализованный способ выражения информационных потребностей пользователем системы. Для выражения информационной потребности используется язык поисковых запросов , синтаксис варьируется от системы к системе. Кроме специального языка запросов , современные поисковые системы позволяют вводить запрос на естественном языке .

Объект запроса - это информационная сущность, которая хранится в базе автоматизированной системы поиска. Несмотря на то, что наиболее распространенным объектом запроса является текстовый документ, не существует никаких принципиальных ограничений. В частности, возможен поиск изображений, музыки и другой мультимедиа информации. Процесс занесения объектов поиска в ИПС называется индексацией . Далеко не всегда ИПС хранит точную копию объекта, нередко вместо неё хранится суррогат .

Задачи информационного поиска

Центральная задача ИП - помочь пользователю удовлетворить его информационную потребность. Так как описать информационные потребности пользователя технически непросто, они формулируются как некоторый запрос, представляющий из себя набор ключевых слов, характеризующий то, что ищет пользователь.

Классическая задача ИП, с которой началось развитие этой области, - это поиск документов, удовлетворяющих запросу, в рамках некоторой статической коллекции документов. Но список задач ИП постоянно расширяется и теперь включает:

• Вопросы моделирования;
• Фильтрация документов;
• Проектирование архитектур поисковых систем и пользовательских интерфейсов ;
• Извлечение информации, в частности аннотирования и реферирования документов;

Также, перед движками ИП ставятся некоторые задачи по обработке естественных языков , что включает в себя морфологический анализ , разрешение лексической многозначности и так далее.

Оценки эффективности

Существует много способов оценить насколько хорошо документы, найденные ИПС, соответствуют запросу. К сожалению, понятие степени соответствия запроса, или другими словами релевантности , является субъективным понятием, а степень соответствия зависит от конкретного человека, оценивающего результаты выполнения запроса.

Точность (precision)

На этом рисунке релевантные точки (rel) находятся слева от прямой, а точки, найденные поисковой системой (retr), находятся в овале. Области красного цвета представляют ошибки поисковой системы. Красная область слева - это релевантные точки, не найденные системой (пропуск события), красная область справа - найденные, но нерелевантные точки (ложная тревога). Точность - это пропорция левой зелёной области по отношению к овалу (горизонтальная стрелка). Полнота - это пропорция левой зелёной области к области слева от прямой (диагональная стрелка).

Определяется как отношение числа релевантных документов, найденных ИПС, к общему числу найденных документов:

где - это множество релевантных документов в базе, а - множество документов, найденных системой. По результатам исследований компании, оценивающей релевантность показателей основных русских и зарубежных поисковых систем.

Полнота (recall)

Отношение числа найденных релевантных документов, к общему числу релевантных документов в базе:

где - это множество релевантных документов в базе, а - множество документов, найденных системой.

Выпадение (fall-out)

Выпадение характеризует вероятность нахождения нерелевантного ресурса и определяется, как отношение числа найденных нерелевантных документов к общему числу нерелевантных документов в базе:

где - это множество не релевантных документов в базе, а - множество документов, найденных системой.

F-мера (F-measure, мера Ван Ризбергена)

Иногда бывает полезно объединить точность и полноту в одной усреднённой величине. Для этой цели среднее арифметическое не подходит, так как, например, поисковой системе достаточно вернуть вообще все документы, чтобы обеспечить равную единице полноту при близкой к нулю точности, и среднее арифметическое точности и полноты будет не меньше 1/2. Среднее гармоническое не обладает этим недостатком, поскольку при большом отличии усредняемых значений приближается к минимальному из них.

Поэтому хорошей мерой для совместной оценки точности и полноты является F-мера , которая определяется как взвешенное гармоническое среднее точности P и полноты R :

Обычно F -меру записывают в виде

При либо F -мера придает одинаковый вес точности и полноте и называется сбалансированной или -мерой (в нижнем индексе принято указывать величину ), выражение для неё упрощается

Использование сбалансированной F -меры не является обязательным: при предпочтение отдаётся точности, а при больший вес приобретает полнота.

См. также

• Российский семинар по оценке методов информационного поиска (РОМИП)

Примечания

Ссылки

Литература

• Baeza-Yates R., Ribeiro-Neto B. Modern Information Retrieval. - Addison-Wesley, 1999. - ISBN 0-201-39829-X
• Manning C., Raghavan P., Schütze H. Introduction to Information Retrieval . - Cambridge University Press, 2008. - ISBN 0-521-86571-9
• Маннинг К., Рагхаван П., Шютце Х. Введение в информационный поиск. - Вильямс, 2011. - ISBN 978-5-8459-1623-5
• Ландэ Д. В., Снарский А. А. , Безсуднов И. В. Интернетика: Навигация в сложных сетях: модели и алгоритмы . - M.: Либроком (Editorial URSS), 2009. - 264 с. - ISBN 978-5-397-00497-8

Wikimedia Foundation . 2010 .

Лекция ОРГАНИЗАЦИЯ И ТЕХНОЛОГИЯ ПОИСКА ИНФОРМАЦИИ В ИНТЕРНЕТЕ 1. 2. Средства информационного поиска Технология поиска информации

Характеристика сети Интернет предоставляет более быстрый способ поиска информации в сравнении с традиционными. Обладая значительным объемом информации, сеть является слабоструктурированной. В связи с этим активно ведутся разработки средств информационного поиска, автоматизирующих процесс поиска информации в данной среде. Слайд № 3

Средства информационного поиска Службы поиска интернета (средства, предназначенные для поиска информации) Поисковые системы Каталоги (search engines) (directories) Метапоисковые системы (metasearch engines) Слайд № 5

Классификация средств поиска по широте охвата информационных ресурсов Слайд № 6 ИНТЕРНЕТ Поисковые системы Каталоги Глобальные Региональные Локальные Специализированные Региональные Метапоисковые системы Сетевые Локальные Специализированные

Классификация средств поиска по широте охвата информационных ресурсов Конкретное средство поиска может одновременно соответствовать нескольким из перечисленных видов. Вид средства поиска определяет широту охвата информационных ресурсов интернета данным средством. Слайд № 7

Информационно-поисковая система Слайд № 8 Информационно-поисковая система (ИПС) – это система, обеспечивающая отбор, индексирование и поиск информации на основе индекса документов. Индексировать информацию означает приписать каждому документу ключевые слова, отражающие содержание документа и управляющие поиском, приводя к тем документам, слова которых оказываются более сходными со словами сделанного запроса ИПС, решая задачи сбора, хранения, обработки и выдачи информации, выполняют поиск документов, анализ их содержимого, построение поисковых образов документов (извлечение из документов информации, используемой системой как знания о документе), хранение поисковых образов, анализ запросов пользователей, поиск релевантных (соответствующих) запросу документов и выдачу ссылок на документы пользователям.

Типовая схема ИПС Слайд № 9 Запрос Клиент Информационные ресурсы Роботиндексировщик Пользовательский интерфейс Ответ Поисковая машина Ответ Запрос Индекс документов

Особенности ИПС Слайд № 10 В каждой конкретной поисковой системе хранятся сведения не обо всех документах интернета, а только о тех документах, которые известны данной системе (для различных систем процент проиндексированных документов различен, но, как правило, не превышает 70%). В поисковых системах хранятся не сами документы, а только сведения о них, достаточные для их нахождения пользователем и, как следствие этого, рассматриваемая система в результате поиска может не выдать некоторые соответствующие запросу документы. В результате поиска (отклике на запрос) системой сортируются документы по степени соответствия сделанному пользователем запросу с точки зрения алгоритма поисковой системы, а не с точки зрения их фактического соответствия запросу.

Использование ИПС Слайд № 11 Поисковые системы – это самый объемный источник знаний о страницах (документа) интернета. Выполнять поиск различной информации в интернете в большинстве случаев следует именно с помощью информационно-поисковых систем. По скорости и полноте получения информации на запрос пользователя им нет равных. Многие поисковые системы используют совместно систему поиска и каталог.

Информационно-поисковые системы Популярными информационно-поисковыми системами глобального масштаба в сети интернет являются: n Google (http: //www. google. com) n Bing (http: //search. msn. com/) n Ask. com (http: //www. ask. com) К российским ИПС относятся: n Яndex (http: //www. yandex. ru, http: //www. ya. ru) n Rambler (http: //www. rambler. ru) n Webalta (http: //www. aport. ru/) Слайд № 12

Каталог Слайд № 20 Каталог – это система, обеспечивающая классификацию информации. Его отличительная особенность – наличие иерархии (схемы упорядочения) ресурсов, в которой каждый из ресурсов относится к одному или более разделам. Каталоги хранят описания (аннотации) ресурсов интернета. Они наполняются web-мастерами (людьми, создающими информационные ресурсы) или специальными редакторами, которые просматривают информационные ресурсы сети. В ответ на запрос пользователя каталоги выполняют поиск по этим описаниям. Каталоги автоматически не обнаруживают изменения информационных ресурсов сети.

Типовая схема каталога Слайд № 21 Запрос Информационные ресурсы Технический персонал Пользовательский интерфейс Ответ Гипертекстовые связи Клиент Поисковая машина Ответ Запрос Иерархия информационных ресурсов и их описания

Использование каталога Слайд № 22 При решении поисковой задачи когда требуется найти группу информационных ресурсов на достаточно широкую тему каталог является наиболее лучшим средством для выполнения поиска, например при поиске сайтов, предоставляющих контактную информацию организаций г. Москвы или сайтов электронных СМИ. Результаты поиска в каталогах могут оказаться более осмысленными, так как информационные ресурсы в них подготовлены людьми.

Каталоги Слайд № 23 Электронными каталогами глобального масштаба в сети интернет являются: n Yahoo (http: //www. yahoo. com) n Open Directory (http: //www. dmoz. org) n Look. Smart (http: //www. looksmart. com) К наиболее значимым российским электронным каталогам относятся: n Каталог Яndex (http: //yaca. yandex. ru) n Каталог Mail. ru (http: //www. list. ru/) n Каталог Rambler’s Top 100 (http: //top 100. rambler. ru)

Метапоисковая система Слайд № 28 Метапоисковая система – это надстройка над поисковыми системами и электронными каталогами, которая не имеет собственной базы данных (индекса) и при поиске по поисковому предписанию пользователя автоматически формирует запросы для нескольких внешних средств поиска, а затем также автоматически анализирует полученные от них результаты и выдает список ссылок в порядке, определяемом соотношением рейтингов ответа сразу по нескольким средствам поиска. Отличия в стратегии и широте охвата информационных ресурсов различных поисковых систем часто приводят к тому, что разные средства поиска дают различные ответы на один и тот же запрос. Метапоисковые системы в своей работе используют потенциал других средств информационного поиска.

Типовая схема метапоисковой системы Слайд № 29 Запрос Клиент Пользовательский интерфейс Ответ Поисковая машина Запросы Информационные ресурсы Ответы ИПС 1 Каталог 1 ИПС N Каталог N

Использование метапоисковой системы Слайд № 30 Метапоисковые системы наиболее эффективны на начальных этапах поиска информации. Они позволяют быстро проверить есть ли в интернете необходимая информация и локализовать средства поиска, в которых она присутствует. Метапоисковые системы позволяют сократить время, затрачиваемое на поиск информации, так как при обработке запроса пользователя эти системы одновременно обращаются к нескольким различным средствам поиска.

Виды метапоисковых систем Слайд № 31 Сетевые - доступны через сеть для поиска информации К глобальным метапоисковым системам доступным через интернет относятся: n Meta. Crawler (http: //www. metacrawler. com) n Web. Crawler (http: //www. webcrawler. com) n Search. com (http: //www. search. com) Наиболее известные российские метапоисковые системы: n Meta. Bot. ru (http: //metabot. ru) n Nigma (http: //nigma. ru) Преимуществом российских средств поиска является корректная обработка запроса на национальном языке.

Специализированные средства поиска Слайд № 33 Системы, осуществляющие поиск файлов, например, File. Search. ru (http: //www. filesearch. ru) Системы, обеспечивающие поиск в новостях электронных СМИ, например, Яндекс Новости (http: //news. yandex. ru), Google Новости (http: //news. google. ru) Поиск товаров, например, Яндекс Маркет (http: //market. yandex. ru), Торг. ru (http: //www. torg. ru) Поиск людей, например, POISKI. ru (http: //poiski. ru), Poisk 24 (http: //www. poisk 24. de), Yahoo! People Search (http: //people. yahoo. com)

Специализированные средства поиска Поиск картинок, например, Яндекс Картинки (http: //images. yandex. ru), Google Картинки (http: //images. google. ru) Поиск видео, например, Яндекс Видео (http: //video. yandex. ru), Google Видео (http: //video. google. ru) Слайд № 34

Дополнительные средства и способы поиска Слайд № 36 В интернете можно искать информацию не только поисковыми системами, но и другими способами. В сети много различных сайтов, служб и пользователей, которые могут помочь в поиске. К таким службам можно отнести системы вопрос-ответ, форумы, различные интернет-сообщества (социальные сети), электронную почту, чаты. Все указанные способы получения информации объединяет то, что на ваши вопросы отвечают другие люди (а не программы). Системы вопрос-ответ: Ответы Mail. ru (http: //otveti. mail. ru), Вопросы и ответы Google (http: //otvety. google. ru), Знаток. ru (http: //znatok. ru)

Дополнительные средства и способы поиска Слайд № 37 Данные способы являются дополнительными, поскольку: n они не являются универсальными (накапливают адреса в недостаточном объеме или по узким направлениям); n нет точной гарантии получения ответа на вопрос (вопрос может быть просто проигнорирован), на получение ответа в таких системах иногда можно потратить много времени. Главным преимуществом при использовании дополнительных способов поиска является высокая точность получаемой информации.

Рекомендации к поиску информации Слайд № 40 Убедитесь в правильности написания слова (фразы) запроса. Ваш запрос может быть скорректирован, если слово, в котором ошиблись – общеупотребительное. Редкие слова или фразы могут быть не найдены. При поиске информации, используя поисковые системы, следует знать, что системы обычно отвечают на любой запрос пользователя (ввиду большого объема Интернета) (например, на запрос asgr вкт 5, являющийся, на первый взгляд, бессмысленным набором символов, поисковая система Яндекс нашла 12 web-страниц, в которых это словосочетание встречается). Будьте внимательны.

Рекомендации к поиску информации Слайд № 41 Уточните запрос. Чем точнее фраза запроса, тем больше шансов быстро найти нужную вам информацию, например результаты поиска по запросам стихотворения Есенина и стихотворения Есенина ранних лет будут разными. Используйте синонимы. Если по вашему запросу не была найдена нужная информация, попробуйте уточнить запрос заменой слова на его синоним, например оперативная память или оперативное запоминающее устройство или ОЗУ. Разные слова и фразы выдают разные результаты. Используйте слова, которые могли бы быть использованы на вебсайтах, которые ищете.

Рекомендации к поиску информации Слайд № 42 При составлении запроса всегда необходимо мысленно представить, каким может быть предполагаемое содержание документа. Например, если нужно найти сведения об А. С. Пушкине, то недостаточно просто указать его фамилию в запросе (в списке результата будет много всевозможных учреждений, расположенных на улицах Пушкина в разных городах). Больший эффект принесет поиск, если к фамилии добавить названия произведений поэта. Для поиска текстов произведений, стоит ввести отдельные строки из них (желательно редко используемые в цитатах).

Рекомендации к поиску информации Слайд № 43 Не вводите запрос к поисковой системе в обычной разговорной форме. Так, на запрос Какая погода сейчас в Нижнем Новгороде? будут найдены документы, включающие все слова запроса, а именно, тексты, содержащие данный вопрос (например, тексты литературных произведений). Более эффективным в данном случае будет ввести запрос погода в Нижнем Новгороде, в первой десятке ссылок ответа на который будет требуемая информация. Попробуйте слова запроса записать только малыми буквами – на такой запрос могут быть найдены дополнительные документы.

Рекомендации к поиску информации Слайд № 44 Выполните поиск похожих документов. Если один из найденных документов ближе к искомой теме, чем остальные, нажмите на ссылку «найти похожие документы» . Поисковая система проанализирует страницу и найдет документы, похожие на тот, что вы указали. Но если эта страница была стерта с сервера, а поисковая система еще не успела удалить ее из индекса, то вы получите сообщение «Запрошенный документ не найден» .

Рекомендации к поиску информации Слайд № 45 Используйте знаки «+» и «-» . Чтобы исключить документы, где встречается определенное слово, поставьте перед ним знак минуса. И наоборот, чтобы определенное слово обязательно присутствовало в документе, поставьте перед ним плюс. Обратите внимание, что между словом и знаком плюс-минус не должно быть пробела. Также вы можете использовать другие специальные команды для уточнения запроса. Список их можно найти в справке к системе, как правило, на странице «Язык запросов» .

Рекомендации к поиску информации Слайд № 46 Выполняйте поиск точных фраз. Если вам известна точная фраза, которая должна присутствовать на странице результатов, то укажите ее в запросе, взяв в кавычки. Например, "Широкий простор для мечты и для жизни Грядущие нам открывают года" Используйте региональные поисковые системы. Для получения более полной информации на языке отличном от английского, можно воспользоваться региональными системами, работающими с данным языком. Во многих странах региональные системы имеют широкий охват ресурсов. Самая крупная поисковая система в России – Яндекс (http: //www. yandex. ru).

Рекомендации к поиску информации Слайд № 47 Используйте специализированные поисковые системы. Если вы ищите картинки, видео, товары, карты и некоторые другие сведения, то всю эту информацию найти быстрее с использованием специализированных поисковых систем, предназначенных для этих целей. Многие поисковые системы общего назначения имеют специальные интерфейсы для поиска этих видов информации (смотрите описания конкретных систем). Запрос на поиск в данном случае может быть таким: поиск картинок.

Рекомендации к поиску информации Слайд № 48 Если источником информации является организация, то попробуйте поискать информацию на сайте этой организации. Поисковые системы могут не знать обо всей информации хранимой на сайтах интернета. Перейдите на сайт организации от которой исходила эта информация, возможно там будут подробные сведения о ней. На сайтах бывают локальные системы поиска (выполняющие поиск именно по этому сайту) или можно попробовать найти нужную информацию путем навигации по разделам сайта. Если, например вы слышали передачу по радио и знаете название этой радиостанции. Посмотрите информацию об этой передаче на официальном сайте этой радиостанции.

Рекомендации к поиску информации Слайд № 49 Попросите помощи в поиске информации у других людей. В интернете существуют специальные системы (например, системы вопрос-ответ) в которых одни пользователи могут помочь другим в поиске информации. Может быть люди уже интересовались тем же вопросом, что и вы и знают правильный ответ.

1. Введение

С каждым годом объемы Интернета увеличиваются в разы, поэтому вероятность найти необходимую информацию резко возрастает. Интернет объединяет миллионы компьютеров, множество разных сетей, число пользователей увеличивается на 15-80% ежегодно. И, тем не менее, все чаще при обращении к Интернет основной проблемой оказывается не отсутствие искомой информации, а возможность ее найти. Как правило, обычный человек в силу разных обстоятельств не может или не хочет тратить на поиск нужного ему ответа больше 15-20 минут. Поэтому особенно актуально правильно и грамотно научиться, казалось бы, простой вещи – где и как искать, чтобы получать ЖЕЛАЕМЫЕ ответы.

Чтобы найти нужную информацию, необходимо найти её адрес. Для этого существуют специализированные поисковые сервера (роботы индексов (поисковые системы), тематические Интернет-каталоги, системы мета-поиска, службы поиска людей и т.д.). В данном мастер-классе раскрываются основные технологии поиска информации в Интернете, предоставляются общие черты поисковых инструментов, рассматриваются структуры поисковых запросов для наиболее популярных русскоязычных и англоязычных поисковых систем.

2. Технологии поиска

Web-технология World Wide Web (WWW) считается специальной технологией подготовки и размещения документов в сети Интернет. В состав WWW входят и web-страницы, и электронные библиотеки, каталоги, и даже виртуальные музеи! При таком обилии информации остро встает вопрос: «Как сориентироваться в столь огромном и масштабном информационном пространстве?»
В решении данной проблемы на помощь приходят поисковые инструменты.

2.1 Поисковые инструменты

Поисковые инструменты - это особое программное обеспечение, основная цель которого – обеспечить наиболее оптимальный и качественный поиск информации для пользователей Интернета. Поисковые инструменты размещаются на специальных веб-серверах, каждый из которых выполняет определенную функцию:

1. Анализ веб-страниц и занесение результатов анализа на тот или иной уровень базы данных поискового сервера.
2. Поиск информации по запросу пользователя.
3. Обеспечение удобного интерфейса для поиска информации и просмотра результата поиска пользователем.

Приемы работы, используемые при работе с теми или другими поисковыми инструментами, практически одинаковы. Перед тем как перейти к их обсуждению, рассмотрим следующие понятия:

1. Интерфейс поискового инструмента представлен в виде страницы с гиперссылками, строкой подачи запроса (строкой поиска) и инструментами активизации запроса.
2. Индекс поисковой системы – это информационная база, содержащая результат анализа веб-страниц, составленная по определенным правилам.
3. Запрос – это ключевое слово или фраза, которую вводит пользователь в строку поиска. Для формирования различных запросов используются специальные символы ("", ~), математические символы (*, +, ?).

Схема поиска информации в сети Интернет проста. Пользователь набирает ключевую фразу и активизирует поиск, тем самым получает подборку документов по сформулированному (заданному) запросу. Этот список документов ранжируется по определенным критериям так, чтобы вверху списка оказались те документы, которые наиболее соответствуют запросу пользователя. Каждый из поисковых инструментов использует различные критерии ранжирования документов, как при анализе результатов поиска, так и при формировании индекса (наполнении индексной базы данных web-страниц).

Таким образом, если указать в строке поиска для каждого поискового инструмента одинаковой конструкции запрос, можно получить различные результаты поиска. Для пользователя имеет большое значение, какие документы окажутся в первых двух-трех десятках документов по результатам поиска и на сколько эти документы соответствуют ожиданиям пользователя.

Большинство поисковых инструментов предлагают два способа поиска – simple search (простой поиск) и advanced search (расширенный поиск) с использованием специальной формы запроса и без нее. Рассмотрим оба вида поиска на примере англоязычной поисковой машины.

Например, AltaVista удобно использовать для произвольных запросов, «Something about online degrees in information technology», тогда как поисковый инструмент Yahoo позволяет получать мировые новости, информацию о курсе валют или прогнозе погоды.

Освоение критериев уточнения запроса и приемов расширенного поиска, позволяет увеличивать эффективность поиска и достаточно быстро найти необходимую информацию. Прежде всего, увеличить эффективность поиска Вы можете за счет использования в запросах логических операторов (операций) Or, And, Near, Not, математических и специальных символов. С помощью операторов и/или символов пользователь связывает ключевые слова в нужной последовательности, чтобы получить наиболее адекватный запросу результат поиска. Формы запросов приведены в таблице 1.

Таблица 1

Простой запрос дает некоторое количество ссылок на документы, т.к. в список попадают документы, содержащие одно из слов, введенных при запросе, или простое словосочетание (см. таблицу 1). Оператор and позволяет указать на то, что в содержании документа должны быть включены все ключевые слова. Тем не менее, количество документов может быть все еще велико, и их просмотр займет достаточно времени. Поэтому в ряде случаев гораздо удобнее применить контекстный оператор near, указывающий, что слова должны располагаться в документе в достаточной близости. Использование near значительно уменьшает количество найденных документов. Наличие символа "*" в строке запроса означает, что будет осуществляться поиск слова по его маске. Например, получим список документов, содержащих слова, начинающиеся на "gov", если в строке запроса запишем "gov*". Это могут быть слова government, governor и т.д.

Не менее популярная поисковая система Rambler ведет статистику посещаемости ссылок из собственной базы данных, поддерживаются те же логические операторы И, ИЛИ, НЕ, метасимвол * (аналогично расширяющему диапазон запроса символу * в AltaVista), коэффициентные символы + и -, для увеличения или уменьшения значимости вводимых в запрос слов.

Давайте рассмотрим наиболее популярные технологии поиска информации в Интернет.

2.2 Поисковые машины (search engines)

Машины веб-поиска - это сервера с огромной базой данных URL-адресов, которые автоматически обращаются к страницам WWW по всем этим адресам, изучают содержимое этих страниц, формируют и прописывают ключевые слова со страниц в свою базу данных (индексирует страницы).

Более того, роботы поисковых систем переходят по встречаемым на страницах ссылкам и переиндексируют их. Так как почти любая страница WWW имеет множество ссылок на другие страницы, то при подобной работе поисковая машина в конечном результате теоретически может обойти все сайты в Интернет.

Именно этот вид поисковых инструментов является наиболее известным и популярным среди всех пользователей сети Интернет. У каждого на слуху названия известных машин веб-поиска (поисковых систем) – Яndex, Rambler, Aport.

Чтобы воспользоваться данным видом поискового инструмента, необходимо зайти на него и набрать в строке поиска интересующее Вас ключевое слово. Далее Вы получите выдачу из ссылок, хранящихся в базе поисковой системы, которые наиболее близки Вашему запросу. Чтобы поиск был наиболее эффективен, заранее обратите внимание на следующие моменты:

• определитесь с темой запроса. Что именно в конечном итоге Вы хотите найти?
• обращайте внимание на язык, грамматику, использование различных небуквенных символов, морфологию.Важно также правильно сформулировать и вписать ключевые слова. Каждая поисковая система имеет свою форму составления запроса - принцип один, но могут различаться используемые символы или операторы. Требуемые формы запроса различаются также в зависимости от сложности программного обеспечения поисковых систем и предоставляемых ими услуг. Так или иначе, каждая поисковая система имеет раздел "Help" ("Помощь"), где все синтаксические правила, а также рекомендации и советы по поиску, доступно объясняются (скриншот страничек поисковиков).
• используйте возможности разных поисковых систем. Если не нашли на Яndex, попробуйте на Google. Пользуйтесь услугами расширенного поиска.
• чтобы исключить документы, содержащие определенные термины, используйте знак "-" перед каждым таким словом. Например, если Вам нужна информация о работах Шекспира, за исключением "Гамлета", то введите запрос в виде: "Шекспир-Гамлет". И для того, чтобы, наоборот, в результаты поиска обязательно включались определенные ссылки, используйте символ "+". Так, чтобы найти ссылки о продаже именно автомобилей, Вам нужен запрос "продажа+автомобиль". Для увеличения эффективности и точности поиска, используйте комбинации этих символов.
• каждая ссылка в списке результатов поиска содержит – несколько строчек из найденного документа, среди которых встречаются Ваши ключевые слова. Прежде чем переходить по ссылке, оцените соответсвие сниппета теме запроса. Перейдя по ссылке на определенный сайт, внимательно окиньте взглядом главную страничку. Как правило, первой страницы достаточно, чтобы понять – по адресу Вы пришли или нет. Если да, то дальнейшие поиски нужной информации ведите на выбранном сайте (в разделах сайта), если нет – возвращайтесь к результатам поиска и пробуйте очередную ссылку.
• помните, что поисковые системы не производят самостоятельную информацию (за исключением разъяснений о самих себе). Поисковая система – это лишь посредник между обладателем информации (сайтом) и Вами. Базы данных постоянно обновляются, в них вносятся новые адреса, но отставание от реально существующей в мире информации все равно остается. Просто потому, что поисковые системы не работают со скоростью света.

К наиболее известным машинам веб-поиска относятся Google, Yahoo, Alta Vista, Excite, Hot Bot, Lycos. Среди русскоязычных можно выделить Яndex, Rambler, Апорт.

Поисковые системы являются самыми масштабными и ценными, но далеко не единственными источниками информации в Сети, ведь помимо них существуют и другие способы поиска в Интернете.

2.3 Каталоги (directories)

Каталог Интернет-ресурсов – это постоянно обновляющийся и пополняющийся иерархический каталог, содержащий множество категорий и отдельных web-серверов с кратким описанием их содержимого.Способ поиска по каталогу подразумевает «движение вниз по ступенькам», то есть движение от более общих категорий к более конкретным. Одним из преимуществ тематических каталогов является то, что пояснения к ссылкам дают создатели каталога и полностью отражают его содержание, то есть дает Вам возможность точнее определить, насколько соответствует содержание сервера цели Вашего поиска.

Примером тематического русскоязычного каталога можно назвать ресурс http://www.ulitka.ru/ .

На главной странице данного сайта расположен тематический рубрикатор,

с помощью которого пользователь попадает в рубрику со ссылками на интересующую его продукцию.

Кроме того, некоторые тематические каталоги позволяют искать по ключевым словам. Пользователь вводит необходимое ключевое слово в строку поиска

и получает список ссылок с описаниями сайтов, которые наиболее полно соответствуют его запросу. Стоит отметить, что этот поиск происходит не в содержимом WWW-серверов, а в их кратком описании, хранящихся в каталоге.

В нашем примере в каталоге также имеется возможность сортировки сайтов по количеству посещений, по алфавиту, по дате занесения.

Другие примеры русскоязычных каталогов:
Каталог@Mail.ru
Weblist
Vsego.ru
Cреди англоязычных каталогов можно выделить:
http://www.DMOS.org
http://www.yahoo.com/
http://www.looksmart.com

2.4 Подборки ссылок

Подборки ссылок – это отсортированные по темам ссылки. Они достаточно сильно отличаются друг от друга по наполнению, поэтому чтобы найти подборку, наиболее полно отвечающую Вашим интересам, необходимо ходить по ним самостоятельно, дабы составить собственное мнение.

В качестве примера приведем Подборку ссылок "Сокровища Интернет" АО "Релком"

Пользователь, нажимая на любую из заинтересовавших его рубрик

Информационные технологии поиска информации

Поиск информации: основные понятия, виды и формы организации

Поиск информации или информационный поиск представляет один из основных информационных процессов. Человечество издревле занималось им. Цели, возможности и характер поиска всегда зависели от наличия, информации, её важности и доступности, а также средств организации поиска.

Конец XX – начало XXI века, характеризуется огромными массивами постоянно растущей разнообразной информации, доступной и представляющей интерес для самых широких слоев социума. Более того, Интернет-технологии и программно-технические средства, также доступные большинству людей, позволяют осуществлять данный процесс в любое время, практически в любом месте по любым запросам.

Поиск – процесс, в ходе которого в той или иной последовательности производится соотнесение отыскиваемого с каждым объектом, хранящимся в массиве. Цель любого поиска заключается в потребности, необходимости или желании находить различные виды информации, способствующие получению лицом, осуществляющим поиск, нужных ему сведений, знаний и т.д. для повышения собственного профессионального, культурного и любого иного уровня; создания новой информации и формирования новых знаний; принятия управленческих решений и т.п.

По оценке специалистов в Интернете работают миллиарды пользователей. Из них сотни миллионы – в режиме онлайн (англ. "on-line" – интерактивный доступ в любой момент времени) и количество таких пользователей постоянно растет. Это затрудняет организацию оперативного поиска и нахождения нужной такому количеству пользователей информации. Возникают проблемы, обусловленные разнообразными возможностями (видами) поиска информации, различными способами их реализации в информационно-поисковых системах (ИПС), разным уровнем знаний пользователей о возможностях таких систем, особенно в области формирования запросов и обработки данных, полученных в результате выполнения этих запросов и т.д.

Предполагается, что в дальнейшем будут созданы ИПС, способные автоматически адаптироваться с учетом уровня знаний и запросов конкретных пользователей, воспринимать запросы на естественном языке и, используя искусственный интеллект, выдавать им релевантную и пертинентную информацию. Для создания таких ИПС потребуются интеллект и знания конкретных пользователей ИПС или их посредников. Пока же от широкого круга пользователей поисковых систем требуется достаточно хорошо владеть данной предметной областью.

Существуют различные толкования термина "поиск информации" или "информационный поиск".

Термин " информационный поиск " (англ. "information retrieval") ввёл американский математик К. Муэрс. Он заметил, что побудительной причиной такого поиска является информационная потребность , выраженная в форме информационного запроса. К объектам информационного поиска К. Муэрс отнес документы, сведения об их наличии и (или) местонахождении, фактографическую информацию.

Решать проблемы фактографического поиска первыми стали представители библиотек. Они разработали средства информационного поиска, получившие название " справочно-поисковый аппарат " (каталоги, библиографические указатели и др.). В профессиональной отечественной печати данный термин используется с 1970-х годов. Библиотекари определяют " информационный поиск " как нахождение в информационном массиве документов , соответствующих информационному запросу пользователей .

С точки зрения использования компьютерной техники " информационный поиск " – совокупность логических и технических операций, имеющих конечной целью нахождение документов, сведений о них, фактов, данных, релевантных запросу потребителя.

" Релевантность " – устанавливаемое при информационном поиске соответствие содержания документа информационному запросу или поискового образа документа поисковому предписанию.

Существуют и другие определения. В любом случае, информационный поиск вызван потребностью удовлетворения информационных запросов пользователей, ожидающих с помощью поисковых систем оперативно получить необходимые им данные или сведения. Он является методом нацеленного поиска и извлечения релевантных документов и (или) фактов из различных источников информации, например, банков данных или запоминающих устройств. В качестве таковых выступают живые и неживые объекты, представляющие различные источники и носители информации.

Системы, обеспечивающие реализацию подобного поиска информации, называются поисковыми системами (ПС). В традиционных технологиях ПС представляют картотеки и каталоги, адресные и иные справочники, указатели, энциклопедии, справочный аппарат к изданиям и другие материалы.

В 1945 годы американский ученый и инженер В. Буш в статье "Возможный механизм нашего мышления" впервые широко поставил вопрос о необходимости механизации информационного поиска.

Начиная с 1960 годов, появляются автоматизированные поисковые системы, работающие с информацией. С этого периода ведутся интенсивные работы в области формирования и реализации принципов и методов информационного поиска.

" Поисковые системы " осуществляют поиск среди документов базы или иных массивов машиночитаемых данных, содержащих заданные слова.

Электронные ПС с помощью обычных или интеллектуальных терминалов (ПЭВМ) дают возможность пользователям производить поисковые запросы при помощи формальных и описывающих содержание элементов и с применением специальных логических операторов; осуществляют поиск среди документов базы или иных массивов машиночитаемых данных, содержащих заданные слова. Поисковые системы позволяют осуществлять только поисковые процедуры и связанные с ними процессы.

Информационно-поисковые системы

ПС с большим набором функций и возможностей обычно входят в состав СУБД и именуются информационно-поисковыми системами. Они также создаются и используются для эффективного нахождения пользователями необходимых им данных, в том числе в Интернете.

Терминологически " информационно-поисковая система " (англ. "information retrieval system", IRS) – представляет систему, предназначенную для поиска и хранения информации; пакет программного обеспечения, реализующий процессы создания, актуализации, хранения и поиска в информационных базах и банках данных.

Информационно-поисковая система трактуется и как система, обеспечивающая поиск и отбор необходимых данных на основе информационно-поискового языка и соответствующих правил поиска, а база данных – как совокупность средств и методов описания, хранения и манипулирования данными, облегчающих сбор, накопление и обработку больших информационных массивов. Организация различных БД отличается видом объектов данных и отношений между ними.

Функционирование современных ИПС основано на двух предположениях:

документы, необходимые пользователю, объединены наличием некоторого признака или комбинации признаков;

пользователь способен указать этот признак.

Оба эти предположения на практике не выполняются, и можно говорить только о вероятности их выполнения. Поэтому, процесс поиска информации обычно представляет собой последовательность шагов, приводящих при посредстве системы к некоторому результату, и позволяющих оценить его полноту. При этом поведение пользователя, как организующее начало управления процессом поиска, мотивируется не только информационной потребностью, но и разнообразием стратегий, технологий и средств, предоставляемых системой.

Пользователь обычно не имеет исчерпывающих знаний об информационном содержании ресурса, в котором проводит поиск. Оценить адекватность выражения запроса, как и полноту получаемого результата, он может, отыскав дополнительные сведения, или так организовав процесс, чтобы часть результатов поиска могла использоваться для подтверждения или отрицания адекватности другой части. В то же время, для пользователей-профессионалов характерна устойчивость тематического профиля. Когда они являются "информационно-ориентированными", то им свойственно желание и способность организовать информационное пространство проблемы. Это означает, что пользователь создаёт по существу новый, "самостоятельный" проблемно-ориентированный, индивидуально обновляемый и пополняемый ИР, включающий помимо подборок документов также и метаинформацию, например, словари специальной терминологии, классификаторы предметных областей, описания ресурсов и т.д.

Особенность работы пользователя в режиме "самообслуживания", в контексте задачи автоматизации совокупной деятельности, означает, что система должна представлять среду, обеспечивающую поддержку функций потребителя по обработке найденной информации, а также традиционно относящихся к функциям информационного посредника (интерпретация запроса, его перевод на информационно-поисковый язык, выбор ИР, автоматизированный поиск и ручной отбор материалов), но также и такие "обеспечивающие" функции, как: структурирование информационной потребности, лексическая адаптация запроса, оценка, систематизация и обработка результатов поиска, причём на уровне как отдельного документа, так и информационных ресурсов в целом. Технические возможности, которыми располагает пользователь, позволяют ему создавать информационный ресурс – формировать массивы, систематизировать и создавать внешние представления их содержания для собственного или внешнего использования.

ИПС делятся на: традиционные (ручные, механические, электромеханические) и автоматизированные (электронные).

Автоматизированные ИПС (АИПС), используют компьютерные программно-технические средства и технологии и предназначаются для нахождения и выдачи пользователям информации по заданным критериям. Определяющими для понимания методов автоматизации поиска являются два следующих фактора:

сравниваются не сами объекты, а описания – так называемые "поисковые образы";

сам процесс является сложным (составным и не одноактным) и обычно реализуется последовательностью операций.

Данные в АИПС вводятся на основе специально разрабатываемых форматов ввода. Все сведения об одном объекте в ИПС представляются в виде систематизированных данных, образующих одну строку таблицы и называются записью . При этом, если ИПС представляет электронный каталог библиотеки, то любое библиографическое описание (БО) документа в нём – это одна запись, состоящая из полей, равных количеству элементов БО. Совокупность записей образует БД, которая, как правило, хранится в одном файле. Совокупность БД, объединенных одной СУБД, образует банк данных.

Поскольку АИПС инструмент, используемый человеком при поиске (а не интеллектуальным автомат для поиска информации – готовых решений задач основной деятельности), эффективность её использования зависит от того, насколько хорошо человек знает природу операционных объектов и свойства инструмента, посредством которого он работает с этими объектами.

Информационный поиск подразумевает использование определённых стратегий, методов, механизмов и средств. Поведение пользователя, осуществляющего управление процессом поиска, определяется не только информационной потребностью, но и инструментальным разнообразием системы – технологиями и средствами, предоставляемыми системой.

Стратегия поиска – общий план (концепция, предпочтение, установка) поведения системы или пользователя для выражения и удовлетворения информационной потребности пользователя, обусловленный как характером цели и видом поиска, так и системными "стратегическими" решениями – архитектурой БД, методами и средствами поиска в конкретной АИПС.

Выбор стратегии в общем случае является оптимизационной задачей. На практике в значительной степени он определяется искусством достижения компромисса между практическими потребностями и возможностями имеющихся средств.

Метод поиска – совокупность моделей и алгоритмов реализации отдельных технологических этапов: построения поискового образа запроса (ПОЗ), отбора документов (сопоставление поисковых образов запросов и документов), расширения и реформулирования запроса, локализации и оценки выдачи.

Поисковый образ запроса – записанный на ИПЯ текст, выражающий смысловое содержание информационного запроса и содержащий указания, необходимые для наиболее эффективного осуществления информационного поиска.

Методы поиска, т.е. выделение подмножества документов, потенциально содержащих описание решения задачи отбора документов (ОД), являются отражением процесса нахождения решения и зависят от характера задачи и предметной области.

Рассматривая поиск как итеративный процесс, методы сокращения пространства перебора (просматриваемого подмножества) образуют по существу методологическую основу стратегии поиска и могут быть разделены на следующие классы – методы поиска в:

одном пространстве (обычно, тематическом);

иерархически упорядоченном пространстве;

альтернативных пространствах;

динамическом (изменяющемся в процессе поиска) пространстве.

Реализуемый метод построения ПОЗа должен обеспечивать эффективные способы построения запроса для достижения целей различного типа.

Механизмы поиска – совокупность реализованных в системе моделей и алгоритмов процесса формирования выдачи документов в ответ на поисковый запрос.

Средства поиска , с одной стороны, – взаимозависимый комплекс информационно-поисковых языков (ИПЯ) и языков определения/управления данными, обеспечивающий структурные и семантические преобразования объектов обработки (документов, словарей, совокупностей результатов поиска), а с другой, – объекты пользовательского интерфейса, обеспечивающие управление последовательностью выбора операционных объектов конкретной АИПС.

Поисковые технологии – унифицированные (оптимизированные в рамках конкретной АИПС) последовательности эффективного использования отдельных средств поиска в процессе взаимодействия пользователя с системой для устойчивого получения конечного и промежуточных результатов.

Навигация как реализация процесса поиска по запросу в выбранной БД – целенаправленная, определяемая стратегией, последовательность использования методов, средств и технологий конкретной АИПС для получения и оценки результата.

Средства навигации позволяют пользователю осуществлять управление процессом поиска. Они предоставляются пользователю в виде интерфейса , позволяющего организовать более или менее эффективный процесс взаимодействия с БД. При этом "дружественность" интерфейса характеризуется не только эргономичностью и понятностью, но и вариантностью выбора операционных объектов.

Процесс поиска информации представляет последовательность шагов, приводящих при посредстве системы к некоторому результату, и позволяющих оценить его полноту. Так как пользователь обычно не имеет исчерпывающих знаний об информационном содержании ресурса, в котором проводит поиск, то оценить адекватность выражения запроса, равно как и полноту получаемого результата, он может, основываясь лишь на внешних оценках или на промежуточных результатах и обобщениях, сопоставляя их, например, с предыдущими.

Процесс поиска можно представить в виде следующих основных компонент:

формулирование запроса на естественном языке, выбор поисковых системы и сервисов, формализация запроса на соответствующем ИПЯ;

проведение поиска в одной или нескольких поисковых системах;

обзор полученных результатов (ссылок);

предварительная обработка полученных результатов: просмотр содержания ссылок, извлечение и сохранение релевантных и пертинентных данных;

при необходимости, модификация запроса и проведение повторного (уточняющего) поиска с последующей обработкой полученных результатов.

Для уменьшения объёма отобранных материалов осуществляют фильтрацию результатов поиска по типу источников (сайтов, порталов), тематике и другим основаниям.

По используемым поисковым технологиям ИС можно разбить на 4 категории:

Тематические каталоги;

Специализированные каталоги (онлайновые справочники);

Поисковые машины (полнотекстовый поиск);

Средства метапоиска.

В Интернете ИПС размещается на одном или нескольких серверах. В ИПС собирается, индексируется и регистрируется информация о документах, имеющихся в обслуживаемой системой группе веб-серверов. В документах индексируются все значащие слова или только слова из заголовков.

Тематические каталоги предусматривают обработку документов и отнесение их к одной из нескольких категорий, перечень которых заранее задан. Фактически это индексирование на основе классификации. Индексирование может проводиться автоматически или вручную с помощью специалистов, просматривающих популярные веб-узлы и составляющих краткое описание документов-резюме (ключевые слова, аннотация, реферат).

Специализированные каталоги или справочники создаются по отдельным отраслям и темам, по новостям, по городам, по адресам электронной почты и т. п.

Поисковые машины (самое развитое средство поиска в Интернете) реализуют технологию полнотекстового поиска. Индексируются тексты, расположенные на опрашиваемых серверах. Индекс может содержать информацию о нескольких миллионах документов. Например, в индексе популярной ИПС "AltaVista" более 56 млн. URL-адресов.

При использовании средств метапоиска запрос осуществляется одновременно несколькими поисковыми системами. Результат поиска объединяется в общий, упорядоченный по степени релевантности список. Каждая система обрабатывает только часть узлов сети, что позволяет расширить базу поиска. К подобному классу можно отнести и "персональные программы поиска", позволяющие формировать свои собственные инструменты метапоиска (например, автоматически опрашивать часто посещаемые узлы).

Базы информационных данных могут содержать практически любые виды информации, в том числе в любой комбинации. Информационный поиск осуществляется как по существующим в полнотекстовых ЭИР терминам, так и по специальным элементам, входящим в состав ИПЯ. Для формирования запросов используются специальные информационно-поисковые языки.

ИПС внутри найденной выборки обычно пытаются расположить документы в порядке их " релевантности ", то есть близости к введенному пользователем запросу. Критериев такой близости много и выявление близких "по смыслу" к запросу документов не решает проблемы получения информации при отсутствии релевантного документа. Подобная ситуация достаточно тривиальна, в том числе и потому, что пользователь зачастую ищет документ, который сам собирается написать. Следует отметить, что в результате проведенного поиска пользователь может получить как релевантные, пертинентные, так и нерелевантные и непертинентные подмассивы данных.

ИПС фактически являются системами информационного обеспечения и представляют собой базы и банки данных. В качестве объекта в них выступает индивид, организация, отрасль, регион и т.п. Субъектом информационного обеспечения является специалист-информатик, любой потребитель информации.

Организация поиска

Предлагается процедуру поиска необходимой информации разделить на девять основных этапов:

Определение области знаний;

Выбор типа и источников данных;

Сбор материалов необходимых для наполнения информационной модели;

Отбор наиболее полезной информации;

Выбор метода обработки информации (классификация, кластеризация, регрессионный анализ и т.д.);

Выбор алгоритма поиска закономерностей;

Поиск закономерностей, формальных правил и структурных связей в собранной информации;

Творческая интерпретация полученных результатов;

Интеграция извлеченных "знаний".

Для проведения поиска первоначально на компьютере пользователя загружается интерфейс работы с соответствующей БД. Это может быть локальная или удалённая БД. Первоначально следует определиться с видом поиска (простой, расширенный и т.д.). Затем с набором предлагаемых для поиска полей. ИПС могут предложить для ввода одно или несколько полей. В последнем случае это обычно поля: автора, заглавия (названия), временного периода, вида документа, ключевых слов, рубрик и др. При формировании запроса практически все системы позволяют использовать логические элементы "И", "ИЛИ", "НЕТ".

Технологии поиска информации

Поисковые средства и технологии, используемые для реализации информационных потребностей, определяются типом и состоянием решаемой пользователем задачи основной деятельности: соотношением его знания и незнания об исследуемом объекте. Кроме того, процесс взаимодействия пользователя с системой определяется уровнем знания пользователем содержания ресурса (полноты представления, достоверности источника и т.д.) и функциональных возможностей системы как инструмента. В целом эти факторы обычно сводятся к понятию "профессионализма" – информационного (подготовленный/неподготовленный пользователь) и предметного (профессионал/непрофессионал) " профессионализма ".

Процесс поиска информации обычно носит эмпирический характер. Он представляет последовательность шагов, приводящих при посредстве системы к некоторому результату, позволяющих оценить его полноту. При этом поведение пользователя, как организующее начало управления процессом поиска, мотивируется не только информационной потребностью, но и разнообразием стратегий, технологий и средств, предоставляемых системой.

Обычно пользователь не имеет исчерпывающих знаний об информационном содержании ресурса, в котором проводит поиск, поэтому оценить адекватность выражения запроса, как и полноту получаемого результата, он может, отыскав дополнительные сведения, или организовав процесс так, чтобы часть результатов поиска могла использоваться для подтверждения или отрицания адекватности другой части.

Операционными объектами, непосредственно участвующими во взаимодействии пользователей с поисковой системой являются поисковый образ документа (ПОД) и ПОЗ, соответствие которых устанавливается поисковым механизмом АИПС на формальном уровне. Адекватность образа действительному содержанию документа определяется качеством процесса свертки информации и уровнем знания субъектом средств отражения – концептуальной схемы предметной области и возможностей ИПЯ.

Поисковый образ документа – описание документа, выраженное средствами ИПЯ и характеризующее основное смысловое содержание или какие-либо другие признаки этого документа, необходимые для его поиска по запросу.

Большинство ПС изначально предлагают пользователям либо БО, либо ссылки на полные или частичные документы, их описание и другое, хранящиеся в различных АИПС. Современные ПС позволяют определиться и указать какой и в каком виде источник информации интересует пользователя.

Методы обработки результатов поиска

По характеру преобразований (в контексте дальнейшего использования результатов обработки) методы обработки результатов поиска можно условно разделить на две группы:

Структурно-форматные преобразования;

Структурно-семантические преобразования (информационно-аналитические, логико-семантические).

Реализация поиска

Что обычно ищут в Интернете: персональные данные об индивидуумах и организациях; различные адресные данные; конкретные материалы (статьи, книги, фотографии, справочные данные, программное обеспечение и др.) в том числе место их хранения; где и сколько стоят те или иные материалы, услуги, продукты и т.п.; информационные сайты и порталы и др.

Общепринята организация поиска по начальным фрагментам слова (поиск с усечением справа), например, вместо слова "библиотечный" можно ввести его фрагмент "библиоте*". При этом будут найдены документы, в которых содержится не только слово "библиотечный", но и "библиотека", "библиотекарь", "бибилотековедение" и др. В каждом случае пользователь должен представлять, что именно он хочет найти, так как в предложенном ему варианте будет найдено гораздо большее количество документов, чем при задании данного слова полностью (без усечения). В подобном случае возможно в полученном массиве информации провести уточняющий поиск и в результате получить более релевантные и пертинентные данные.

Оформление результатов

С точки зрения ИПС результат поиска в ней есть совокупность (подмножество) найденных документов или ссылок на них. Обычно он представляется пользователю в виде списка. То есть простейшей выходной формой в данном случае будет список ссылок в виде полных или частичных БО, найденных ИР. Такой список может быть тут же распечатан или послан на какой-либо адрес электронной почты, если такая возможность предоставляется ИПС и пользователь подключен к Интернету.

Графические и полнотекстовые ЭИР могут предлагаться пользователю только для просмотра, для копирования в различных форматах и масштабах, причём полностью или частично. Графические ИР обычно существуют в общепринятых форматах типа: JPG, GIFF, TIFF, BMP и др., а для текстовых материалов обычно используют текстовые форматы TXT, DOC и др., HTML и PDF – фактически графический формат, в котором могут сохраняться как текстовые, так и графические данные.

Полученные в результате поиска документы сохраняют.

Критерии оценки поиска

Критерием результата поиска является получение пользователем списка документов, одного документа или их частей, максимально удовлетворяющего его потребностям, сформулированным в поисковом запросе. В ИПС принято формировать список полученных в результате поиска документов по их релевантности. Различают критерии смыслового и формального соответствия между поисковым предписанием и выдаваемым документом.