Интернет-поисковики: как устроены, как работают и как ими пользоваться с максимальной эффективностью

Обращаясь к интернет-поиску, мало кто задумывается о процессах, происходящих в этом самом сложном веб-приложении. CHIP расскажет, что влияет на список ответов и как меняются механизмы поисковиков. Сравнительно недавно поисковые системы Google и «Яндекс» изменили алгоритмы своей работы. На данный момент эти интернет-сервисы представляют собой набор баз данных и приложений с искусственным интеллектом, причем алгоритм поиска в них постоянно совершенствуется, становясь, с одной стороны, ближе к запросам пользователей, а с другой — ориентированным на собственные рекламные ресурсы.

С приходом коммерции в Интернет поисковые системы стали главным инструментом продвижения бизнеса в Сети. А алгоритмы работы поиска — своеобразное «Кольцо Всевластия», которое вожделеют все. Завладев им, можно вывести свой сайт в топ выдачи, «утопить» конкурентов, сделать из своего небольшого предприятия огромный холдинг. За то, чтобы попасть в первые строки поисковиков, борются все участники Сети. Однако влиять на результаты поиска интернет-коммерсанты, к счастью, могут только косвенно. А когда значительное количество участников начинает понимать алгоритм работы системы, он меняется.

Поисковых сервисов существует множество, но большинство российских пользователей предпочитают национальный ресурс «Яндекс» (51%). Еще около 35% использует сервис Google, а оставшиеся 14% приходится на все остальные: наиболее активно из всех прочих систем задействуются «Поиск Mail.ru» и Rambler — самый первый российский поисковик. Впрочем, долю Rambler (1,1%) можно смело приплюсовать «Яндексу», так как с 2011 года система использует для поиска технологии «Яндекса» и входит в его же рекламную сеть. А вот Mail.ru в 2010 году сменила движок «Яндекса» на собственный, и уже через два с половиной года доля этого поисковика увеличилась на 2% и составила 8,6%. На украинском рынке интернет-поиска ведущими игроками также являются «Яндекс» и Google, пусть и с обратным соотношением долей рынка — 30,2% и 58,7% соответственно.

Кроме того, именно на «Яндекс» и Google ориентируются люди, чья профессия — «раскручивать» сайты в Сети. Их называют оптимизаторами, или SEO-специалистами (Search Engine Optimization — оптимизация для поисковых систем).

Борьба: за чистоту или деньги?

С развитием Интернета онлайн-торговля стала весьма прибыльным делом, и продавать товары в Сети помогает именно поисковая система. Офлайн-реклама в этом отношении не так эффективна, ведь человеку сегодня проще ввести в строку поисковика слово «смартфон» и получить в выдаче магазины, торгующие мобильными устройствами. При этом пользователь не обременяет себя трудом вручную набирать в адресной строке название сайта, которое к тому же лень запоминать.

Однако поисковая система не может обеспечить всем магазинам желанное первое место в списке выдачи — в нем оказывается не одна сотня адресов. При этом никто не хочет быть даже на второй странице, куда пользователь может и не заглянуть. Поэтому началась самая настоящая война между поисковыми системами и оптимизаторами. Поисковики постоянно усложняли методы ранжирования, а оптимизаторы разными ухищрениями находили пути к первым строкам в выдаче. Алгоритмы «Яндекса» долгое время были сложнее, чем у Google. Американский поисковик еще недавно ставил на первые места страницы, на которые ссылалось большее количество других сайтов. С точки зрения SEO-оптимизатора соответствовать таким условиям очень просто: существуют биржи, где можно закупить или продать ссылки с сайтов. Это значит, что обеспечить себе одно из первых мест в Google можно, закупив большой объем ссылок на такой бирже — кто больше заплатил, тот и будет лидером. Некоторое время назад это утверждение было верным, однако осенью 2012 года разработчики поисковиков запустили очередные связки фильтров, начав новый виток противостояния. Хорошо раскрученные ресурсы «обрушились», при этом особенно поучительно смотрелось падение позиций сайтов некоторых крупных SEO-организаций, например bdbd.ru, и страниц их клиентов.

На этом фоне казались правдой громкие заявления: «Поисковые системы делают все, чтобы клиент, после мучительных обращений к сторонним компаниям, все же дал платную рекламу поисковой фирме». Тут нужно сделать пояснение. У поисковиков имеются модули контекстной рекламы: у «Яндекса» такой сервис называется «Директ», а у Google — «Adwords». Для их использования необходимо оплачивать показ рекламы по тому или иному запросу. Эти объявления располагаются сбоку и в самом верху выдачи результатов, при этом они не слишком очевидно отмечены как реклама.

В действительности у поисковых систем другая задача: они хотят заинтересовать пользователя работать именно с их сервисом, а для этого нужно обеспечить «чистую» выдачу — то есть без сайтов, которые неинтересны и попали в топ исключительно благодаря хитростям оптимизатора. Если пользователей будет устраивать выдача, то доля системы в Рунете возрастет, а доходы от рекламы, соответственно, станут выше.

В сервисе Google результаты поиска, расположенные на кремовой подложке, — рекламные объявления, которые трудно не заметить. Яндекс действует несколько иным образом: даже если вы искали техническую информацию о каком-то товаре, вам сначала предложат рекламу магазинов, где он продается От запроса до выдачи

Поисковые сервисы постоянно модернизируют свои алгоритмы, оставляя оптимизаторам все меньше шансов попасть в топ результатов поиска.

Каким же образом поисковикам удается проверять содержание и ранжировать такое большое количество сайтов, причем делать это без ошибок? На сегодняшний день схема выглядит так: поисковая система имеет множество роботов, которые собирают информацию об интернет- страницах в Сети и заносят данные в единую базу. После того как пользователь отправляет запрос, поисковик ищет в своей базе совпадения с введенной информацией и пропускает полученные сведения через различные фильтры.

Чтобы выстроить в выдаче очередь из сайтов, нужно определить, какой из них наиболее соответствует запросу. Во время индексации система буквально «читает» тексты внутри страниц сайта, проверяет, какое количество других ресурсов ссылается на те или иные страницы, анализирует код и т. д. Если сервис насчитал слишком большое количество ключевых слов в тексте (это явно указывает на стремление искусственно повысить релевантность страницы запросу), срабатывает один из фильтров, и вместо первого места такой сайт попадает на вторую страницу выдачи. А некоторые страницы теряют свой значительный «вес» еще до расчета релевантности: привести к этому может резкое повышение количества входящих ссылок или другие очевидные факторы накрутки значимости. Такой сайт попадает под постоянное действие фильтра, и санкции не будут отменены до исправления ситуации. При этом стоит отметить, что снятие санкций после наведения порядка оптимизатором может занять до полугода. Поисковые системы даже научились определять сайты, принадлежащие одной компании, которая стремится забить ими всю выдачу. Надо заметить, что «Яндекс» вычисляет хитрецов куда эффективнее, чем Googlе, и использует для этого не только прямые предпосылки, вроде одинаковых контактных данных (как это было раньше), но и косвенные, такие как одинаковый хостинг, одна и та же CMS, похожие дизайн и ассортимент товаров.

Стоит упомянуть еще один из этапов — фильтрацию геозависимых запросов. Предположим, вам нужно купить чайник в Москве — в этом случае правильно оптимизированный сайт, предлагающий чайники в Петербурге, будет исключен из выдачи. Этими и подобными методами поисковым системам удается предоставить пользователю именно то, что он искал. А сайты, которые сделаны лишь с одним расчетом — как можно быстрее оказаться в топе, даже в ущерб качеству наполнения, сегодня отодвигаются на второй план выдачи или вовсе блокируются в результатах поиска. Конечно, пока еще не все гладко, но абсолютно релевантные выдачи результатов уже не за горами.

Персонализация результатов

Крупные поисковые сервисы предоставляют своим пользователям услугу персональной выдачи, которая включена по умолчанию. Это значит, что в результатах выдачи вы прежде всего увидите сайты, которые часто посещаете, если они соответствуют поисковому запросу, а также страницы, которые поисковик считает наиболее для вас подходящими.

Например, в своих поисковых запросах вы часто интересуетесь фильмами и заходите на ресурсы, посвященные кинотематике. Тогда по запросу «Матрица» вы увидите в выдаче порталы kinopoisk.ru, imdb.com и т. п. При этом фотолюбитель получит набор сайтов с исчерпывающей информацией о матрицах в фотоаппаратах. В Google предположения о ваших предпочтения формируются еще и на основе схожести интересов. Если Саша зачастую ищет то же, что и Петя, то и предпочтения Пети будут учитываться при выдаче результатов Саше. Например, если Саша впервые заинтересовался той или иной тематикой, в выдаче он получит то, что понравилось Пете. Но в этом случае нужно быть авторизованным пользователем. В «Яндексе» персонализация работает и без авторизации, однако «свежие» запросы показываются без учета предпочтений. Новому алгоритму поискового сервиса «Яндекса» было дано название «Калининград», и многие оптимизаторы окрестили его «концом SEO». Зато пользователь стал находить то, что нужно, гораздо быстрее. В итоге компания сумела извлечь выгоду и одновременно угодить пользователям.

Делаем поиск комфортнее

Работа с поисковой системой может стать более удобной как за счет настройки самих поисковых систем, так и установки дополнений для браузера.

Отключаем персонализацию в поисковиках

По замыслу разработчиков поисковых систем, услуга персонализации, основанная на истории ваших поисковых запросов, должна помочь в получении более релевантных результатов — иными словами, отслеживать ваши интересы. На деле же круг выдаваемых данных может, наоборот, сузиться, а пользователю будут демонстрироваться рекламные предложения и сайты, содержащие информацию и товары, которые он уже давно нашел.

НАСТРОЙКА ПОИСКА «ЯНДЕКСА» В данном сервисе услуга персонализации навязана изначально, но ее можно отключить в настройках поисковой системы. Чтобы зайти в меню, наберите в поисковой строке «Настройка Яндекса», нажмите «Enter», выберите первый результат и на открывшейся странице пройдите по ссылке «Настройка результатов поиска». В разделе «Страница результатов» вы можете отключить показ графических баннеров, а в разделе «Персональный поиск» — учет истории поиска и любимые сайты в подсказках.

НАСТРОЙКА ПОИСКА GOOGLE В этой поисковой системе результаты, на основе которых выполняется персонализация, зависят от того, выполнен ли вход в аккаунт Google при поиске. Если пользователь авторизован, история поиска учитывается. Вы можете отключить ее запись.

Для этого нажмите на значок шестеренки в правом верхнем углу страницы результатов поиска и выберите пункт «История веб-поиска». Здесь снова кликните по значку шестеренки в верхнем углу и перейдите в «Настройки». Измените значение параметра «Запись истории поиска включена» на «Отключить».

Если вход в аккаунт не выполнен, то персонализация поиска Google осуществляется на основе данных, предоставленных вашим браузером в файлах cookie, которые можно периодически удалять программами-чистильщиками — например, CCleaner. Кроме того, навсегда отключить персонализацию интернет-рекламы на основе данных cookies можно с помощью установки расширения «Маскировка».

Вооружаем браузеры

Плагин AdBlock позволяет заблокировать загрузку и показ рекламы как на страницах сайтов, так и в поисковой выдаче. Блокиратор можно установить в качестве дополнения в браузере Opera. Для этого откройте «Инструменты | Расширения», выполните поиск по названию, найдите плагин в результатах и кликните справа по кнопке «Добавить в Opera».

В Chrome, чтобы установить аналогичное расширение, кликните по кнопке в правом верхнем углу, затем в меню «Инструменты | Расширения | Еще расширения» найдите плагин, после чего нажмите справа кнопку «Установить». Для Firefox это дополнение устанавливается аналогичным образом.

Расширение Google Analytics 0.9.0 работает более «ювелирно» — оно передает в код JavaScript Google Analytics (ga.js) сведения о том, что для данного пользователя не следует отправлять информацию в соответствующий сервис Google.

Просмотр списка результатов

Thumbnail Zoom Plus 2.3 Поисковые системы в выдаче показывают также миниатюры видеофайлов и изображений, соответствующих запросу. Владельцы Firefox после установки дополнения Thumbnail Zoom Plus смогут лишний раз не переходить на сайт, где размещены видео или картинка: достаточно навести на миниатюру курсор, чтобы началось воспроизведение или изображение развернулось в полный размер. Плагин позволяет работать не только с «Яндексом» и Google, но и Facebook, IMDb, YouTube, Wikipedia и многими другими сайтами. Скачать дополнение можно по короткой ссылке b23.ru/y9oq.