Библия интернет-маркетолога

Часть 2
SEO-продвижение

Глава 1
Структура поисковой системы

SEO (Search Engine Optimization), а также SEO-продвижение или поисковая оптимизация – это набор действий, которые помогают увеличить «привлекательность» вашего интернет-ресурса в «глазах» поисковых систем. Это обязательный пункт при работе с сайтом, потому что от него зависит, сколько потенциальных клиентов привлечет ваш интернет-магазин.

Когда пользователь введет поисковый запрос – определенный набор слов – грамотно оптимизированный сайт окажется на более высоких позициях в результатах поиска, а значит, получит больше трафика с запроса. Добиться этого можно только двумя способами: оплатить рекламу (и в этом случае ссылка на ваш сайт будет отмечена специальным указанием) либо качественно проработать сайт.

Теперь давайте разбираться с основными понятиями, которые связаны с темой SEO.

Термин «поисковая система» всем знаком – это привычные каждому пользователю интернета «Яндекс», Google, Yahoo, Bing, Baidu и т. п.

Поисковый запрос – слово или словосочетание, которые пользователь вводит в поисковой строке поисковой системы. На рис. 5 «купить слона» – поисковый запрос пользователя.

Рис. 5. Пример поискового запроса пользователя.

Теперь рассмотрим структуру поисковой системы, с которой сталкивается любой человек, открывший поисковик (рис. 6).

Рис. 6. Структура выдачи поисковой системы.

Строка ввода поисковой системы – основное поле, в которое пользователь вводит поисковый запрос (слово, словосочетание).

Колдунщик – модуль, который отображается поисковой системой, чтобы пользователь мог решить свою задачу или получить ответ на запрос сразу в поисковой выдаче, не переходя на сторонние сайты. Так, на рис. 7 показан колдунщик «Яндекса» для работы с цветом.

Рис. 7. Колдунщик «Яндекса» для работы с цветом.

Попробуйте ввести в поисковой строке «Яндекса» название любого цвета. Вы увидите шикарнейший колдунщик, который, помимо самого оттенка, покажет его место в градиенте цветовой палитры, название запрошенного цвета, а также код цвета в одной из трех цветовых моделей (rgb, hex, hsv).

Конечно, в Google тоже есть колдунщики. Например, если ввести в строке поиска «y = x^2», система сразу визуализирует график функции (рис. 8). И у «Яндекса», и у Google масса вариантов колдунщиков. Некоторые из них есть в каждом поисковике, скажем курс валют или калькулятор, а некоторые только в одном, как цветовой подсказчик в «Яндексе».

Рис. 8. Колдунщик Google по построению графиков функций.

После колдунщика идет верхняя рекламная выдача. О ней, как и о нижней части выдачи, подробно поговорим позже, разбирая контекстную рекламу в 5-ой части книги.

Далее, самое важное в аспекте SEO-продвижения – органическая поисковая выдача. Она формируется алгоритмами поисковиков по множеству параметров и в первую очередь показывает контент, который максимально соответствует пользовательскому запросу.

На момент написания этих строк в «Яндексе» и Google блок органической выдачи состоял из 10 органических результатов поисковой выдачи (рис. 9). Именно сюда стремится попасть каждый сайт, и сделать это можно через правильное SEO.

Этот блок состоит из поисковых сниппетов – текстовых блоков, которые включают заголовок, адрес сайта и несколько строк вспомогательного текста (рис. 10). Клик по ссылке приводит пользователя на целевой сайт.

В поисковом продвижении сложилось отдельное направление – увеличение кликабельности^[12] (CTR) поисковых сниппетов. Чем выше показатель CTR, тем больше трафика вы получите.

Рис. 10. Пример поискового сниппета.

Почему все это необходимо знать еще на этапе разработки сайта? Потому что запуск любого серьезного интернет-проекта начинается не с оформления или контентной части сайта, а с постановки задачи SEO-специалисту. Именно он проводит большую часть аналитической работы, результаты которой передаются разработчикам сайта.

Объяснение этому простое. Разработчики, за редким и приятным исключением, не разбираются в тонкостях поискового продвижения сайтов, так как это совершенно другая область знаний. В связи с этим я люблю проводить аналогию с врачами: кардиолог лишь поверхностно разбирается в вопросах эндокринологии и абсолютно не сведущ в вопросах неврологии. Так же, как и эндокринолог зачастую не вникает глубоко в кардиологию или неврологию.

Рис. 9. Скриншот органической поисковой выдачи в «Яндексе».

В интернет-маркетинге каждый специалист тоже решает свой спектр задач. Поэтому правильный путь разработки интернет-проекта выглядит так:

изучение рынка → изучение конкурентов и ниши → составление бизнес-плана → постановка задачи seo-специалисту → разработка технического задания по созданию сайта → разработка сайта.

Какие работы выполняет SEO-специалист

Итак, основная задача SEO-специалиста – продвижение сайтов в поисковых системах и вывод их в лидеры поисковой выдачи по соответствующим запросам. В идеале вы можете заказать у него ТЗ на разработку структуры сайта, а также сопровождение в формате арт-надзора.

Традиционно SEO-специалист выполняет примерно такие работы:

• анализ сайтов конкурентов;

• формирование перечня коммерческих факторов, необходимых для вашего сайта;

• составление списка слов и словосочетаний, отражающих тематику будущего сайта (семантическое ядро);

• разработка структуры сайта и типов страниц;

• разработка методов перелинковки на вашем сайте;

• прототипирование^[13] основных страниц;

• подготовка технических заданий на первоначальный контент;

• написание технических требований для кода страниц и сервера (при этом настройкой сервера должен заниматься системный администратор).

Специалисты по созданию сайтов (программисты, веб-мастера) не выполняют поисковое продвижение. Они не должны знать все нюансы этой темы. Их задача – сделать сайт по грамотному техническому заданию, в подготовке которого должен участвовать SEO-специалист.

Перед запуском любого сайта к процессу нужно подключить специалиста поискового продвижения, который разработает структуру проекта и пропишет требования к основным функциональным блокам и перечню коммерческих факторов. Не жалейте на это средств на старте – они многократно окупятся в будущем.

SEO-специалист отвечает за достижение двух целей:

• рост позиций сайта по конкретным запросам (рост видимости по ядру);

• повышение коэффициента кликабельности (CTR) поискового сниппета для увеличения объема трафика с поискового запроса (мощный поведенческий фактор).

За этими задачами скрывается огромное количество подзадач: от проектирования структуры сайта и разработки новых страниц до покупки ссылок, контроля написания контента и скорости загрузки страниц сайта. Все это позволит вам получать больше трафика с поисковой выдачи, что, безусловно, приведет к увеличению дохода вашего сайта.

Глава 2
Как управлять индексацией сайта

Чтобы поисковая система могла ответить на запросы пользователей, она должна найти нужные сайты, просканировать их содержимое и выдать наиболее подходящий результат. Задача поиска и сканирования сайтов лежит на плечах поисковых роботов (веб-краулеров). У Google и «Яндекса», как и у других поисковых систем, множество роботов, выполняющих разные функции.

Поисковый робот – это программа, которая «ходит» по сети и формирует список URL-адресов с различной информацией (поисковый индекс). После формирования этого списка в дело вступает индексирующий робот. Его цель – сканировать информацию, которая находится в том или ином документе, чтобы проверить ее на соответствие запросу пользователя. Затем поисковая система принимает решение, какой именно документ и на какой позиции выводить в ответ на запрос. Конечно, это сильно упрощенная схема, подробнее процесс индексирования описан на сайте «Яндекс» (ссылка на статью в Приложении 11).

Вы можете и должны управлять поисковыми роботами. Закрывать ненужные страницы от индексации, ограничивать лимиты на сканирование страниц роботами и т. п.

 

Обязательно нужно управлять поисковыми роботами. Закрывать служебные или нетематические страницы от индексации, например раздел администратора или персональные разделы пользователя на сайте, дубли страниц и пр. А также важно устанавливать лимиты на сканирование страниц роботами, если ваш сервер не справляется с нагрузкой.

Существует несколько базовых инструментов, с помощью которых можно влиять на процесс взаимодействия поискового робота с сайтом. Вот наиболее часто встречающиеся:

1. Файл robots.txt.

2. Файл sitemap.

3. Сервис «Яндекс. Вебмастер».

4. Сервис Google Webmaster.

5. HT TP-заголовок X-Robots-Tag^[14].

6. Метатег robots.

7. Тег canonical.

8. Метатеги noindex и noscript (правда, с ними сейчас мало кто работает).

Рассмотрим каждый из них, чтобы у вас сформировалось общее представление.

Файл robots.txt – текстовый файл, который создается в блокноте или текстовом редакторе. Размещается на каждом сайте в основном каталоге и открывается по ссылке вида site.ru/robots.txt. Попробуйте открыть любой сайт в сети, набрав адрес по образцу, только замените site.ru на конкретный. Например, https://vk.com/robots.txt или https://www.lamoda.ru/robots.txt.

Такой файл есть на любом ресурсе, независимо от его направленности или типа. Он отвечает за техническую сторону взаимодействия с поисковыми системами. В нем прописаны правила, на основе которых происходит индексация сайта. Внутри каждого подобного файла вы увидите строки кода, который от сайта к сайту немного отличается.

Для примера посмотрите на содержимое файла https://market.yandex.ru/robots.txt. На момент написания книги в нем были следующие строки:

User-agent: *

Disallow: /?

Disallow: /thanks

Disallow: /geo$

Disallow: /ai.xml

…часть информации удалена…

Disallow: /wishlist

User-agent: AdsBot-Google

Disallow: /offer/*

User-agent: AdsBot-Google-Mobile

Disallow: /offer/*

User-agent: Googlebot

Disallow: /?

Disallow: /thanks

Disallow: /geo$

Disallow: /ai.xml

…часть информации удалена…

Disallow: /version/node

Disallow: /wishlist

Clean-param: cmid&grade_value /shop-opinions.xml

Clean-param: cmid&grade_value /shop/

Clean-param: grade_value /product/

Clean-param: local-offers-first

Clean-param: onstock

…часть информации удалена…

Sitemap: https://market.yandex.ru/sitemap.xml

Host: https://market.yandex.ru

Документ делится на несколько смысловых частей за счет следующих директив:

• User-agent (принимает два значения – Disallow и Allow);

• Clean-param;

• Sitemap;

• Host.

Первая директива – User-agent* – указывает, для какого поискового робота предназначены правила, написанные под ней. А знак звездочки – что директива относится ко всем роботам.

Обратите внимание, в файле несколько директив с заголовком User-agent:

User-agent: AdsBot-Google

User-agent: AdsBot-Google-Mobile

User-agent: Googlebot^[15]

Каждая из них содержит особый набор правил для указанных после двоеточия роботов. Хотя, конечно, на самом деле у Google роботов больше.

Под директивой User-agent располагается одна из директив: URL Disallow или Allow. Первая запрещает индексировать разделы и определенные страницы, а вторая, наоборот, разрешает.

Далее следует директива Clean-param, в которой перечислены параметры URL страницы, которые нужно игнорировать при индексации. К ним могут относиться как рекламные теги (UTM-метки), так и другие параметры, которые вы используете для своих целей.

Конкретно в этом примере нет директивы Crawl-delay. Она указывает временной интервал между загрузками страниц в секундах. Но ее можно часто увидеть в файлах robots.txt. Например, на сайте pleer.ru:

User-agent: Yandex

Disallow: /*?

Disallow: /*?_openstat

…часть информации удалена…

Crawl-delay: 2

Директива Crawl-delay задается в конце блока User-agent и применяется для контроля скорости обхода сайта каждым из роботов. Это важный параметр, который позволяет контролировать нагрузку на сервер. Если ваш сайт не выдерживает нагрузку от поисковых роботов, заниматься поисковым продвижением нет смысла. Вам обязательно нужен качественный хостинг с возможностью увеличить мощность и контроль нагрузки на сайт с вашей стороны.

Для «Яндекса» лучше использовать настройку скорости обхода сайта в интерфейсе «Яндекс. Вебмастер», поскольку с 2018 года поисковик игнорирует значение Crawl-delay, прописанное в robots.txt.

Далее следует директива Sitemap, указывающая путь к файлу, в котором содержится карта вашего сайта. В каком месте прописана эта директива, неважно, поскольку она не связана с User-agent.

В самом конце файла robots.txt принято указывать директиву Host с доменным адресом вашего сайта, точнее с его главным зеркалом.

Опытный SEO-специалист внимательно изучает структуру сайта и содержимое страниц, которые входят в индекс поисковой системы. Затем формирует корректный файл robots.txt, чтобы запретить поисковым роботам индексировать архивы, дублирующие страницы и прочий ненужный для поисковика контент. Например, нужно исключать из индексации страницы сортировки товаров (по цене, алфавиту и т. д.) в интернет-магазине.

Файл sitemap содержит информацию о структуре сайта, которую вы хотите передать в поисковую систему. Сюда относятся все основные и второстепенные страницы (новости, статьи, страницы товаров и каталога и т. д.). Также sitemap передает информацию о том, когда страница была создана, когда обновлялась, и ее версии на других языках.

Этот файл пишет вручную или формирует под конкретный сайт программист по техническому заданию от SEO-специалиста. Существуют, конечно, автоматические генераторы карты сайта, но не стоит на них полагаться.

К файлу sitemap применяется ряд технических ограничений на объем информации. Например, нельзя размещать более 50 000 строк. Если их больше, нужно делать несколько файлов и объединять их через корневой файл.

В первую очередь sitemap – это составная часть robots.txt, она загружается в приложения для веб-мастеров и в «Яндексе», и в Google.

Чтобы посмотреть пример такого файла, перейдите на сайт, который вам интересен, откройте файл robots.txt и в конце найдите ссылку на sitemap. Она будет выглядеть примерно так:

Sitemap: https://SITE.ru/sitemap.xml.

«Яндекс. Вебмастер» и Google Search Console – сервисы, которые помогают следить за жизнедеятельностью сайта, настраивать поисковую оптимизацию, устранять неполадки. Кроме того, они дают ценные подсказки, какие именно параметры необходимо исправить на сайте, чтобы повлиять на его ранжирование, позиции в поисковой выдаче и многое другое.

После создания сайта нужно зарегистрировать его в этих двух сервисах и связать «Яндекс. Вебмастер» с «Яндекс. Метрикой».

Затем вы сможете передать в поисковую систему базовую информацию о том, какой именно контент представлен на вашем сайте, а также содержимое sitemap, и проверить, как осуществляется индексирование сайта поисковой системой.

Следует понимать, что поисковые роботы так или иначе все равно найдут ваш сайт, если он будет развиваться в сети. Приложения веб-мастеров «Яндекса» и Google нужны скорее для мониторинга процессов индексирования. И через них удобно следить за ошибками, которые находят сервисы. Важно устранять их сразу, как только система о них сообщает, иначе это негативно скажется на рейтинге сайта и поисковой выдаче.

В «Яндекс. Вебмастер» вы можете передать информацию о направленности бизнеса в виде YML-файлов^[16]. Это необязательно, но поможет привлечь больше посетителей на сайт. Опция доступна для некоторых категорий предпринимателей (рис. 11).

Рис. 11. Скриншот раздела «Яндекс. Вебмастер», через который можно передать дополнительную информацию.

Если ваш сайт региональный, не забудьте отметить это в «Яндекс. Вебмастер» и «Яндекс. Бизнес». А вот в Google эту информацию следует передавать через Google Business.

Также будет полезно отслеживать показатели эффективности в Google (рис. 12). График показывает, сколько всего кликов и показов было у вашего сайта, а также какой средний CTR и средняя позиция была у семантики^[17], по которой Google выводит сайт в результатах поисковой выдачи.

Рис. 12. Пример отчета по эффективности сайта в Google.

Обратите внимание: показатель CTR – относительный, он отражает процент пользователей, которые перешли по рекламной или органической ссылке на сайт, а не точное их число. На графике (рис. 12) можно увидеть, что в марте у сайта произошел резкий рост среднего CTR при неизменном количестве показов и незначительном росте позиции. Причины подобного изменения показателей могут быть разные, например:

• сайт предлагает сезонный товар, и потому активность на нем увеличивается в конкретный период;

• перемены в поведении пользователей, обусловленные маркетинговыми акциями;

• улучшение поискового сниппета;

• отладка параметров оптимизации.

Аналогичный отчет есть и в «Яндекс. Вебмастер» – в разделе «Поисковые запросы» на вкладке «Статистика запросов». Там же, в разделе «Индексирование», есть полезная вкладка «Мониторинг важных страниц». Добавляйте туда страницы, которые приносят вам больше всего трафика. Это позволит своевременно получать уведомления о критических изменениях, связанных с этими страницами, и быстро исправлять их.

Внимательно изучите все разделы «Яндекс. Вебмастер» и Google Search Console. Конечно, это потребует времени. Но правильные настройки всех разделов помогут эффективнее оптимизировать и продвигать сайт в поисковых системах.

Изучите вкладки «Запросы» в разделе «Эффективность» в Google Search Console и «Статистика запросов» в разделе «Поисковые запросы» в «Яндекс. Вебмастер». Эти страницы отражают часть запросов, по которым показывают сайт пользователям. Но главное – они покажут CTR этих запросов, а это крайне полезные данные. Опираясь на них, вы увидите, каким образом можно влиять на показатель кликабельности, чтобы существенно повысить объем поступающего на ваш ресурс трафика.

Метатег robots и HT TP-заголовок лучше рассматривать вместе. Потому что индексированием контента можно управлять на уровне страницы и даже конкретного текста на ней.

За настройку индексирования на уровне страницы отвечает HT TP-заголовок, а также метатег страницы; на уровене текста – html-элемент в коде страницы с атрибутом data-nosnippet.

Метатег robots отвечает за индексацию страницы. Он располагается в head страницы и выглядит следующим образом:

<!DOCTYPE html>

<html><head>

<meta name=”robots” content=”noindex” />

(…)

</head>

<body>(…)</body>

</html>

Вы можете указать вместо «robots» название конкретного поискового робота. Например, запретить индексировать и выводить ваш контент в новостях Google, но показывать его в основной выдаче и т. д.

Атрибут data-nosnippet используется для запрета индексации конкретного фрагмента текста на странице. Например, статьи на сайте могут начинаться с пространных описаний или отвлеченных историй, чтобы постепенно вовлечь читателя в тему. Но поисковики обычно формируют сниппет именно на основе первого абзаца. Если не управлять поисковым роботом, он может отразить в результатах поиска нерелевантную запросу информацию, которая не привлечет внимание к сайту. Либо приведет не ту категорию пользователей, и они быстро покинут сайт.

Кроме того, этот же атрибут можно применять, чтобы в результаты поиска не попадала служебная информация или технические описания, скажем названия рубрик или параметров фильтрации, артикулы для страниц карточек товара и т. д.

Используя код, вы можете сделать введение, как и любой другой фрагмент текста на странице, неиндексируемым. Для этого нужно открыть страницу в формате html и указать data-nosnippet. В тексте это может выглядеть так:

<p>Этот текст может быть показан и проиндексирован

<span data-nosnippet>а эта часть текста будет показана посетителям сайта, но не будет индексироваться роботом</span>.</p>

Здесь важно следить, чтобы код, который вы вставляете на страницу, соответствовал стандарту html и содержал все закрывающие теги.

При этом не следует использовать JavaScript для передачи атрибута data-nosnippet. Поисковый робот может начать работу раньше, чем включится скрипт, и в результате указанный атрибут не учтется.

Тег canonical незаменим при продвижении сайта. Он позволяет удалить дубли страниц, которые попали в индекс поисковой системы.

Представьте, что на вашем сайте есть страницы, которые дублируют друг друга, но при этом у них разные URL-адреса. Например, страница товара, который одновременно находится в двух разделах каталога, будет доступна по двум разным ссылкам, но контент на странице идентичен. В такой ситуации поисковая система посчитает эти две страницы дубликатами, что негативно скажется на ранжировании сайта как в Google, так и в «Яндексе».

Чтобы избавиться от подобных страниц, нужно на одной из них разместить тег rel=”canonical” и указать через него ссылку на основную страницу. Тогда страница, на которой размещен тег, будет называться неканонической.

Существует несколько способов сделать страницу канонической. К наиболее часто используемым относятся:

1. Тег rel=”canonical” <link> на страницах, ссылающихся на нее;

2. HT TP-заголовок rel=”canonical”;

3. Через sitemap (не лучший способ);

4. 301 редирект, он приведет к удалению из индекса неканонической страницы.

Есть и другие способы решения задачи, но отмечу: для начала лучше прибегать к первому или второму способу.

Конечно, это не вся информация, которая входит в тему поисковой оптимизации. Техническая сторона организации SEO весьма обширна, но это все-таки задача для специалиста.

Чтобы немного упростить процессы контроля за ним и подготовкой сайта, я подготовил чек-лист основных технических аспектов. В нем перечислены разделы и параметры, за которыми вы обязательно должны следить при работе с сайтом (Приложение 2).