Как оптимизировать свой бюджет?

Выполнение конкретной оптимизации для бюджета ползать имеет много общего с классической SEO-активности, например, тот факт, что ссылка здания на определенные статьи повышает его важность и способствует более частым контролем со стороны Googlebot.

Затем можно сделать конкретные действия очень сложные, но и простые трюки для решения забывчивости или других ошибок в дизайне сайта.

Обратите внимание на роботов

Низкоценные страницы и частные зоны не должны индексироваться, потому что сканирование этого содержания будет расточительно тратить бюджет, так как оно не обеспечивает органический трафик. Учитывая, что сейчас Google уточнила, что файл robots.txt не избегает появления результата в SERP, недостаточно указать в этом файле список разделов сайта для не индексирования. Вместо этого необходимо убедиться, что это все URL, и мы можем деиндексировать их с помощью мета-тега noindex.

Очевидно, что при использовании метатега noindex также не следует блокировать одну и ту же страницу из файла robots.txt с пометкой ‘Disallow’, так как в противном случае Google не смог бы посетить его, чтобы знать, что он не должен быть проиндексирован.

Проверьте разорванные ссылки

Особенно на сайтах с десятками тысяч страниц, но и на небольших блогах из нескольких десятков, необходимо иметь хорошо функционирующую и прежде всего проверенную внутреннюю структуру ссылок, так как нарушенная ссылка, возможно, на категорию, предполагает невозможность сканирования и последующей индексации десятков или сотен страниц, богатых качественным контентом.

Неисправная ссылка, как правило, ведет на страницу с кодом ответа HTTP 404 «Не найдено», но особенно в WordPress может быть код 503 «Service Unavailable» из-за неправильной настройки конкретного плагина на конкретной странице.

Для мониторинга нарушенных ссылок вы можете использовать гусеничный механизм, такой как Screaming Frog, для периодического сканирования всего сайта или есть другие решения для удаленного сканирования, предлагаемые основными платными инструментами SEO.

В случае с WordPress есть плагины типа WP Broken Link Status Checker для выполнения этой функции, но с другой стороны, я не рекомендую их использовать, так как они очень тяжелы для хостинга и слишком частое сканирование может сбить весь сайт.

Напротив, профессиональные решения, отмеченные выше, позволяют реализовать ротацию прокси-серверов в случае жестких межсетевых экранов и задержек между одним запросом и другим, что значительно снижает нагрузку и позволяет получить гораздо более точные результаты.

Используйте чистую карту сайта

Часто случается, что публичные карты сайтов включают URL-адреса авторских архивов или страниц, которые не подлежат индексации, что приводит к бесполезной трате бюджетных средств.

Напротив, вы должны проверить, что карта сайта, сгенерированная вашим любимым инструментом, правильна и включает только URL, которые должны быть проиндексированы, в противном случае вы должны удалить их. Чтобы привести простой пример, используя WordPress с бесплатным Yoast SEO плагином, вы можете указать для каждого сообщения, должно ли оно быть включено в карту сайта или нет.

Остерегайтесь технических характеристик

В электронной коммерции, когда есть возможность отфильтровать результаты, часто используются параметризованные URL, содержащие цвет, вес, ценовой диапазон или другие характеристики категории. При этом создаются сотни или тысячи различных страниц, большинство из которых в значительной степени похожи, а во многих случаях даже идентичны.

Другим подобным случаем являются партнерские ссылки, которые возвращают одну и ту же страницу, но с другим значением в URL для идентификации партнера.

Работая с параметризованными URL, необходимо определить, не являются ли некоторые переменные релевантными для целей SEO и, следовательно, быть исключенными из сканирования, что приведет к значительной экономии бюджетных средств, а также к различным преимуществам в перспективе SEO за счет избежания дублирования контента.

Для выполнения этой операции нам помогает специальная панель в Консоли Поиска, доступная из Crawl > URL параметров с возможностью указать параметры, используемые на сайте, указав Google, изменят ли они содержание или нет.

Среди различных технических особенностей, влияющих на бюджет ползаний, безусловно, есть перенаправление 301, возможно, путем вставки циклов 2 или даже 3 перенаправлений подряд. В этих случаях всегда хорошо минимизировать цепочку, которую вы собираетесь создать, потому что это требует траты времени и ресурсов для достижения правильного содержания.

В заключение, если, с одной стороны, мало говорят о кролевом бюджете, то в настоящее время и особенно для крупных сайтов он стал жизненно важным пунктом настолько, что может определить успех позиционирования сайта в Google наравне с классической офф-страничной и On-Page SEO-активностью.