Можно ли запретить индексацию сайта на WordPress поисковыми системами?

Поисковые системы используют краулеры или веб-роботов для сканирования и индексации вашего веб-сайта. Для многих владельцев веб-сайтов индексация контента их веб-сайтов имеет решающее значение для повышения их видимости в сети и, таким образом, увеличения трафика на их сайтах. Однако бывают случаи, когда вы не хотите, чтобы ваш сайт индексировался. Эти причины могут заставить вас задуматься о том, как отговорить поисковые системы от индексации вашего веб-сайта.

Можно предотвратить появление ресурса или страницы вашего сайта в результатах поиска Google. В этой статье мы рассмотрим, как отговорить поисковые системы от индексации вашего сайта и предотвратить это.

Индексация против листинга в Google

Индексация

Индексирование — это процесс сбора и загрузки данных о содержимом сайта на сервер поисковой системы с последующим сохранением данных путем добавления их в ее центральную базу данных (индекс).

Процессу индексации предшествует сканирование, при котором поисковые системы, как правило, сканируют веб, чтобы идентифицировать любой новый или обновленный контент. Этот контент, в свою очередь, используется при индексации.

Индексирование позволит гораздо быстрее отображать данные, релевантные поисковым запросам, поскольку контент организован, по сравнению с поиском по всему контенту путем выполнения нескольких запросов.

Листинг

Листинг в основном подразумевает отображение вашего веб-сайта на страницах результатов поисковой системы (SERP).

Если веб-сайт отображается на страницах результатов поисковой системы, то это означает, что такой веб-сайт проиндексирован. Ниже приведен пример скриншота:

Однако индексация по сути не означает, что ваш сайт будет указан в результатах поиска.

Также важно отметить, что веб-сайт не обязательно должен быть проиндексирован, чтобы быть перечисленным. Если есть ссылки, указывающие на домен сайта или любой другой контент веб-сайта, то Google будет использовать это.

Причины, по которым вам следует заблокировать индексацию вашего сайта поисковыми системами

1. При создании сайта разработки

Как владелец сайта, в большинстве случаев вы захотите сначала создать свой сайт в среде разработки, прежде чем запускать окончательный вариант сайта в эксплуатацию.

Однако вы не хотите, чтобы контент вашего сайта разработки индексировался Google, что в свою очередь привело бы к конкуренции с вашим производственным сайтом. В этом случае вам нужно будет отключить индексацию на вашем сайте разработки, чтобы избежать такого сценария.

2. Частный контент

Если на вашем сайте содержится личный контент, который вы не хотите, чтобы был доступен поисковым системам, вы можете запретить индексацию такого сайта.

Примером такого сценария может служить ситуация, когда у вас есть веб-страницы, которые должны быть доступны только при наличии у пользователя подписки или только после того, как пользователь вошел в систему. Такой контент не должен быть доступен для индексации.

3. Взломанный/скомпрометированный контент

В случае взлома вашего сайта и, как следствие, его компрометации возникает угроза безопасности для пользователей вашего сайта, особенно если речь идет о сайтах электронной коммерции.

Чтобы снизить подобные риски, было бы целесообразно деиндексировать сайт или даже удалить его.

4. Дублированный контент

Иногда на вашем сайте может быть дублированный контент, особенно когда речь идет о сайтах электронной коммерции, где страницы продуктов могут выглядеть похожими. Однако наличие дублированного контента на вашем сайте может фактически привести к штрафным санкциям со стороны Google.

Поэтому важно деиндексировать любой дублирующийся контент на вашем сайте, чтобы избежать штрафных санкций.

5. Устаревший контент

В некоторых случаях у вас может быть веб-сайт, отображающий устаревшую информацию, и, таким образом, результаты поиска будут содержать эту информацию. Такая информация, в свою очередь, может вводить в заблуждение посетителей сайта.

Поэтому было бы здорово запретить поисковым системам индексировать такой контент в подобных ситуациях.

6. Утечка информации

Если контент преждевременно становится доступным для общественности, то вам нужно будет запретить поисковым системам индексировать такой контент или же отменить публикацию веб-сайта. Это поможет сделать этот контент недоступным.

7. Вредный контент

В ситуациях, когда у вас может быть контент, который вы можете считать вредоносным для вашего веб-сайта, вы можете рассмотреть возможность деиндексации веб-сайта. Это может быть, например, в случае, если ваш сайт был взломан и на него была добавлена ​​вредоносная информация.

Как заблокировать поисковым системам сканирование и индексацию вашего сайта

Есть несколько способов, которые следует рассмотреть, если вы хотите отговорить поисковые системы от сканирования и индексации вашего сайта. Мы рассмотрим некоторые из этих способов по порядку и выясним, как каждый из них помогает в достижении этого.

Через флажок видимости поисковой системы WordPress по умолчанию

Этот метод позволяет вам запретить поисковым системам сканировать ваш сайт прямо из панели управления WordPress. Чтобы реализовать его, вам нужно будет:

i) Войдите в панель управления WordPress, используя учетную запись администратора.

ii) Перейдите в раздел «Настройки» > «Чтение» на панели инструментов WordPress.

iii) В разделе «Видимость для поисковых систем» включите опцию «Запретить поисковым системам индексировать этот сайт».

iv) Сохраните изменения.

После выполнения вышеперечисленных действий в заголовок вашего сайта будет добавлен следующий код:

<meta name="robots" content="noindex, nofollow">

Файл robots.txt также изменяется следующим образом:

User-agent: *
Disallow: /

Это поможет отбить охоту у поисковых систем индексировать ваш сайт. Однако важно отметить, что хотя эти изменения помогают отбить охоту у поисковых систем индексировать ваш сайт, каждая поисковая система сама решает, выполнять запрос или нет.

Изменение файла Robots.txt (вручную)

Подобно описанному выше методу, это считается ручным подходом к изменению файла robots.txt.

Для этого вам необходимо:

i) Получите доступ к файлам вашего сайта через FTP-программу, например Filezilla.

ii) В корне файлов вашего веб-сайта проверьте наличие файла robots.txt. В большинстве случаев он находится в папке public_html.

Если вам не удалось отследить файл, вы можете рассмотреть возможность его создания.

iii) Добавьте в файл следующий код:

User agent: *

Disallow: /

iv) Сохраните изменения.

Вы также можете запретить индексацию на определенных страницах, добавив подкаталог и слаг в раздел Disallow:. Примером этого может быть:

User agent: *

Disallow /blog/this-is-a-link-to-our-website

Защита вашего сайта паролем

Поисковые системы не в состоянии сканировать защищенные паролем веб-сайты, поскольку у них нет к ним доступа. Это делает защиту вашего веб-сайта паролем одним из наиболее подходящих подходов, когда дело доходит до предотвращения индексации вашего веб-сайта.

Защиту вашего сайта паролем можно осуществить различными способами:

i) Защита паролем через панель управления хостингом

ii) Использование плагина защиты паролем

Защита паролем через панель управления хостингом

Различные панели управления хостингом имеют разные шаги по внедрению защиты паролем на веб-сайте. В нашем случае мы будем использовать пример cPanel.

Чтобы защитить свой сайт паролем через cPanel, вам необходимо выполнить следующее:

i) Войдите в свою учетную запись cPanel.

ii) Перейдите в раздел «Файлы» и выберите «Конфиденциальность каталога».

iii) Выберите корневой каталог вашего сайта. В нашем случае это будет public_html/buddybuilder

iv) Нажмите на действие «Изменить» рядом с ним.

v) Включите опцию «Защитить этот каталог паролем» и сохраните изменения.

vi) Вернитесь к предыдущему шагу, нажав ссылку «Вернуться» и в новом разделе «Создать пользователя» настройте новую учетную запись пользователя, которая будет использоваться для доступа к веб-сайту.

После этого поисковые системы не смогут сканировать ваш сайт.

Использование плагина защиты паролем

В этом варианте вы можете рассмотреть возможность использования плагина Password Protected. Для настройки плагина вам необходимо выполнить следующее:

i) Перейдите в раздел «Плагины» > «Добавить новый» на панели инструментов WordPress и найдите «Защищено паролем».

ii) Установите и активируйте плагин

iii) Перейдите в раздел «Настройки» > «Защищено паролем» на панели управления WordPress.

iv) Включите опцию «Статус защиты паролем» и введите свой пароль.

v) Укажите количество дней, в течение которых сайт будет оставаться защищенным.

6) Сохраните изменения.

Важно отметить, что при использовании этого метода при прямом доступе к файлам, например изображениям, в браузере защита паролем не применяется, и, следовательно, к изображению можно легко получить доступ.

Удаление веб-сайта из поиска Google

В случае, если ваш сайт уже проиндексирован Google и вы хотите удалить его из поисковой системы, вы можете сделать это, выполнив следующие действия:

i) Войдите в консоль поиска Google: https://search.google.com/search-console/

ii) Войдите, используя данные своей учетной записи. Если у вас нет учетной записи, вы можете создать ее по той же ссылке выше и добавить свойство. Вот руководство о том, как это сделать: https://support.google.com/webmasters/answer/34592?hl=ru

iii) В верхнем левом разделе выберите свойство с URL-адресом, которое вы хотите удалить.

iv) Нажмите на раздел «Удаления».

v) На вкладке «Временные удаления» нажмите кнопку «Новый запрос».

vi) На вкладке «Временное удаление URL» во всплывающем окне у вас будет две опции: «Удалить только этот URL» и «Удалить все URL с этим префиксом».

Если вы хотите удалить только указанный URL-адрес, например, конкретную запись в блоге, вам необходимо будет ввести ее URL-адрес и выбрать опцию «Удалить только этот URL-адрес».

С другой стороны, если вы хотите удалить корневой домен и любые другие URL-адреса, связанные с ним, вам нужно будет указать свой URL-адрес в качестве корневого домена и выбрать опцию «Удалить все URL-адреса с этим префиксом».

vii) Нажмите кнопку «Далее», чтобы отправить запрос.

Важно отметить, что как только это будет сделано, Google временно удалит ваш сайт из поисковых систем на временный период. Обычно это 6 месяцев, и после этого ваш URL может быть повторно проиндексирован еще раз.

Заключение

Существует множество причин, по которым можно было бы отказаться от индексации своего сайта поисковыми системами. В этой статье мы рассмотрели некоторые из этих причин, а также некоторые подходы, которые вы можете рассмотреть для того, чтобы помешать поисковым системам индексировать ваш сайт WordPress.

Использование метода видимости окна поиска WordPress по умолчанию или изменение методов файла robots.txt может быть не полностью эффективным для некоторых поисковых систем, поскольку некоторые из них все равно могут сканировать, например, ваши файлы или изображения. Мы настоятельно рекомендуем сочетать эти методы с защитой паролем. Это не позволит поисковым системам получить доступ к любому контенту вашего сайта.

Мы надеемся, что эта статья будет полезной. Если у вас есть какие-либо вопросы, комментарии или предложения, пожалуйста, не стесняйтесь отправлять их в разделе комментариев ниже.