Бортовой журнал. Какие социальные сети индексируются поисковиками? Какая кс лучше индексируется поисковиками

Что такое индексация сайта в поисковых системах известно многим веб-мастерам. Они с нетерпением ожидают обновления поисковой базы, чтобы порадоваться результатам индексации или найти и исправить ошибки оптимизации, которые мешают качественной индексации и дальнейшему продвижению сайта .

Благодаря качественной индексации сайтов в интернете можно найти все, что угодно.

Как же работает система индексации в крупных поисковых системах?
У поисковиков есть программы-роботы (поисковые боты), которые постоянно «гуляют» по ссылкам в поисках новых страниц. Если они находят новую страницу, которая удовлетворят требованиям алгоритма данного поисковика, то она включается в результаты поиска и проходит индексацию.

рис: Индексация помогает находить сайты

Самое ценное и одновременно сложное – это алгоритмы поисковых систем, по которым они выбирают страницы для своей поисковой базы. У разных поисковиков они свои: у кого-то лучше, у кого-то чуть попроще. Это также необходимо учитывать при индексации сайта. Говорят, что в интернете можно найти всё, что угодно. А благодаря чему можно найти? Правильно! Благодаря качественной индексации сайтов.

Как добавить сайт в индекс поисковых систем?

Как же быстро и просто добавить свой сайт в индекс поисковых систем? Казалось бы, что в этом ничего сложного нет: достаточно всего лишь разместить сайт в сети, и поисковые машины сами бросятся на него. Если бы всё было так просто, то многочисленные seo оптимизаторы остались бы без работы.

Давайте разберемся, что такое индексация. Индексация – это процесс добавления страниц вашего сайта в базу данных поисковой системы. Говоря простым языком, поисковая система собирает ваши страницы, чтобы потом их показывать пользователям по определенным запросам. В каком порядке показывать и по каким запросам – это тема не одной статьи.

Провести индексацию сайта довольно просто: необходимо «сказать» поисковой системе, что у вас есть сайт, который может её заинтересовать. Каждый поисковик обладает формой добавления сайтов в индекс. Вот ссылки на формы добавления сайтов в индекс некоторых поисковиков:

Для ускорения индексации многие рекомендуют регистрировать сайт в системах социальных закладок. Это действительно оправдано, т.к. поисковые роботы (программы, которые проводят индексацию) очень часто посещают подобные сайты. Если они увидят там ссылку на ваш ресурс, то его индексация не заставит себя долго ждать.

Регистрацию сайта в поисковиках и социальных закладках можно проводить как самостоятельно, так и доверить это дело фирмам, которые занимаются вопросами раскрутки сайтов.

Зачем нужна индексация?

Вам нужен сайт, который увеличивает продажи вашей фирмы и продвигает ваши товары? А может, вам нужен сайт, который сам по себе приносит прибыль? Может быть, вы хотите вести личный дневник и получать за это деньги? Если на какой то из этих вопросов вы ответили утвердительно, то должны хотя бы в общих чертах представлять, что такое индексация сайта в поисковых системах.

Следуйте главному условию – создавайте сайт «для людей», удобный и с уникальнм контентом.

Действительно, если вашего сайта нет в поисковой выдаче крупнейших поисковиков (Яндекс, Google, Рамблер...), то на получение прибыли и на продвижение своих товаров или услуг вы можете даже не надеяться. Сайт будет лишним грузом, отъедающим бюджет фирмы на свое поддержание.

Совершенно иная ситуация возникнет, если сайт проиндексирован. Причем, чем больше страниц прошли индексацию – тем лучше. Главное, что необходимо для успешной индексации – оптимизация и уникальность контента сайта.

Поисковые системы стремительно развиваются, алгоритмы индексации постоянно совершенствуются. Теперь уже поисковикам не составляет труда определить плагиат или нечитаемый текст. Поэтому следуйте главному условию, которое необходимо для успешной индексации – создавайте сайт «для людей», удобный и с уникальнм контентом.

Индексация сайта дает не только большое количество целевых посетителей (что в конечном счете отражается на продажах товаров вашей компании), она ещё способствует развитию самого проекта и может направить владельца сайта по более перспективному пути расширения своего интернет проекта.

Как часто происходит индексация в Интернете?

На многих крупных форумах, посвященных раскрутке и продвижению сайтов, можно встретить темы с примерно одинаковыми названиями: АПы поисковой базы . Что же это такое, и как часто «ап»аются базы данных поисковых машин? Как всё это влияет на индексацию? Попробуем разобраться.

Человек, который немного разбирается в терминологии интернета , наверняка знает, что такое «ап». А вот что такое ап поисковой базы, или обновление индексации знают только те, кто занимается раскруткой и продвижением сайтов. Мы понимаем, что данные в поисковых системах не могут обновляться постоянно. Это чревато не только банальными перегрузками серверов, но и выходом из строя оборудования. Конечно, небольшие базы данных могут постоянно изменять свое состояние, а если речь зашла о базах поисковых систем, которые отвечают за индексацию сайтов, то тут совсем другое дело.

Представьте, какое огромное количество запросов получает база индексации каждую секунду. А что станет с ней, если параллельно ещё будет изменяться информация об индексации? Естественно, она может не выдержать, что и наблюдалось на заре развития поисковых машин.

Сегодня эта проблема решена довольно универсальным способом: данные об индексации с поисковых роботов хранятся во временных базах, а обновление «главной» базы данных происходит с задержкой в несколько суток. Поэтому индексация сайтов в крупных поисковых системах проходит довольно быстро и без «глюков».

Подготовка сайта к индексации.

Многие начинающие вебмастера на специализированных форумах задают один и тот же вопрос: как правильно подготовить сайт к индексации. Возможно эти рекомендации помогут Вам:

Для успешной индексации необходим качественный уникальный контент. Это, пожалуй, первое и главное условие. Если на вашем сайте используется "ворованный"контент , то вероятность того, что индексация будет успешной, мала.

Не используйте «серые» и «черные» методы оптимизации страниц: раз и навсегда откажитесь от списка ключевых слов в цвет фона страницы, а также различных ифреймовых структур. Если робот поисковой системы заподозрит вас в подобных нарушениях, то доменное имя будет вообще запрещено для индексации.

После того, как вы выложили сайт на сервер, не спешите добавлять его везде, где только можно. Проверьте ещё раз контент, код на валидность , внутреннюю перелинковку страниц. Если всё сделано правильно, оповещайте поисковых ботов и приглашайте их на индексацию.

Проверьте наличие метатегов , ключевых слов и описаний в них, тайтлов страниц и альтов изображений. Если всё это в наличии, то смело можете проводить индексацию.

Добавьте свой сайт в поисковики через специальные панели.

Как видите, советы довольно простые. Но почему-то многие начинающие оптимизаторы не уделяют должного внимания им, а потом жалуются, что индексация их сайтов затягивается на несколько месяцев.

Другие материалы

Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».

Индексация сайта - это процесс поиска, сбора, обработки и добавления сведений о сайте в базу данных поисковых систем.

Больше видео на нашем канале - изучайте интернет-маркетинг с SEMANTICA

Индексация сайта значит, что робот поисковой системы посещает ресурс и его страницы, изучает контент и заносит его в базу данных.Впоследствии эта информация выдается по ключевым запросам. То есть, пользователи сети вводят в строку поиска запрос и получают на него ответ в виде списка проиндексированных страниц.

Если говорить простым языком, получится приблизительно так: весь интернет - это огромная библиотека. В любой уважающей себя библиотеке есть каталог, который облегчает поиск нужной информации. В середине 90-х годов прошлого века, вся индексация сводилась к такой каталогизации. находили на сайтах ключевые слова и формировали из них базу данных.

Сегодня боты собирают и анализируют информацию по нескольким параметрам (ошибки, уникальность, полезность, доступность и проч.) прежде, чем внести ее в поисковой системы.

Алгоритмы работы поисковых роботов постоянно обновляются и становятся все сложнее. Базы данных содержат огромное количество информации, несмотря на это поиск нужных сведений не занимает много времени. Это и есть пример качественной индексации.

Если сайт не прошел индексацию, то информация до пользователей может и не дойти.

Как индексирует сайты Гугл и Яндекс

Яндекс и Гугл, пожалуй, самые популярные поисковики в России. Чтобы поисковые системы проиндексировали сайт, о нем нужно сообщить. Сделать это можно двумя способами:

Добавить сайт на индексацию при помощи ссылок на других ресурсах в интернете - этот способ считается оптимальным, так как страницы, найденные таким путем, робот считает полезными и их индексирование проходит быстрее, от 12 часов до двух недель.
Отправить сайт на индексацию путем заполнения специальной формы поисковой системы вручную с использованием сервисов Яндекс.Вебмастер, Google Webmaster Tools, Bing Webmaster Tools и др.

Второй способ медленнее, сайт встает в очередь и индексируется в течение двух недель или больше.

В среднем, новые сайты и страницы проходят индексацию за 1–2 недели.

Считается, что Гугл индексирует сайты быстрее. Это происходит потому, что поисковая система Google индексирует все страницы - и полезные, и неполезные. Однако в ранжирование попадает только качественный контент.

Яндекс работает медленнее, но индексирует полезные материалы и сразу исключает из поиска все мусорные страницы.

Индексирование сайта происходит так:

поисковый робот находит портал и изучает его содержимое;
полученная информация заносится в базу данных;
примерно через две недели материал, успешно прошедший индексацию, появится в выдаче по запросу.

Есть 3 способа проверки индексации сайта и его страниц в Гугл и Яндексе:

при помощи инструментов для вебмастеров - google.com/webmasters или webmaster.yandex.ru;
при помощи ввода специальных команд в поисковую строку, команда для Яндекс будет выглядеть так: host: имя сайта+домен первого уровня; а для Гугл - site: имя сайта+домен;
с помощью специальных автоматических сервисов.

Проверяем индексацию

Это можно сделать используя:

операторы поисковых систем - смотрим в справке или ;
услуги специальных сервисов, например rds бар ;

Как ускорить индексацию сайта

От того, насколько быстро роботы проведут индексирование, зависит скорость появления нового материала в поисковой выдаче, тем быстрее на сайт придет целевая аудитория.

Для ускорения индексации поисковыми системами нужно соблюсти несколько рекомендаций.

Добавить сайт в поисковую систему.
Регулярно наполнять проект уникальным и полезным контентом.
Навигация по сайту должна быть удобной, доступ на страницы не длиннее, чем в 3 клика от главной.
Размещать ресурс на быстром и надежном хостинге.
Правильно настроить robots.txt: устранить ненужные запреты, закрыть от индексации служебные страницы.
Проверить на наличие ошибок, количество ключевых слов.
Сделать внутреннюю перелинковку (ссылки на другие страницы).
Разместить ссылки на статьи в социальных сетях, социальных закладках.
Создать карту сайта, можно даже две, - для посетителей и для роботов.

Как закрыть сайт от индексации

Закрыть сайт от индексации - запретить поисковым роботам доступ к сайту, к некоторым его страницам, части текста или изображению. Обычно это делается для того, чтобы скрыть от публичного доступа секретную информацию, технические страницы, сайты на уровне разработки, дублированные страницы и т. п.

Сделать это можно несколькими способами:

При помощи robots.txt можно запретить индексацию сайта или страницы. Для этого в корне веб-сайта создается текстовый документ, в котором прописываются правила для роботов поисковых систем. Эти правила состоят из двух частей: первая часть (User-agent) указывает на адресата, а вторая (Disallow) запрещает индексацию какого-либо объекта.
Например, запрет индексации всего сайта для всех поисковых ботов выглядит так:

User-agent: *

Disallow: /

При помощи мета-тега robots, что считается наиболее правильным для закрытия одной страницы от индексирования. При помощи тегов noindex и nofollow можно запретить роботам любых поисковых систем индексировать сайт, страницу или часть текста.

Запись для запрета индексации всего документа будет выглядеть так:

Можно создать запрет для конкретного робота:

На что влияет индексация при продвижении

Благодаря индексации сайты попадают в поисковую систему. Чем чаще обновляется контент, тем быстрее это происходит, так как боты чаще приходят на сайт. Это приводит к более высокой позиции при выдаче на запрос.

Индексация сайта в поисковых системах дает приток посетителей и способствует развитию проекта.

Кроме контента, роботы оценивают посещаемость и поведение посетителей. На основании этих факторов они делают выводы о полезности ресурса, чаще посещают сайт, что поднимает на более высокую позицию в поисковой выдаче. Следовательно, трафик снова увеличивается.

Индексация - это важный процесс для продвижения проектов. Чтобы индексирование прошло успешно, поисковые роботы должны убедиться в полезности информации.

Алгоритмы, по которым работают поисковые машины, постоянно меняются и усложняются. Цель индексации - внесение информации в базу данных поисковых систем.

Какой контент индексируют поисковики?

Сейчас в Интернете сайтов больше, чем людей на Земле. Но определённая их часть не может быть нормально проиндексирована не только из-за технических проблем ( , плохой хостинг), но и из-за контента, размещённого на их страницах.

Идея данной статьи возникла после просмотра обучающего видео от Google (оно чуть ниже). Ну а само видео специалисты Гугла сделали в ответ на вопрос «My site doesn’t have much text. Is that a problem?» (На моём сайте мало текста. Проблема ли это?).

Вообще, вопрос логичный — сколько должно быть текста на странице , чтобы её индексировали Google, Yandex и все остальные поисковики? Данным вопросом я задавался в статье . Однозначного ответа нет (комментаторы тоже не знают:)).

Подобные вопросы часто возникают у вебмастеров. Мною замечено, например, что Гугл «уважает» страницы с объёмным текстовым содержанием. Но в видео представители Гугла открыто не говорят, что мало текста = плохое ранжирование , зато подробно рассказывают про индексацию Гуглом flash-сайтов.

Видео: что индексирует Google

Видео на английском, но если перевести, то:

Картинки и фото

Гугл всё ещё не понимает содержимое на картинках и фото, поэтому если на странице сайта есть лишь изображение, то нужно его хотя бы назвать логично . А лучше добавить хоть немного текста (данная тема особо актуальна для сайтов фотографов), а также прописать Alt и т.п. (прочитайте ). Это же всё относится и к Яндексу, и к другим поисковым системам.

Индексация Flash-сайтов

Дополнение:

Не стоит забывать, что поисковики хорошо «читают» .doc, .txt, .pdf, .rtf и прочие файлы. Поэтому, если у вас на сайте имеются подобные файлы, содержимое которых показывать в поиске не желательно, то надо запретить их в файле Robots.txt .

Владельцу просто необходимо ждать момента, когда робот поисковой системы зайдет и проиндексирует страницу вашего сайта.

Как улучшить индексацию сайта в Яндекс и Google

Перед теми, кто создает сайт самостоятельно, встает, кажется, разумеющийся вопрос: как добавить свой ресурс в поисковую выдачу той или иной системы по заданному запросу? Ответ прост: владельцу просто необходимо ждать момента, когда робот поисковой системы зайдет и проиндексирует страницу вашего сайта.

Как только страницы вашего ресурса окажутся в индексе поисковика, они будут выводиться при поисковой выдаче.

Для большинства веб-мастеров эта проблема не является серьезной. Объемы их сайтов не превышают сотни страниц, и поисковый робот зачастую правильно индексирует содержимое. Тем не менее, стоит обратить внимание на несколько важных факторов при seo-оптимизации.

Обычно используют один из двух способов индексации:
Первый состоит в том, что владелец сам добавляет адрес сайта в специальное поле, которое отображается в панели веб-мастеров поисковой системы. В данном случае поисковая система оповещается о том, что появился новый еще не проиндексированный сайт. В порядке очереди робот заходит на каждый такой ресурс и индексирует.

Для правильной индексации достаточно указать только главную страницу, остальные робот найдет сам благодаря карте сайта. Карту сайта вы тоже загружаете самостоятельно. В интернете есть множество сайтов и программ, которые бесплатно генерируют вам карту в форматах.xml или.html

Второй способ заключается в том, что робот сам ищет ваш сайт. Вы поинтересуетесь: каким образом он делает это? Дело в том, что при индексации того или иного ресурса, робот проверяет ссылки размещенные на них. То есть если на ваш сайт уже есть ссылка на каком-либо ресурсе, проиндексированном, для примера Яндексом, то поисковой робот за короткое время сам посетит ваш ресурс и проиндексирует его. Опытные веб-мастеры полагают, что этот вариант гораздо более благоприятно сказывается на поисковой выдаче сайта. Для этого необходимо получить (или закупить) несколько ссылок и ждать прихода робота.

Конечно же, хочется как можно скорее увидеть свой сайт на страницах поисковика! Обычно робот индексирует страницы в сроки, не превышающие двух недель. Все зависит от загруженности поисковика. В плане индексации самый быстрый робот от Google. Через несколько часов после ручного ввода робот начинает его сканировать.

Робот, как и разработчики сайтов не любит сложные коды. Для наиболее удачной индексации я советую упростить его как можно сильнее и придерживаться следующих правил:

Во-первых, доступ ко всем страницам должен быть не больше 3-х кликов, считая от главной страницы. В случае, когда это невозможно, создайте карту сайта. Она поможет роботу ориентироваться в ваших «джунглях».
Во-вторых, будьте аккуратны при работе со скриптами. Поисковые роботы не умеют распознавать их. При использовании навигации, работающей на скриптах, обязательно дублируйте ссылки!
В-третьих, не исключайте из внимания то, что поисковые роботы индексируют до 200 кб текста. Если вам важно, чтобы была проиндексирована вся страница, не делайте ее больше 100 кб.

Для поисковых роботов существует специальный файл, хранящийся в корне вашего хостинга. Он называется robots.txt . При помощи него можно управлять поисковым роботом, например, запретить или разрешить индексацию различных страниц.
В отличие от зарубежных поисковых роботов, российские понимают тег

< NOINDEX>

Который позволяет скрывать от робота отдельные части страницы. Для того чтобы полностью исключить возможность индексации, необходимо поместить данный тег в HEAD страницы.

Для того чтобы исключить из поисковой выдачи устаревшие ресурсы взамен свежим, поисковые системы осуществляют . Записи в базе данных постоянно обновляются. Не стоит бить тревогу если количество проиндексированных страниц внезапно изменилось.

Внимательно подходите к выбору хостинга. Если ваш сайт часто «падает», это ухудшает процесс его индексации. Робот просто не имеет доступа к ресурсу! Именно поэтому стоит трепетно подходить к выбору хостинга. Не стоит пренебрегать внешними ссылками. Они благотворно влияют на переиндексацию вашего сайта.

Проанализировав лог-файлы сервера, вы получите информацию о процессе индексации.

Индексация сайта в поисковиках - как она происходит и как ее ускорить - 5.0 out of 5 based on 1 vote

После создания собственного сайта многие веб-мастера расслабляются и думают о том, что самое сложное уже позади. На самом деле это не так. В первую очередь сайт создается для посетителей.

Ведь именно посетители будут читать страницы со статьями, покупать товары и услуги, размещенные на сайте. Чем больше посетителей, тем больше прибыль. А трафик с поисковиков – это основа всего, поэтому так важно чтобы индексация сайта проходила быстро и страницы держались в индексе стабильно.

Если трафика нет, то о сайте мало кто вообще узнает, особенно данное положение актуально для молодых интернет-ресурсов. Хорошая индексация способствует скорейшему попаданию страницы в топ поисковых систем и как следствие, привлечение большого количества целевых посетителей.

Что представляет собой индексация и как она происходит

Для начала нужно понять, что это такое. Индексация сайта - это процесс сбора информации со страниц сайта с последующим занесением ее в базу данных поисковой системы. После этого происходит обработка полученных данных. Далее, через некоторое время, страница появится в выдаче поисковика и люди смогут находить ее, используя данную поисковую систему.

Программы, которые осуществляют сбор и анализ информации, называются поисковыми роботами или ботами. Каждый поисковик обладает собственными роботами. У каждого из них свое название и предназначение.

В качестве примера можно выделить 4 основных типа поисковых роботов Яндекса:

1. Робот, индексирующий страницы сайта. Его задача – обнаруживать и заносить в базу данных найденные страницы с контентом.

2. Робот, индексирующий картинки. Его задача – обнаруживать и заносить в базу поисковика все графические файлы со страниц сайта. Затем эти картинки могут быть найдены пользователями в поиске по изображениям от Google или в сервисе Яндекс.Картинки.

3. Робот, индексирующий зеркала сайтов. Иногда сайты имеют несколько зеркал. Задача данного робота – определять эти зеркала посредством информации из robots.txt, после чего выдавать пользователям, в поиске, лишь главное зеркало.

4. Робот, проверяющий доступность сайта. Его задача – периодически проверять добавленный посредством «Яндекс.Вебмастера» сайт на предмет его доступности.

Помимо вышеперечисленных есть и другие типы роботов. К примеру, роботы, индексирующие видеофайлы и фавиконки на страницах сайта, роботы, выполняющие индексацию «быстрого» контента, а также роботы, проверяющие работоспособность интернет-ресурса, размещенного в Яндекс.Каталоге.

Индексация страниц сайта поисковиками обладает своими особенностями. Если робот обнаруживает на сайте новую страницу, то она заносится в его базу данных. Если же робот фиксирует изменения в старых страницах, то их версии, ранее занесенные в базу данных, удаляются и заменяются новыми. И все это происходит на протяжении определенного периода времени, как правило, 1-2 недель. Такие длительные сроки объясняются тем, что поисковым роботам приходится работать с большим объемом информации (ежедневно появляется большое количество новых сайтов, а также обновляются старые).

Теперь о файлах, которые умеют индексировать боты поисковых систем.

Кроме веб страниц поисковики индексируют и некоторые файлы закрытых форматов, но с определенными ограничениями. Так в PDF роботами считывается лишь текстовое содержимое. Flash-файлы довольно часто не индексируются вообще (либо там индексируется лишь текст, размещенный в специальных блоках). Также роботами не индексируются файлы, обладающие размером больше 10 мегабайт. Лучше всего поисковые системы научились индексировать текст. При его индексации допускается минимальное количество ошибок, контент заносится в базу в полном объеме.

Если обобщить, то многие поисковики в настоящий момент могут индексировать такие форматы, как TXT, PDF, DOC и DOCX, Flash, XLS и XLSX, PРT и РРТХ, ODP, ODT, RTF.

Как ускорить процесс индексации сайта в поисковых системах

Многие веб-мастера задумываются о том, как ускорить индексацию. Для начала следует понять, что такое сроки индексации. Это время между посещениями сайта поисковым роботом. И время это может варьироваться от нескольких минут (на крупных информационных порталах) до нескольких недель или даже месяцев (на забытых и заброшенных маленьких или новых сайтах).

Нередки случаи кражи контента. Кто-то может просто скопировать вашу статью и разместить у себя на сайте. Если поисковик проиндексирует эту статью раньше чем это произойдет на вашем сайте, то автором поисковики будут считать именно этот сайт, а не ваш. И хотя сегодня появились некоторые инструменты позволяющие указать авторство контента, скорость индексации страниц сайта не теряет своей актуальности.

Поэтому ниже дадим советы насчет того, как всего этого можно избежать и ускорить индексацию своего ресурса.

1. Использовать функцию «Add URL» (Добавить URL) - это так называемые аддурилки, представляющие собой формы в которые можно ввести и добавить адрес любой страницы сайта. Страница в этом случае будет добавлена в очередь на индексацию.

Она есть во многих крупных поисковиках. Чтобы вам не пришлось искать все адреса форм для добавления страниц сайта мы их собрали в отдельной статье: " ". Данный метод нельзя назвать 100-процентной защитой от плагиата, но это хороший способ сообщить поисковику о новых страницах.

2. Зарегистрировать сайт в «Инструментах для веб-мастера» от Google и сервисе Яндекс.Вебмастер. Там можно посмотреть, сколько страниц сайта уже проиндексировалось, а сколько не проиндексировалось. Можно добавить страницы в очередь на индексацию и сделать много чего еще, при помощи доступных там инструментов.

3. Сделать карту сайта в двух форматах – HTML и XML. Первая нужна для размещения на сайте и для удобства навигации. Вторая карта нужна для поисковых систем. В ней содержатся текстовые ссылки на все страницы вашего сайта. Следовательно, при индексации робот не упустит ни одну из них. Карту сайта можно сделать при помощи плагинов для CMS или при помощи многочисленных онлайн-сервисов.

В качестве отличных решений для ее создания можно привести следующие:

Для CMS Joomla компонент Xmap;
Для WordPress плагин Google XML Sitemaps;
Для CMS Drupal модуль SitemapXML;
Универсальным инструментом для создания карты сайта может послужить сервис www.mysitemapgenerator.com.

4. Анонс статей в социальных сетях - Google +1, Twitter, Facebook, Vkontakte. Сразу после добавления новой статьи на сайт делайте ее анонс на своей странице Google +, Twitter ленте и страницах в Facebook и Vkontake. Лучше всего поставить на сайт кнопки социальных сетей и добавлять туда анонсы просто нажимая на кнопки. Можно настроить автоматические анонсы в Twitter и Facebook.

5. Выполняйте кросспостинг в различные блог платформы. Можете создать себе блоги на таких сервисах как: Li.ru, Livejournal.com, wordpress.ru, blogspot.com и публиковать там краткие анонсы ваших статей со ссылками на их полные версии на вашем сайте.

6. Сделать RSS ленту сайта и зарегистрировать ее в различных RSS каталогах. Найти их адреса вы можете в статье: " ".

7. Частота обновлений сайта. Чем чаще на вашем сайте будут появляться новые материалы, тем чаще поисковые роботы будут его посещать. Для нового сайта это лучше всего делать каждый день, ну в крайнем случае через день.

9. Размещайте на своем сайте лишь уникальный контент. Это универсальное правило, позволяющее улучшить не только процесс индексации. Чем уникальнее будет материал, тем лучше поисковики будут относиться к вашему сайту. Тем чаще поисковые роботы будут заходить к вам в гости.

Данных методов по ускорению индексации будет вполне достаточно для молодого или среднего по возрасту сайта. Они не будут занимать у вас много времени и имеют хороший эффект.

Запрет индексации страниц

В некоторых случаях веб-мастеру нужно закрыть сайт от индексации или закрыть его отдельные страницы и разделы. Для чего это может потребоваться? К примеру, часть страниц вашего сайта не содержит полезной информации, это могут быть разного рода технические страницы. Либо вам нужно закрыть от индексации ненужные внешние ссылки, баннеры и так далее.

1. Robots.txt.

Закрыть отдельные страницы и разделы ресурса от индексации можно посредством файла robots.txt. Он помещается в корневую директорию. Там прописываются правила для поисковых роботов по части индексации отдельных страниц, разделов и даже для отдельных поисковиков.

При помощи специальных директив этого файла можно очень гибко управлять индексацией.

Приведем несколько примеров:

Запретить индексацию всего сайта, всеми поисковыми системами можно при помощи следующей директивы:

User-agent: * Disallow: /

Запретить индексацию отдельной директории:

User-Agent: * Disallow: /files/

Запретить индексацию страниц url которых содержит "?":

User-agent: * Disallow: /*?

И т. д. директив и возможностей у файла robots.txt множество и это тема отдельной статьи.

2. Также есть тег и мета тег noindex и nofollow.

Чтобы запретить индексацию определенного содержимого на странице достаточно его поместить между тегами , но эти теги работают только для поисковой системы Яндекс.

Если нужно закрыть от индексации отдельную страницу или страницы сайта можно использовать мета-теги. Для этого на странице вашего сайта между тегами необходимо добавить следующее:

Если добавить:

то документ также не будет проиндексирован.

Если добавить:

то робот поисковой машины не будет идти по ссылкам размещенным на данной странице, но саму страницу индексировать будет.

При этом то, что будет указанно в мета тегах будет иметь преимущество перед директивами файла robots.txt. Поэтому если вы запретите индексацию определенной директории вашего сайта в файле robots.txt, а на самих страницах сайта, которые относятся к данной директории будет указан следующий мета-тег:

То данные страницы все равно будут проиндексированы.

Если сайт построен на какой-то CMS, то в некоторых из них есть возможность при помощи специальных опций закрыть страницу к индексации. В других случаях эти мета теги придется вставлять на страницы сайта в ручную.

В следующих статьях мы подробно рассмотрим процедуру запрета индексации и все, что с этим связано (использование файла robots.txt, а также тегов noindex и nofollow).

Проблемы индексации и выпадения страниц из индекса

Существует множество причин, по которым может не происходить индексация интернет-ресурса. Ниже мы перечислим самые распространенные.

1. Неправильно настроен файл Robots.txt или неверно указаны .

2. Домен вашего сайта уже использовался для определенного сайта и имеет плохую историю, скорее всего ранее на его был наложен какой-то фильтр. Чаще всего проблемы подобного рода касаются индексации именно Яндексом. Страницы сайта могут при первой индексации попадать в индекс, затем полностью вылетают и больше не индексируются. При обращении в службу поддержки Яндекса, вам скорее всего скажут, чтобы вы развивали сайт и все будет хорошо.

Но как показывает практика и после 6 месяцев публикации на сайте качественного уникального контента движений в позитивную сторону может и не быть. Если у вас подобная ситуация и сайт, не индексируется на протяжении 1 - 2 месяцев, то лучше . Как правило после этого все становится на свои места и страницы сайта начинают индексироваться.

3. Неуникальный контент. Добавляйте на сайт только уникальный материал. Если на страницах вашего сайта размещается большое количество копипаста, то не удивляйтесь, что со временем эти страницы могут выпадать из индекса.

4. Наличие спама в виде ссылок. На некоторых сайтах страницы буквально завалены внешними ссылками. Веб-мастер обычно размещает все это для того, чтобы заработать побольше денег. Однако конечный результат может быть очень печальным – определенные страницы сайта да и весь сайт может быть исключен из индекса, либо могут быть наложены какие-то другие санкции.

5. Размер статьи. Если вы просмотрите исходный код какой-либо страницы вашего сайта, то увидите, что текст самой статьи занимает не так много места по сравнению с кодом других элементов (шапка, футер, сайдбар, меню и т.д.). Если статья будет слишком маленькой, то она и вовсе может потеряться в коде. Поэтому также могут возникнуть проблемы с уникальностью такой страницы. Поэтому старайтесь публиковать заметки, объем текста в которых не меньше 2000 знаков, с таким контентом вряд ли возникнут проблемы.

Как сделать проверку индексации сайта

Теперь поговорим о том, как провести проверку индексации вашего интернет ресурса и узнать, сколько именно страниц проиндексировано.

1. Прежде всего, попробуйте вбить в простой поиск того же Google или Яндекса. В полученных результатах должна быть данная страница. Если страницы нет, то значит она не проиндексирована.

2. Чтобы проверить индексацию всех станиц сайта в Яндексе достаточно в поисковую строку вставить host:ваш-сайт.ru | host:www.ваш-сайт.ru и произвести поиск. Для Google достаточно вставить в поисковую форму site:ваш-сайт.ru

3. Также можно проверить свой сайт при помощи такого сервиса, как pr-cy.ru. Тут все просто и понятно устроено. Нужно просто вбить адрес вашего ресурса в поле, находящееся по центру, а затем нажать кнопку «Анализировать». После анализа вы получите результаты проверки и узнаете, сколько страниц проиндексировано в том или ином поисковике (сделать это можно в соответствующем разделе под названием «Основные показатели сайта»).

4. Если ваш сайт добавлен в сервис Яндекс Веб-мастер, то там тоже можно отслеживать индексацию страниц веб-сайта данным поисковиком.