Сколько мусора в индексе поисковиков!

[gromov]

в то время, когда создавалась тема, я как-то активно плевал на подобные "тонкие" настройки , да и не seo тоже сомтрел с другой позиции

сейчас, плотно занимаясь оптимизацией и продвижением, понимаю, сколько мусора таки лезет в выдачу
оно вроде бы как и ничего страшного, если бы не новые фильтры от Яшки за зеркала страниц и различный тех мусор.

один из самых старых моих проектов сделан как-раз на viartshop script (до сих пор стоит 3.6, модифицированная всячески)
-11тыс страниц на апе яндекса - многие веб-мастера после подобного пьют что-то от сердца
т.к. сам по себе проект для меня уже был не суть важен, просто увидел факт резких скачков страниц из индекса - в индекс, решил посмотреть внимательнее, что же там так прыгает.

часть страниц удалялась явно за неуник контент (до 15% от общего объема), остальными были различные технические страницы

в общем, это все лирика, из важного:

1. в список нужно(можно) добавить Disallow: /reviews.php/
(в моем проекте это было критично важно - более 6тыс товаров, из которых до 20 всего имели отзывы, из них 15 - на уровне "круто", "спасибо", "ух ты". Но при этом каждый товар в выдачу тянет и пустую, практически, страницу с формой заполнения отзыва и списком отзывов. Выставил настройки "отзывы могут оставлять только зарегистрированные", чтобы меньше спам шел, и забанил индексирование этого дела.)
(явный минус - если вы продвигаетесь за счет уникальных комментов или они у вас идут естественным путем, то запрещать индексирование этого дела не с руки. Тогда нужно следить за тем, чтобы все товары имели развернуты (знаков от 200 БП) осмысленные уникальные комменты)

2. по факту удаления из выдачи разного мусора на следующем апе выдачи я обнаружил резкий рост в позициях по Яшке - до +40 и выход в топ по ВЧ. Я уверен, что никаких больше действий с сайтом не было.

делаем выводы

ps всем привет ) спс, что я все еще в обойме

[nemo]

Наблюдаю за одним из проектов тоже ещё на прежней версии 3.6. Версия практически со всеми последними обновлениями для неё, пока она была актуальна. Кроме файла robots.txt заполненного согласно рекомендаций этого форума, страницы содержат тег canonical url (для этой версии есть только в нашем дистрибутиве). В индексе Гугла и Яндекса страниц столько, сколько в карте сайта, т.е. статьи, товары. Почти ничего лишнего. "Мусора" практически нет.

[olle]

Позакрывать то всё можно... Но возник вопрос - если есть фильтр по производителю, то неплохо бы на странице каждого производителя прописать и мета-теги (тайтл, описание, ключи), а не закрывать их от индексирования. Может быть, кто-нибудь подскажет идею, как это можно сделать?

[Krasniy001]

Подскажите пожалуйста как закрыть страницы от индексирования reviews.php и product_print.php
/reviews.php?item_id=288
/product_print.php?item_id=441

Способ описанный выше Disallow: /reviews.php/ не работает

[MilkeyWay]

в конце слеш вроде не нужен

[Subbota]

Подскажите пожалуйста как закрыть страницы от индексирования reviews.php и product_print.php
/reviews.php?item_id=288
/product_print.php?item_id=441

Способ описанный выше Disallow: /reviews.php/ не работает

100 % слеш не нужен. а это для Вас специально выкладывал: Сколько мусора в индексе поисковиков!

[ergoline]

Обобщил я все что было написано и сваял такой роботс может и не правильно
User-agent: Yandex
Crawl-delay: 60
User-agent: *
Disallow: /reviews.php
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /styles/
Disallow: /payments/
Disallow: /preview/
Disallow: /sms/
Disallow: /db/
Disallow: /*.html?rnd=
Disallow: /*.html?manf=
Disallow: /*.html?filter=
Disallow: /*.html?sort_ord=
Disallow: /*.html?currency_code=
Disallow: /price.php
Disallow: /user_login.php
Disallow: /user_profile.php
Disallow: /search.php
Disallow: /basket.php
Disallow: /support.php
Disallow: /article_print.php
Disallow: /product_print.php
Disallow: /tell_friend.php
Disallow: /*filter=
Disallow: /article_print.php
Disallow: /product_print.php
Disallow: /search.php
Sitemap:
Host: www.

User-agent: Google
User-agent: *
Disallow: /reviews.php
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /styles/
Disallow: /payments/
Disallow: /preview/
Disallow: /sms/
Disallow: /db/
Disallow: /*.html?rnd=
Disallow: /*.html?manf=
Disallow: /*.html?filter=
Disallow: /*.html?sort_ord=
Disallow: /*.html?currency_code=
Disallow: /price.php
Disallow: /user_login.php
Disallow: /user_profile.php
Disallow: /search.php
Disallow: /basket.php
Disallow: /support.php
Disallow: /article_print.php
Disallow: /product_print.php
Disallow: /tell_friend.php
Disallow: /*filter=
Disallow: /article_print.php
Disallow: /product_print.php
Disallow: /search.php
Sitemap:
Host: www.
залил скрипт на хост. внес 8 позиций, смотрю - а у меня уже индексируется 2600 страниц сегодня вместо 760, ну понятно что все в соплях - уника 2% стало (обидно текст сам набирал, а не предыдущем сайте 5 лет копипаст стоял - и то было не ниже 5%).
И что то меня это не вдохновляет...
в сказки про мощь уника я верю не совсем, но и соплей столько ни к чему...

[olle]

Не думаю, что стоит закрывать:
а) /*.html?manf= Список товаров будет выводиться каждый раз разный.
б) /reviews.php Да это просто мечта - отдельная страница с отзывами, у которой ещё и тайтл формируется автоматически типа Отзывы: товар. Лучше потратьте время и набейте отзывы.

[ergoline]

я просто скомпоновал и вывалил как образец того, что уже обсуждалось. если кто то предложит какие то улучшения - я ж только за буду. да и остальные тоже. а то из соплей фиг выберешься (

[Krasniy001]

Не думаю, что стоит закрывать:
а) /*.html?manf= Список товаров будет выводиться каждый раз разный.
б) /reviews.php Да это просто мечта - отдельная страница с отзывами, у которой ещё и тайтл формируется автоматически типа Отзывы: товар. Лучше потратьте время и набейте отзывы.

Не согласен с обоими пунктами.
а) зачем каждый раз разный список товаров? Дело в детальной странице товара которая продублирует основную потому что будет с окончанием manf=
б) это мечта для тех кто торгует ссылками, как вы себе представляете набить отзывы для более 1000 товаров? это в случае если есть много отзывов тогда и индексацию этих страниц можно открыть

[ergoline]

это все хорошо, но было учтено гуглом страниц 780 (гуппии на 80 статей и куперминовская галерейка), а теперь когда я поставил магазин с 8 позициями - 2600!
так я не то что из соплей не вылезу, так и не какие памперсы не помогут)
а если мне нужно всего в данном случае около 30 товарных позиций - то стоит почесать репу, стоит только из - за планов социализации сайта в виде статей и форума наращивать такую массу 2 сортного индекса

внес 20 товаров. нажал сделать хмл карту (до этого тоже жал) - добавилась 467 ссылок!!!
23 ссылки на 1 позицию -как то многовато будет

[Anstrem]

Стал разбираться с robot.txt, нашел эту тему и вот какой вопрос у меня возник по вариантам конфигов выше.

В для robot.txt черным по белому написано: если обнаружено 'User-agent: Yandex', то директивы для 'User-agent: *' не учитываются.

В примерах выше везде есть секция
User-agent: Yandex

А все Dissalow прописаны для User-agent: *

Т.е. от Яндекс все выше приведенные конфиги не закрывают абсолютно ничего ! К индексированию Яндексом будут доступны при таких robot.txt абсолютно все страницы сайта. Это легко проверить кстати в интерфейсе Я.Webмастера.

Это так и задумывалось или все таки нет ?

[oldmanager]

Наверное случайно так получилось
Но ничего не мешает самому вписать для Яндекса всё, что считаете нужным.

[Anstrem]

Наверное случайно так получилось
Но ничего не мешает самому вписать для Яндекса всё, что считаете нужным.

Да я собственно не знаю что нужно, потому и спросил: надо эти все страницы от Яндекса скрывать или не надо, как задумывалось то ?

[oldmanager]

Да я собственно не знаю что нужно, потому и спросил: надо эти все страницы от Яндекса скрывать или не надо, как задумывалось то ?

Вы уже читали рекомендации Яндекса и знаете, как он индексирует сайты. Теперь определитесь, какие страницы вы хотите видеть в выдаче и закройте остальные от индексации. Например строчка

Disallow: /*?* 

закроет от индексации все страницы, в адресе которых встречается знак "?". А строка

Disallow: *?tab* 

наоборот разрешит индексировать страницы с записью "?tab" в адресе.
Как-то так.