read()) !== false) { if (($entry != ".") && ($entry != "..")) { if (is_dir("$source_dir/$entry")) { make_file_list("$source_dir/$entry", $list); } else if (is_file("$source_dir/$entry")) { //$list[] = mb_convert_encoding("$source_dir/$entry", 'UTF-8', 'Windows-1251'); $list[] = "$source_dir/$entry"; } } } } function make_dir_list($source_dir, &$list, $max_level = -1) { $dir = dir($source_dir); while (($entry = $dir->read()) !== false) { if (($entry != ".") && ($entry != "..")) { if (is_dir("$source_dir/$entry")) { if ($max_level > 1) make_dir_list("$source_dir/$entry", $list, $max_level - 1); else if ($max_level == -1) make_dir_list("$source_dir/$entry", $list); $list[] = mb_convert_encoding("$source_dir/$entry", 'UTF-8', 'Windows-1251'); } } } } function delete_directory($dirname) { if (is_dir($dirname)) $dir_handle = opendir($dirname); if (!$dir_handle) return false; while($file = readdir($dir_handle)) { if ($file != "." && $file != "..") { if (!is_dir($dirname."/".$file)) unlink($dirname."/".$file); else delete_directory($dirname.'/'.$file); } } closedir($dir_handle); rmdir($dirname); return true; } function copy_directory($source, $destination) { if (is_dir($source)) { @mkdir($destination); $directory = dir($source); while (false !== ($readdirectory = $directory->read())) { if ($readdirectory == '.' || $readdirectory == '..') { continue; } $PathDir = $source.'/'.$readdirectory; if (is_dir($PathDir)) { copy_directory($PathDir, $destination.'/'.$readdirectory); continue; } copy($PathDir, $destination.'/'.$readdirectory); } $directory->close(); } else { copy($source, $destination); } } ?> Оптимизация веб-сайтов: Индексирование — Недвижимость Москвы и области. Обзоры, новости, аналитика

Страницы, которые связаны с уже проиндексированными страницами других поисковых систем, обнаруживаются автоматически и не требуют специального добавления. Некоторые поисковые системы, например Yahoo !, предлагает платную услугу, которая гарантирует, что веб-паук будет просматривать сайт за определенную фиксированную плату или за клик. Такие сервисы обеспечивают включение в базу данных, но не обеспечивают конкретную позицию при отображении результатов поиска. Два больших каталога, Yahoo Directory и Open Directory Project, требуют ручного ввода веб-сайта и проверки редакторами. Каталог — это веб-сайт, который устроен немного иначе, чем обычные поисковые системы. Контент управляется администраторами-людьми. Каталоги с большим количеством данных носят более общий характер. Большинство из них меньше по размеру и ориентированы на определенный жанр.

Google предлагает консоль поиска Google (ранее — Инструменты для веб-мастеров, набор инструментов для веб-мастеров), которая позволяет создавать XML-карту сайта, которая позволяет поисковому роботу обнаруживать все веб-страницы и подстраницы, особенно те страницы, которые сканер не может обнаружить путем автоматического отслеживания. Также можно запустить рекламу Google.

При просмотре сайта веб-пауки учитывают множество факторов. Поисковые системы не индексируют каждый сайт. Расстояние между корневым каталогом и подстраницами может играть важную роль при просмотре веб-поисковым роботом. Проблемы просмотра веб-страниц также вызваны веб-страницами с разнообразной графикой, флэш-файлами и динамическим содержимым.

Запретить поисковым роботам просматривать страницы редактировать
Веб-мастера могут запретить поисковому роботу просматривать нежелательный контент. файлы и каталоги через файл robots.txt, расположенный в исходном каталоге веб-сайта. Веб-сайт также может быть исключен из базы данных поисковой системы с помощью специального метатега, который может прочитать веб-паук. Мета-метатег позволяет вам определять важные ключевые слова, релевантные при поиске веб-сайта. Все метатеги должны быть помещены между тегами … и … в HTML-коде на веб-странице. Следует отметить, что многие поисковые системы больше не используют этот значок (но он также не опасен, если они находятся на веб-сайте).

Когда паук посещает веб-сайт, он сначала читает файл robots.txt, который сообщает ему, какие страницы не следует просматривать. Поскольку сканер долгое время хранил этот файл в памяти, он может не заметить новую версию файла и по-прежнему искать страницы, которые владелец сайта не хотел индексировать. Типичными страницами, которые обычно запрещены для пауков, являются различные страницы с процедурами входа в систему (например, онлайн-корзина) и пользовательским контентом, таким как результаты внутреннего поиска. В марте 2007 года Google предупредил администраторов сайтов, чтобы они не индексировали внутренний поиск, так как это считается мусором.

от admin