Как работает Google Поиск. Как работают в Google

Задумывались ли вы, как работает технология Google? Конечно, в процессе организации поисковой выдачи (SERP) задействован сложный алгоритм, основанный на множестве переменных. Но все же — сможете в простых словах объяснить принцип работы самого популярного в мире поисковика?

Чтобы разобраться в дебрях алгоритма самой сложной поисковой машины, взгляните на эту крайне полезную инфографику от quicksprout.

Вездесущие поисковые «пауки» Google заползают на некоторые веб-страницы, а затем идут дальше по ссылкам с этих страниц. Такой подход сканирования сети позволяют Google индексировать более чем 100 миллионов гигабайт информации.

Для того чтобы пользователи получали лучшие результаты выдачи, Google постоянно создает и совершенствует программы. Вот краткий список основных направлений, по которым ведется постоянная работа:

• проверка орфографии;
• автозаполнение;
• поиск по синонимам;
• общее понимание запросов;
• живой поиск Google;
• поисковые паттерны.

• сколько раз на странице встречается ключевое выражение?
• вхождение ключевого слова в Title или URL?
• содержит ли страница синонимы ключевого выражения?
• каков Google PageRank страницы?

Все это происходит за ⅛ секунды.

Так называемая Сеть знаний (knowledge graph) — технология, которая выдает результаты, основанные на глобальной базе данных по реальным людям, местам и связям между ними. Например: кроме сухих фактов о биографии Льва Толстого вы получите максимум интересного контента (текст/фото/видео), связанного с этой фигурой.

Удобства поисковой выдаче добавляют и сниппеты — небольшие фрагменты информации, позволяющие быстро и без необходимости перехода по ссылке понять, соответствует ли страница вашему запросу.

Прочие инструменты Google, облегчающие поиск:

Здесь комментарии излишни. Просто нажмите на иконку микрофона, и расскажите поисковой системе, что хотите найти. Но будьте аккуратны — она может ответить. :)

2. Изображения

Показывает основанные на результатах выдачи эскизы изображений.

Поиск Google позволяет задавать конкретные вопросы, и получать быстрый ответ на них.

А еще Google владеет вторым по популярности в мире поисковиком, который вы все прекрасно знаете:

Вывод

Что же сделало Google столь успешной поисковой системой? Несмотря на множество сложнейших процессов, происходящих незаметно для пользователя, Google — простой и удобный поисковик с точки зрения юзабилити. Какой бы вы ни задали вопрос, он предоставит релевантную поисковую выдачу за 1/8 секунды.

Эрик Шмидт, Джонатан Розенберг, Алан Игл

Как работает Google

Eric Schmidt and Jonathan Rosenberg, with Alan Eagle

HOW GOOGLE WORKS

Copyright © 2014 by Google, Inc.

All illustrations c Nishant Choksi 2014

This edition published by arrangement with Grand Central Publishing, New York, New York, USA. All rights reserved

© Перевод. Дарья Барретт, 2015

© Оформление. ООО «Издательство «Эксмо», 2015

* * *

Нашим любимым умным креативщикам – Венди и Берил

Предисловие

Когда я был моложе и впервые начал задумываться о своем будущем, то решил стать либо профессором, либо бизнесменом. Я считал, что таким образом я в любом случае буду более независимым и обрету свободу мыслить, руководствуясь в первую очередь своими принципами и законами физики, а не мнением большинства, с которым приходилось бы мириться. Мы стараемся применять независимость мышления почти ко всему, что мы делаем в Google, – об этом Эрик и Джонатан рассказывают в своей книге «Как работает Google» . Данный принцип является движущей силой наших самых великих успехов и некоторых серьезных неудач.

Компания Google действительно руководствуется в первую очередь принципами. Однажды ночью мне приснился сон, больше похожий на мечту, и я проснулся с мыслью: «А что, если бы можно было загрузить Всемирную сеть целиком и просто сохранить ссылки?» Я схватил ручку и быстро записал детали, чтобы понять, было ли такое на самом деле возможно. В тот момент мой «радар» даже близко не уловил идею создать поисковую систему. И только позже мы с Сергеем поняли, что ссылочное ранжирование веб-страниц могло дать гораздо лучшие поисковые результаты. Когда мы начинали создавать Gmail, это тоже было похоже на несбыточную мечту. А когда Энди Рубин десять лет назад создавал Android, большинство людей думали, что совмещение мобильной индустрии с открытой операционной системой – это полный бред.

К своему удивлению, с годами я осознал, насколько сложно сделать сотрудников суперамбициозными. Оказывается, большинство людей не обучали мыслить масштабами полета на Луну. Обычно они считают какие-то вещи невозможными, вместо того чтобы, исходя из законов физики, выяснить, что на самом деле возможно. Вот почему мы вложили столько энергии, стремясь поставить перед собой большие цели и привлечь в Google людей с независимым мышлением. Потому что если у вас есть правильные сотрудники и достаточно смелые мечты, то, как правило, у вас все получится.

Справедливо также и то, что многим компаниям удобно жить своей привычной жизнью, постепенно внося лишь некоторые изменения. Благодаря такому подходу все их постепенные изменения со временем оказываются бесполезными. Это особенно актуально для технологий, ведь перемены подразумевают революцию, а не эволюцию. Следовательно, вам необходимо заставить себя сделать большие ставки на будущее. По той же причине мы инвестируем в проекты, которые могут показаться слишком гипотетическими (например, беспилотные автомобили или доступ в Интернет с помощью воздушных шаров). Сложно сейчас поверить, однако когда мы начинали работу над картами Google Maps, люди считали, что наша цель (составить карту всего мира с фотографиями каждой улицы) окажется невыполнимой. Поэтому если прошлое является каким-то индикатором нашего будущего, то через несколько лет сегодняшние большие ставки не будут казаться настолько уж дикими.

Вот лишь некоторые важные, на мой взгляд, принципы. Об остальных вы прочтете в этой книге. Надеюсь, что вы сможете воспользоваться нашими идеями, чтобы самим создать что-то невероятное.

Ларри Пейдж, соучредитель и CEO компании Google

Введение: уроки, полученные с передних рядов

Эрик Шмидт находился на посту CEO компании Google уже два года, когда в июле 2003‑го он получил письмо по электронной почте от одного из инвесторов и членов правления компании Майка Морица, партнера Sequoia Capital. В нем был совет:

Предлагаю подумать над тем, чтобы выделить в своем графике три часа в середине августа, когда руководство представит совету директоров нашу кампанию против финляндии. (Я не думаю, что нам следует ждать сентябрьского совещания. это слишком важная тема, и все мы знаем, что лучший способ понять, насколько коротким может быть год, – это начать конкурировать с финляндией.)

Непосвященных данное письмо может сбить с толку. С чего вдруг пятилетний интернет-стартап Google, расположенный в Маунтин-Вью (штат Калифорния) и имеющий штат всего в несколько сотен сотрудников, собрался конкурировать с Финляндией – дружелюбной и миролюбивой страной с населением пять миллионов, расположенной за пять тысяч миль?

Эрик получил это «финское» послание как раз тогда, когда он начал наконец осваиваться в Google. До этого он проработал в компании Novell на должности CEO, а также в компаниях Sun Microsystems и Bell Labs. Он вырос на севере Виргинии, окончил Принстон со степенью в электротехнике, а также получил степень магистра и степень доктора наук в области информатики от университета Беркли (Калифорния). И ему не чуждо было работать с инженерами и учеными в области информатики. Более того, Эрик сам был одним из них. Тем не менее, придя в Google, он оказался в месте, которое сильно отличалось от любой другой компании, где он когда-либо работал.

Его приход в Google с первых же дней стал для него откровением, которое можно охарактеризовать фразой: «У меня такое ощущение, что мы больше не в Канзасе». Когда Эрик зашел в выделенный ему кабинет, он показался ему довольно скромным по меркам такой важной персоны, как CEO. К тому же, в нем уже разместились несколько программистов. Вместо того чтобы выгнать их, он обосновался в соседней комнате, которая скорее напоминала кладовку с окошком, нежели настоящий кабинет.

Через несколько недель ситуация ухудшилась. Однажды утром Эрик шел по вестибюлю по направлению к своему кабинету и заметил, что его помощница Пэм Шор чем-то обеспокоена. Вскоре выяснилась и причина: в его кабинете появился новый сосед. Им оказался один из инженеров, специализирующихся на поисковых системах, – Амит Патель. Он объяснил Эрику, что в его кабинете уже работают пять сотрудников и вскоре к ним должен присоединиться еще один. Тогда Амит решил распилить один из столов напополам, чтобы создать дополнительное рабочее место, но ничего не вышло. По сравнению с тем, что он имеет сейчас, кабинет Эрика показался этому инженеру довольно просторным, и он переехал. (Команда, которая занималась организацией рабочего пространства в компании, отказалась перенести вещи Амита в комнату Эрика, и он все сделал сам.) В итоге Амит и Эрик проработали в одном кабинете бок о бок несколько месяцев. Было совершенно очевидно, что в этой компании важность сотрудников не измерялась в квадратных метрах.

Как Google обнаруживает веб-страницы, сканирует их и выдает результаты

В этой статье приведены два объяснения принципов работы Google Поиска: краткое и подробное.

Google получает информацию из разных источников. Вот примеры некоторых из них:

• веб-страницы;
• контент, добавленный пользователями, например опубликованный ими в сервисах "Google Мой бизнес" и "Google Карты";
• отсканированные книги;
• открытые базы данных в Интернете;
• множество других источников.

В этой статье речь пойдет только о контенте, размещенном на веб-страницах.

Краткое объяснение

Формирование результатов поиска по веб-страницам проходит в три этапа, которые описаны ниже.

Сканирование

Сначала нужно определить, какие страницы есть в Интернете. Поскольку их официального реестра не существует, роботу Google приходится постоянно искать новые страницы и добавлять их к списку уже известных. Этот процесс называется сканированием .

Информация о существующих страницах поступает нам несколькими способами. В одних случаях робот Google самостоятельно обнаруживает страницы в процессе сканирования. Также он может переходить на них по ссылкам, размещенным на других страницах. Кроме того, владелец сайта может сам отправить в Google файл Sitemap со списком страниц, которые нужно сканировать. Наконец, если вы создали свой сайт с помощью стороннего сервиса, например Wix или Blogger, то такой поставщик услуг хостинга может сообщать Google о том, что нужно просканировать добавленные или измененные вами страницы.

Как повысить эффективность сканирования

• Вы можете запрашивать сканирование отдельных URL , если изменения вносились только на соответствующих страницах.
• На страницах, которые уже известны роботу Google, размещайте ссылки на свои новые страницы при их публикации. Обратите внимание , что наш робот не будет переходить по ссылкам, которые не соответствуют требованиям Руководства Google для веб-мастеров , например указаны в объявлениях и комментариях или размещены за плату.
• Если вам требуется сканирование только одной страницы, выберите для этого главную . Именно она считается наиболее важной страницей вашего сайта. Если вам нужно полное сканирование сайта, убедитесь, что на нем реализована удобная навигация со ссылками на все ключевые разделы и страницы ресурса. Благодаря этому пользователям и роботам Google будет удобно ориентироваться на вашем сайте.

Мы не обеспечиваем более частое сканирование или более высокий рейтинг сайта за плату. Те, кто утверждает обратное, вводят вас в заблуждение.

Индексирование

После обнаружения страницы нужно определить, какой теме посвящено ее содержание. Этот процесс называется индексированием . Он заключается в том, что Google анализирует контент страницы и систематизирует найденные на ней изображения и встроенные видео. Полученная информация сохраняется в индексе Google – огромной базе данных, размещенной на множестве компьютеров.

Как повысить эффективность индексирования

• Придумывайте короткие и информативные заголовки страниц.
• Используйте на страницах подходящие тематические заголовки.
• На ваших страницах должно быть достаточное количество текста. Google умеет распознавать содержание некоторых картинок и роликов, но не так эффективно, как в случае с текстом. По возможности создавайте для своих видео и изображений комментарии с помощью различных атрибутов, например alt.

Выдача результатов и ранжирование

Когда пользователь вводит запрос, Google на основе многочисленных факторов ищет в своем индексе самые подходящие результаты. К таким факторам относятся местоположение, язык, тип устройства пользователя (обычный компьютер или телефон) и т. д. Например, результаты по запросу "ремонт велосипедов" будут различаться в зависимости от того, находитесь вы в Париже или в Гонконге. Ранжирование выполняется по заданным алгоритмам, и Google не повышает рейтинг страниц за плату.

Как повысить эффективность ранжирования

• Обеспечьте быструю загрузку своей страницы и оптимизируйте ее для мобильных устройств.
• Размещайте на странице полезный контент и своевременно обновляйте его.
• Следуйте рекомендациям, представленным в Руководстве Google для веб-мастеров , чтобы обеспечить удобство просмотра сайта.
• Изучите Введение в поисковую оптимизацию .
• Ознакомьтесь с , а также с нашими рекомендациями по оценке качества результатов поиска .

Подробное объяснение

Хотите узнать больше? Мы это предусмотрели.

Версия для любознательных

Сканирование

Сканирование – это процесс, в ходе которого робот Googlebot обнаруживает новые и обновленные страницы для добавления в индекс Google.

Мы используем огромную сеть компьютеров, чтобы просканировать содержание миллиардов веб-страниц. Программа, выполняющая сканирование, называется роботом Google (или пауком). Этот робот действует полностью автоматически: он самостоятельно определяет, какие сайты сканировать, как часто это нужно делать, а также какое количество страниц следует выбрать на каждом из них.

Процесс сканирования Google начинает со списка URL веб-страниц, созданного в ходе предыдущих сеансов сканирования. Его дополняют данные из файлов Sitemap, предоставленных веб-мастерами. Просматривая каждый из этих сайтов, поисковый робот Googlebot находит на каждой странице ссылки и добавляет их в список страниц, подлежащих сканированию. Все новые и измененные сайты, а также неработающие ссылки помечаются, и впоследствии соответствующие данные появляются в индексе Google.

Как Google находит страницы?

Робот Google находит страницы различными способами. Помимо прочего, к ним относятся следующие:

• переход по ссылкам с других сайтов;
• обработка данных в файлах Sitemap.

Как Google определяет, какие страницы не нужно сканировать?

• Если доступ к странице заблокирован в файле robots.txt, она не будет сканироваться, но все равно может быть проиндексирована, если на другом сайте есть ссылка на нее. Обратите внимание, что Google может по содержанию ссылки определить тему страницы и проиндексировать ее, не анализируя опубликованные на ней материалы.
• Робот Google не может сканировать страницы, недоступные анонимным пользователям, то есть те страницы, для просмотра которых нужно выполнить авторизацию или вход.
• Реже сканируются страницы, считающиеся точными копиями уже просканированных страниц.

Как повысить эффективность сканирования

Следуйте представленным ниже инструкциям, чтобы упростить для Google поиск нужных страниц на вашем сайте.

• Используйте простые, удобочитаемые и структурно упорядоченные пути URL , а также продуманные прямые внутренние ссылки.
• Если на вашем сайте используются параметры URL, например для указания страны пользователя в международном интернет-магазине, сообщите Google важные сведения о них с помощью инструмента "Параметры URL" .
• Используйте инструкции в файле robots.txt: чтобы снизить нагрузку на сервер, укажите, какие страницы могут быть добавлены в индекс Google и какие из них нужно сканировать в первую очередь. Не следует рассматривать этот файл только как способ заблокировать доступ к контенту и предотвратить его индексирование.
• С помощью атрибута hreflang указывайте версии страницы на разных языках.
• Укажите каноническую и альтернативные страницы .
• Используйте отчет об индексировании .

Индекс ирование

Робот Googlebot анализирует каждую сканируемую страницу, чтобы составить полный индекс всех найденных слов, а также отметить, в какой части страницы они находятся. Кроме того, мы учитываем данные из основных тегов и атрибутов, например тегов