В предыдущем посте я сделал утверждение, что Гугл дает возможность государству - а точнее и уже, группировке при власти, которая владеет сейчас Гуглом - иметь центральный доступ к большей части Веба. Это так.

Во-первых, ситуация возникает в силу алгоритма работу Гугла: он crawls по всем веб-страницам (ссылкам типа href и src), сохраняет их копии на своих машинах, а затем обрабатывает и выставляет (очищенную часть) их для поиска.

Чтобы понимать, что попадает в Гугл надо иметь представление о топологии Интернета - или, в частном примере, Веба. Это, как выяснили в свое время работы сотрудников Zerox - "малый мир", порожденный случайным степенным графом с показателем степени около -2 (попозже я перепишу из статьи более точную оценку). Графы такого рода (с показателем больше -3.4, если я верно помню) как правило образуют одну гигантскую связную компоненту. Т.е. ВСЕ СВЯЗАНО ссылками СО ВСЕМ для подавляющего большинства веб-страниц (точнее, процентов 80-90, размер гигантской компоненты, которые в теории случайных графов аналитически вычисляется по степени распределения; оценка соответствыет жизни хорошо), причем средний путь от любой страницы А до любой другой Б чрезвычайно короток.

На основе этих работ - и предложенного алгоритма ранжирования страниц - Сергей Брин и его соученик создали свою поисковую машину. В начале они придерживались идеологии GNU и свободного программирования. Теперь Гугл превратился в корпорацию, в пайщиках которой типичные имена первых спекулянтов финансово-властной группировки корпоративной америки, начиная с Киссинджера, и более того, и пайщики, и хозяева в большой части принадлежат этническому еврейскому подмножеству властной элиты [здесь: добавить имена - emdrone]

Гугл когда-то мгновенно стал популярным и выдвинулся на первое место за отказ следовать стратегии других поисковиков, превращавших свои страницы в "порталы" заваленные рекламой и коммерческими ссылками (также если вы, коммерческая организация, платили, они выдвигали ваши страницы на первые места). Гугл также отказывался размещать на первой странице рекламу (ее привычный вид сохранен до сих пор).

Все это в прошлом. В 2003м Гугл был выдвинут на награду "Большой Брат". Совсем недавно он вышел с IPO (Initial Public Offer), спекуляция оказалась чрезвычайно успешной. Гугл превратился в про-правительственную корпорацию.

Отчего? Давайте рассмотрим список претензий, предъявленных ему при номинации на "Большого Брата" (кстати, держа в памяти, что список был составлен не журналистами, а программистами и/или был ими вычитан множество раз и фактология вроде бы не опровергнута):

1. БЕССМЕРТНЫЕ COOKIES. Гугл был первым поисковиком оставлявшим на машинах пользователей cookie со сроком уничтожения в 2-38 году. Повторные заходы и поиск вас идентифицируют; информация о ваши поисках собирается.

2. ГУГЛ ЗАПИСЫВАЕТ ВСЕ, ЧТО МОЖЕТ - cookie ID, IP адрес, время, дату и т.д. Гугл изменяет результаты в зависимости от IP-адреса (IP delivery based on geolocation)
[Например, насколько я помню один хороший пример, поиск из Германии не покажет ссылки на некоторые сайты, признанные "незаконными". Награды тому, кто догадается что это за сайты не будет, слишком просто - сайты, вскрывающие еврейское холокостничество и переписывание истории Второй Мировой - emdrone]

3. ГУГЛ ХРАНИТ ИНФОРМАЦИЮ ВЕЧНО. Есть свидетельства, что эта информация не просто в каких-то backups, но легко доступна.

4. ГУГЛ НЕ ОТВЕЧАЕТ, ЗАЧЕМ ЕМУ ЭТИ ДАННЫЕ. Запросы об их privacy policies игнорируются. Во время интервью с Сергеем Брином NYTimes (28 ноября 2002), он не стал отвечать на вопрос, используется ли эта информация в судебных запросах.
[По новым положениям акта "Патриот", кстати сам факт сообщения жертве факта поиска по ее private информации является преступлением - emdrone]

5. ГУГЛ НАНИМАЕТ АГЕНТОВ СЕКРЕТНЫХ СЛУЖБ. Мэт Катц (или Каттс), один из главных, старших инженеров, работал на NSA, Агенство Национальной Безопасности. Гугл хочет нанять больше работников имеющих допуски секретности.

6. ГУГЛ TOOLBAR - spyware, программа-шпион. Если включены advanced features, toolbar для майкрософтовского браузера Explorer "звонит" на Гугл каждый раз, когда вы читаете новую страницу, он считывает информацию cookie. Privacy Policy Гугла в этом признается, но только потому что компания Alexa в свое время проиграла судебное дело (class-action lawsuit), и их toolbar делал то же самое. Гугловский toolbar сам себя обновляет устанавливая новые версии не спрашивая вас, хозяина компьютера. Это означает, что если он присутствует на вашем компьютере, Гугл имеет доступ к файлам на вашем диске каждый раз, когда вы соединяетесь с Гуглом. Даже Майкрософт запрашивает, не хотите ли вы сделать upgrade - но не Гугл.

7. ГУГЛ "CACHE COPY" веб-страниц нарушает законы [копирайта, которого мне лично не жалко, но речь сейчас идет шире - о доступе к как он используется корпорацией - emdrone]. После удаления с вебсайта материалы продолжают появляться на Гугле.

8. ГУГЛ СОВСЕМ НЕ ДРУЖЕСТВЕННАЯ СИЛА - сейчас он обладает 75% монополией на внешние ссылки большинства вебсайтов. Вебмастеры не могут не ублажать Гугл если они хотят усилить траффик. Если они ведут себя "неправильно" (например, экспуатируя слабости полу-секретных, полу-известных алгоритмов ранжирования страниц Гуглом), они неожиданно могут обнаружить, что наказаны, и traffic на их сайтах исчезает [т.е. Гугл подправляет ранг их страниц, засовывая в задницу - emdrone]. Гугл не опубликовал никаких стандартов по этим вопросам, для наказанных не существует процессов апелляции. Гугл совершенно не подчинен никому. В большинстве случаев, он просто не отвечает на e-mail'ы вебмастеров.

9 ГУГЛ - БОМБА ЗАМЕДЛЕННОГО ДЕЙСТВИЯ В СМЫСЛЕ ВОПРОСОВ PRIVACY. Обслуживая около 200 миллионов поисков в день, большинство из-за пределов США, гугл - катстрофа, которая может случиться в любой момент. Васхингтонские бюрократы могут только мечтать о той изящной эффективности в сборе данных, которой добился Гугл.

Добавлю от себя.

1. Большинством "альтернативных" поисковиков сейчас в Штатах владеек корпорация Yahoo.

2. Центральность поисковиков для слежения за интернетом, составления профилей на отдельный пользователей и т.д. делают их эквивалентом системы Эшелон в Интернетовском мире. Отсюда и интерес властной мафии к владению Гуглом, и закрытость его работы, и сотрудники NSA, создающие его кишочки, и вечное хранение и так далее

3. Помимо госконтроля (который в мире неоконов и 911 также этнически не слеп) Гугл уже несколько раз проявлял свои этнические предпочтения в маркировке отдельных страниц.

Например, никаким автоматическим сбором информации невозможно объяснить label приставленный к результату гуглопоиска на имя David Irving:

Web site of disgraced British Holocaust denier David Irving. Contains latest news about himself, as well as articles reproduced from the world media about ...
www.fpp.co.uk/
[Дословно: "Веб сайт опозорившегося британского отрицателя Холокоста Дейвида Ирвинга. Содержит последние новости о себе ... -- второе предложение действительно есть на его сайте. Первое же подставлено евреями работающими в Гугле.
Чтобы понять, отчего он удостоился штучного обращения, надо знать, насколько центральным для холокостников было дело против Ирвинга, историка Второй Мировой, выкапывающего новые документы в архивах вместо переписывания устоявшейся версии истории. Для суда против него этнической мафией - деятелями вроде вложившегося Спилберга - были собраны миллионы (5? 15? не помню, есть на сайте Ирвинга, лень проверять) и куплен за 300-400 тысяч кембриджский профессор истории Эванс]

4. В силу вышесказанного, я сильно, очень сильно сомневаюсь, что Гугл respects, удовлетворяет (необязательные для него) предпочтения вебмастеров выраженные в HTTP headers и/или в robots.txt -- Гугл копирует все, что видно/доступно из гигантской связной компоненты графа. (Отпадают внутренние сайты компаний и те части сайтов, что правильно защищенные процедурами login and authentication, но их меньшинство; ничтожно мало окажется сайтов специально настроенных после долгой слежки чтобы не пускать только IP/domain crawlers гугла (которых много, которые могут иметь сильно разные IP и не разрешаться в его собственный domain), но чтобы при том оставаться открытыми прочим посетителям. Верно обратное - достаточно много сайтов наивны в том смысле, что их logins сломаны - прямые ссылки извлекают внутренние страницы, я например повсеместно натыкаюсь на это на сайтах англоязычных газет. Поскольку сама суть Веба в гиперссылках, подавляющее число сайтов подвязано к гигантской компоненте и видимо для crawlers. Для crawlers тем более не важно, генерируются ли страницы веб сайтами динамически - если страница в ответ на запрос по ссылке была создана, она будет сохранена).

Гугл хранит ВСЕ, но чистит отчасти то, что потом предоставляет для поиска простому населению. Компаниям он продает слегка другие услуги. Государству (которо, можно сказать, теперь его почти совладелец) - абсолютно иные.

Кроме того, список претензий еще раз подтверждает, что toolbar или прочие гугловспомогательные программы (какого-нибудь локального поиска вашего PC, которые незаметно для вас делится информацией с Гуглом) действительно "hack" персональные компьютеры до той степени, до какой гуглопрограмма имеет доступ к вашим локальным файлам.

5. И последнее. В предыдущем постинге вопрос о Гугле возник из-за "исламского экстремистского" сайта, который так удачно обнаружила BBC часы спустя после взрывов. Если они его так легко обнаружили, сайт имел какие-то ссылки куда-то еще. Следовательно, он обязан был быть индексирован Гуглом, если только он не появился, приблизительно говоря, "за сутки" до этого. Теоретически возможно, что "исламский экстремистский сайт" знал заранее IP адреса всех crawlers Гугла (т.е. программ, которые автоматически ходят от страницы к странице, сгружая их, выделяя ссылки, двигаясь дальше) и их позапрещал. Un-fucking-likely. Хотя бы потому, что для "исламских" сайтов (и тем более сайтов на арабском) с почти 100% вероятностью можно утверждать в современных США будут проводиться crawls с отдельных, специализированный машин как Гуглом, так и сотрудниками госбезопасности.
OED.

Что произошло с Гуглом можно доходчиво объяснить слегка иначе.

Мы все помним эволюцию ЖЖ: написанный Фитцем "под себя" как проект-хобби, он продолжался в духе открытого программирования и GNU-деклараций. Пока не стал достаточно заметен и куплен. Тут же состоялся пересмотр политики, от деклараций и клятв перед "user community" ничего не осталось, АТ наводит корпоративные порядки по доносам (что я с моим пессимизмом предсказал абсолютно, буквально, еще в январе - запись friends-only, но соврать мне не дадут)

Гугл проделал тот же путь. Только в случае Гугла все намного, намного серьезнее.