Какие данные собирает Google, и как их скачать, или как узнать о человеке всё, взломав только его почту?
Как известно, Google хранит большое количество данных о своих пользователях, чем его непрерывно попрекают. Под давлением и критикой в Google создали механизм, который позволяет выкачать все свои данные. Этот сервис называется Takeout, и у него могут быть разные интересные применения, о которых мы и поговорим. А заодно детально изучим то, что он выдает на руки пользователю.
Источник статьи телеграм канал IT Books
Как скачать сохраненные в Google данные
Причины взять и забрать всё могут быть разными. Например, вы хотите мигрировать на другой сервис и перенести туда свои данные: без конвертации вряд ли обойдется, но иногда это оправданная морока. Или, может быть, вы хотите сделать какую-то аналитическую систему в духе лайфлоггинга и quantified self и вам в этом помогут накопленные в Google данные. Или страна, в которой вы живете, вдруг решила отгородить свой интернет каким-нибудь великим файрволом, после чего Google окажется за бортом.
Если не хотите качать такие объемы, то заказывайте частичные архивы, которые будут включать не все сервисы. Например, если выключить Photos, YouTube и Gmail, а также Drive, если вы там храните что-то помимо тестовых документов, то может получиться всего несколько сот мегабайтов. Кстати, чем меньше архив, тем быстрее приходит ссылка на скачивание.
Какие данные собирает Гугл
В этой главе я расскажу, о каждом (собирающем пользовательские данные) сервисе Google. Начнем с самых популярных и часто используемых.
Какие данные собирает поиск Google
Начнем с одной из самых занимательных вещей — истории поисковых запросов. Она лежит в папке Searches и разбита на файлы по три месяца, к примеру 2018-01-01 January 2018 to March 2006.json. Если открыть один из них, то увидите, что информация о каждом запросе состоит всего из двух вещей: времени в формате Unix и искомой строки.
Для перевода времени можно использовать какой-нибудь онлайновый конвертер, а если нужно будет сконвертировать массово, то это делается одной строкой на Python (замените слово «время» на свое значение):
Но подробным анализом я предлагаю вам заняться самостоятельно. Мы же забавы ради попробуем поискать вхождения тех или иных строк при помощи grep. Поскольку данные сохранены в JSON, их сначала нужно будет сконвертировать в строки — я для этого использовал утилиту gron.
Если у вас gron, можете написать что-то в таком духе:
$ for F in *; do cat «$
» | gron | grep «deepwebteam»; done
И увидите все свои запросы со словом spysoftnet за все время. Какие еще ключевики можно попробовать? Ну например, слово «скачать».
Или вот занятная идея: если поискать символ @, то вы найдете все почтовые адреса и аккаунты Twitter, которые вы пробивали через Google.
Обратите внимание, что здесь нет поиска по картинкам и видео, но мы их еще обнаружим в папке My Activity.
Какие данные собирает чат Google
Возможно, у вас уже где-то спрятана папка со старыми логами ICQ и вы бы хотели присовокупить к ней еще и все когда-либо написанное через Google Talk и Hangouts. Это вполне реально, но, к сожалению, читать переписку в том виде, в котором она приходит из Takeout, практически невозможно (в отличие, кстати, от логов ICQ).
Весь текст экспортируется как единственный файл JSON плюс горка приложенных картинок — все это лежит в папке Hangouts. С картинками никаких проблем, а вот в JSON на каждое написанное сообщение приходится порядка двух десятков строк метаданных. Но пожалуй, главная головная боль — в том, что вместо имени отправителя здесь ID пользователя.
Наверное, самое простое, что мы можем сделать, — это выкинуть всю мишуру и оставить только текст. По крайней мере можно увидеть какие-то, пусть и обезличенные, беседы.
Так хотя бы есть шанс что-то выловить.
Какие данные собирает Google+
Что действительно есть смысл бэкапить — это посты из социальной сети Google+, которая стремительно становится артефактом прошлого. Если вы, конечно, вообще когда-либо ей пользовались.
Данные поделены на три папки: Google+ Stream, Circles и Pages. Давайте заглянем в них по порядку.
Circles — это контакты людей, организованные по «кругам» из Google Plus. Формат — vCard (VCF) с той информацией, которую люди сами о себе заполнили. Можно при желании одним махом импортировать в любую адресную книгу.
Папка Pages будет присутствовать в том случае, если у вас имелись публичные страницы. Но ничего интересного там нет, разве что юзерпик и обложка страницы.
Также к данным Google+ стоит отнести папку Profile. В ней содержится JSON с копией всех тех данных, что вы заполнили о себе в этой соцсети. Основные интересные вещи лежат в структурах urls (ссылки на другие профили в соцсетях) и organizations (места работы с датами). Забавная деталь: при том, что у меня в профиле не указан возраст, здесь присутствует поле «ageRange»: <«min»: 21>, значение которого Google, кажется, определил самостоятельно.
Самое главное вы найдете в папке Google+ Stream. Здесь в качестве отдельных HTML свалены все ваши посты с комментариями и даже отдельные комментарии. Можно полистать и поностальгировать, а можно парой строк на Python с BeautifulSoup выдрать, к примеру, только тексты постов. Выбирать нужно будет элементы с классами entry-title и entry-content.
К сожалению, картинки из постов не бэкапятся автоматически — они так и остаются ссылками на сервер Google, который еще и не отдаст их без авторизации. Недоработочка!
Какие данные собирает сервис Карты
Еще одна большая и важная категория личных данных. Начнем с простого — папки MyMaps. Это маршруты, созданные вами в Google Maps, — по одному файлу KMZ на маршрут.
KMZ — это формат Google Earth, который поддерживается и в других картографических приложениях. Ну а по сути это ZIP, в котором лежит файл KML, являющийся валидным XML. Если для ваших целей это по каким-то причинам не подходит, можете воспользоваться сервисом GeoConverter и сконвертировать его, например, в GeoJSON, работать с которым немного попроще.
Папка Maps (your places) содержит один файл — Saved Places.json. В нем собраны все ваши закладки из Google Maps в виде очередной заковыристой структуры. Каждая из закладок — это элемент массива features, у которого есть заголовок, дата добавления, дата изменения и ссылка на Google Maps. А вот геокоординаты могут быть записаны по-разному: как поле geometry с массивом coordinates или как Location с полями Latitude и Longitude, но оно же (чтобы жизнь медом не казалась) может называться, например, Geo Coordinates. В общем, при желании учесть все эти особенности не слишком тяжело, но могло бы быть и попроще.
Наконец, самая занимательная папка — это Location History — файл со всей историей ваших перемещений с мобильным телефоном в кармане за все время. У меня эти данные занимают 7,5 Мбайт.
Файл устроен очень просто, особенно в сравнении с другими архивами. Это огромный массив из структур, включающих в себя: время в формате Unix, широту, долготу и точность определения. Иногда к ним добавляются (вероятно, когда их удавалось определить) направление движения в градусах, высота в метрах и точность определения высоты.
Что делать с этим файлом, кроме как сохранить на память?
Например, можете поупражняться в его анализе на Python или на R. Есть и специализированный софт для ковыряния таких данных — Location History Visualizer Pro (стоит 70 долларов), а также любительские сервисы вроде They Know Where You’ve Been (если вы совсем уж не опасаетесь делиться этими данными со случайными людьми).
Однако сам сервис Google здесь пока что вне конкуренции. К Google Maps прилагается утилита Timeline, где накопленные данные можно отсматривать по дням, и здесь, помимо голых данных, которые выдаются через Takeout, есть всякая аналитика. Google, например, определяет названия мест и заведений, которые вы посещали, и прекрасно различает транспортные средства (и может легко понять, например, на мотоцикле вы передвигались, на машине или на велосипеде).
Какие данные собирает Google Chrome
Это крайне интересная папка, которая содержит всю облачную часть Google Chrome (а может быть, и не всю — никогда нельзя быть уверенным!). Вот что в ней лежит.
Bookmarks.html — содержимое закладок в виде списка HTML. Распарсить его не составит труда — хватайте данные из a href и делите на секции по содержимому h3. Для многих закладок указано время добавления в формате Unix.
Dictionary.csv — по всей видимости, здесь должны быть исключения для проверки орфографии, которых у меня нет.
Extensions.json — данные об установленных расширениях.
SearchEngines.json — данные о дополнительных поисковиках. Если вам когда-нибудь понадобятся правила составления поисковых запросов к разным поисковикам, этот файл как раз пригодится. В остальных случаях — вряд ли.
SyncSettings.json — настройки Chrome.
Autofill.json — в теории здесь должны быть данные для автоматического заполнения форм, но у меня только пустой массив. Похоже, если понадобится, эти данные проще вытащить из самого Chrome.
BrowserHistory.json — честно говоря, я ожидал увидеть в этой папке огромный кладезь личной информации: шутка ли — полный список всех сайтов, которые я когда-либо открывал в Chrome! Однако меня ждало разочарование: в этом файле перечислены лишь четырнадцать ссылок, которые я успел открыть в мобильном Chrome, когда скачал его посмотреть. На десктопе при этом внушительный список сайтов и включена галочка Sync Everything. Глюк Takeout?
Если с последним пунктом вам повезет больше, то вы с легкостью сможете проанализировать историю своих перемещений по интернету. Google сохраняет: тип перехода (по ссылке — LINK или напрямую — TYPED), заголовок страницы, URL, ID клиента (полезно, чтобы отличить свой десктоп от телефона и планшета) и время в формате Unix.
Какие данные собирает сервис My Activity
Это, пожалуй, одна из самых интересных папок, возможно даже более интересная, чем история поиска. Ее содержимое дает ответ на вопрос о том, как именно Google следит за пользователями. Пройдясь по папкам, вы можете своими глазами увидеть, что он записывает каждые:
переход на сайт, аффилированный с Google Adwords;
книгу, открытую в Books;
сайт, на который вы заходил через Chrome;
использованный API (папка Developers);
котировку, открытую в Finance;
запрос к Goggles (поиск объектов на снимке);
просмотр страницы в Google Play Store;
обращение к справке (папка Help);
запрос к Image Search и переход по ссылке;
просмотр объекта на карте (Maps);
поиск в Google News и чтение статьи на сайте-источнике;
поисковый запрос и переход по ссылке из результатов (папка Search);
поиск товара или покупку в магазине (папка Shopping);
просмотр поездок в Google Trips;
поиск видео и переход из результатов (Video Search);
голосовой поиск (папка Voice and Audio);
поисковый запрос и просмотр роликов на YouTube.
Отмечу, что история сайтов Chrome у меня была такая же полупустая, как и в папке самого Chrome, а раздел Shopping вообще никуда не годится: за двенадцать лет Google едва отследил пару настоящих покупок. Тем не менее массив информации очень внушительный. Особенно радуют файлы MP3 в папке Voice and Audio: вы можете послушать собственный голос, который произносит фразы из серии «Окей, Гугл…».
Всю ту же информацию вы можете просматривать и фильтровать на сайте «Моя активность». Там же можно удалить отдельные записи и отключить отслеживание отдельных активностей.
При этом формат, в котором все это выгружается, оставляет желать много лучшего. Это снова HTML с не самой удобоваримой разметкой и 150-килобайтным куском Material Design в каждом файле. Я на скорую руку сочинил вот такой скриптик на Python, который можно закинуть в любую из папок и запустить.
import re
text = open(‘MyActivity.html’, ‘r’).read()
result = re.findall(r’body-1″>(.+?)
Дубликаты не найдены
>> И увидите все свои запросы со словом spysoftnet за все время.
Там огромный, обширный пласт информации который интересен многим аналитикам, продажникам и бизнесменам.
Её можно монетизировать.
Кто то же должен за тобой следить, пока тащ майор спит.
в комерческих целях и не только
мне кажется подозрительным автор 20 минут зареган сразу такой пост и реклама телеграм канала судя по всему.
такого не было, точно
там же подробной инфы нет
ну так а че как удалить все эти данные с гугло сайта?? а вообще была уже подобная статья с редита тут.
удалить с гугла все свои данные не возможно.
даже если все выкачать копии останутся где-то в недрах дата центров гугл
А нет инфы про гугл премиум, чтоб заплатить и отключить рекламу? Как с Ютубом.
это рофл?)) у гугла есть реклама? тем более в ютюбе? оО
Гугл и ютуб это дочерние фирмы алфавита, так что технически это рекламные места алфавита везде. Важнее чтобы аккаунт давал возможность скрыть адсенс.
у меня нет рекламы просто. я не знаю о чем вы)
Ну ты просто вор, а я то про честных людей.
я очень честный)) мне не платят за показ рекламы. я ее и не смотрю. как заплатят буду смотреть с радостью
Ещё Фит записывает активность (передвижения, скорость, шаги) каждые 15 минут. Каждый день)
@admoders, пост не в том сообществе
всмысле нет? 2019 год заведи акаунт
Ебать ты без аккаунта
Прошу строго не судить, это не реклама. Меня долгое время не было на сайте и я забыл свю учетную запись(заходил раньше через гугл и потеряно учетка от гугла) и информацию как его восстановить. искал пути восстановления и наткнулся на эту статью, точнее мне его подсказали. почитал и решил со всеми поделиться. Я не автор того канала
Улучшение персонажа новой god of war
Идеальный кандидат
Valormainstream вернулся спустя 3 года.
История о том, как из-за одной модели пострадали 10 фотографов, агенство и журнал
Телега не моя, моего друга. Но я был свидетелем всего происходящего. Просто у него аккаунта на Пикабу нет) Далее его текст:
Вся история началась где-то в первых числах августа. Когда начались блокировки аккаунтов знакомых мне фотографов. Я не придал этому значения. Даже после блокировки моих двух аккаунтов: достаточно недоброжелателей в этом мире.
Как узнать, кто просматривал ваш Google Doc
Документы Google – отличный инструмент для совместной работы, поскольку он позволяет нескольким людям одновременно редактировать и работать над одним документом, не теряя при этом, кто чем занимается.
Если вы или ваша организация пользуетесь Документами Google, знание того, кто из команды какой документ и когда просматривал, может быть полезным. От обеспечения того, чтобы все прочитали черновик, условия и положения, вашу последнюю заявку, политики и процедуры или какой-либо другой важный документ, возможность увидеть, кто что и когда сделал, имеет важное значение.
До недавнего времени вы не могли видеть, кто просматривал ваш документ Google. Вы могли видеть, кто его редактировал, но не видеть, кто только что прочитал. Если они не сохраняли, не редактировали или не оставляли комментарий, вы не знали, читал ли конкретный человек последнюю версию документа.
Кроме того, поскольку вы можете делиться Документами Google с разрешениями только для чтения, вы можете предоставить доступ к документу некоторым людям с намерением, чтобы они просматривали документ, но не вносили никаких изменений.
Текущие версии Документов Google позволяют настраивать параметры, чтобы вы могли видеть, кто просматривал ваш Документ Google. Давайте посмотрим, как это сделать самому.
Монитор активности G Suite
G Suite обычно используется организациями, в которых важна совместная работа. Если вы используете G Suite для регулярной совместной работы с другими пользователями, вы можете использовать Activity Monitor для просмотра истории просмотра любого файла Google Doc.
Для этого выполните следующие действия:
Этот процесс позволит вам отслеживать просмотры в документе, включая дату и время последнего просмотра для каждого зрителя.
Если вы не видите параметр Activity Monitor в своем документе Google, это, вероятно, означает, что вы вошли в бесплатную версию Google Docs или в личную учетную запись, а не в версию G Suite.
Тенденции зрителей и комментариев
Помимо просмотра того, кто просматривал ваш документ Google, Activity Monitor также позволяет вам видеть тенденции в том, когда люди просматривали или комментировали ваш документ.
Тенденция зрителей: показывает гистограмму количества уникальных зрителей за любой выбранный промежуток времени от 7 дней до всего времени.
Тенденция комментариев: показывает гистограммы тенденции комментариев за любой промежуток времени от 7 дней до всего времени.
Отключить просмотр истории в Google Документах
Если по какой-либо причине вы хотите отключить историю просмотров документа, вы также можете сделать это, выполнив следующие быстрые шаги:
Эта опция также доступна в личной или бесплатной версии Google Документов. Если вы работаете над документом, но не хотите, чтобы ваши соавторы знали, пока вы не будете готовы поделиться своими окончательными изменениями, вы можете отключить историю просмотров.
Меню настроек позволяет отключить историю просмотров с помощью настроек «Панель мониторинга активности». После того, как вы переключите его в положение «выключено», нажмите «ОК», чтобы сохранить изменения.
Как узнать, кто внес изменения в ваш документ Google
Контроль версий очень важен, особенно если вы работаете в регулируемой отрасли. Контроль версий – это то, что Google Docs уже давно преуспевает. Документы покажут, кто редактировал документ, сохранял его или делился им. На самом деле это работает не только с G Suite, но и с личными Документами Google.
Если вас интересует контроль версий или вы хотите убедиться, что никто не вносил изменений, которых не следует делать, не заблокировав файл, вы можете выяснить это, выполнив следующие действия:
В правой части экрана должно появиться окно, показывающее каждое сохранение и редактирование данного документа. В зависимости от того, как у вас настроен G Suite или Google Docs, вы также можете просмотреть эти данные, выбрав ссылку «Последнее изменение было…» в верхней части документа. Это приведет вас в то же самое место.
В этом окне у вас также должна быть возможность просмотреть предыдущую версию документа до того, как были внесены изменения.
Это важно для контроля версий, поскольку у вас есть контрольный журнал того, какие изменения были внесены, когда они были сделаны и кем. Это также полезно, если вы внесли какие-то изменения, спали на них, передумали и хотите их откатить.
Как узнать, кто поделился вашим документом Google
Вы также можете увидеть, кто и когда предоставил доступ к вашему документу Google. Вы также можете увидеть настройки общего доступа, чтобы лучше контролировать доступ к своему документу.
Вы также можете проверить из документа, выбрав Поделиться. Имена людей появятся во всплывающем окне. Если есть несколько человек, выберите имя, и появится список всех имен.
Если у вас нет доступа к учетной записи G Suite, ваша способность определять, кто просматривал, поделилась и редактировала ваши документы, ограничена; тем не менее, есть способы получить некоторую базовую информацию.
Следуя инструкциям в этом руководстве, вы можете быстро и легко увидеть, кто просматривал, редактировал или каким-либо образом изменял ваш документ Google Docs.
Google следит за вами и подслушивает, а потом продает эту информацию. Как ему запретить
Компания Google не скрывает того факта, что будет знать о своих пользователях если не все, то очень многое. Еще когда вы создавали свой аккаунт, вас предупреждали, что будут отслеживать вашу историю поисковых запросов, просмотры на YouTube, аудиоинформацию, покупки, контакты, данные о звонках. Вот только прописано это все в многостраничном соглашении, которое не все могут прочитать до конца.
В Google объясняют — все это делается для того, чтобы подстраиваться под пользователей и делать продукты более удобными. Например, предоставлять индивидуальные предложения, контент или приложения. Но главное, информация используется для подбора наиболее заточенной под вас рекламы.
Почему слежка Google опасна
Ограничивать данные, которые по умолчанию собирает Google, следует хотя бы потому, что ваша личная информация может попасть в чужие руки. И не только, если кто-то взломает аккаунт.
Вашу информацию могут слить в Сеть. По вашей же вине
Так, в июле поисковик «Яндекс» проиндексировал файлы с сервиса Google Docs, не защищенные настройками приватности. В результате в публичном доступе оказались документы, в том числе персональные данные, пароли и другая конфиденциальная информация, занесенная в файлы Google Docs. Первое, что нашли пользователи через поиск «Яндекса», — это пароли. В открытом доступе оказались пароли к личным и рабочим аккаунтам в соцсетях, к электронной почте и другим сервисам. Кроме того, в документах обнаружились номера электронных кошельков. Впрочем, все защищенные паролем документы в поисковой выдаче не появились. Утечка произошла из-за халатности самих пользователей.
Вашу информацию могут передать посторонним людям. Совершенно законно
В пользовательском соглашении четко прописано, кому Google может сливать вашу конфиденциальную информацию:
Зачем Google следить за вами
Задача Google, как и любой коммерческой структуры в этом мире, зарабатывать деньги. Один из способов – эффективнее продавать рекламу. Для этого сервис собирает огромное количество информации обо всем. Ведь регистрируетесь и пользуетесь продуктом вы бесплатно, а за каждое бесплатно приходится платить, так или иначе.
Выдержка из пользовательского соглашения Google:
Как избавиться от слежки Google
Если вас просто достала реклама Google, которая предлагает вам товары под ваши запросы (мало ли что и когда вы искали и не хотите этого афишировать), то можно отключить персонализацию. Для этого перейдите по ссылке. Но это не значит, что Google перестанет собирать на вас информацию. Это просто будет меньше беспокоить.
Однако любой пользователь может запретить Google не только предлагать рекламу, но и собирать информацию.
Чтобы Google перестал следить целиком и полностью (во всяком случае по тем параметрам, о которых говорит официально), просто перейдите по ссылке и отключите все, что сейчас включено по умолчанию.
В этом случае Google перестанет получать информацию о ваших передвижениях, контактах, поисковых запросах, музыке и фильмах. Но вы теряете для Google свою индивидуальность: вам уже не предлагают нужный товар в онлайн-магазине или серию любимого сериала.
Если вы готовы предоставлять информацию о своих предпочтениях в YouTube, но не хотите, чтобы вас прослушивали, то для вас следующая инструкция:
Для доступа к своему личному досье нужно зайти в свой аккаунт, настройки конфиденциальности.
Затем перейдите в раздел «Отслеживание действий». Далее вы увидите несколько рубрик, каждая из которых посвящена вашей конфиденциальной информации.
Здесь собраны настройки по поисковым запросам и просмотренным страницам; местам, которые вы посетили; информации с устройств; голосовым запросам и командам; видео, которое вы искали и смотрели на YouTube.
Здесь хранятся все данные с микрофона вашего телефона. Стоит один раз сказать «ОК, Google», и все, что вас заинтересует, станет известно рекламодателям.
Для начала можно отключить запись голосового поиска. Просто переключите бегунок, расположенный справа
Из пользовательского соглашения Google:
Чтобы посмотреть сохраненные запросы, нужно перейти в историю голосового управления. Там вы увидите список голосовых запросов с датой записи. Если рядом с голосовым запросом показано сообщение «Расшифровка аудиофайла недоступна», значит, во время записи был отключен микрофон или возникали шумовые помехи.
Так выглядит страница пользователя, который не пользуется аудиопоиском Google
А вот так Google хранит данные более активных пользователей. Просто выберите наиболее «опасный» с вашей точки зрения запрос, и информация о том, как вы гуглили мемы с Иисусом, никому не достанется.
Кто еще следит за пользователями с помощью их же смартфонов и почему это так опасно, можно прочитать здесь.
