Поиск по коду КЛАДР
Если вам не известен точный адрес, код ОКАТО или индекс предприятия связи, который обслуживает искомый вами объект, вы сможете воспользоваться нашим удобным и эффективным поисковым сервисом. В частности, вы можете выполнить поиск кода КЛАДР, как по первым двум или нескольким цифрам, обозначающим коды объекта федерального назначения (региона), областей и районов республик, входящих в состав Российской Федерации, так и по полному коду. При этом в выдачу будут включены не все результаты – в нашем списке они показываются, начиная от верхнего уровня и заканчивая нижним уровнем.
Для более быстрого и точного нахождения адреса поиск по коду КЛАДР также можно дополнить вводом кода ОКАТО и почтового индекса. В этом случае выборка адресов будет более узкой, что позволит вам без труда найти нужную информацию. Включение кодов ОКАТО обеспечило возможность использования справочника для автоматизированной обработки статистической и экономической отчетной документации.
Стоит заметить, что онлайн поиск в КЛАДР по ОКАТО и почтовому индексу производится по коду, полностью введенному в соответствующее поле. Отображение выбранного адреса на странице включает в себя также код ИНФС, контролирующей именно этот объект, что важно и удобно при заполнении документов для налоговой инспекции. Поиск по коду в классификаторе адресов России особенно предпочтителен в тех случаях, если в написании искомого адреса могут присутствовать неточности или возможны разночтения. В кодах ОКАТО и почтовых индексах ошибки встречаются значительно реже.
Сервис выборки по коду в классификаторе адресов России является обратным сервису нахождения объекта в КЛАДР по названию области, города или улицы.
Классификатор адресов России
Составление ФИАС и внесение в него изменений находится в ведении ФНС России.
Компания «Альта-Софт» получает информацию с официального сайта ГНИВЦ ФНС России.
В соответствии с положениями Федерального закона от 28.12.2013 № 443-ФЗ «О федеральной информационной адресной системе и о внесении изменений в Федеральный закон «Об общих принципах организации местного самоуправления в Российской Федерации», при отсутствии адреса в ФИАС (ФИАС) необходимо обратиться в органы местного самоуправления (органы государственной власти субъектов Российской Федерации), имеющие полномочия на присвоение адреса объектам адресации, а также на размещение, изменение и аннулирование сведений об адресах в государственном адресном реестре.
Все адреса в ФИАС: Москва и Россия на одной карте
Структурно справочник адресов ФИАС разделен на семь уровней. Поиск начинается по региону, затем продолжается по району, городу, населенному пункту, и заканчивается по номеру дома и квартиры. Задав в поле поиска интересующий адрес, по ФИАС в онлайн режиме можно также узнать индекс предприятия связи, номер ИНФС налогоплательщика, а также код ОКАТО. Эта информация окажется полезной при сдаче отчетности, постановке на налоговый учет, при подготовке и сдаче документов на регистрацию ИП и т.д.
Тем не менее, существуют ограничения доступности адресов некоторых объектов для обычных пользователей. Так, в онлайн-реестре у объектов, имеющих любую степень секретности, указаны лишь наименования. Также в ФИАС присутствуют старые, неактуальные адресные объекты – переименованные, переподчиненные или влитые в состав другого объекта и просто не существующие более. Во многих случаях это позволяет найти актуальные данные человеку, который даже не подозревает, что его адресные данные уже сменились.
Еще одной немаловажной функцией этого классификатора является проверка адреса по ФИАС, которую у нас также можно выполнить в онлайн режиме. Эта функция позволит уточнить как местонахождение адресанта, так и правильность написания адреса. Если адресанта не удалось найти в ФИАС по адресу, но вы уверены, что он существует, необходимо обратиться с соответствующим запросом в территориальный орган ФНС России, в ведении которой находится справочник.
Искать и проверять адрес в формате ФИАС удобно в любой автоматизированной информационной системе, что делает этот справочник достаточно универсальным. Кроме того, отображаемый у нас классификатор в обязательном порядке используется работодателями при приеме сотрудников на работу, обеспечивая возможность удостовериться в наличии у принимаемого человека постоянной прописки по определенному месту жительства. Мы надеемся, что наш бесплатный интуитивно понятный онлайн сервис поможет вам в повседневной работе.
КЛАДРируем адреса произвольной формы (ч.1 — импорт)
Таким видом у нас в стране можно считать код по справочникам КЛАДР или ФИАС.
Первый из них уже несколько лет считается устаревающим, но отличается более простой структурой и исторически продолжает использоваться во множестве систем, поскольку вполне подходит для большинства задач.
Давайте научимся разбирать строку адреса «туда и обратно», а заодно познакомимся с некоторыми алгоритмическими подходами и их реализацией на SQL.
Получение справочника КЛАДР
База КЛАДР в настоящее время администрируется ФНС и представлена на сайте ГНИВЦ в виде периодически (примерно раз в неделю) обновляемого архива. Для начала мы научимся его скачивать, исправлять некоторые ошибки и преобразовывать в более подходящую для наших задач структуру.
Исходный архив
Чтобы не пытаться обрабатывать архив и обновлять данные в нашей базе повторно, будем сохранять в ней этот таймстамп для последующих сравнений.
Если же таймстамп файла не совпал с сохраненным, распакуем полученный архив:
Результатом будет 7 DBF-файлов в DOS-кодировке:
Переберем все эти файлы, формируя единый скрипт выгрузки данных через psql в COPY-формате:
По итогу мы получаем большой-большой SQL-файл примерно такого вида:
Импорт данных
Защита от параллельной загрузки
В результате такого подхода мы всегда знаем, кто и когда проверял наличие обновлений, и кому это удалось.
Соберем все вместе в единый скрипт:
Реквизиты доступа к базе и КЛАДР-источник в нашем случае будут храниться в app.conf :
Поисковая база
А зачем нам вообще нужна какая-то другая структура? Чем нас не устраивают таблицы в оригинальном КЛАДР-архиве?
хранение адресных объектов (улиц и населенных пунктов) в разных структурах
невозможность наложить эффективные для поиска индексы
Напомню, что оригинальный код КЛАДР, согласно документации имеет вид СС РРР ГГГ ППП УУУУ АА , где:
То есть если вынести признак актуальности в отдельное поле, то у кодов многих объектов (например, городов) в конце окажутся нули, которые стоит безболезненно отсечь. И тогда коды будут иметь строго ограниченный набор длин в соответствии с «уровнем» объекта:
При этом, как видим, коды «вышестоящих» объектов становятся префиксами кодов объектов вложенных.
Что же получилось по структуре?
Это основные таблицы, данные в которые импортируются непосредственно из соответствующих DBF по модели наложения «диффов», описанной в статье «DBA: грамотно организовываем синхронизации и импорты»:
Здесь регулярное выражение используется для отсечения «хвостовых» нулей по маске до необходимой нам длины. То есть нельзя просто так взять 76 000 010 000 и убрать все 4 последних ноля, поскольку 010 тут является значимым кодом города.
Здесь регулярными выражениями мы приводим форматы исходной базы в списки конкретных номеров домов:
Зачем нам понадобятся такие дополнительные структуры, и как их использовать для организации эффективного подстрочного поиска, рассмотрим в следующей части статьи.
КЛАДР Kladr
КЛАДР — это компонент на базе лайтбокса, который позволяет указывать адрес в соответствии с Классификатором адресов России.
Адрес на странице
В форме или на странице реквизитов адрес отображается как блок текста, со ссылкой «Заполнить адрес» или «Изменить адрес»:
В блоке с адресом не используются сокращения типов топонимов «ул.» «пер.» и прочие. Вместо этого пишем слова полностью «улица», «переулок» и так далее.
Топо́ним (от др.-греч. τόπος — место + ὄνομα — имя, название) — имя собственное, обозначающее название географического объекта: Москва, Екатеринбург, Волга, Исеть, Байкал и т.д.
Тип топонима — родовой географический термин: город, село, деревня, хутор, река и т.п.
Между наименованием типа топонима и топонимом ставятся неразрывные пробелы, чтобы при переносах они не отрывались друг от друга.
Если в адресе отсутствует какой-то тип топонима, он просто не показывается вместе с разделителем:
Состав лайтбокса
При клике на ссылку открывается лайтбокс с определенным набором полей.
Не все поля обязательны для заполнения, но после потери фокуса все заполненные поля проверяются на соответствие справочнику КЛАДР.
Вариант для бухгалтеров
Бухгалтер знает набор полей КЛАДРа и привык к нему. Скорее всего, указывая адрес, бухгалтер списывает его с какого-нибудь документа, в котором он указан именно в таком порядке: индекс, регион, город.
По потере фокуса полем «Индекс» автоматически заполняются поля «Регион», «Район», «Город» и «Населенный пункт».
В полях «Регион», «Район», «Город» и «Населенный пункт» работает комбобокс, предлагая значения из справочника.
При заполнении поля «Город» или «Населенный пункт» значения в родительские элементы — «Регион» и «Район» подставятся автоматически, если они не были заполнены ранее.
Если родительские элементы заполнены, поиск в дочерних сужается и осуществляется только внутри указанных регионов и областей.
Вариант для предпринимателей
Предполагает упрощенный сценарий, когда пользователь указывает адрес по памяти, и первым заполняет поле «Город или населенный пункт».
В этом варианте, при заполнении или изменении поля «Город или населенный пункт», регион, район, и, если необходимо, город (по населенному пункту), определяются автоматически по КЛАДРУ, и не редактируются. Поля «Индекс» и «ОКТМО» определяются автоматически, но могут быть изменены.
Вариант с населенным пунктом:
Автокомплит
В полях «Страна», «Регион», «Район», «Город», «Населенный пункт», «Улица», «Дом» используется комбобокс без стрелки с опцией «Сложный список».
Состояние по умолчанию
Фокус на пустом поле
При получении полем фокуса выпадающий список не появляется, пока не введен хотя бы один символ.
Поиск
Ищем и в топонимах, и в их типах. Если есть совпадения и с топонимом и с наименованием типа — приоритет в показе у топонимов:
Не нашли ничего в топонимах, но есть совпадения с типом — показываем все топонимы введенного типа:
Продолжаем поиск после введенного пробела:
После выбора подставляем значение целиком, если тип не совпадает с названием поля:
Сложные данные
Если пользователь начал первым заполнять одно из полей: «Область», «Город», «Населенный пункт» — комбобокс должен искать по всему справочнику, показывая первые 5 из всех найденных результатов.
В списке под результатом поиска показываем содержащие его родительские элементы.
При выборе значения, поля, стоящие в иерархии выше, должны автоматически заполниться.
По нажатию Enter фокус получает следующее незаполненное поле.
Автокомплит в поле «Дом, корпус»
Дом и корпус совмещены в одно поле, и в нем работает комбобокс, который при вводе номера дома, подсказывает какие варианты корпусов или литер есть у вводимого номера на указанной улице. Если на момент заполнения этого поля еще не указаны город и улица, поле работает как обычное поле, без комбобокса.
Валидация
У адреса РФ есть три состояния
В зависимости от требований системы критичность ошибки может меняться. Кнопка лайтбокса «Сохранить» доступна всегда — можно закрыть лайтбокс сохранив любое его состояние.
Поля в лайтбоксе проверяются по иерархии сверху вниз, каждый раз по потере фокуса любым из полей и подсвечивается первое, самое старшее из неправильно заполненных полей.
Например, выбрали регион Свердловская обл, город Екатеринбург, потом меняем регион на Калужскую область, Екатеринбург не убираем, а подсвечиваем красным и пишем ошибку «Заполнено не по справочнику адресов».
Незаполненность поля не считается ошибкой.
Поля «Индекс», «Дом/корпус» и «Офис/квартира» не валидируются, в них можно ввести любые значения, в поле индекса — в цифровом формате, в поля поля дом/корпус и офис/квартира в любом формате.
Так же не валидируются поля ниже при изменении индекса.
Адреса не в Российской Федерации
В зависимости от того какой указывается адрес есть 3 варианта лайтбокса:
Поле «Страна»
По умолчанию подставляем Россию, если указывают другую, то поля индекс и адрес работают без комбобокса:
Описание полей КЛАДРа для бухгалтеров
Индекс
В поле «Индекс» нет комбобокса, но оно влияет на все остальные поля. Если пользователь указал индекс — поля «Регион», «Район», «Область», «Город» и «Населенный пункт» заполнятся автоматически значениями, соответствующего этому индексу.
В поле «Индекс» можно ввести только цифры.
Изменение индекса не должно влиять на значение уже заполненных полей ниже, и не должно валидироваться как ошибочное.
Регион
Автокомплит у региона работает всегда и он ищет как по названиям так и по коду региона.
Цифры показываются только в выпадающем списке, в поле будет подставлено только название региона. Тип региона (республика, автономный округ, край, область) пишется без сокращений:
Район
Автокомплит работает всегда. Если регион не выбран, в списке показываем варианты с регионом. После выбора подставится регион и индекс.
«Район» и «р-н» не пишем, только название района.
Город
Автокомплит работает всегда. Если не выбраны значения в полях выше, в списке показываем варианты с регионом и районом. После выбора подставится район, регион и индекс.
Городов федерального значения (которые на самом деле регионы) четыре: Москва, Санкт-Петербург, Севастополь, Байконур.
Если в город вводим один из этих городов (комбобокс при этом есть), то после ухода из поля подставляем регион. Город при этом остается, но код КЛАДРа формируется правильный (как если бы был выбран только регион Москва).
«Город» и «г.» не пишем, только название города.
Населенный пункт
Автокомплит работает, если указаны район или город (оба с регионом).
Вместе с названием пишем сокращенный тип населенного пункта.
Улица
Автокомплит работает, если указаны город или населенный пункт.
Если это не улица (проспект, переулок и т.д.) вместе с названием пишем тип.
Как и в регионе не сокращаем названия типов: Космонавтов пр. — проспект Космонавтов; Базовый пер. — переулок Базовый
Дом, корпус, квартира
Автокомплит работает, если указана улица.
В поле «Дом, корпус» указываются все варианты и сочетания значений «дом», «владение», «домовладение», «участок», и дополнительные к ним: «корпус», «строение», «сооружение», «литер».
Если это просто номер дома, он выводится без названия типа. Если не дом, а, например, владение, то в списке комбобокса вместе с номером указываем тип.
Квартира
У поля «Квартира» пользователь может поменять тип на «Офис» или «Помещение». Автокомплит в поле не работает.
ФИАС или КЛАДР: выбираем справочник адресов
1 июля 2014 года произошло одно из самых значимых событий в истории государства Российского: с этого момента у нас в стране наконец появилась эталонная база адресов по всем, даже самым малым населённым пунктам! Имя этой базе — ФИАС. Собственно, сам по себе справочник ФИАС появился гораздо раньше, но именно 1 июля вступил в силу ФЗ 443, согласно которому все государственные и муниципальные структуры теперь должны опираться на него как на единственно верную базу адресов. Мы решили исследовать, стоит ли переходить на ФИАС, и с какими подводными камнями столкнутся те, кто решит это делать.
Почему не КЛАДР?
В настоящий момент времени основным адресным справочником России считается КЛАДР. Почему он не устроил людей, и откуда появилась необходимость в новом?
Изначально КЛАДР, скорее всего, задумывался как понятный структурированный справочник, содержащий актуальную информацию по адресам всей России. В настоящее время это, к сожалению, далеко от истины. Есть много особенностей в записях КЛАДР, и мы сейчас расскажем про самые интересные из них.
Ад в номерах домов или страшный сон программиста
Похоже, что из-за обилия различных написаний в справочнике запутываются даже его создатели, так как на одной улице можно часто встретить разные действующие записи одного дома. Например, в поселке Новый (Красногорский район Московской области) в КЛАДР есть запись с домом 8 и отдельно с двлд8. Теоретически, домовладение и дом — разные вещи, однако в реальности мало кто пишет «домовладение», и можно смело считать, что двлд и просто дом — одно и то же.
Теоретически, КЛАДР — это справочник адресов, на который все должны опираться при составлении любых справочников с адресами, и, следовательно, должны хранить некий ключ к этой базе, чтобы иметь возможность синхронизоваться с самим КЛАДР для получения обновлений. Но код КЛАДР — единственный идентификатор в этом справочнике — может меняться от версии к версии для одних и тех же объектов. Поэтому в других справочниках вы не найдёте его как ключ к адресной базе, везде для указания адреса служит только адрес без каких-либо id. Это плохо тем, что адреса в справочниках могут содержать ошибки, быть неактуальным или вообще не существовать, и чтобы привести его к КЛАДР, потребуется приложить немало усилий (или воспользоваться сервисом dadata.ru).
Где эта улица, где этот переулок?
В КЛАДР запись адреса разбита на уровни (регион, район, город, населённый пункт и улица), и для каждого уровня есть тип и наименование. Например, тип — автономный округ, наименование — Ямало-Ненецкий… К сожалению, не всегда можно точно определить, что наименование, а что тип. И не всегда понятно, что проблема КЛАДР, а что на самом деле так называется.
Например, можно встретить такие адреса:
Тип: «Автономный Округ»
Наименование: «Ханты-Мансийский Автономный Округ — Югра »
Согласно КЛАДР адрес правильно писать так: Россия, Автономный Округ Ханты- Мансийский Автономный Округ — Югра, …
Тип: «Улица»
Наименование: «КВАРТАЛ НОВЫЕ ЧЕРЕМУШКИ 32А»
Нам на разбор регулярно приходят замечательные адреса вида: Москва квартал Новые Черемушки 32А к8, кв xxx — заметьте, что, согласно КЛАДР, номер дома находится в наименовании улицы, и тип улицы не «квартал», а «улица».
Тип: «Переулок»
Наименование: «Ул. Советская»
В деревне Досотуй в Читинской области, есть улица «Советская» и переулок «Ул. Советская». Поэтому адреса Досотуй ул. Советская и Досотуй переулок ул. Советская — разные адреса
Лев или Толстой?
В КЛАДР много ошибок. Индексы из пяти символов, дублирующие записи домов с двойной нумерацией и прочее.
Так что если адрес есть в КЛАДР, то не факт, что он существует в реальной жизни, и наоборот.
Что с ФИАС
Давайте посмотрим, что представляет из себя ФИАС, и решает ли он проблемы КЛАДР.
Данные и структура
Первое, на что обращаешь внимание при работе с ФИАС — информации больше, чем в КЛАДР. Но полезной информации прибавилось не так много, как хотелось бы. Я выделил наиболее значимую адресную информацию в виде сравнительной таблицы ниже.
| Поле | КЛАДР | ФИАС |
|---|---|---|
| Регионы и города федерального значения | + | + |
| Районы | + | + |
| Города и сельские округа | + | + |
| Районы города | — | — |
| Улицы | + | + |
| Дома и расширения | + | + |
| Индекс | + | + |
| Статус центра | + | + |
| Статус действия (что произошло с объектом: переименован, переподчинён. ) | + (условно закодировано в коде КЛАДР, но очень скудная расшифровка кодов) | + |
| Статус актуальности | + | + |
| Дата начала и окончания действия записи | — | + |
| Состояние дома (требует ли ремонта, насколько) | — | +(но актуальность данных под сомнением, так как у более 95% домов одинаковый статус) |
| Геокоординаты объекта | — | — |
| Данные о квартирах (список, количество или диапазон) | — | — |
| Население (на любом уровне) | — | — |
| Признак моногорода | — | — |
| Уникальный ID для каждого дома | — | + |
| Назначение здания (жилой/не жилой) | — | — |
| Этажность, год ввода в эксплуатацию, материал стен дома | — | — |
Таким образом, из полезного можно выделить только фиксированный ID дома, который, как предполагается, никогда не будет меняться и может служить ключом для внешних систем, а также даты начала и окончания действия записи. В остальном вся новая информация состоит из идентификаторов, которые периодически дублируют друг друга или являются частью других.
Качество информации о домах
В ФИАС есть две таблицы для домов. Структура данных сама по себе очень радует: для всего есть своё поле.
Первая таблица, HOUSE, содержит номера домов, и для каждого есть следующая информация:
Какие основные отличия от таблицы домов в КЛАДР?
Вторая таблица с домами, HOUSEINT, содержит интервалы домов. В КЛАДР в таблице домов содержатся записи вида Н(1-999), — это означает все нечётные дома из интервала 1 – 999. В ФИАС они разбиты на поля: начало интервала, конец, и его признак. К сожалению, содержимое этой таблицы так же далеко от истины, как и в КЛАДР: например, в Кирове есть неправдоподобно длинная улица Щорса, на которой есть все дома в диапазоне от 1 до 9999.
Качество всего остального
Посмотрим чуть выше — на адресные объекты вплоть до улицы. Они находятся в таблице ADDROBJ.
Формат
ФИАС доступен в трёх видах: формат КЛАДР, dbf и xml. Последний мне показался наиболее удобным — файлы не разбиваются по регионам в отличие от dbf, а хранятся в скомпонованном виде в xml. Однако вес исходного справочника в таком формате составляет около 14Гб.
ФИАС в формате dbf весит 9Гб вместо 14Гб, однако имеет не очень удобную структуру: таблицы домов и нормативных документов разбиты по регионам, и в итоге ФИАС в таком представлении содержит 187 файлов.
ФИАС в формате КЛАДР по сути и наполнению — то же самое, что и сам КЛАДР, за редким исключением, и весит он те же самые 330Мб. Построчное сравнение таблиц КЛАДР и ФИАС в формате КЛАДР выявило менее 0.1% расхождений, которые, вероятно, вызваны разным временем выгрузки рассматриваемых баз КЛАДР и ФИАС.
Что думает бизнес
Как может повлиять на работу переключение с КЛАДР на ФИАС? Готов ли бизнес переходить на этот справочник?
Наши коллеги из банков, для которых использование адресной информации является ключевым на всех этапах, не видят бизнес преимуществ перехода на ФИАС, однако планируют это делать, чтобы соответствовать требованиям регулятора. Из-за перехода всех федеральных агентств, министерств и ведомств на ФИАС в перспективе могут возникнуть требования использовать ФИАС при общении с ними (госуслуги, СМЭВ, отчетность, ЦБ).
Выводы
Самой большой проблемой официальных справочников в России была и остаётся неактуальность представленной информации. Пока не будет нормальной налаженной системы по пополнению ФИАС, не будет проверяться качество данных и не будет произведён рефакторинг того, что уже есть в справочнике, мы будем встречаться со всеми теми же проблемами, что и в КЛАДР.
Основными плюсами ФИАС являются начальные попытки стандартизации адресов и наличие стабильного ключа для каждого дома.
Итак, пока переход на ФИАС имеет смысл только как задел на будущее. Если вы уже работаете с КЛАДР и не взаимодействуете со внешними системами, то можно не переходить на ФИАС, а использовать КЛАДР дальше. Если вы только начинаете своё знакомство с адресами и планируете подключать их в свой продукт, или вам требуется отчётность и интеграция, то стоит выбирать ФИАС.
