Реестр Россвязи

[TVMaker]

Конечно, не совсем бизнес, просто не знаю, куда ещё с такой просьбой. Господа! Никто не поделится не совсем свежими базами Россвязи? А то формат сентябрьского обновления требует серьезной перестройки софта, на что сейчас не хватает времени, да и Бог знает, что будет в октябре - вдруг всё назад вернут. С благодарностью приму 4 html файла на мыло tvmstern-гав-гав-gmail.com

[zzuz]

И чем же поменялся формат в http://www.rossvyaz.ru/docs/articles/DEF-9x.html ?

[TVMaker]

В мобильниках не поменялся, скорее всего. А вот из ABC исчез субъект федерации.

[awsswa]

Было
code_abcdef,code_from,code_to,code_volume,operator,city,region

Стало
code_abcdef,code_from,code_to,code_volume,operator,city

Хотя они последнее поле и обозвали регионом, реально там города
и бумажка с соседнего форума актуальность не потеряла

#!/bin/bash


#Заливка http://www.rossvyaz.ru/docs/num/DEF-9x.html

DOWNFILE='http://www.rossvyaz.ru/docs/articles/ABC-3x.html';
TMPDIR='/tmp';
DB_USER='Юзер';
DB_PASSWORD='Парооь';
DATABASE_NAME='Имя базы';
DB_TABLE_NAME='Имя таблицы';

wget -c -q -O - $DOWNFILE | grep "^<tr>" | sed -e 's/<\/td>//g' -e 's/<tr>//g' -e 's/<\/tr>//g' -e 's/[\t]//g' -e 's/^<td>//g' -e 's/<td>/;/g' -e 's/|/;/g' | iconv -c -f WINDOWS-1251 -t UTF8 > $TMPDIR/$DB_TABLE_NAME

mysqlimport --user=$DB_USER --password=$DB_PASSWORD --columns "code_abcdef,code_from,code_to,code_volume,operator,city" --local --fields-terminated-by=";" --lines-terminated-by="\\n" $DATABASE_NAME $TMPDIR/$DB_TABLE_NAME

[Pechen]

народ, там же готовый csv прям в базу просится и закидывается меньше 5ти секунд, зачем парсить html?

[virus_net]

А как вы смотрите на идею создания online сервиса для получения данных реестра и плана нумерации ? Чтобы не быть завязанным на изменения в отдаче реестра Россвязи.
Подумываю над созданием такого сервиса в дополнение к frod.
Данные можно будет тягать через API, формат вывода можно сделать xml/json/plain text.

[TVMaker]

Проще Россвязи по балде настучать, чтоб кривые базы не выкладывала. А, отвечая на вопрос, зачем парсить html, скажу, что csv начали выкладывать относительно недавно, не факт, что правильно. Лично я в июльской базе пару моментов нашел, где кавычка из html версии превратилась в жуткий &quot версии csv.

[Glukinho]

Бесит, что там субъекты называются вразнобой (где-то "Новосибирск", где-то "город Новосибирск") и с разным "масштабом" (то есть по городам, районам, областям - а не как-то одинаково).

[sergeysi]

CSV было уже как минимум года два назад. В SQL Server импортируется просто, в MySQL наверно тоже.

Насчёт сервиса не знаю. На мой взгляд было бы полезнее, если бы кто-то на регулярной основе делился БДПН с простыми смертными.

[TVMaker]

Вот как раз город Новосибирск превратить в Новосибирск довольно просто на этапе парсинга с помощью регулярного выражения: s/город\s+//g А раз всё равно парсить - то без разницы что - html или csv