ЛЕКЦІЯ 19. Комп'ютерні технології обробки матеріалів перепису населення

ЛЕКЦІЯ 19. Комп'ютерні технології обробки матеріалів перепису населення

Перепису населення, відбиваючи досягнення народу країни, є важливим політичним і економічним заходом. За рекомендацією Постійної комісії Ради економічної взаємодопомоги зі статистики,  перепис населення варто проводити не рідше, як один раз на 10 років. Кожні 10 років знаменуються досягненнями в розвитку засобів обчислювальної техніки для перепису населення. Зокрема , в 2001 р. уперше застосовувалися сканери для зчитування інформації з переписних бланків і технологія децентралізованої обробки даних.

Для проведення всіх заходів щодо організації підготовки, проведенню перепису населення й розробці її матеріалів задовго до її початку в органах державної статистики створюються підрозділи, які забезпечують програмно-методичну, організаційну й масово-роз'яснювальну роботу, матеріально-фінансову підготовку, а також здійснюється проектування автоматизована обробка результатів перепису населення.

З метою створення законодавчої бази для проведення Всеукраїнського перепису населення 2001 р. відповідно вимогам Конституції України було підготовлено й прийняте Закон України "Про Всеукраїнський перепис населення", що встановлює правові, економічні й організаційні основи проведення перепису населення, права, обов'язки й взаємну відповідальність суб'єктів перепису населення, а також гарантії держави щодо захисту отриманої в процесі опитування конфіденційної інформації. Розроблена й погоджена з усіма зацікавленими організаціями програма перепису населення - вичерпний перелік питань, по якому здійснювалося опитування респондентів під час перепису населення, підготовлялися статистична документація й переписний інструментарій.

Переписи проводяться обліковцями шляхом опитування населення й запису відомостей у списки проживаючих у приміщенні й у переписні аркуші.  Заповнення відомостей з питань переписного аркуша проводиться або у вигляді запису словами або цифрами, або у вигляді міток. Для забезпечення нормальної роботи зчитувального пристрою при введенні переписних листків за допомогою сканера необхідно, щоб мітки були закреслені правильно, тобто  відповідно зразку, зазначеному в правому верхньому куточку переписного аркуша. Загальна структура органів, які проводять перепис населення, включає: рахункові ділянки; інструкторські ділянки; переписні відділи; районні й міські відділи статистики; обласні управління статистики (відділи перепису населення); Керування Всеукраїнського перепису населення Державного комітету статистики.

Перепис населення проводиться протягом  10 днів шляхом обходу обліковцями житлових приміщень, опитування населення й запису відомостей у списки проживаючих у приміщенні й у переписні листыи. На другий день, після закінчення перепису, обліковець здає переписну документацію з вихідними формами, укомплектованими в портфелі, інструкторові- контролерові, що у певний термін передає ці матеріали завідувачеві переписного відділу. Відповідальні за перепис населення в Держкомстаті Автономної Республіки Крим, обласних, Київському й Севастопольському міських керуваннях статистики приймають переписну документацію, укомплектовану в портфелі, від районних (міських) відділів статистики, проводять перевірку повноти і якості цих матеріалів, кодування вхідних форм, готовлять матеріали перепису до їхньої автоматизованої обробки відповідно до  Інструкції по підготовці переписних аркушів Всеукраїнського перепису населення 2001 року до автоматизованої обробки. Введення переписних аркушів здійснюється із пристроїв оптичного введення під керуванням програмного забезпечення. Це програмне забезпечення виконує сканування, контроль інформації з переписних аркушів і перетворення даних у базову систему. Як бачимо, технологічний процес автоматизованої обробки матеріалів перепису населення починається з моменту надходження переписних аркушів до регіональних управлінь статистики, зокрема  до Автономної Республіки Крим, обласних керувань статистики, статистичних керувань міст Києва й Севастополя.

На регіональному рівні технологічний процес охоплює такі етапи:

      -     реєстрація портфелів у регіональних управліннях статистики, перевірка й кодування даних переписних листків, формування звітної документації про хід здачі переписних аркушів;

     -      введення даних з паперових носіїв за допомогою сканерів Fujіtsu M4099 D із проведенням контролю в обмеженому обсязі, підготовку файлів переписних листків для завантаження в базу даних, формування архіву графічних зображень, формування звітної документації про хід обробки матеріалів перепису населення, реєстрація й повернення оброблених портфелів переписних аркушів;

      -     завантаження файлів переписних листів у БД відповідно до  макета (додаток 9), формування протоколів завантаження, контроль переписних аркушів, формування протоколів контролю переписних аркушів, коректування даних переписних аркушів на основі протоколу контролю з використанням архіву графічних зображень, виконання повторного контролю, формування звітної документації про хід обробки дані переписи;

      -     формування зведених даних (вихідних таблиць) у розрізі районів, проведення внутрітабличного, межразрезного й межтабличного контролю їх, формування звітної документації про хід обробки дані переписи;

       - формування територіального файлу (ТФ) для пересилання (передачі) на державний рівень, створення архівних копій. Після завершення внутрітабличного, межразрезного й між табличного контролю в цілому по регіоні (у розрізі районів) шляхом розвантаження даних із БД формуються територіальні файли для передачі на державний рівень. ТФ на державний рівень передаються кур'єром на машинних носіях або засобами електронної пошти по коммутированным телефонних каналах общегопользования.

Технологічний процес обробки матеріалів перепису населення на державному рівні має такі етапи:

- перший етап - одержання від регіональних управлінь статистики, реєстрація й антивірусний контроль територіальних файлів на державному рівні, підсумовування довідок про хід надходження територіальних файлів, підготовка територіальних файлів для завантаження в базу даних;

-  другий етап - завантаження територіальних файлів у центральну базу дані переписи, формування протоколів завантаження;

-  третій етап - виконання контролю переписних листів, які входять у територіальні файли, формування протоколів переписних аркушів, коректування територіальних файлів відповідно до  протоколів контролю, проведення повторного контролю, формування звітної документації про хід обробки дані переписи;

- четвертий етап - формування зведених даних (вихідних таблиць), проведення внутрітабличного, межразрезного й межтабличного контролю їх;

- п'ятий етап - друкування й висновок вихідних таблиць, перелік яких наведений у приложени 10;

- шостий етап - формування інформації для керівних органів країни;

-  сьомий етап - формування регіональних фрагментів Центральної бази дані переписи зі зведеними даними й відсилання (передача) їх в ОУС для подальшого використання, Друкування зведених даних в ОУС;

- восьмий етап - підготовка матеріалів Всеукраїнського перепису населення для поширення друкованими засобами, засобами Іnternet і формування файлів на магнітних і оптичних дисках.

На державному рівні матеріали Всеукраїнського перепису населення готуються для поширення у вигляді друкованих видань, на магнітних і оптичних носіях інформації

Програмно-технічний комплекс орієнтований на створення технологічних ділянок обробки матеріалів перепису населення в складі діючих у системі державної статистики локальних обчислювальних мереж регіонального й державного рівнів.

Для обробки матеріалів Всеукраїнського перепису населення технічні засоби організаційно об'єднані в локальну мережу й включають:

     -      пристрою оптичного зчитування інформації;

     -      робочі станції для керування сканерами й розпізнавання інформації - від 3 до 17;

     -      мережні файли- сервери для збереження програмного й інформаційного забезпечення - по одному на регіон;

    -       мережний принтер - 1- 2 на регіон;

    -       мережні засоби;

    -       пристрою створення копій;

    -       оптичний пристрій зчитування інформації;

   -        робочі станції для керування сканерами й розпізнаванням інформації.

Варто помітити, що в складі програмно-технологічного комплексу обробки даних Всеукраїнського перепису населення використані сертифіковані технічні й програмні засоби, які відповідають вимогам відкритих систем взаємодії. Технологія обробки даних побудована з використанням принципів технології " клієнт-сервер". Все це забезпечує обробку даних у строки, певні календарним планом, а також їхнє поширення в необхідних і достатніх обсягах.