Разработка и программная реализация модуля для автоматического пополнения базы документов

В дипломной работе представлена разработка и программная реализация модуля для автоматического пополнения базы документов. В приложении приведен исходный код программы на php.
Защита в 2014г, специалист, оценка -отлично. ...

Содержание
Введение 5
1 Обзор средств автоматического сбора информации 7
1.1 Основные средства для автосбора информации и их применение 7
1.2 Средства разбора HTML 18
1.3 Регулярные выражения и их синтаксис 21
2 Архитектурное проектирование 27
2.1 Определение системных требований 28
2.2 Выбор ПО и определение требований к нему 28
2.3 Структурный анализ 34
2.4 Функциональный анализ 36
2.5 Проектирование 36
2.6 Эксплуатация 41
3 Реализация модуля для автоматического пополнения базы документов 42
3.1 Парсинг веб-страниц 42
3.2 Запись в базу данных 46
3.3 Вывод базы данных на страницу 50
3.4 Тестирование и отладка 52
3.5 Экспорт базы данных. 53
4 БЖД и охрана труда. 56
4.1 Потенциальные опасности и вредности на производстве 56
4.2 Мероприятия по устранению этих опасностей и вредностей 57
4.3 Микроклимат (характеристика, допустимые и оптимальные значения) 58
4.4 Вентиляция, отопление 59
4.5 Освещение помещений. 60
4.6 Характеристика шума и вибраций 60
4.7 Электробезопасность 61
4.8 Пожарная безопасность. 62
4.9 Расчет воздухообмена по тепловыделению 62
5 Экономическая часть 64
5.1 Расход трудоемкости разработки программного продукта 64
5.2 Расход на оплату труда разработчика программы 66
5.3 Общие затраты на создание программного продукта 67
5.4 Целесообразность создания продукта 67
Выводы и рекомендации 69
Библиографический список 71
Приложение А 74

3.1 Парсинг веб-страниц
Прежде всего парсинг зависит от исходного кода веб-страницы. Он может быть разный в зависимости от сложности исходного кода страницы.
Парсинг журнала «Информационные технологии и вычислительные системы».
Как уже отмечалось, для парсинга берется свежий номер электронной версии журнала «Информационные технологии и вычислительные системы», он показан на рис. 3.1.

Рисунок 3.1 – Журнал «Информационные технологии и вычислительные системы»
Здесь на левой панели показан список статей нового номера, а в центре размещается аннотация и ключевые слова. Для начала нужно взять список статей и разделов, в которых они находятся. Для этого нужно рассмотреть исходный код (рис.3.2).

Рисунок 3.2 – Исходный код левой панели (статьи номера)

В данном случае легко выделить и категории, и статьи, достаточно просто указать нужный тег. На рис.3.2 видно, что выделена ссылка – это ссылка на описание статьи, аннотацию и ключевые слова. Но нужно сделать так, чтоб распознавался раздел статьи, а никаких указаний или иерархии на странице нет, все они (статьи и разделы) являются ячейками таблицы, как видно на рис.3.2.
Поэтому обработка была сделана следующим образом:
1. Взят весь текст левой панели (статьи и разделы):
//берем весь текст в строку
foreach($data_novtex->find('td.leftmenutd') as $left){
$l = $left->innertext;
$l2=$l2.$l;
}
2. Полученная строка выводится в массив по разделителю. В качестве разделителя выбран знак <, он разделяет теги:
$ok = explode("<",$l) ;
//проверяем массив, выводим на экран
echo Count($ok)."eto massive<br>";
for($i=0; $i<Count($ok); $i++)
{
echo $i.$ok[$i]."<br>"; //вывод на печать
}
Результат вывода показан на рис.3.3.

Рисунок 3.3 – Массив исходного кода по разделителю

3. Из созданного массива выбираются имена категории и название статьи с помощью регулярных выражений:
for($i=0; $i<Count($ok); $i++)
{
if(preg_match('!a href="http!si',$ok[$i])==1){
$ok2[$i]=preg_replace ('!a href="http(.*?)"!si','2', $ok[$i]);
}
if(preg_match('!(.*?)cattitletd!si',$ok[$i])==1){
$ok2[$i]=preg_replace ('!(.*?)cattitletd"!si','1', $ok[$i]);
}
}
Как видно из приведенного фрагмента, в новый массив $ok2 записыва-лись только те строки, которые соответствовали условию. Например, название категории всего содержит ID «cattitletd». Найденные фрагменты заменялись значками 2> для статьи, 1> для раздела – чтобы легче было записывать в базу данных.

Появление новых информационных ресурсов повышает потребность в сборе контента, причем полное или частичное заимствование контента – повсеместно распространенное явление. В связи с этим актуальны задачи парсинга и граббинга.
В дипломной работе рассматривается актуальная задача парсинга электронных журналов. В качестве ресурсов, которые необходимо отслеживать, выбраны ведущие научные журналы в сфере информационных технологий, электронные версии. Это «Информационные технологии», «Вестник компьютерных и информационных технологий», «Информационные технологии и вычислительные системы». В базу нужно сохранять все данные из новых номеров журналов.
Потребность ориентироваться в обновлениях актуальной информации делает необходимыми ее постоянный сбор в автоматическом режиме и сохранение в базы. Это могут быть полнотекстовые базы докуменов, или базы данных, в которых хранятся краткие данные, или оба этих вида вместе. Поэтому средства автоматического сбора, обработки и анализа является актуальными и востребованными в настоящее время.

2.2 Выбор ПО и определение требований к нему2.2.1 Выбор языка программированияДля реализации модуля для автоматического пополнения базы документов прежде всего нужно выбрать язык программирования. По сути, главной задачей является задача парсинга веб-ресурсов и запись результата в базу данных.Выбор языков большой, например, можно реализовать парсер на РНР, Perl, Python, Java – это наиболее популярные решения по отзывам в сети. Наиболее популярным советом является выбор того языка, с которым лучше знаком. Главной задачей является разбор HTML и поиск ключевых элементов, поддержка регулярных выражений, для больших приложений также актуальна многопоточность. Перечисленные языки имеют различные библиотеки и модули для решения этих задач. Для решения их в Perl (Practical Extraction and Report Language) есть:модули для работы с HTTP – как низкоуровневые, так и специальные, типа WWW::Mechanize – удобен, если надо написать скрипт, который последовательно выполняет какой-то набор операций (например надо автоматизировать какие-то действия пользователя web-интерфейсе, а API никакого не предусмотрено);модули для асинхронной работы по HTTP (AnyEvent::HTTP) – позволяют написать робота, который без необходимости создавать множество тредов будет выполнять одновременно несколько запросов;регулярные выражения – мощнейший инструмент для парсинга данных, и в Perl его использование наиболее удобно (это часть синтаксиса языка);библиотеки для разбора HTML в дерево (например HTML::Parser);Также используется Рython, и его библиотека для парсинга сайтов Grab. Её основные функции: Подготовка сетевого запроса (cookies, http-заголовки, POST/GET данные);Запрос на сервер (возможно через HTTP/SOCKS прокси);Получение ответа сервера и его первоначальная обработка (парсинг заголовков, парсинг cookies, определение кодировки документа, обработка редиректа (поддерживаются даже редирект в meta refresh тэге));Работа с DOM-деревом ответа (если это HTML-документ);Работа с формами (заполнение, автозаполнение);Отладка: логирование процесса в консоль, сетевых запросов и ответов в файлы.Также к плюсам Рython относят наилучшие инструменты для организации многопоточных запросов с хорошим быстродействием. Он больше используется для сложных приложений с более сотни потоков. PHP (англ. PHP:HypertextPreprocessor – «PHP: препроцессор гипертекста»; первоначально PersonalHomePaGETools – «Инструменты для создания персональных веб-страниц») – скриптовый язык программирования общего назначения, интенсивно применяемый для разработки веб-приложений. В настоящее время поддерживается подавляющим большинством хостинг-провайдеров и является одним из лидеров среди языков программирования, применяющихся для создания динамических веб-сайтов [23].Для решения основных задач парсинга в РНР имеется следующие возможности:Работа с DOM-деревом, XPATH, а также библиотека SimpleHTMLDOM, которая также эффективно работает даже с HTML с ошибками.Библиотека PHPQuery, который также используется для эффективного парсинга, и позволяет использовать селекторы для извлечения нужных фрагментов кода.cURL, которая позволяет взаимодействовать с множеством различных серверов по множеству различных протоколов с синтаксисом URL. Есть возможность запускать одновременно несколько запросов через multi cURL.Также в РНР предусмотрено взаимодействие с большим количеством различных систем управления базами данных (MySQL, MySQLi, SQLite, POSTgreSQL, Oracle (OCI8), Oracle, Microsoft SQL Server, Sybase, ODBC, mSQL, IBM DB2, Cloudscape и ApacheDerby, Informix, Ovrimos SQL, LotusNotes, DB++, DBM, dBase, DBX, FrontBase, FilePro, Ingres II, SESAM, Firebird / InterBase, ParadoxFileAccess, MaxDB, Интерфейс PDO). Это также является удобным для реализации модуля с сохранением в базу документов (в базу данных).Вообще в области программирования для сети Интернет PHP – один из популярных скриптовых языков (наряду с JSP, Perl и языками, используемыми в ASP.NET) благодаря своей простоте, скорости выполнения, богатой функциональности, кроссплатформенности и распространению исходных кодов на основе лицензии PHP [24].К крупнейшим сайтам, использующим PHP, относятся Facebook, ВКонтакте, Wikipedia и др.Также РНР популярно в области построения веб-сайтов из-за большого набора встроенных средств для разработки веб-приложений. Основные из них [25]:автоматическое извлечение POST и GET-параметров, а также переменных окружения веб-сервера в предопределённые массивы.автоматизированная отправка HTTP-заголовков.работа с HTTP-авторизацией.работа с cookies и сессиями.работа с локальными и удалёнными файлами, сокетами.обработка файлов, загружаемых на сервер.работа с XForms.Согласно рейтингу корпорации TIOBE, в 2013 году PHP находился на 6 месте среди языков программирования. Он входит в Denver – распространённый набор программного обеспечения для создания и хостинга веб-сайтов (Linux, Apache, MySQL, PHP).Исходя из поставленных задач, программная реализация будет сделана на языке РНР, поскольку он отвечает всем требованиям, в нем имеется нужный функционал, и есть небольшой опыт работы в РНР. 2.2.2 Программные продукты для разрабатываемой подсистемыДля разработки и функционирования модуля будут необходимы следующие программные продукты:HTTP сервер Apache;Интерпретатор PHP5 –  скриптовый язык программирования общего назначения, интенсивно применяемый для разработки веб-приложений. В настоящее время поддерживается подавляющим большинством хостинг-провайдеров и является одним из лидеров среди языков программирования, применяющихся для создания динамических веб-сайтов [26];База данных MySQL.На стороне клиента: Web-браузер.Apache является кроссплатформенным ПО, поддерживает операционные системы Linux, BSD, Mac OS, Microsoft Windows, Novell NetWare, BeOS [27].MySQL – свободная система управления базами данных (СУБД).MySQL является собственностью компании OracleCorporation, получившей её вместе с поглощённой SunMicrosystems, осуществляющей разработку и поддержку приложения. Распространяется под GNUGeneralPublicLicense или под собственной коммерческой лицензией. Помимо этого разработчики создают функциональность по заказу лицензионных пользователей, именно благодаря такому заказу почти в самых ранних версиях появился механизм репликации [28].MySQL является решением для малых и средних приложений. Входит в состав серверов WAMP, AppServ, LAMP и в портативные сборки серверов Денвер, XAMPP. Обычно MySQL используется в качестве сервера, к которому обращаются локальные или удалённые клиенты, однако в дистрибутив входит библиотека внутреннего сервера, позволяющая включать MySQL в автономные программы.Гибкость СУБД MySQL обеспечивается поддержкой большого количества типов таблиц: пользователи могут выбрать как таблицы типа MyISAM, поддерживающие полнотекстовый поиск, так и таблицы InnoDB, поддерживающие транзакции на уровне отдельных записей. Более того, СУБД MySQL поставляется со специальным типом таблиц EXAMPLE, демонстрирующим принципы создания новых типов таблиц. Благодаря открытой архитектуре и GPL-лицензированию, в СУБД MySQL постоянно появляются новые типы таблиц. MySQL входит в пакет Денвер, в Денвер3 это версия 5.5.25 – MySQL Community Server (GPL).Можно установить все перечисленные компоненты по отдельности, или воспользоваться готовыми решениями, такими как Денвер (Denver), XAMP и т.д.Для разрабатываемого модуля лучше использовать готовое решение – пакет Денвер, поскольку он экономит время на установку, а также содержит часть нужных дополнительных модулей, например, cURL для работы с URL. Денвер Джентльменский набор веб-разработчика набор дистрибутивов, используемый веб-программистами для отладки проектов и сайтов на «домашней» (локальной) Windows-машине без необходимости выхода в Интернет. Денвер 3 включает в себя РНР 5.3.13. Для установки Денвера нужно только скачать самораспаковывающийся архив, остальное он делает сам. Денвер создает папку (по умолчанию С:\WebServer) и виртуальный диск (по умолчанию Z).Базовый (основной) пакет Денвера включает в себя [29]:Инсталлятор (поддерживается также инсталляция на flash-накопитель).Apache, SSL, SSI, mod_rewrite, mod_PHP.PHP5 с поддержкой GD, MySQL, sqLite.MySQL5 с поддержкой транзакций.Система управления виртуальными хостами, основанная на шаблонах. Чтобы создать новый хост, вам нужно лишь добавить директорию в каталог /home, править конфигурационные файлы не требуется. По умолчанию уже поддерживаются схемы именования директорий многих популярных хостеров; новые можно без труда добавить.Система управления запуском и завершением всех компонентов Денвера.PHPMyAdmin — система управления MySQL через Web-интерфейс.Эмулятор sendmail и SMTP-сервера.Также для более удобной работы с HTML будет использоваться библиотека SimpleHTMLDOM, которая позволяет работать со структурой HTML-документа, обращаться напрямую к тегам или искать нужные фрагменты в документе по их id. Для подключения данной библиотеки достаточно просто сохранить ее в папку с проектом, а затем подключить.2.3 Структурный анализРазрабатываемый модуль будет являться клиент-серверным приложением, вида «тонкий клиент». На стороне сервера будут обрабатываться все действия после запуска программы обновления базы документов. На стороне клиента нужен только Web-браузер.Разрабатываемый модуль состоит из основных составляющих:Парсер;Интерфейс;База документов (база данных).На локальном виртуальном диске располагаются следующие части:Веб-сервер Apache, на котором размещается непосредственно программа на РНР (скрипт), собирающий информацию с ресурсов и обрабатывающий ее;База данных MySQL, в которой должна быть создана база документов; РНР5.Эти данные могут быть экспортированы на любой хостинг. Это сторона сервера.На рисунке 2.1 представлена структура работы модуля для автоматического пополнения базы документов. После нажатия на кнопку «Обновить» будет запущен скрипт для парсинга выбранных источников – HTML-страниц (HTML - HyperText Markup Language,  «язык гипертекстовой разметки») с последующим сохранением результатов обработки в базу данных.Клиент:Web-браузерСервер:Web-сервер ApacheинтернетРисунок 2.1 – Cтруктура клиент-серверного приложенияВзаимодействие всех компонентов модуля (парсера, интерфейса и базы данных) показано на рис.2.2.ИнтерфейсПарсерБаза данных Опрашиваемые веб-страницыОбработанные данныеСкачанные страницыЗапросВывод на экранРисунок 2.2 – Взаимодействие всех компонентов программного модуляКак видно из рис.2.2, скачанные с веб-страниц и обработанные данные сохраняются в базу данных, после чего могут выводится на экран. 2.4 Функциональный анализТеперь проведем функциональный анализ проектируемого модуля. Прежде всего он делится на составляющие:Парсер. Его функцией является сбор информации с заданных ресурсов, и ее дальнейшая обработка, с дальнейшим размещением в базу документов.Интерфейс имеет функцию связи пользователя с сервером, запуска процесса сбора информации и обновления базы. База документов (база данных). В ее таблицах хранятся данные о собранной информации. Описываем дерево функций. В принципе, основные действия выполняются парсером, база данных только хранит и принимает новые данные, а интерфейс позволяет пользователю запускать программу.Парсер:Подключение библиотеки Получение HTML кода в переменную;Отбор нужной информации;Обработка выделенной информации в форму для размещения в базу данных;Установление связи с MySQL, выбранной базой данных и таблицей;Запись упорядоченных данных в базу данных.Закрытие базы данных.2.5 ПроектированиеНа стадии проектирования нужно заменить функции из раздела функционального анализа на функции из языка PHP. Нужно рассмотреть функции парсера и интерфейса, а также создание и работу с базой данных.2.5.1 Функции парсера и интерфейсаДля парсера это будут следующие функции РНР [23-26].Для получения HTML кода в переменную используется file_GET_HTML. Отбор нужной информации проводится с помощью следующих функций: во-первых, это find('$tag') – поиск по тегу в HTML. Второе – это использование регулярных выражений для уточнения в найденном массиве с помощью preg_match_all("RegExp", $data, $matches), и preg_match. Обработка выделенной информации в форму для размещения в базу данных. Для организации цикла по массиву искомых слов в процессе поиска с помощью find и RegExp использовался цикл foreach, который позволяет работать с каждым найденным совпадением.Также использовался массив $stat[][], для сохранения данных перед размещением в базе данных.Для установления связи с MySQL используется MySQL_connect(сервер, username, password). Для Денвера и локального сервера это MySQL_connect("localhost", "root", "").Для связи с выбранной базой данных, находящейся на сервере используется MySQL_select_db ( $mydb ), а переменная $mydb содержит имя нужной базы данных.Для вставки (записи) упорядоченных данных в выбранную базу данных надо выбрать нужную таблицу в этой базе, и указать в какие поля записываются данные:INSERT INTO ИмяТаблицы(столбец1, столбец2, ...) VALUES(значение1, значение2, ...).В принципе существуют два способа работы с базами данных из РНР : работа со встроенными SQL запросами, и работа при помощи синтаксиса РНР. В работе применяется первый способ.После работы база данных закрывается с помощью MySQL_close($DB).Также в процессе отладки для проверки правильности использовалась функция выведения на экран echo.В интерфейсе практически нет функций, кроме кнопки «Обновить», которая запускает скрипт, и кнопки «БД» для выведения на страницу базы данных.2.5.2 Создание и работа с базой данныхДля работы с базой данных ее нужно сначала создать. Для создания базы данных и таблиц может быть два способа создания. Первый в PHP, а второй – с помощью утилиты PHPMyAdmin, которая является стандартной на большинстве хостов, а также в Денвере и XAMPP [30].Создание БД и таблиц с помощью PHP.Функция MySQL_Query используется для отправки запроса БД MySQL. Запросы записываются на языке Structured Query Language (SQL). SQL – наиболее широко распространённый язык запросов БД – не только для БД MySQL. При создании БД используется SQL-запрос CREATE DATABASE с таким синтаксисом:CREATE DATABASE имя БДMySQL_connect("host", "user", "password") or die(MySQL_error());MySQL_Query("CREATE DATABASE mydatabase") or die(MySQL_error());MySQL_close();Сначала идет соединение с MySQL-сервером. Затем создаётся БД "mydatabase". При создании таблиц используется SQL-запрос CREATE TABLE с таким синтаксисом:CREATE TABLE имя таблицыимя_столбца1 ТИП_ДАННЫХ,имя_столбца2 ТИП_ДАННЫХ,имя_столбца3 ТИП_ДАННЫХ,...)Здесь имя_таблицы и имя_столбца – соответствующие имена. ТИП_ДАННЫХ используется для специфицирования типа данных, вставляемых в столбец. Второй способ – это создание базы данных в PHPMyAdminPHPMyAdmin – это интерфейс, позволяющий работать с базой данных. MySQL базы данных – основной инструмент для создания динамических сайтов.Принцип работы заключается в следующем: создается HTML-каркас сайта и в определенные места каркаса (например, в область основного содержимого) посредством PHP-скриптов из базы данных выводится информация, которая и формирует контент сайта.Для начала нужно создать пользователя для базы данных. Пользователь имеет определенные привилегии (может редактировать, удалять, создавать новые таблицы и позиции в базе данных) и авторизуется по заданному логину и паролю.Для создания базы данных модуля был выбран второй способ –создание БД в Денвере в PHPMyAdmin.При покупке хостинга у большинства хостинг-провайдеров для пользователя автоматически создается база данных и аккаунт пользователя с логином и паролем, имеющий все необходимые привилегии. На локальном компьютере нужно самостоятельно создать пользователя (PHPMyAdmin\Привилегии\ добавить нового пользователя) и задать ему полномочия. Прямо на главной странице вводится название новой базы данных и кнопка «Создать». Информация в базе данных хранится в таблицах, поэтому нужно создать хотя бы одну таблицу с некоторым количеством полей( поле «Создать новую таблицу в БД»). Создается база для сохранения результатов парсинга myDoc, а в ней таблица article со столбцами Name, DateNumber, URL, Category, Number. Результат показан на рис.2.3-2.4. -755653486785-19464128380Рисунок 2.3 – Создание базы данных myDoc в Денвере.Рисунок 2.4 – Создание таблицы article в базе данных myDocКак видно из рис.2.4, ключевым является поле Number, и для него установлен параметр Auto_Increment – назначение каждой строке нового порядкового номера.Также можно устанавливать различные кодировки полей, обязательно установить тип поля. В данном случае, все поля, кроме ключевого поля Number имеют тип ТЕКСТ, поскольку именно этот тип позволяет сохранять в базу произвольно большие куски текста. Также можно установить кодировку для всей базы данных, это делается в MySQL нажатием на PHPMyAdmin. 2.6 ЭксплуатацияДля работы приложения необходимо установить на серверный компьютер Apache и PHP, возможно заменить Денвером или ХАМРР. Затем скопировать файлы программы на сервер. Для Денвера это папка Z:\home\localhost\www, куда добавляется папка с программой (parse_db).Если установлен Apache и PHP , то можно сразу запускать приложение, а если Денвер, то сначала нужно запустить его, а уже затем запускать приложение.Для запуска приложения, на клиентском компьютере, нужно ввести адрес сервера и путь до приложения (в нашем случае это «localhost/parse_db»). Откроется страница, где имеются две кнопки – «Обновить» и «Вывести текущую базу документов на экран». При нажатии «Обновить» модуль начинает автоматический сбор информации из источников, сравнение последних версий, и в случае необходимости обновления, обработку и пополнение базы данных. Другая кнопка «Вывести текущую базу документов на экран». После нажатия на экран будет выведена база документов со следующими полями:Название статьи и авторы (поле Name);Источник (поле URL);Дата и номер издания (поле DateNumber);Категория (поле Category).Категория статьи берется из того же источника, из которого и статья. В данной главе было проведено архитектурное проектирование разрабатываемого программного модуля, определены основные составляющие и функции, спроектирован интерфес.3 Реализация модуля для автоматического пополнения базы документов3.1 Парсинг веб-страницПрежде всего парсинг зависит от исходного кода веб-страницы. Он может быть разный в зависимости от сложности исходного кода страницы.Парсинг журнала «Информационные технологии и вычислительные системы».Как уже отмечалось, для парсинга берется свежий номер электронной версии журнала «Информационные технологии и вычислительные системы», он показан на рис. 3.1.Рисунок 3.1 – Журнал «Информационные технологии и вычислительные системы»Здесь на левой панели показан список статей нового номера, а в центре размещается аннотация и ключевые слова. Для начала нужно взять список статей и разделов, в которых они находятся. Для этого нужно рассмотреть исходный код (рис.3.2).Рисунок 3.2 – Исходный код левой панели (статьи номера)В данном случае легко выделить и категории, и статьи, достаточно просто указать нужный тег. На рис.3.2 видно, что выделена ссылка – это ссылка на описание статьи, аннотацию и ключевые слова. Но нужно сделать так, чтоб распознавался раздел статьи, а никаких указаний или иерархии на странице нет, все они (статьи и разделы) являются ячейками таблицы, как видно на рис.3.2. Поэтому обработка была сделана следующим образом:Взят весь текст левой панели (статьи и разделы)://берем весь текст в строку foreach($data_novtex-&gt;find('td.leftmenutd') as $left){ $l = $left-&gt;innertext; $l2=$l2.$l; } Полученная строка выводится в массив по разделителю. В качестве разделителя выбран знак &lt;, он разделяет теги: $ok = explode("&lt;",$l) ; //проверяем массив, выводим на экран echo Count($ok)."eto massive&lt;br&gt;"; for($i=0; $i&lt;Count($ok); $i++) { echo $i.$ok[$i]."&lt;br&gt;"; //вывод на печать } Результат вывода показан на рис.3.3.Рисунок 3.