«Оптимизация распределения ресурсов в вычислительных сетях» (на примере предприятия Cи3Вижн)

ЗАКЛЮЧЕНИЕ

На современном этапе развития сетевых технологий и уровня информатизации бизнес-процессов одним из ключевых моментов, эффективности деятельности компаний является стабильная сетевая инфраструктура, которая способна обеспечить самые высокие требования процессов обработки и передачи информации. При этом предпочтение отдается вычислительным сетям, функционирующим в проводном и беспроводном формате.
Вычислительные сети предприятий и организаций включают в себя множество различных элементов, в том числе сетевое оборудование (коммутаторы уровней доступа и распределения, маршрутизаторы, аппаратные сетевые экраны) и серверы (веб, почтовые, баз данных, документооборота, биллинговых систем). Для уменьшения влияния отказов на работоспособность вычислительной сети и контроля за ее состояни ...

СОДЕРЖАНИЕ

ВВЕДЕНИЕ 3
ГЛАВА 1. ВЫЧИСЛИТЕЛЬНАЯ СЕТЬ ОРГАНИЗАЦИИ КАК ИНСТРУМЕНТ УПРАВЛЕНИЯ ЭКОНОМИЧЕСКОЙ ДЕЯТЕЛЬНОСТЬЮ 5
1.1. Классификация и общая характеристика вычислительных сетей 5
1.2. Вычислительные ресурсы вычислительных сетей и их общая характеристика 10
1.3. Проблемы перегрузки запросами и их решение в вычислительных сетях 15
ГЛАВА 2. МЕТОДЫ И СРЕДСТВАОПТИМИЗАЦИИ ИСПОЛЬЗОВАНИЯ И РАСПРЕДЕЛЕНИЯ ВЫЧИСЛИТЕЛЬНЫХ РЕСУРСОВ В ВЫЧИСЛИТЕЛЬНОЙ СЕТИ ОРГАНИЗАЦИИ 25
2.1. Характеристика вычислительной сети организации и оценка оптимальности использования вычислительных ресурсов в ней 25
2.2. Методы балансировки нагрузки в вычислительной сети организации для оптимизации использования и распределения ресурсов 31
ГЛАВА 3. РАЗРАБОТКА ПРОЕКТНЫХ РЕШЕНИЙ ПО ОПТИМИЗАЦИИ РАСПРЕДЕЛЕНИЯ ВЫЧИСЛИТЕЛЬНЫХ РЕСУРСОВ В ВЫЧИСЛИТЕЛЬНОЙ СЕТИ ОРГАНИЗАЦИИ 39
3.1. Обзор программно-технических средств оптимизации использования вычислительных ресурсов в вычислительной сети организации 39
3.2. Разработка проектных решений по оптимизации загрузки серверов 45
3.3. Обоснование эффективности проектных решений для оптимизации распределения вычислительных ресурсов в вычислительной сети организации 57
ЗАКЛЮЧЕНИЕ 64
СПИСОК ЛИТЕРАТУРЫ 66

ВВЕДЕНИЕ

Системы коммуникации и вычислительные сети в современной инфраструктуре информатизации рассматриваются в качестве ключевого элемента, в котором сосредоточены наиболее прогрессивные информационные технологии и средства вычислительной техники и связи.
Современные вычислительные сети, являясь сложной распределенной системой, требуют регулярной поддержки в режиме штатного функционирования, что может быть достигнуто путем изменения структуры сети, а также применением для управления сетью систем, функционирующих наиболее корректно. Воздействие на проблемные участки сети производится в процессе реализации комплекса организационно - технических мероприятий, которые формируются на основе модели сети.
Вычислительная сеть может иметь сложную структуру и располагаться за пределами одного зда ния, что усложняет организацию взаимодействия между устройствами и предполагает использование универсального приема – декомпозиции для локализации сбоев в работе сети и эффективного решения проблем ее работоспособности и быстродействия. В этом случае актуальность приобретает вопрос разработки механизмов прогнозирования и мониторинга для оптимизации работы сети, а также устранения проблем, связанных с перегрузкой сети запросами. Для решения данных вопросов специалисты, обслуживающие вычислительные сети, используют комплекс программных и аппаратных средств, состав которого зависит от требований, которые предъявляются к сети, ее функциональных возможностей, а также многих других показателей, характеризующих ее вычислительные ресурсы.
Объект исследования: вычислительная сеть организации.
Предмет исследования: методы и средства балансировки нагрузки в вычислительной сети.
Цель исследования: на основе анализа проблем перегрузки вычислительной сети организации, разработать проектные решения для оптимизации распределения ресурсов в процессе обработке и передачи данных.
Для достижения поставленной цели сформулированы следующие задачи:
1. На основе анализа теоретической и научной литературы сформулировать основные классификационные признаки и характеристики вычислительных сетей.
2. Изучить вычислительные ресурсы сетей и их характеристики.
3. На основе характеристики вычислительной сети организации и особенностей ее функционирования оценить оптимальность использования ресурсов в ней.
4. Изучить основные методы балансировки нагрузки в вычислительной сети.
5. Разработать проектные решения для оптимизация распределения ресурсов в вычислительной сети организации и обосновать их эффективность.

 

Работа центра ведется с использованием уникальной технологической платформы на базе интеграции CISCO IP ContactCenter и CRM SiebelSystems.В настоящее время постоянный штат компании составляет более 200 человек. Подразделения организации представлены следующей структурой (таблица 6).Структурные подразделения организацииГенеральный директоруправление фирмой;контроль за деятельностью и взаимодействием структурных подразделений;ведение переговоров с крупными поставщиками и клиентамиИТ-департаменттехническая разработка и ведение проектов;организация основных каналов связи офисов компании;мониторинг работоспособности всего сетевого оборудования.Департамент по работе с клиентамиработа с клиентами в рамках проектов по принятым в компании стандартам;управление ресурсами‚ задачами‚ сроками‚ бюджетом‚ рисками и качеством проекта;ведение всей проектной и контрактной документации; разработка и реализация маркетинговой стратегии‚ программ продвижения продуктов и услуг компании;конкурентный анализ;управление корпоративным сайтом;взаимодействие со СМИ;продажа услуг контакт-центра;развитие клиентской базы;ведение переговоров;заключение договоров.Производственный департаментреализация проектов по средствам региональных площадок;распределение ресурсов на проекты;развитие региональных площадок.Департамент управления персоналомпоиск, найм, адаптация, обучение, развитие персонала;ведение кадрового делопроизводства;контроль качества разговоров.Административно-финансовый департаментведение финансово-хозяйственной деятельности компании;юридическое сопровождение компании.Предприятие состоит из 3-х офисов с 250 рабочими местами. Филиалы соединены при помощи VPN тоннелей. В дата центре компании (далее ЦОД), установлены все необходимые для работы приложения включая базу данных SQL, терминальные сервера потовый сервер и т.д.. Сотрудники используют программные средства через удаленное подключение к вычислительным ресурсам ЦОД. Соединение между компьютерами обеспечивается аппаратными маршрутизаторами и роутерами Cisco с поддержкой доступа к сети через технологию IPSECVPN. На всех рабочих компьютерах установлена операционная системаWindows 7, Рабочие места на предприятии оснащены необходимым офисным набором вычислительной техники: персональные компьютеры, телефоны, принтер. Каждый компьютер имеет выход в интернет. Компьютеры объединены общей внутренней сетью. К основным особенностям функционирования вычислительной сети организации следует отнести:разнообразные технические средства обработки и передачи информации объединены в единую систему;система территориально распределена;в системе обрабатывается большое разнообразие решаемых задач и типов сведений (данных). При этом для совмещения выполнения информационных запросов различных пользователей используются сложные режимы автоматизированной обработки информации;в единых базах объединены данные различных уровней конфиденциальности, принадлежности и назначения;непосредственный доступ к вычислительным и информационным ресурсам имеют большое число различных категорий пользователей и обслуживающего персонала;функционирование достаточно большого числа каналов взаимодействия с “внешним миром”;вычислительная сеть организации функционирует непрерывно;информационные потоки в вычислительной сети характеризуются высокой интенсивностью; в сети имеются ярко выраженные функциональные подсистемы с различными требованиями по уровням защищенности. При этом они физически объединены в единую сеть;категории пользователей и обслуживающего персонала системы разнообразны.Технические средства вычислительной сети организации в комплексе включает в себя следующие составляющие:средства обработки данных (ПЭВМ, сервера БД и т.п.);средства обмена данными в сети с возможностью выхода в глобальные сети (кабельная система, мосты, шлюзы, модемы и т.д.);средства хранения (в т.ч. архивирования) данных.Вычислительная сеть компании «Си3вижн» включает информационные ресурсы, которые представлены документами или записями в носителях на магнитной, оптической и другой основе или информационными физическими полями, массивами и базами данных. программные средства. К ним относятся системы управления базами данных, операционные системы, различное общесистемное и прикладное программное обеспечение;технологическое оборудование. А именно, сетевое и кабельное оборудование, средства вычислительной техники;средства телекоммуникации, в том числе автоматизированные системы связи;каналы связи, по которым передается информация;служебные помещения;технические средства, используемые для обработки информации: звуковой (средства звукозаписи, звуковоспроизведения, звукоусиления), текстовой (изготовления, тиражирования документов), визуальной (телевизионные устройства), а также технические средства обработки графической и смысловой информации;вспомогательные технические средства и системы. Вычислительная сеть организации в своем составе имеет следующие структурные блоки:ядро системы передачи данных;граничный блок системы передачи данных;система беспроводной локальной вычислительной сети (БЛВС);уровень доступа ЛВС;центр обработки данных.В существующей корпоративной сети компании обеспечено резервирование внешних каналов. Беспроводная локальная сеть организации построена на базе оборудования Cisco, с использованием «легковесных точек доступа» и контроллеров беспроводной сети. На границе офисной сети компании «Си3вижн» межсетевой экран. Развернута Active Directory, все пользователи компании имеют учетную запись, которая используется для доступа к корпоративным ресурсам. Политика безопасности сети обеспечивается за счет правки списков доступа на коммутаторах уровня доступа, а так же за счет правил прохождения трафика на сетевом экране. На рисунке 5 представлена структурная схема ЦОД. Структура ЦОД организацииЯдро системы передачи данных обеспечивает связь компонентов сети между собой, маршрутизацию и коммутацию трафика между ними, а также максимальную производительность и надежность. Кроме того ядро системы обеспечивает:подключение граничного блока, уровня доступа, ЦОД, системы БЛВС;передачу данных на уровнях 2 и 3 МВОС, пакетов по протоколу Internet Protocol, данных по протоколу Ethernet 100/1000/10000 с возможностью подключения медных и оптических сред передачи;поддержку стандарта IEEE 802.1Q, высокоскоростной коммутации кадров Ethernet, передачи маршрутной информации с использованием протоколов маршрутизации OSPF и BGP.Граничный блок системы обеспечивает безопасное подключение внешних каналов, трансляцию сетевых адресов и инспекцию сессий внутренних пользователей при их выходе в интернет.Кроме того на основе граничного блока производится:подключение к ядру передачи данных, служебных подсистем и систем, граничащих с внешними сетями;передача данных на уровнях 2 и 3 МВОС, по протоколу Ethernet 100/1000/10000 c возможностью подключения медной и оптической сред передачи;защищенное управление устройствами граничного блока.Система беспроводной локальной вычислительной сети обеспечивает:двухдиапазонное покрытие (5 и 2.4ГГц) во всех офисных помещениях;передачу трафика реального времени;защищенное управление устройствами;поддержку стандарта IEEE 802.1Q;балансировку беспроводных клиентов между точками доступа;маршрутизацию multicast-трафика в беспроводной сети;подключение к ядру передачи данныхУровень доступа обеспечивает высокоскоростное подключение конечных пользователей к проводной сети, электропитание сетевых устройств, применение локальных политик безопасности, фильтрацию трафика между пользователями. Сетевая инфраструктура ЦОД направлена на обеспечение высокоскоростного и зарезервированного подключения серверных ферм к ядру сети.Использование подсистемы мониторинга призвано обеспечить действия, связанные с конфигурацией и мониторингом оборудования, и взаимодействие со следующим набором сервисов и протоколов:NTP;NetFlow;Simple Network Management Protocol version 3 (SNMPv3);Simple Network Management Protocol version 2 (SNMPv2);Syslog.Таким образом, на основании указанных принципов построения вычислительной сети компании «Си3вижн» обеспечивается соблюдение общих требований к оборудованию, производительности и надежности системы.Методы балансировки нагрузки в вычислительной сети организации для оптимизации использования и распределения ресурсовКак отмечалось выше, структура сети организации построена на кластерах, основной задачей управления которыми является организация распределение нагрузки. Данный процесс называется балансировкой.Балансировка осуществляется на основе комплекса программных и аппаратных средств и методов на транспортном, сетевом и прикладном уровнях.На сетевом уровне балансировка направлена на обеспечение ситуации, когда за один конкретный IP-адрес сервера отвечают разные физические машины. Данная задача реализуется на основе следующих методов:DNS-балансировка. Предполагает выделение на одно доменное имя несколько IP-адресов. Построение NLB-кластера. При данном способе серверы объединяются в кластер, который состоит из входных и вычислительных узлов. Балансировка по IP. Используется дополнительный маршрутизатор.Балансировка на транспортном уровне является наиболее простой. В этом случае по обращению клиента к балансировщику происходит перенаправление запроса одному из серверов, который его обрабатывает. При этом выбор сервера, осуществляется по различным алгоритмам:простой круговой перебор;выбор наименее загруженного сервера из пула и другие.Балансировка на прикладном уровне предполагает работу балансировщика в режиме «умного прокси». Анализируя клиентские запросы, он перенаправляет их на разные серверы. Восстановление баланса нагрузки вычислительной сети является одной из наиболее распространенных задач оптимизации распределения вычислительных ресурсов. Причиной дисбаланса, чаще всего, является: гетерогенность вычислительной системы (узлы вычислительной системы имеют разную производительность, а линии связи - разную пропускную способность);гетерогенность имитационной модели. Метод имитационного моделирования является известным, признанным, а иногда, и единственным методом исследования сложных систем. Некоторые процессы имеют гораздо большую интенсивность обменов, нежели другие, часть процессов оказывают большую нагрузку на вычислительные узлы, выполняя одно событие за другим, в то время как другие могут быть приостановлены, ожидая прихода того или иного сообщения. С целью корректировки дисбаланса обычно разрабатывают специальное программное обеспечение, которое следит за нагрузкой вычислительных узлов и восстанавливает равномерное распределение приложений по вычислительным узлам, выполняя перенос части компонентов приложений на другие, менее загруженные узлы. При этом программное обеспечение, выполняющее балансировку, следит за передачей сообщений по линиям связи. Нагрузка линий связи также должна быть сбалансирована.Восстановление баланса нагрузки является хорошо известной задачей, которая получила множество решений. Разработано большое количество алгоритмов. Однако очень часто эти алгоритмы применимы только для конкретного приложения, для решения конкретной задачи. Существуют и решения, которые применимы для оптимизации распределенного имитационного эксперимента. Однако, несмотря на то, что разработчики подсистемы балансировки SPEEDES и Charm++ пытались разработать алгоритмы балансировки, которые могли бы адаптироваться к изменяющейся обстановке, к характерным особенностям той или иной имитационной модели, результаты экспериментов показали, что эффективности от применения этих алгоритмов им удалось добиться лишь в частных случаях. Для частичного решения данной проблемы может быть использована управляемая балансировка, на основании которой предполагается, что программное обеспечение, применяемое для восстановления равномерной загрузки должно включать экспертный компонент, который на основании логического вывода предлагает решения для переноса избыточной нагрузки с перегруженного вычислительного узла на менее загруженный. Программные средства балансировки предназначены для системы распределенного имитационного моделирования Triad. Nct. Triad – это система автоматизированного проектирования и имитационного моделирования вычислительных систем, Triad.Nct - ее распределенная версия. Для описания имитационной модели в данной системе используют язык Triad.Для сокращения времени на саму балансировку можно использовать мультиагентный подход, который позволяет применить децентрализованный алгоритм балансировки и тем самым сократить время на обмены между компонентами самой подсистемы балансировки.На наш взгляд, наиболее практически значимым является метод балансировки, основанный на перераспределении запросов от локальных кластеров в общедоступный кластер, который обеспечивает сбалансированность нагрузки узлов системы и устойчивость системы к отказам и перегрузкам серверов локальных кластеров. В случае с исследуемой вычислительной системой данный метод является наиболее оправданным. Рассмотрим общий алгоритм данного метода.Пусть распределенная вычислительная система представлена M локальными кластерами и общедоступным кластером, объединяющим m серверов (рисунок 5). Структура распределенной системыПерераспределение запросов локального кластера, содержащего в исходном состоянии n серверов, в общедоступный кластер осуществляется через N резервированных коммутационных узлов (маршрутизаторов или коммутаторов). В процессе оптимизации структуры определяется число (кратность резервирования) серверов в локальных кластерах n и в общем кластере m, а также число коммутационных узлов N, обеспечивающие наибольшую надежность системы P при заданных ограничениях на стоимость построения системы s.Оценку надежности системы, следует проводить с учетом нижних ограничений на число узлов в подсистемах, при которых не возникают перегрузки соответствующих кластеров. При оптимизации процесса распределения запросов с учетом возможности отказов и отключений узлов общедоступного кластера будем считать заданными:средние времена выполнения запросов в серверах кластеров и в коммутационных узлах v0, v1;интенсивности отказов λ0, λ1;интенсивности восстановлений µ0, µ1. Вероятности r нахождения во включенном состоянии серверов общедоступного кластера известны. Оптимизация проводится при заданной интенсивности потока запросов λ, который поступает в локальный кластер и при необходимости перераспределяется через сеть в общедоступный кластер. Кроме того в общедоступный кластер от других кластеров системы через сеть дополнительно направляется поток запросов с интенсивностью Λ = βλ. Стоимости серверов локальных и общедоступного кластера, а также стоимость коммутационных узлов при оптимизации будем считать соответственного равными с0, с1, с2.В результате оптимизации процесса распределения потока запросов, поступающего в локальный кластер, определяется их доля, которая перераспределяемая через сеть в общедоступный кластер, при которой минимизируется среднее время пребывания запросов T. Учет возможности отключения серверов общедоступного кластера обусловлен тем, что предоставляемые им услуги по обслуживанию внешних для него запросов могут проводиться в фоновом режиме и поэтому могут отбрасываться при высокой нагрузке серверов, при решении важных для владельца кластера (сервера) задач, при профилактическом обслуживании или временных отключениях узлов по другим причинам. Определим вероятность работоспособности системы для локального кластера из n серверов с учетом возможности использования в качестве резерва ресурсов m серверов общедоступного кластера, связь с которым обеспечивается через N коммутационных узлов. Предположим, что пропускная способность каждого коммутационного узла достаточна, чтобы не ограничивать возможности перераспределения запросов, т.е. если исправен хотя бы один коммутационный узел, то запросы могут перераспределяться в общедоступный кластер, но для реализации такого перераспределения в локальном кластере должен быть исправен хотя бы один вычислительный узел. С учетом этих условий вероятность работоспособности системы составляетP=1-P1i=anCni1-p0n-i+P1j=bn+m(Cm+nj-djCmj)p0j1-p0n+m-j (1)где dj=1, если j≤m, иначе j=0;P1=i=1NCNip1i1-p1N-i – вероятность исправности коммутационной подсистемы, значения a и b определяются как ближайшие целые, большие λv0 и λ(1+β)v0.Надежность узлов определяется по коэффициентам готовности, которые вычисляются для серверов и коммутационных узлов соответственно следующим образом:p0=µ0λ0+µ0p1=µ1λ1+µ1Формула (1) не учитывает возможность случайных временных отключений серверов общедоступного кластера, поэтому необходимо преобразовать ее с учетом доступности серверов с вероятностью r:P=1-P1i=anCnip0i1-p0n-i+P1i=anCnip0i1-p0n-ij=bmCmjp2j1-p2m-jгде p2=rp0.При оптимизации структуры вычислительной системы необходимо найти число серверов n в локальных кластерах, число серверов m в общедоступном кластере и кратность резервирования N коммутационных узлов, которые обеспечиваю максимум надежности системы, P=maxm,n,N,gP(m, n, N, g, λ) при ограничениях стоимости s ее реализации (Mc0n+c1N+c2m)≤s и отсутствии перегрузки узлов.Кроме того целью оптимизации структуры может быть минимизация среднего времени пребывания запросов в системе при ограничении средств s на ее построение T=maxm,n,N,gT(m, n, N, g, λ). Среднее время пребывания запросов в системе вычисляется по формуле:T=gv01-gλv0n+1-g2v`11-1-g+β2λv1N+v01-1-g+βλv0m,(2)где 1-g – средняя доля запросов, перераспределяемых через сеть от локального кластера в общедоступный. При поиске оптимального g необходимо учитывать условие стационарного режима функционирования узлов (условие отсутствия перегрузки узлов):gλv0n<1⋀1-g+β2λv1N<1⋀1-g+βλv0m<1При заданной структуре системы возможно провести оптимизацию процесса распределения запросов с учетом возможности отказов и отключений исправных узлов общедоступного кластера с вероятностью (1 – r). Оптимизация проводится при заданной средней интенсивности потока запросов λ, поступающего в локальный кластер и при необходимости перераспределяемого через сеть в общедоступный кластер.Разработка проектных решений по оптимизации распределения вычислительных ресурсов в вычислительной сети организацииОбзор программно-технических средств оптимизации использования вычислительных ресурсов в вычислительной сети организацииПроцесс оптимизации использования вычислительных ресурсов сети представляет собой сочетание анализа и синтеза. На этапе анализа определяются значения критерия эффективности для имеющегося сочетания параметров сети. В данном этапе, чаще всего выделяют этап мониторинга, на котором выполняется процедура сбора первичных данных о работе сети, а именно: статистики о количестве циркулирующих в сети кадров и пакетов различных протоколов;состоянии портов, концентраторов, коммутаторов и маршрутизаторов. На основе данных, полученных в процессе мониторинга, выполняется анализ, который предполагает осмысление информации, сопоставление ее с более ранними данными и выработку предположений о предполагаемых причинах не эффективной работы сети. Задачи мониторинга реализуются на основе программных и аппаратных средств и активного участия человека, а также, при необходимости, возможностей экспертных систем, аккумулирующих практический опыт сетевых специалистов.В настоящее время на рынке программного обеспечения существует большое количество предложений для мониторинга сети. Рассмотрим некоторые из них.Программа «10-Страйк: Мониторинг Сети» предназначена для мониторинга серверов и прочих сетевых устройств. Программа следит за работоспособностью сети и оповещает о неполадках. С ее помощью можно во время узнать о произошедшем сбое (разрыв связи, завершение места на диске сервера, остановки служб) и устранить проблему с минимальными потерями времени. Программа отслеживает состояние хостов, папок, файлов, баз данных, процессов и служб на компьютерах сети. Дополнительно администратор сети может использовать собственные скрипты в качестве проверок, и даже контролировать различные переменные в управляемых коммутаторах по протоколу SNMP (рисунок 7).