Автоматизация анализа объявлений о вакансиях в ИТ-сфере

Содержание

АННОТАЦИЯ 4
ABSTRACT 5
ВВЕДЕНИЕ 6
1. СУЩЕСТВУЮЩИЕ МЕТОДЫ РЕШЕНИЯ ЗАДАЧИ 8
1.1. АНАЛИЗ ТРЕНДОВ ИТ-ТЕХНОЛОГИЙ САЙТА MONSTER.COM В АНГЛИИ 8
1.2. АНАЛИЗ СОЧЕТАЕМОСТИ НАВЫКОВ В ИТ-ВАКАНСИЯХ 8
1.3. ТЕКСТЫ ВАКАНСИЙ КАК ИСТОЧНИК ДАННЫХ 9
2. СБОР И ИЗВЛЕЧЕНИЕ ДАННЫХ О ВАКАНСИЯХ В ИТ-СФЕРЕ 10
2.1. ВЫБОР ИСТОЧНИКОВ ДАННЫХ 10
2.2. ЗАГРУЗКА ФАЙЛОВ ВАКАНСИЙ 10
2.2.1. Описание набора данных 10
2.2.2. Структура текста вакансии 12
2.3. ИЗВЛЕЧЕНИЕ ДАННЫХ ИЗ ТЕКСТОВ ВАКАНСИЙ 14

3. ПОСТРОЕНИЕ МАТРИЦ РЕЛЕВАНТНОСТИ И АДАПТАЦИЯ

МЕТОДОВ ТРИ-КЛАСТЕР АНАЛИЗА 17
3.1. ПОСТРОЕНИЕ МАТРИЦ РЕЛЕВАНТНОСТИ НА ОСНОВЕ АННОТИРОВАННЫХ
СУФФИКСНЫХ ДЕРЕВЬЕВ 17
3.1.2. Описание метода АСД 17
3.1.3. Удаление нерелевантных фраз из списков требований, обязанностей,
условий 18

3.1.3. Построение двухвходовых матриц релевантности фраза - текст вакансии19
3.1.4. Построение трех-входовой матрицы связей ТОУ 20
3.2.МЕТОДЫ ТРИ-КЛАСТЕР АНАЛИЗА 21
3.2.1. Метод «Tricluster Box» 21
3.2.2. Метод «Overlap» 23
4. РАСЧЕТЫ И ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ 25
2
ЗАКЛЮЧЕНИЕ 36
БИБЛИОГРАФИЯ 37
ПРИЛОЖЕНИЕ 1 39
ПРИЛОЖЕНИЕ 2 40
ПРИЛОЖЕНИЕ 3 52
ПРИЛОЖЕНИЕ 4 53

Введение


В современном мире рынок ИТ-профессий развивается очень стремительно,

и требуется все больше специалистов разных профилей. Для людей, планирующих строить карьеру в ИТ, возникает необходимость в освоении новых навыков и знаний. Но перед выбором конкретных навыков для изучения встают следующие вопросы:

1. Каким требованиям должен удовлетворять кандидат, чтобы получить работу в ИТ-сфере? Для того чтобы построить персональную траекторию образования, необходимо проанализировать большое количество объявлений, чтобы понять тренды на рынке и выбрать актуальные навыки и дисциплины для изучения.

2. Есть ли какие-то универсальные навыки, которыми необходимо владеть всем специалистам в ИТ-сфере?

3. Какие условия работы являются нормой для рынка труда ИТ-сферы? В связи с этим возникает проблема анализа:
1. Текущих требований работодателей к новым сотрудникам.
2. Обязанностей новых сотрудников на рабочих местах.
3. Условий работы сотрудников на рабочих местах.
Таким образом, тема нашей работы: Автоматизация анализа объявлений о вакансиях в ИТ-сфере.
Цель работы: провести анализ связи требований, обязанностей и условий работы в ИТ-сфере на основе данных о вакансиях в ИТ-сфере.
Для того чтобы реализовать цель работы были поставлены следующие задачи:
1. Сбор данных о вакансиях в ИТ-сфере.
2. Извлечение информации о требованиях, обязанностях и условиях вакансий из объявлений о вакансиях.
4. Подготовка формулировок, представляющих требования, обязанности
и условия работы в ИТ-сфере.
6
5. Освоение методики аннотированных суффиксных деревьев [2] для оценки релевантности строка-текст и применение ее для формирования трех таблиц релевантности, связывающих объявления о вакансиях со строками требований, обязанностей и условий работы.
6. Формирование трех-входовой таблицы связей между требованиями, обязанностями и условиями работы, адаптация методов формирования 3-кластеров и проведение расчетов по их выявлению.
7. Анализ полученных результатов и возможности подготовки рекомендаций для ИТ-специалистов.
В результате выполнения работы мы собираемся получить интерпретируемые три-кластеры, которые будут наглядно отражать типы работ ситуацию на рынке труда. Выделение этих типов позволит ИТ специалистам понять, какие условия работы рынок ИТ готов предложить и соответствующим образом адаптировать свои персональные стратегии подготовки.

Добрый день! Уважаемые студенты, Вашему вниманию представляется дипломная работа на тему: «Автоматизация анализа объявлений о вакансиях в ИТ-сфере»



Оригинальность работы 94%

Аннотация





В настоящей работе проведен анализ списков требований, обязанностей и условий работы в ИТ-сфере на основе текстов вакансий с российского портала поиска работы Head Hunter [1]. Сформированы и выделены списки требований, обязанностей, условий работы, релевантные вакансиям в ИТ-сфере, основываясь на использовании метода аннотированного суффиксного дерева (АСД) [2]. На основе этих списков рассчитана трех-входовая матрица релевантности «требование-обязанность-условие», а также выделены три-кластеры - такие совокупности подмножеств требований, обязанностей и условий работы, которые тесно связаны между собой. Полученные три-кластеры допускают разумную интерпретацию – они показывают типы работ, реально существующие на рассматриваемом рынке.
Работа содержит 59 страниц, 5 глав, 4 рисунка, 15 источников.
Ключевые слова — три-кластер, ИТ-вакансия, аннотированное суффиксное дерево, релевантность
Abstract
In this work we advance into the analysis of requirements, responsibilities and working conditions in IT-sphere, according to vacancy advertisement files, downloaded from the Russian recruitment web-site Head Hunter [1].
Lists of relevant requirements, responsibilities and working conditions are extracted and provided, based on the so-called «annotated suffix-tree” method [2]. Upon extraction of these lists, we compute a 3-dimensional relevance matrix for requirement-responsibility-working condition triplets and then apply tri-clustering methods to extract tri-clusters of strong interconnections.
Resulting tri-clusters are reasonably interpreted as types of vacancies at the labour market under investigation.
The work contains 59 pages, 5 chapters, 4 drawings, 15 references.
Keywords – tri-cluster, IT job advert, annotated suffix tree, relevance index