Вход

Использование статистических методов в науковедении

Рекомендуемая категория для самостоятельной подготовки:
Курсовая работа*
Код 304273
Дата создания 08 июля 2013
Страниц 57
Мы сможем обработать ваш заказ (!) 22 апреля в 12:00 [мск]
Файлы будут доступны для скачивания только после обработки заказа.
1 310руб.
КУПИТЬ

Содержание

Введение
Глава 1. История и развитие статистических методов в науковедении
Глава 2. Статистические методы
Применение математической статистики
Планирование экспериментов
Модели статистического вывода
Многообразие математических методов
Статистическое обобщение данных в систематических обзорах
Глава 3. Примеры исследований с помощью статистических методов
Заключение
Список литературы

Введение

Использование статистических методов в науковедении

Фрагмент работы для ознакомления

Еще одно следствие широты математической теории состоит в том, что не только существует большое число способов решения данной задачи, но и сама задача может быть сформулирована различными способами, с использованием различных понятий, что в высшей степени полезно. Мы уже рассматривали различные методы получения выводов на основе имеющихся данных. В частности, мы отмечали важность применения в отдельных случаях теории статистических решений, которая создает вполне реалистическую основу для расширения исследований сложных административных и организационных проблем (не говоря уже о более частных приложениях к статистической теории). Таким образом, новый подход, основанный на новых понятиях, обеспечивает значительное продвижение вперед.
Возможность переноса идей из одной области приложений вдругую всегда крайне привлекательна. Если это делается умело, то часто дает новые плодотворные результаты. В то же время необходимо проявлять осторожность и не «вгонять» исследуемый материал в неподходящие для него рамки. Как известно, статистический подход к планированию и анализу экспериментов находит особенно широкое применение в агрономической науке, где он существенно необходим и в высшей степени эффективен. Многие биологические эксперименты, проводимые как в полевых, так и в лабораторных условиях, по своему общему характеру не очень сильно отличаются от агрономических. В то же время, например, при клинических испытаниях лекарственных препаратов возникает ряд дополнительных трудностей, которые не всегда легко разрешить в рамках методов, применяемых в агрономии. Некоторые из этих трудностей связаны с множеством побочных эффектов и возможными отдаленными последствиями, проявляющимися при назначении того или иного препарата; другие связаны с моральными и этическими проблемами, возникающими при проведении экспериментов на человеке, и необходимостью найти и применить возможно быстрее наилучший метод лечения в каждом конкретном случае.
В последние годы много говорят о применении теории информации. Ни один инженер, физиолог или психолог не сомневается в исключительной важности этого предмета. При решении вопросов, связанных с передачей информации в обычном смысле слова, значительное преимущество проведения точного анализа с помощью моделей, в которых используется математическое понятие количества информации, очевидно. Споры ведутся о том, в какой степени понятия теории информации можно применять в совершенно иных областях исследования51.
Оказалось, что нередко при переходе с одного уровня организации на другой объем информации меняется на целый порядок. К объяснению этого явления можно подойти с самых разных позиций. Можно спросить себя, означает ли это, что в таких условиях передача информации неизбежно происходит при наличии шума и потому точная передача обеспечивается лишь при большой избыточности; или что структуры, которые определяют конфигурации, необходимые для основных биологических функций, поставляют, так сказать, в качестве побочного продукта и ряд других, «бессмысленных» конфигураций; или, наконец, что дополнительная информация каким-то образом связана с обработкой основного сообщения, а не с самим сообщением и т. д. Конечно, ни один из этих подходов не заменяет точного биологического исследования на молекулярном уровне. Однако применение теории информации позволяет комбинировать большое число количественных результатов и использовать их для теоретических исследований, которые будут уже не носить преимущественно словесный характер, а основываться на некоторой системе законов и принципов.
С точки зрения потери информации можно также изучать такие проблемы, как заболевания дегенеративного характера, лучевое повреждение, старение и смерть. Как известно, организмы могут жить и размножаться, несмотря на некоторые дефекты в той генетической информации, которую они в себе несут. В результате увеличения числа таких ошибок под влиянием облучения организмы, которые ранее были близки к летальному пределу, но все же обладали некоторой жизнеспособностью, могут вообще оказаться нежизнеспособными. Это положение можно сформулировать в понятиях теории информации, предположив, что под влиянием облучения повышается частота мутаций, или, что равнозначно, уровень шума в канале связи. Вследствие этого пропускная способность канала уменьшается в такой степени, что у некоторых организмов передача достаточно точных сообщений оказывается невозможной.
Информационный подход в сочетании с принципом отрицательной обратной связи позволил разработать большое число интересных моделей биологических систем управления. Такие модели особенно полезны в приложении к физиологии, где они позволяют выяснить многие вопросы, касающиеся механизма гомеостаза. На этом фундаменте построена новая наука — кибернетика, охватывающая любые процессы управления в самых разнообразных системах — технических, биологических и социальных.
Вряд ли можно утверждать, что те приложения теории информации, о которых говорилось выше, позволили получить много таких результатов в биологии и медицине, которые не были бы уже получены другими способами. И все же понятие информации, без сомнения, ценно тем, что оно служит полезным количественным инструментом для теоретических построений и описаний, а также унифицирует идеи и задачи, возникающие в самых различных областях знания. Как минимум это должно стимулировать научные исследования, а в идеале может привести к новым результатам, получение которых маловероятно при других формах анализа.
Все математические модели, о которых здесь упоминалось или которые рассматривались в этой книге, имеют явно численную основу. Эти модели выведены на основе простых идей счета и измерения, в большинстве случаев характеризуются не очень большой степенью абстракции и содержат описания или формулы, которые довольно легко представить в наглядном виде. Последнее свойство абсолютно несущественно. Обычно оно помогает на начальном этапе развития науки, но при переходе к более сложным исследованиям может даже служить помехой (во многих разделах современной физики дело обстоит именно так, но сомнительно, чтобы это относилось и к биологии). Счет и измерение находятся на первой ступени абстракции, которая дает начальный импульс развитию математики. Однако значительная часть математики находится на более высоких уровнях абстракции. Первым этапом после чисто метрических исследований является изучение соотношения между объектами, т. е. изучение их в реляционном аспекте. Большинство разделов геометрии носит именно такой характер. На более сложных уровнях находятся теория групп, теория множеств и топология.
Подлинное значение этих более абстрактных математических исследований еще не получило достойной оценки. Простые модели легко описать, объяснить и проверить. Но чем больше степень абстракции, тем труднее понять, в какой степени связаны между собой модель и реальное явление и не выхолощена ли эта модель настолько, что перенос любых выводов, полученных с ее помощью, на реальную действительность будет малооправданным. Если через некоторое время окажется, что математические модели реляционного типа дают полезные результаты (а это весьма возможно), то, значит, затраченные усилия не пропали даром.
Статистическое обобщение данных в систематических обзорах
Важнейшее значение статистические методы имеют в медицинских исследованиях. Разновидностью научной деятельности можно считать проведение систематических обзоров литературы, в том числе мета-анализа52 . Оно имеет большое значение для выбора наиболее эффективных лечебно-профилактических и диагности ческих вмешательств53. Методика мета-анали за, появившаяся в конце 80-х годов, сегодня относится к одной из самых популярных и быстро развивающихся методик системной интеграции результатов отдельных научных исследований. Например, до 50% всех используемых в настоящее время в Великобритании методов лечения заболеваний внутренних органов основаны на результатах рандомизированных контролируемых испытаний (РКИ), а также соответствующих мета-анализов54. Международная эпидемиологическая ассоциация55 характеризует мета-анализ как методику "объединения результатов различных исследований, …...складывающуюся из качественно го компонента (например, использование таких заранее определенных критериев включения в анализ, как полнота данных, отсутствие явных недостатков в организации исследования и т.д.) и количественного компонента (статистическая обработка имеющихся данных)". Там же мета-анализ определен как "количествен ный систематический обзор литературы ... или …... количественный синтез первичных данных с целью получения суммарных статистических показателей".
Глава 3. Примеры исследований с помощью статистических методов
В большинстве систематических обзоров используют статистичес кие методы обобщения данных — мета-анализ. При решении вопроса о проведении мета-анализа следует учитывать не только возможности статистических методов, но и клинический опыт, да и просто здравый смысл. Объединять можно как непрерывные, так и дихотомические данные. В большинстве мета-анализов обобщаются результаты рандомизированных испытаний, хотя статистические методы объединения можно применять и для данных, получаемых в ходе исследований другого типа (например, при оценке информативности методов диагностики или обсервацион ных исследованиях). Цель мета-анализа — выявление, изучение и объяснение различий (неоднородности, или гетерогенности) в результатах исследований, а также более точная оценка изучаемого эффекта. При использовании модели постоянных эффектов предполагается, что изучаемое вмешательство во всех исследованиях оказывает один и тот же эффект, а выявляемые различия обусловлены только дисперсией внутри исследования. Модель случайных эффектов предполагает, что влияние изучаемого вмешательства в разных исследованиях может быть разным. Эта модель учитывает дисперсию не только внутри одного исследования, но и между разными исследованиями. Проведение мета-регрессионного анализа (в котором единицей наблюдения считается не больной, а исследование) может помочь оценить влияние отдельных факторов на конечный результат (величину эффекта) и объяснить причину различий в результатах анализируемых исследований. Кроме того, важно оценить устойчивость результатов с помощью анализа чувствительности, а также их зависимость от методологического качества исследований и возможных систематических ошибок, в том числе связанных с преимуществен ным опубликованием положительных результатов.
Для удобства статистическое объединение данных представлено в виде последовательных этапов:
1. решение вопроса о необходимости объединения данных и отбор оригинальных исследований;
2. оценка статистической неоднородности результатов оригинальных исследований;
3. обобщенная оценка величины эффекта;
4. изучение и объяснение причин неоднородности;
5. оценка вероятности наличия систематических ошибок;
6. представление результатов мета-анализа.
Решение вопроса о необходимости объединения данных и отбор оригинальных исследований для мета-анализа
Прежде чем проводить количественное объединение данных, нужно сформулировать изучаемый вопрос и отобрать исследования для мета-анализа. Результаты любого мета-анализа следует рассматривать прежде всего с точки зрения здравого смысла, клинического опыта и биологических закономерностей, и только потом оценивать их статистическую значимость. Если методологическое качество объединяемых исследований низкое, если в них содержится много систематических ошибок и статистически незначимых результатов, выводы мета-анализа скорее всего будут недостоверными56.
Обычно в мета-анализах объединяют либо дихотомические, либо непрерывные данные.
Дихотомические данные имеют две возможные категории (например, смерть или выживание). Непрерывные данные могут быть представлены как диапазон значений на непрерывной шкале (например, изменения диастолического давления после гипотензивной терапии, измеряемые в мм рт. ст.).
При сравнении разных групп больных дихотомические данные можно объединить, используя несколько показателей, характеризующих лечебный эффект: относительный риск (ОР), абсолютный риск и их изменения, отношение шансов и (если важна продолжительность исследования) частота развития определенных клинических исходов57. Другой важный клинический показатель — число больных, которых необходимо лечить определенным методом в течение определенного времени, чтобы достичь благоприятного эффекта или предотвратить неблагоприятный исход у одного больного (ЧБНЛ). ЧБНЛ — это величина, обратная изменению абсолютного риска. Относительный риск и отношение шансов позволяют оценить относительную эффективность вмешательства, в то время как изменения абсолютного риска описывают абсолютную эффективность. Различные показатели дополняют друг друга, поэтому нужно определять их все.
Непрерывные данные можно объединять по нестандартизованной разности средних между группой вмешательства и контрольной группой (если эффект измеряли одинаковыми способами, например диастолическое давление в мм рт. ст.), по стандартизо ванной разности средних (если эффект измеряли разными способами, например использовали разные шкалы оценки болевого синдрома) или по коэффициенту корреляции (при сравнении двух непрерывных величин)58. Стандартизованная разность средних, называемая также величиной эффекта, — это частное от деления разности между средними в группе вмешательства и контрольной группе на величину стандартного отклонения в контрольной группе.
Оценка статистической неоднородности данных
Прежде чем объединять данные, нужно ответить на вопрос, однородны ли они. Для этого необходимо определить степень статистической дисперсии (гетерогенности) лечебного эффекта в разных исследованиях. Статистическая неоднородность может быть обусловлена следующими причинами. Во-первых, результаты исследований могут различаться из-за ошибки при рандомизации больных. Даже если в каждом исследовании истинный эффект лечения одинаков, результаты разных исследований случайным образом распределяются вокруг одного общего фиксированного эффекта. Такой вид статистической неоднородности называется дисперсией внутри исследования. Во-вторых, в исследованиях могут изучаться разные популяции, различающиеся по характеристикам больных, особенностям заболевания и вмешательства. Таким образом, даже при включении большого числа больных эффекты лечения могут оказаться разными. Эти различия, называемые случайными эффектами, относятся к отклонениям общей средней величины эффекта всех включенных в анализ исследований и называются дисперсией между исследованиями.
Чтобы оценить, насколько статистически значима неоднородность данных, полученных в разных исследованиях, обычно применяют тест на гетерогенность (критерий хи-квадрат). При этом определяют сумму среднеквадратичных отклонений между полученными и ожидаемыми результатами каждого исследования, исходя из предположения, что оцениваемый эффект во всех исследованиях одинаков. Большое суммарное отклонение свидетельствует о том, что лечебный эффект в разных исследованиях был различным. При объединении данных следует всегда учитывать дисперсию между исследованиями. На практике, однако, этот метод оказывается недостаточно чувствительным для выявления неоднородности, поэтому предложено использовать низкий уровень статистической значимости, например 0,159.
Обобщенная оценка величины эффекта
На этом этапе нужно ответить на следующие вопросы: 1) насколько данные однородны и какова наилучшая оценка величины терапевтического эффекта; 2) какова должна быть точность этой оценки? Результаты различных исследований объединяют для получения обобщенной оценки величины изучаемого эффекта. По сравнению с данными отдельных исследований статистическая мощность объединенных данных выше, что позволяет точнее оценить эффект лечения.
При обобщении данных определяют удельный вес каждого исследования в зависимости от точности его результатов. Исследования, в которых результаты имеют более узкие доверительные интервалы (ДИ), должны иметь больший вес, чем не столь надежные исследования. Обычно точность — величина, обратная дисперсии. Дисперсия состоит из двух частей: дисперсии внутри отдельного исследования и дисперсии между исследованиями. Если дисперсия между исследованиями оказывается или предполагается равной нулю, вес каждого исследования определяется как величина, обратная его дисперсии, которая зависит от размера выборки и частоты развития изучаемых клинических исходов в этом исследова нии. Такой подход применяется в модели постоянных эффектов (например, использование метода Mantel—Haenszel 60 при анализе дихотомических данных). Обобщенные данные обычно представляют в виде точечных оценок с указанием ДИ (как правило, 95% ДИ).
Другие количественные методы обобщения основаны на байесовской оценке апостериорного распределения вероятностей изучаемого эффекта. Базовым принципом байесовского анализа считается предположение о том, что каждое наблюдение или ряд наблюдений нужно рассматривать с учетом априорной вероятности, которая описывает исходные (т.е. существующие до проведения исследований) знания об изучаемом явлении61 . Новые наблюдения позволяют провести переоценку априорной вероятности и рассчитать апостериорную вероятность. При обычном мета-анализе предполагается, что до проведения рандомизированных испытаний о величине лечебного эффекта ничего не известно, т.е. распределение априорных вероятностей неинформативно. Байесовский анализ позволяет учесть при расчете априорных распределений косвенные данные и может быть особенно полезен при малом количестве рандомизиро ванных испытаний. Кроме того, этот подход позволяет объяснить неопределенность, обусловленную оценкой дисперсии между исследованиями, в моделях случайных эффектов, что обеспечивает более точную оценку эффективности лечения.
Изучение и объяснение причин статистической неоднородности
Следующий важный вопрос касается устойчиво сти обобщенной оценки величины эффекта, полученной на предыдущем этапе. Анализ чувствительности позволяет определить, зависит ли эта оценка от исходных допущений и от протокола обобщения данных.
Одним из методов анализа чувствительности служит сравнение результатов, получаемых с помощью моделей фиксированных и случайных эффектов62. В последнем случае, как правило, получают более широкие ДИ, чем при использовании моделей фиксированных эффектов, поэтому уровень статистической значимости зависит от выбранной модели. Но при этом обобщенная оценка величины эффекта обычно не изменяется, хотя возможны исключения63.
Анализ чувствительности можно проводить с помощью критерия хи-квадрат64, а также последовательно исключая из рассмотрения каждое исследование. Если исключение одного исследования существенно влияет на результат, следует проанализировать, почему это происходит.
Кумулятивный мета-анализ
Кумулятивный мета-анализ, как и последовательное исключение исследований, позволяет оценить вклад каждого оригинального исследования. При этом исследования добавляются в анализ по одному в определенном порядке, например в соответствии с датой проведения или датой публикации. Кумулятивный мета-анализ позволяет понять, изменяется ли обобщенная оценка при добавлении новых исследований, и выявить момент, когда суммарные результаты становятся статистически значимыми. Если исследования включаются в соответствии с годом публикации, кумулятивный мета-анализ можно рассматривать как одну из форм байесовского анализа. В этом случае априорную вероятность рассчитывают по суммарным результатам уже включенных исследований, а апостериорную — после добавления результатов нового исследования65.
Мета-регрессионный анализ

Список литературы

"1.Antman E.M., Lau J., Kupelnick B., Mosteller F., and Chalmers I. A comparison of results of meta-analysis of randomised control trials and recommendations of clinical experts. Treatment for myocardial infarction. JAMA 1992;268:240—8
2.Begg С.В. Publication bias. In: Cooper H., Hedges L., eds. The Handbook of Research Synthesis. New York: Russell Sage Foundation; 1994
3.Berlin J.A., Antman E.M. Advantages and limitations of metaanalytic regressions of clinical trials data. Online J Curr Clin Trials. 4 June 1994: Doc. No. 13
4.Berlin J.A., Laird N.M., Sacks H.S., Chalmers T.C. A comparison of statistical methods for combining event rates from clinical trials. Stat Med 1989;8:141—51
5.Boizak S., Ridker P.M. Discordance between meta-analyses and large-scale randomized, controlled trials. Examples from the management of acute myocardial infarction. Ann Intern Med 1995;123:873—7
6.Chalmers I., and Altman D.G. Systematic reviews. London: BMJ Publishing Group; 1995:1
7.Chalmers T.C., Smith H. Jr., Blackburn B., Silverman B., Schroeder B., Reitman D., et al. A method for assessing the quality of a randomized control trial. Control Clin Trials 1981;2:31—49.
8.Cooper H., Hedges L.V. The Handbook of Research Synthesis. New York: Russell Sage Foundation; 1994
9.Counsell С. Formulating questions and locating primary studies for inclusion in systematic reviews. Ann Intern Med 1997;127:380—7. Международный журнал медицинской практики 1999;4:20—8
10.Dear K.B., Begg C.B. An approach for assessing publication bias prior to performing a meta-analysis. Statistical Science 1992;7:237—45
11.Dumouchel W. Meta-analysis for dose-response models. Stat Med 1995;14: 679—85.
12.Ellis J., Mulligan I., and Sacket D.L. Inpatient general medicine is evidence based. Lancet 1995;346:407—10
13.Fleiss J.L. Statistical Methods for Rates and Proportions, 2d ed. New York: J Wiley 1981;161—5
14.Gelman A., Carlin J.B., Stern H.S., Rubin D.B. Bayesian Data Analysis. London: Chapman & Hall; 1995:148—54
15.Hedges L.V. Modeling publication selection effects in random effects models in meta-analysis. Statistical Science 1992;7:246—55
16.Hedges L.V., Olkin I. Statistical Methods for Meta-Analysis. Orlando: Academic Pr; 1985
17.Irwig L., Tosteson A.N., Gatsonis C., Lau J., Colditz G., Chalmers T.C., et al. Guidelines for meta-analyses evaluating diagnostic tests. Ann Intern Med 1994;120:667—76
18.Last J.M. A dictionary of epidemiology. New York: Oxford University Press; 1988:81
19.Lau J., Schmid C.H., Chalmers T.C. Cumulative meta-analysis of clinical trials builds evidence for exemplary medical care. J Clin Epidemiol 1995;48:45—57
20.Mantel N., Haenszel W. Statistical aspects of the analysis of data from retrospective studies of disease. J Natl Cancer Inst 1959;22:719—48
21.McQuay H.J., Moore R.A. Using numerical results from systematic reviews in clinical practice. Ann Intern Med 1997;126:712—20
22.Morgenstern H. Uses of ecologic analysis in epidemiologic research. Am J Public Health 1982;72:1336—44
23.Schurtz K.F., Chalmers I., Hayes R.J., Altman D.G. Empirical evidence of bias. Dimension of methodological quality associated with estimates of treatment effects in controlled trials. JAMA 1995;273:408—12
24.Айвазян С. А., Енюков И. С., Мешалкин Л. Д. Прикладная статистика. Исследование зависимостей. - М.: Финансы и статистика, 1985, С. 215
25.Афифи А, С. Эйзен. Статистический анализ: Подход с использованием ЭВМ. — М.: Мир, 1982, С.388
26.Бикел П., Доксам К. , op.cit., C. 256
27.Будилова Е. В., Дрогалина Ж. А., Терехин А. Т. Основные направления современной науки и ее математический аппарат: анализ публикаций.// Журнал общей биологии. — 1995. с.179-189
28.Бурбаки Н. Очерки по истории математики. - М.: ИЛ, 1963 , С. 253
29.Вентцель Е. Теория вероятностей. — М.: Изд-во «Наука», 1989
30.Гублер Е. В. Вычислительные методы анализа и распознавания - Л.: Медицина, 1978
31.Кендалл М., Стьюарт А. Статистические выводы и связи. - М.: Наука, 1973
32.Клайн М. Математика. Утрата определенности. - М.: Мир. 1984
33.Козлов В. С. Общая теория статистики. - М.: Статистика, 1995
34.Коротков В. П., Тайн Б. А. Основы метрологии и теории точности измерительных устройств. - М.: Изд-во Стандартов, - 1978., С.5
35.Купцов В.И., Предмет философского исследования, М., 1997, С.58
36.Лакин Г. Ф. Биометрия: Учеб. пособие для биол. спец. вузов — 4-е изд., перераб. и доп. — М.: Высшая шк., 1990, С.20.
37.Лапидус В. А. Стандарты и качество. 1998. № 3 С. 36-43
38.Любищев А. А. Об ошибках в применении математики в биологии. 1. Ошибки от недостатка осведомленности.// Журнал общей биологии. — 1969. — Т.30. вып.5. — с.572—584
39.Мудров В.И., Кушко В.Л. Метод наименьших модулей.- М.: Знание, 1971
40.Нарский И.С., Методология науки М.: Прогресс, 1986
41.Новые идеи в математике, сб. N. 1, с. 87.
42.Орлов А. И. О современных проблемах внедрения прикладной статистики и других статистических методов//Заводская лаборатория, 1992, вып.1, с.67-74
43.Пасхавер И. С.. Яблочник А. Л. Общая теория статистики. - М.: Финансы и статистика, 1983
44.Рекомендации. Прикладная статистика. Методы обработки данных. Основные требования и характеристики. – М. 1997
45.Рокицкий П. Ф. Биологическая статистика. Минск, Вышэйшая школа, 1973, С.45
46.Справочник по прикладной статистике. В 2-х т. Т.1: Пер. с англ./ Под ред. Э. Ллойда, У. Ледермана, Ю. Н. Тюрина. — М.: Финансы и статистики, 1989; — 510с. Т. 2: 1990
47.Сэхляну В. О применении математики в биологии и медицине.//Вопросы философии. 1990, вып.10, стр. 102
48.Тарасенко Ф. П. Непараметрическая статистика. — Томск, изд-во ТГУ, 1976
49.Фейерабенд П. Избранные труды по методологии науки: Переводы с англ и нем./Общ. ред. и авт. вступ. ст. И. С. Нарский. — М.: Прогресс, 1986, С. 61
50.Холлендер М., Вульф Д. А. Непараметрические методы статистики. - М.: Финансы и статистика. 1993
51.Хрестоматия по истории философии, М., 1988, С. 59-74
52.Юревич А. В., Цапенко И. П. Функциональный кризис науки//Вопросы философии. 1998, вып.1, стр. 17-29
Очень похожие работы
Пожалуйста, внимательно изучайте содержание и фрагменты работы. Деньги за приобретённые готовые работы по причине несоответствия данной работы вашим требованиям или её уникальности не возвращаются.
* Категория работы носит оценочный характер в соответствии с качественными и количественными параметрами предоставляемого материала. Данный материал ни целиком, ни любая из его частей не является готовым научным трудом, выпускной квалификационной работой, научным докладом или иной работой, предусмотренной государственной системой научной аттестации или необходимой для прохождения промежуточной или итоговой аттестации. Данный материал представляет собой субъективный результат обработки, структурирования и форматирования собранной его автором информации и предназначен, прежде всего, для использования в качестве источника для самостоятельной подготовки работы указанной тематики.
bmt: 0.00484
© Рефератбанк, 2002 - 2024