Методы анализа информации неколичественных исследований

Лекция 6

Методы анализа информации неколичественных исследований

1)                      Методологические подходы к анализу данных качественных исследований.

2)                      Виды анализов неколичественной информации.

3)                      Методы анализа документов.

4)                      Контент - анализ.

5)                      Аннотирование и реферирование.

Контрольно-оценочное средство – тестовые задания

1. Методологические подходы к анализу данных качественных исследований.

Для обработки информации, полученной в результате качественных исследований, не может быть жестких рекомендаций, так как получаемая информация отличается по видам текстов, исследовательским стратегиям и задачам исследования. В связи с этим в данном случае можно определить лишь общие ориентиры обработки.

Процесс аналитического описания текстов имеет циклический характер. На этапе первичного прочтения полученный текст внимательно изучается, составляются авторские комментарии, определяется место документа в применяемой системе анализа. В дальнейшем, при многократном повторном чтении текста, полученные предварительные выводы и оценки корректируются и уточняются, дополняются новыми результатами. Иногда требуется вернуться к исходному текcту для уточнения содержания некоторого события или явления. Данная работа продолжается до получения четкого и конкретного представления об исследуемом социальном явлении.

Следует иметь в виду, что личное повествование имеет субъективный характер. А важнейшей задачей исследователя является критический подход к полученным в результате прочтения материалам. Более того, нельзя, даже неосознанно, интерпретировать их, исходя из своей субъективной точки зрения, теряя при этом связь с исходным личностным текстом.

Серьезной проблемой качественных исследований является обеспечение надежности полученных данных. Для решения этой проблемы требуется сравнение полученной исходной информации с данными, поступившими из других источников, которые характеризуются объективностью и высокой степенью доверия. В частности, желательно сопоставить анализируемые сведения с материалами, полученными в рамках опроса других респондентов при аналогичных исходных условиях, выявить имеющиеся между ними противоречия, установить причины этих противоречий. Довольно эффективным инструментом может служить верификация полученных данных по архивным документам, содержащим реальные, конкретные факты: даты выхода на пенсию, получения квартиры и т. д. По мере возможности следует установить, что приводит к искажению одного и того же факта, представленного различными рассказчиками: является ли это субъективной точкой зрения автора информации, имеет случайный характер или объясняется некоторыми закономерностями (национальными, региональными или другими факторами жизни человека).

Большое внимание следует уделять структурированию документов. При анализе текст можно рассматривать не только как единый объект, но и как совокупность отдельных фрагментов, ситуаций, эпизодов, представляющих собой внутренне законченные сюжеты. В процессе структурирования зарегистрированные факты и события обобщаются по различным признакам: темам, времени и т. д., при этом анализируется, как они взаимосвязаны между собой, подтверждают ли друг друга. Происходящие изменения рассматриваются в контексте ключевых событий или этапов исследуемого процесса, оценивается степень влияния на них некоторого комплекса взаимодействующих скрытых факторов.

Конечной целью аналитического описания текстов является определение основных характеристик исследуемого объекта (отдельной личности, события, социальной группы) без их излишней детализации. Кроме регистрации самого факта события требуются идентификация его контекста, оценка субъективной значимости данного события для его участников, описание характера развития процесса. Следует стремиться к созданию выразительного и социально значимого повествования, которое должно являться базисом для дальнейших исследований.

Следующим этапом качественного исследования, являющимся первым шагом концептуального анализа, является первичная классификация полученной информации. Она предусматривает новое построение анализируемого текста уже на основе обобщенных понятий.

Некоторые сведения классифицируются достаточно легко: район проживания клиента, адрес и название лечебного учреждения, где он получает медицинские услуги и т. д. Классификация других видов информации (во многом это определяется целями и задачами выполняемого исследования) требует научного анализа. Выводы и результаты, полученные в рамках исследований, позволяют уточнить структуру предварительного классификатора. Этот динамический процесс может предусматривать либо детализацию классификатора с вводом дополнительных классов, либо, напротив, обобщение классов с их объединением в другие, более крупные. При этом следует иметь в виду, что идентифицированные классы не должны пересекаться между собой. Решение проблемы оптимизации классификатора должно обусловливаться потребностями выполняемого исследования.

Качество классификации существенно определяет характер и достоверность результатов дальнейших исследований. Использование в анализе только объективного и научно-обоснованного классификатора позволяет выявить закономерности и аномалии изучаемых социальных явлений, оценить взаимосвязь между ними.

В некоторых качественных исследованиях бывают востребованы кластеризация и метод аналитической индукции. При кластеризации, на основе поиска отклонений от первоначального обобщения, применяется объединение внутренне тождественных и внешне не связанных между собой категорий. В результате анализа сформированных кластеров с помощью метода аналитической индукции могут быть получены выводы и концепции, не следующие в явном виде из материалов, обобщенных обычными способами.

Конечной целью качественного исследования в социальной работе является формулирование концепции и построение мини-теории некоторого явления, наблюдаемого на практике. Следует иметь в виду, что создание мини-теории является характерной особенностью качественных исследований, не ориентированных на проверку и верификацию более общих теорий.

Создание мини-теории предполагает изучение уже существующих теорий и исследований в анализируемой области, совокупности материалов, имеющихся по рассматриваемой проблеме. Как указывалось ранее, очень важной является идентификация событий и фактов, противоречащих уже выявленным закономерностям. При этом следует иметь в виду, что привлечение для анализа более представительного массива информации может привести не только к уточнению созданной теории, а и к ее опровержению.

Результаты качественного исследования во многом зависят от эрудиции исследователя, его научной интуиции, способности систематизировать и обобщать противоречивые, на первый взгляд, данные.

Типичными ошибками при проведении качественных исследований в социальной работе являются:

1) субъективизм интерпретации обрабатываемых данных, что может невольно привести к получению желаемых, а не фактических результатов;

2) обобщение недостаточно представительного информационного массива;

3) отсутствие технологий и средств проверки (верификации) полученной информации;

4) отсутствие критического подхода к полученным данным.

Перечисленные ошибки неизбежно будут возникать в процессе работы начинающего исследователя, их можно избежать только при накапливании достаточного практического опыта.

Рассмотрим различия количественного и качественного исследований.

Как показано количественные исследования начинаются с идеи (гипотезы), затем при помощи измерений собираются данные и путем дедукции делается вывод.

Качественное исследование отличается от количественного. Оно начинается с намерения изучить определенную область, накапливает "данные" (наблюдения, беседы) и приводит к идеям и гипотезам на основе этих данных при помощи индуктивных заключений.

Определимся с понятиями дедукция и индукция. Индукция — умозаключение от частных явлений к общему выводу, от отдельных фактов к обобщениям и закономерностям. Дедукция — умозаключение от общего к частному, от общих рассуждений к частным выводам.

Индукция (в переводе с латинского — наведение) — вид обобщений, связанных с предвосхищением результатов исследований на основе прошлого опыта, т.е. индукция — источник гипотез, путь к истине через анализ отдельных примеров жизни. Научная индукция требует формулирования, наряду с рабочей гипотезой, и альтернативной ей гипотезы.

Пример дедукции – если все металлы электропроводны, то и медь электропроводна.

Пример индукции – железо – электропроводно, сталь – электропроводна, медь  - электропроводна, значит все металлы электропроводны.

Сильная сторона количественных исследований заключается в их надежности (повторяемости), т.е. одни и те же измерения спустя время должны давать одинаковые результаты.

Сильная сторона качественных исследований заключается в достоверности (близости к истине), т.е. хорошее качественное исследование действительно может прояснить суть происходящего, а не отражать лишь то, что лежит на поверхности. Достоверность качественных методов значительно увеличивается при использовании комбинации методов, процесс, называемый триангулированием. Достоверность качественного исследования можно также повысить путем анализа одних и тех же данных более чем одним независимым исследователем.

2. Виды анализов неколичественной информации.

Попытки оценить не только количественную, но и содержательную сторону информации дали толчок к развитию семантической (смысловой) теории информации. Исследования в этой области теснее всего связаны с семиотикой – теорией знаковых систем. Одним из важнейших свойств информации, которое мы можем наблюдать, является ее неотделимость от носителя: во всех случаях, когда мы сталкиваемся с любыми сообщениями, эти сообщения выражены некоторыми знаками, словами, языками. Семиотика исследует знаки как особый вид носителей информации. При этом знаком является условное изображение элемента сообщения, словом – совокупность знаков, имеющих смысловое значение, языком – словарь и правила пользования им. Таким образом, рассуждая о количестве, содержании и ценности информации, содержащейся в сообщении, должно исходить из возможностей соответствующего анализа знаковых структур.

В качестве знаковых систем используются естественные и искусственные языки, в том числе информационные и языки программирования, различные системы сигнализации, логические, математические и химические символы. Они служат средством обмена информацией между высокоорганизованными системами (способными к обучению и самоорганизации). Примером могут быть живые организмы, машины с определенными свойствами.

Рассматривая знаковые системы, выделяют три основных аспекта их изучения: синтактику, семантику и прагматику.

Синтактика изучает синтаксис знаковых структур, т.е. способы сочетаний знаков, правила образования этих сочетаний и их преобразований безотносительно к их значениям. Отметим в связи с этим, что рассматриваемые ранее способы определения количества информации можно отнести к синтаксическим способам.

Семантика изучает знаковые системы как средства выражения смысла, определенного содержания, т.е. правила интерпретации знаков и их сочетаний, смысловую сторону языка.

Прагматика рассматривает соотношение между знаковыми системами и их пользователями, или приемниками-интерпретаторами сообщений. Иными словами, к прагматике относится изучение практической полезности знаков, слов и, следовательно, сообщений, т.е. потребительской стороны языка.

Основная идея семантической концепции информации заключается в возможности измерения содержания (предметного значения) суждений. Но содержание всегда связано с формой, поэтому синтаксические и семантические свойства информации взаимосвязаны, хотя и различны. Получается, что содержание все-таки можно измерить через форму, т.е. семантические свойства информации выразить через синтаксические. Поэтому и исследования семантики базировались на понятии информации как уменьшении или устранении неопределенности, с которым мы уже знакомы.

Сразу же заметим, что методы точного количественного определения смыслового содержания информации в настоящее время еще не разработаны, поэтому мы ограничимся только кратким описанием подходов к решению этой проблемы.

3. Методы анализа документов.

Анализ (греч. «analysis» – разложение) – метод научного исследования (познания) явлений и процессов, в основе которого лежит изучение составных частей, элементов изучаемой системы.

Аналитические методы широко распространены в социуме, поэтому термин «Анализ» часто воспринимается как синоним исследования вообще и особенно при решении познавательных задач. Анализ является составной частью любого научного исследования, образуя, как правило, его первую стадию, когда исследователь выявляет в описании изучаемого объекта его строение, состав, свойства, признаки и т.п. Он используется как метод получения новых результатов в процессе мыслительной деятельности человека.

Мыслительный анализ совершается с помощью понятий и суждений, выражаемых в естественных или искусственных языках. Такой анализ ориентирован на выявление структуры целого, предполагая фиксацию его частей и установление отношений между ними.

В современном обществе важным средством оформления, фиксации, сохранения, передачи информации и обмена ею являются документы. В данном пособии рассматриваются вопросы, связанные с анализом информации (текстов документов, представляющих, как правило, результат осмысления и определённого оформления знаний в какой-либо предметной области, их отношения к другим структурам, сферам и т.д.).

Более 33% отечественных топ-менеджеров к перспективным информационным технологиям, предназначенным для решения инновационных задач, относят сбор и анализ информации. Предполагая с их помощью «ускорить решение таких задач, как прогнозирование тенденций и выявление изменений в поведении и в требованиях клиентов».

Анализ документов – это метод сбора первичных данных, при котором документы используются в качестве главного источника информации; это также совокупность методических приёмов и процедур, применяемых для извлечения информации из документальных источников при изучении процессов и явлений в целях решения определённых задач.

Анализ текста – это процесс получения на естественном языке высококачественной информации из этого текста.

Такой анализ осуществляет практически каждый человек не задумываясь, что он делает именно это. Например, любой читатель книги анализирует содержание, читая её по частям. Одной из наиболее популярных форм анализа текстов является подготовка аналитических справок.

Аналитические справки обычно делятся на два вида. Первые представляют справки с выводами (например, какого-нибудь контрольного органа или эксперта); вторые – с вариантами решений (действий) в предполагаемой ситуации и оценкой последствий каждого варианта.

В общем случае всем, особенно трудоспособному населению, постоянно приходится работать с текстовыми и иными видами документов, явно или неявно анализируя их содержание и другие компоненты, например, качество изготовление, форму, размер и т.д. Таким образом, важной задачей практически любых индивидов является нахождение (получение) нужных им документов, а также анализ их содержания на предмет подготовки различных документов (рефератов, аннотаций, справок, отчётов, учебных работ, производственных заданий и др.). При этом нередко возникают ситуации, когда в течение незначительного периода времени необходимо подготовить некоторый (как правило, аналитический) материал.

Анализ текстов на естественном языке был актуальным практически с момента их появления. При таком анализе необходимо определить правила, с помощью которых, по мнению специалистов, «формальная система (набор структурных элементов текста) преобразуется в систему содержательную (осмысленное сообщение).

Анализ текста использовался и продолжает использоваться для классификации текстов, содержащихся в них слов и словосочетаний (например, для определения частоты встречаемости тех или иных терминов в определённых текстах), аннотирования и реферирования текстов, проведения семантически ориентированного поиска текстов по заданным концептам, определения авторского права претендента на соответствующий текст (хотя, последнее сейчас выполняется с помощью специальных программ – Антиплагиат) и др.

Методы анализа документов многообразны. Они постоянно совершенствуются. Так, методы анализа логической структуры текста позволяют при чтении черпать из текста документа больше, чем её содержится в самом документе, а при составлении на его основе сжатого текста – делать его логически стройным, легко понимаемым и убедительным.

Особенность анализа текстового материала заключается в потребности исследователя проникать в смысл рассматриваемого им произведения и в акцентировании подвижной структуры текста. Предлагается в процессе анализа теста, для получения семантического представления, рассматривать его как некоторую иерархическую структуру. Как правило, для этого применяется метод шаблонов: входной текст разделяется с помощью шаблонов, затем производится обработка полученных данных.

Таким образом, очевидно, что используются различные варианты анализа текстовых материалов документов, в которых выделяют два основных типа:

1. Традиционный, или классический.

2. Формализованный, или количественный (например, контент-анализ).

Различаясь между собой, они не исключают, а взаимно дополняют друг друга, позволяя компенсировать недостатки каждого.

Традиционный анализ представляет собой совокупность определённых логических построений, направленных на раскрытие основного содержания изучаемого материала и позволяет преобразовать первоначальную форму содержащейся в документе информации в форму, интересующую исследователя (аналитика).

Он включает многообразие умственных операций, направленных на интерпретацию сведений, содержащихся в документе, с определённой точки зрения принятой исследователем в каждом конкретном случае. Традиционный анализ является самостоятельным, творческим процессом, зависящим от:

1) содержания и направленности исследуемого документа;

2) условий, целей и задач проводимого исследования;

3) научной квалификации, богатства опыта и творческой интуиции исследователя (в этом случае он таит в себе возможность субъективной оценки и интерпретации изучаемого документа).

Проведение такого анализа заключается в преобразовании первоначальной формы исследуемой информации в необходимую с точки зрения исследователя. Фактически такой способ означает интерпретацию содержания документа, то есть его толкование исследователем при выполнении поставленной перед ним задачи.

Традиционный классический анализ позволяет охватывать скрытые части содержания документа, поскольку исследователь может, а порой и должен, проникать вглубь документа, исчерпывая его содержание.

Различают внешний и внутренний традиционный анализ.

Внешний анализ предназначен для установления вида документа, формы, времени и места его появления, автора, цели создания, надёжности и достоверности, его контекста. Фактически основные его компоненты входят в состав библиографического описания документа. Пренебрежение таким анализом может привести к неверному толкованию содержания документа.

Внутренний анализ ориентирован на исследование содержания документа. Отмечается, что анализ документа в рамках этого метода представляет самостоятельный творческий процесс, зависящий от формы и содержания исследуемого документа, целей и условий проведения исследования, опыта и творческой интуиции исследователя. Примером такого анализа является аннотирование документов.

Основная слабость данного метода – субъективность, ибо любая интерпретация документа исследователем в большей или меньшей степени субъективна. Попытки избавиться от субъективности традиционного анализа привели к появлению формализованных, количественных методов анализа документов – к контент-анализу.

4. Контент-анализ

Слово "контент" означает содержимое (или содержание) документа. Контент-анализом называют метод сбора количественных данных об изучаемом явлении или процессе, содержащихся в документах. Под документом при этом понимается не только официальный текст (типа инструкции или правового закона), но все написанное или произнесенное, все, что стало коммуникацией. Контент-анализу подвергаются книги, газетные или журнальные статьи, объявления, телевизионные выступления, кино- и видеозаписи, фотографии, лозунги, этикетки, рисунки, другие произведения искусства, а также, разумеется, и официальные документы.

Контент-анализ - один из видов анализа документов, достаточно строгий научный метод, предполагающий систематическую и надежную фиксацию определенных элементов содержания некоторой совокупности документов с последующей количественной обработкой полученных данных. Применяется для изучения массивов однородных документов, чаще всего - текстов массовой коммуникации, включая материалы прессы, радио, телевидения, кино. Используется также как метод анализа ответов на открытые вопросы анкеты, интервью, личных документов и прочего. С помощью контент-анализа исследователь устанавливает не только характеристики документальных источников, но и особенности всего коммуникационного процесса: социальные ориентации и установки коммуникатора (создателя текста); ценности и нормы, тиражируемые в документах, эффективность их восприятия в различных аудиториях. Существует два вида контент-анализа (в зависимости от характера представления содержания текста): неколичественный и количественный.

Неколичественный контент-анализ основан на нечастотной модели содержания текста, при этом фиксируется лишь наличие элемента содержания текста - индикатора, соответствующей категории содержания, а количественные меры не используются. Такой подход позволяет выявить типы качественных моделей содержания (вне зависимости от частоты встречаемости каждого типа).

Количественный контент-анализ основан на использовании количественных мер, его задача получить количественную структуру содержания текста (в рамках используемой системы категорий анализа). Оба типа контент-анализа объединяет то, что, они основаны на открыто сформулированных правилах процедуры исследования. Процедура контент-анализа предусматривает определение категорий - ключевых понятий исследования, в соответствии с которыми предстоит сортировать элементы содержания. От выбора категорий в значительной степени зависит характер полученных данных.

Контент-анализ - метод исследования материалов, опубликованных в СМИ, применяемый для оценки качественного и количественного присутствия компании (персоны, бренда, идеи) в прессе. Как правило, в сравнении с конкурирующими объектами той же категории. Контент-анализ позволяет создать картину видения продукта/персоны/бренда/процесса, которая создается в обществе посредством СМИ. Контент-анализ активно используется для решения задач анализа коммуникации в области государственных и бизнес-структур. Его суть заключается в переводе вербальной информации в более объективную невербальную форму. Поэтому все определения контент-анализ подчеркивают его объективный характер. Объективность при этом трактуется так: каждый шаг может быть произведен только на основе явно сформулированных правил и процедур. Поэтому важным проверочным механизмом становится повторяемость результатов при использовании одного и того же материала разными исследователями. Ведь что обычно происходит в рамках гуманитарных наук: мы можем дать задание для 50 человек, и они дадут нам 50 результатов. В этом отношении контент-анализ является довольно точной исследовательской техникой.

Этот метод используется социологами уже более ста лет. Первоначально (первая четверть XX в.) контент-анализ понимался как своего рода технический прием для объективного, систематического описания явно выраженного содержания коммуникации. С течением времени концептуальное представление о контент-анализе как о методе изменилось. Главным оказалось не описание "явного содержания" текстов, а раскрытие латентного, скрытого содержания коммуникации через изучение реальных данных текстового массива как источника информации. Отсюда контент-анализ стал пониматься как качественно-количественный анализ содержания текстового массива в социологических целях. Именно возможность - выявить скрытые элементы содержания текстов, которые могут ускользнуть от внимания исследователя при использовании традиционных методов логико-аналитического анализа, делает контент-анализ столь привлекательным. Появляется возможность выявить тенденции социальной действительности, в том числе социальной коммуникации. С помощью контент-анализа сделаны попытки установить скрытые мотивы коммуникаторов или авторов и даже социальные характеристики адресата - массового потребителя определенной информации. Этот метод помогает выявить закономерности в использовании пропагандистских стереотипов, на основе чего прогнозируются тенденции в тех или иных социальных движениях.

Контент-анализ рассчитан, главным образом, на исследование социологических и психологических аспектов массовой коммуникации, которые реализуются в тексте с разной частотой, поэтому для исследования необходимо привлекать текстовые массивы. Исследование отдельных текстов при помощи этого метода не имеет смысла, за исключением решения узких задач, например установления мотивированности конкретного коммуникатора или автора.

Контент-анализ не отменяет необходимости обычного (т.е. содержательного) анализа документов. Первый дополняет второй, их сочетание углубляет понимание смысла любого текста. Контент-анализ позволяет обнаружить в документе то, что ускользает от поверхностного взгляда при его традиционном изучении, но что имеет важный социальный смысл. Принципиальное отличие этих методов анализа заключено в явно выраженной строгости, формализованности, систематизированности контент-анализа. Он нацелен на выработку количественного описания смыслового и символического содержания документа, на фиксацию его объективных признаков и подсчет последних. По мнению ряда социологов, контент-анализ можно было бы назвать "текстуальным кодированием", так как он предполагает получение количественной информации о содержимом документа на основе ее кодирования.

Кроме того, контент-анализ отличается от всех прочих способов изучения документов, тем, что он позволяет "вписать" содержание документа в социальный контекст, осмыслить его одновременно и как проявление, и как оценку социальной жизни. "Вписывание" документа в изучаемую проблему предполагает выявление того, что: а) существовало до него и получило в нем отражение, б) наличествует только в нем, в) будет после него, т.е. явится итогом его восприятия адресатом.

Формализованность, систематизированность и строгость контент-анализа проявляется в следующем. Прежде, чем непосредственно анализировать текст документа, исследователь определяет категории анализа, т.е. ключевые понятия (смысловые единицы), имеющиеся в тексте и соответствующие тем эмпирическим индикаторам, которые зафиксированы в программе исследования. При этом желательно избежать крайностей. Если за категории анализа будут приняты слишком общие (абстрактные) понятия, то это предопределит поверхностность анализа текста, не позволит углубиться в его содержание. Если же категории анализа будут предельно конкретными, то их окажется слишком много, что приведет не к анализу текста, а к его сокращенному повторению (конспекту). Нужно найти золотую середину и постараться достичь того, чтобы категории анализа были: а) уместными, т.е. соответствовали решению исследовательских задач; б) исчерпывающими, т.е. достаточно полно отражали смысл основных понятий исследования; в) взаимоисключающими (одно и то же содержание не должно входить в различные категории в одинаковом объеме); г) надежными, т.е. такими, которые не вызывали бы разногласий между исследователями по поводу того, что следует относить к той или иной категории в процессе анализа документа.

После определения системы категорий анализа выбирается соответствующая им единица анализа текста. За единицу анализа может быть принято: а) слово, б) предложение, в) тема, г) идея, д) автор, е) персонаж, ж) социальная ситуация, з) часть текста, объединенная чем-то, что соответствует смыслу категории анализа. Иногда, точнее, когда контент-анализ выступает единственным методом информации, оперируют не одной, а сразу несколькими единицами анализа.

Затем устанавливается единица счета, т.е. количественная мера единицы анализа, позволяющая регистрировать частоту (регулярность) появления признака категории анализа в тексте. Единицами счета могут быть число определенных слов или их сочетаний, количество строк, печатных знаков, страниц, абзацев, авторских листов, площадь текста, выраженная в физических пространственных величинах и многое другое.

Проведение контент-анализа требует предварительной разработки ряда исследовательских инструментов. Из них обязательными являются:

1. классификатор контент-анализа,

2. протокол итогов анализа, который имеет второе обозначение - бланк контент-анализа,

3. регистрационная карточка или кодировальная матрица,

4. инструкция исследователю, непосредственно занимающемуся регистрацией и кодировкой единиц счета,

5. каталог (список) проанализированных документов.

Классификатором контент-анализа называется общая таблица, в которую сведены все категории (и подкатегории) анализа и единицы анализа. Ее основное предназначение - предельно четко зафиксировать то, в каких единицах выражается каждая категория, используемая в исследовании. Классификатор можно уподобить социологической анкете, где категории анализа играют роль вопросов, а единицы анализа - ответов. Он является основным методическим документом контент-анализа, предопределяющим содержание всех прочих инструментов этого метода.

Протокол (бланк) контент-анализа содержит: во-первых, сведения о документе (его авторе, времени издания, объеме и т.п.); во-вторых, итоги его анализа (количество случаев употребления в нем определенных единиц анализа и следующие отсюда выводы относительно категорий анализа). Протоколы заполняются, как правило, в закодированном виде, но не ради сохранения тайны итогов контент-анализа, а исходя из желательности на одном листе бумаги уместить всю информацию о документе, чтобы удобнее было сопоставлять друг с другом итоги анализа разных документов. Если в исследовании осуществляется контент-анализ малого числа документов, то можно обойтись без кодирования и заполнять эти протоколы в открыто-содержательном виде.

Регистрационная карточка представляет собой кодировальную матрицу, в которой отмечается количество единиц счета, характеризующее единицы анализа. Протокол контент-анализа каждого конкретного документа заполняется на основе подсчета данных всех регистрационных карточек, относящихся к этому документу.

Формализованность контент-анализа и сложность его инструментария зачастую отталкивают начинающих социологов от использования данного метода. Тем самым они обедняют свое исследование, снижают его эвристичность. Если этот метод применяется впервые, то допускаются многочисленные ошибки. Отметим наиболее часто встречающиеся просчеты.

1. Анализ документов опережает разработку исследовательской программы.

2. Анализируются документы, не связанные с гипотезами исследования (имеющие сходство с темой исследования лишь по названию).

3. Не проверена подлинность документа.

4. Не уточнено его авторство.

5. Неполно учтено его предназначение.

6. Категории анализа не определены до такой степени, которая позволяет четко различать смысловые единицы текста документа.

7. Категории анализа не субординарны и не приведены в соответствие с теми дефинициями и операционализирующими их терминами, которые зафиксированы в программе исследования.

8. Категории анализа несопоставимы со смыслом и языком текста анализируемого документа.

9. Единицы анализа характеризуют категории анализа лишь внешне, а не по существу, а поэтому единицы анализа не позволяют идентифицировать содержание документа в полном соответствии с категориями анализа.

10. Анализ документа ведется без предварительной подготовки всего комплекса методических инструментов.

11. Классификатор имеет недочеты, составлен с нарушением правил логики.

12. Регистраторы (кодировщики) не получили должной методической подготовки.

13. Инструкция по регистрации и кодировке недостаточно полная, составлена исследователем, который сам предварительно не апробировал инструментарий.

14. Кодировка не соответствует программе математической обработки данных исследования.

15. Результаты контент-анализа не перепроверены информацией, собранной иными методами.

Установлены три существенные условия развития коммуникативных процессов, при которых использование контент-анализа является наиболее эффективным:

1. Когда мы имеем непрямой выход на говорящего, автора. Обычного собеседника мы можем спросить, что именно означают его слова, зачем он это сказал. Но есть целый круг ситуаций, когда прямой вопрос невозможен. Например, когда речь идет о президенте недружественного государства, о давно умершем писателе, о чужой пропаганде. Во всех этих случаях перед нами есть только непрямые выходы.

2. Когда языковой фактор является решающим для исследования. Есть специфические задачи, где язык очень важен, или только языковой подтекст доступен для исследователя. Например, установление шизофрении, поиск автора анонимного текста. Установление авторства текстов, принадлежащих Шекспиру, Шолохову и т.д. - это тоже задача контент-анализа.

3. Когда объем материала слишком велик. Мы имеем подобные объемы в случаях массовой коммуникации, литературы, кино. Именно опора на совершенно иные объемы дает новые результаты. Джон Несбит заложил основы анализа тенденций, который публикуется раз в квартал, на базе контент-анализа 6000 газет. Наше индивидуальное прочтение одной-двух газет не дает возможности увидеть то, что показывает анализ целого массива.

В качестве недостатка контент-анализа обычно указывают на субъективизм при определении исходных данных: как понимать содержание; зависит ли оно от интерпретации получателя информации или определяется целью коммуникации и темой; насколько выбор категорий объективен; каков должен быть оптимальный объем текстового материала при определении зависимостей категорий и индикаторов в терминах частотности и др.

Предлагаются альтернативные подходы к содержательному анализу информации. Наиболее оптимальным вариантом контент-анализа считается функциональный, в котором категории выделяются на основе их функций. Так, например, средства массовой коммуникации и их содержательная информация могут классифицироваться на основе их доминирующей функции по отношению к аудитории. Любопытны в этом плане исследования коммуникации, связанной с политической сферой деятельности. Так, в частности, американский исследователь Д. Грабер обосновал набор функций "политической коммуникации", который и использовал в качестве системы категорий контент-анализа и как измерение намерений (замысла) коммуникатора, а именно - привлечение внимания, установление связей, определение ситуаций, принятие обязательств, коммуникации.

Контент-анализ является частным случаем анализа документов. Суть данного метода заключается в том, чтобы найти легко подсчитываемые признаки и свойства (например, частота использования определённых терминов), отражающие существенные стороны содержания документа. При этом содержание документа становится измеримым. Одним из вариантов статистического анализа текстов, позволяющим вычислить сколько раз то или иное слово встречается в выбранном тексте (существуют специальные программы для текста - с расширением .txt, .htm или .html, например, программа Wordstat).

Этапы применения контент-анализа

Необходимым условием применения методики анализа содержания является наличие материального носителя информации. Во всех случаях, когда существует или может быть воссоздан такой носитель, допустимо использование методики контент-анализа.

1)                  Определение совокупности изучаемых источников или сообщений с помощью набора заданных критериев, которым должно отвечать каждое сообщение:

• заданный тип источника (пресса, телевидение, радио, рекламные или пропагандистские материалы)
• один тип сообщений (статьи, заметки, плакаты);
• заданные стороны, участвующие в процессе коммуникации (отправитель, получатель (реципиент);
• сопоставимый размер сообщений (минимальный объём или длина)
• частота появления сообщений,
• способ распространения сообщений;
• место распространения сообщений;
• время появления сообщений.

При необходимости можно использовать и другие критерии, однако перечисленные выше встречаются чаще всего.

2)                  Формирование выборочной совокупности сообщений. В некоторых случаях можно изучать всю определённую на первом этапе совокупность источников, поскольку подлежащие анализу случаи (сообщения) часто ограничены по числу и хорошо доступны. Однако иногда контент-анализ должен опираться на ограниченную выборку, взятую из большего массива информации.

3)                  Выявление единиц анализа. Ими могут быть слова или темы. Правильный выбор единиц анализа — важная составляющая всей работы. Простейшим элементом сообщения является слово. Тема — это другая единица, представляющая собой отдельное высказывание о каком-либо предмете. Существуют достаточно чёткие требования к выбору возможной единицы анализа:

• она должна быть достаточно большой, чтобы выражать значение;
• она должна быть достаточно малой, чтобы не выражать много значений;
• она должна легко идентифицироваться;
• число единиц должно быть настолько велико, чтобы из них можно было делать выборку.

Если в качестве единицы анализа избирается тема, то она также выделяется в соответствии с некоторыми правилами:

• Тема не может выходить за пределы абзаца.
• Новая тема возникает, если происходит смена:
• воспринимающего,
• действующего,
• цели,
• категории.

Существуют также и специальные методики контент-анализа, адаптированные к нуждам исторических и историко-философских исследований.

4)                  Выделение единиц счёта, которые могут совпадать со смысловыми единицами или носить специфический характер. В первом случае процедура анализа сводится к подсчёту частоты упоминания выделенной смысловой единицы, во втором — исследователь на основе анализируемого материала и целей исследования сам выдвигает единицы счёта, которыми могут быть:

• физическая протяженность текстов;
• площадь текста, заполненная смысловыми единицами;
• число строк (абзацев, знаков, колонок текста);
• длительность трансляции по радио или ТВ;
• метраж плёнки при аудио- и видеозаписях,
• количество рисунков с определённым содержанием, сюжетом и проч.

В некоторых случаях исследователи используют и другие элементы счёта. Принципиальное значение на этом этапе контент-анализа имеет строгое определение его операторов.

5)                  Непосредственно процедура подсчёта. Она в общем виде сходна со стандартными приемами классификации по выделенным группировкам. Применяется составление специальных таблиц, применение компьютерных программ, специальных формул, статистических расчётов.

Обычно составляются таблицы вида:

6)                  Интерпретация полученных результатов в соответствии с целями и задачами конкретного исследования. Обычно на этом этапе выявляются и оцениваются такие характеристики текстового материала, которые позволяют делать заключения о том, что хотел подчеркнуть или скрыть его автор. Возможно выявление процента распространенности в обществе субъективных смыслов объекта или явления.

Количественный контент-анализ

Количественный контент-анализ (также именуется содержательным) основывается на исследовании слов, тем и сообщений, сосредоточивая внимание исследователя на содержании сообщения. Таким образом, собираясь подвергнуть анализу выбранные элементы, нужно уметь предвидеть их смысл и определять каждый возможный результат наблюдения в соответствии с ожиданиями исследователя.

На деле это означает, что в качестве первого шага при проведении контент-анализа этого типа исследователь должен создать своего рода словарь, в котором каждое наблюдение получит определение и будет отнесено к соответствующему классу.

Проблема состоит в том, что исследователь должен предвидеть не только упоминания, которые могут встретиться, но и элементы их контекстуального употребления, а для этого должна быть разработана детальная система правил оценки каждого случая употребления. Эта задача обычно решается посредством пилотажа подлежащей анализу совокупности сообщений (то есть с помощью выявления на материале небольшой выборки сообщений тех типов ключевых упоминаний, которые с наибольшей вероятностью могут встретиться в последующем, более полном анализе) в сочетании с арбитражными оценками контекстов и способов употребления терминов. Предпочтительнее иметь дело с наблюдениями не одного, а нескольких исследователей.

Более трудной является задача, заключающаяся в необходимости приписывания ключевым упоминаниям конкретных оценок, — когда мы должны решить, приводится ли данное упоминание в позитивном или негативном смысле, «за» или «против» интересующего нас объекта и т. д., а также когда нам надо ранжировать ряд упоминаний соответственно силе их оценок (т.е. в соответствии с тем, какое из них самое положительное, какое следующее за ним по положительности и т. д.). При этом исследователь нуждается в показателях достаточно тонких, которыми можно было бы измерять не только настроения политических субъектов, но и силу этих настроений. Особенно трудным выполнение этой задачи является в исторических, историко-философских и психологических исследованиях, поскольку предполагает высокий уровень гуманитарной подготовки специалистов, использующих методику контент-анализа. Существует множество методов, облегчающих принятие такого решения. В некоторых случаях они опираются на суждения группы арбитров (экспертов) о значении или силе (интенсивности) некоторого термина. В качестве примера таких приемов можно привести метод Q-сортировки и шкалирование методом парного сравнения. На рубеже XX-XXI вв. специалисты по применению математических методов в исторических исследованиях много внимания уделяли разработке специальных компьютерных экспертных систем (в рамках идеологии Искусственного интеллекта).

Метод Q-сортировки

При Q-сортировке используется шкала жесткого распределения из девяти пунктов: пункт 1 соответствует минимальной степени интенсивности измеряемого признака (например, наименьшей степени одобрения), а пункт 9 — максимальной степени интенсивности (например, наивысшей степени одобрения). Цель здесь состоит в том, чтобы просто ранжировать (упорядочить) все суждения вдоль единой оценочной оси. Арбитру дается определенная жесткая квота на каждую категорию шкалы (то есть ожидаемое число слов или фраз, которые должны быть им отнесены к данной категории), а затем ему предлагается распределить заданный набор терминов так, чтобы установленные квоты не нарушались. Квоты основаны на предположении (не обязательно верном), что колебания в интенсивности слов и фраз должны укладываться в рамки нормального распределения (когда изучаемые случаи максимально сосредоточены в средней части шкалы, а по мере продвижения к её полюсам их число равномерно убывает). Арбитры, таким образом, вынуждены давать относительные оценки конкретным словам и фразам (случаям), относя их к определенным категориям шкалы.

После того как арбитры завершили свою работу, вычисляется средняя арифметическая оценка шкалы для каждого случая, а затем полученные средние оценки соответствующим образом ранжируются. Далее результаты этого ранжирования случаев по интенсивности используются для приписывания анализируемым текстам кодов, обусловленных встречаемостью в них слов или тем, получивших нашу оценку. Произвольность оценки одного исследователя компенсируется, таким образом, наличием других мнений.

Шкалирование методом парного сравнения

Шкалирование методом парного сравнения имеет те же цели, что и предыдущий метод, но техника его несколько иная. Каждый случай, подлежащий оценке, последовательно сравнивается попарно со всеми другими случаями, при этом каждый арбитр должен решить, какое из слов (или фраз) в каждой паре «сильнее» (или интенсивнее) другого. Так, если надо сравнить пять утверждений (случаев), то каждый арбитр будет последовательно сравнивать сначала 1-е из них со 2-м, с 3-м, 4-м, 5-м, потом 2-е с 3-м, 4-м, 5-м и т. д., всякий раз при этом отмечая, какое из двух более интенсивно. Подсчитав, сколько раз каждый случай оказался в оценке всех арбитров «сильнее» других, и разделив полученное число на число арбитров (то есть вычислив среднюю оценку, вынесенную группой арбитров каждому утверждению), мы получаем возможность осуществить количественное ранжирование всех случаев по степени их интенсивности. Чем выше средняя оценка некоторого утверждения, тем оно, по мнению арбитров, «сильнее».

Однако, с методами Q-сортировки и парного сравнения связаны по меньшей мере две сложности. Во-первых, в обоих этих случаях исследователь полагается полностью на решения арбитров, критерии оценки которых могут быть, а могут и не быть правомерными и/или состоятельными. В экспертизе такого рода стандарты не всегда ясны или, во всяком случае, не всегда ясно определены, и вследствие этого сами оценки носят дискуссионный характер. Встречаются случаи, когда один и тот же арбитр выставляет различные оценки одному и тому же утверждению в серии идентичных испытаний. Кроме того, отбор арбитров в высшей степени произволен. Следовательно, и надежность результатов, полученных при опоре на таких арбитров, весьма относительна. Поэтому данные процедуры следует использовать, делая скидку на «человеческий фактор».

Качественный контент-анализ

Помимо слов, тем и других элементов, обозначающих содержательную сторону сообщений, существуют и иные единицы, позволяющие проводить качественный или, как он ещё называется, структурный контент-анализ. В этом случае исследователя интересует не столько что говорится, сколько как говорится.

Например, может ставиться  задача выяснить, сколько времени или печатного пространства уделено интересующему предмету в том или ином источнике или сколько слов или газетных столбцов было уделено каждому из кандидатов во время определенной избирательной кампании.

С другой стороны, могут браться в расчет и другие, возможно, более тонкие вопросы, относящиеся к форме сообщения: сопровождается ли конкретное газетное сообщение фотографией или какой-либо иллюстрацией, каковы размеры заголовка данного газетного сообщения, напечатано ли оно на первой полосе или же помещено среди многочисленных рекламных сообщений. При ответе на подобные вопросы внимание исследователя фокусируется не на тонкостях содержания, а на способе презентации сообщения. Основным вопросом здесь является факт наличия или отсутствия материала по теме, степень его выделенности, его размеры, а не нюансы его содержания. В результате такого анализа часто получаются куда более надежные измерения, чем в случае исследования, ориентированного на содержание (поскольку формальным показателям в меньшей степени присуща неоднозначность), но зато, как следствие, и куда менее значимые.

Измерения в параметрах, исследуемых в ходе качественного контент-анализа, поверхностно затрагивают само содержание каждого сообщения в отличие от детального и внимательного обследования, необходимого при количественном анализе. В результате качественный контент-анализ обычно более прост в разработке и проведении, а потому и более дешев и надежен, чем содержательный контент-анализ. И хотя его результаты, возможно, удовлетворят в меньшей степени, ибо они дают скорее набросок, чем законченную картину сообщения, но при ответе на конкретный исследовательский вопрос они могут зачастую оказаться вполне адекватными.

5. Аннотирование и реферирование

Любой специалист должен иметь устойчивые навыки работы (обработки) с текстами. При этом, конечно, можно говорить об умении пользоваться всеми информационными процессами. Наиболее важным и трудным в рассматриваемом случае является процедура, включающая одновременно несколько информационных процессов, нацеленная на определённый способ переработки текста, позволяющий без искажений содержания (сущности) документа-источника получить из него вторичный документ в сжатом (свёрнутом) виде. Такая деятельность определяется как аннотирование и реферирование, а применяемый способ – аналитико-синтетическая переработка.

Аннотация (лат. «аnnatatiо» – замечание) – краткая характеристика документа (или совокупности документов), раскрывающая его содержание, вид, структуру, назначение и другие особенности.

Она является разновидностью информационного свертывания в результате аналитико-синтетической переработки документа, вторичным документом и используется в частности в библиотечном деле. Аннотация может быть элементом библиографической записи, оформления публикации материалов и др. Отмечается, что в среднем аннотация должна содержать от 150 до 200 знаков.

Массовым традиционным аналитическим информационным процессом считается преобразование извлечённых сведений в краткий (примерно до 1500 символов) текст реферата.

Реферат по латыни «Refere» означает – докладываю, сообщаю. По реферату обычно можно легко и быстро установить необходимость для пользователя, описанного в нём документа.

Реферат является одной из самых древних информационных технологий сжатия информации. В России первую инструкцию по реферированию составил М.В. Ломоносов. В ней он определил общие процессы документооборота в Академии наук России и разработал требования подготовки сжатого текста – реферата.

Вот как было сформулировано в России в 1950-е годы: «реферат выражает центральную тему или предмет публикации, но имеет объём не превышающий 3% объёма исходного текста». И ранее и ныне используются различные варианты реферирования. В конце прошлого столетия систематизация компонентов реферата вошла в состав ГОСТ 7.9-95 СИБИД «Реферат и аннотация. Общие требования». В нём даны рассматриваемые далее общие определения.

Реферат – это краткое и точное изложение содержания документа, включающее основные фактические сведения и выводы, без дополнительной интерпретации или критических замечаний автора реферата (согласно ГОСТ 7.9-95).

Отметим, что целью реферирования является включение наибольшего количества информации в ограниченный объём. Специалисты выделяют различные виды рефератов: перевод, рецензия, иллюстрация, таблица, фрагмент и др.

Сводный реферат – это реферат, составленный на основе двух и более исходных документов. При этом результаты поиска в отдельных документах группируются, как правило, по категориям.

Реферирование можно охарактеризовать как:

1) разновидность свертывания информации;

2) процесс аналитико-синтетической переработки информации, результатами которого являются различного рода рефераты.

Реферирование делится на два типа – вторичное (сжатое) документирование и обзорная деятельность в рамках заданной тематики.

Примером первого процесса может быть составление автореферата диссертации, а второго – вводной части диссертации, подразумевающей ознакомление с множеством работ по разрабатываемой теме. При этом обзорное реферирование зачастую сводится к процессу реферирования каждого из источников, представляющих интерес для исследования, и сведению результатов в обзорный реферат.

Вторичное документирование определённого текста позволяет выявлять ключевые его фрагменты и устанавливать между ними структурные связи. Результат такой работы представляет интерес с точки зрения возможности оперативного ознакомления с содержанием объёмных текстов по документу (реферату), полученному в процессе вторичного кодирования (информационного сжатия). Его можно использовать для перевода в более структурированный вид слабо упорядоченных материалов текстов.

Согласно ГОСТ реферат документа должен включать в себя:

• предмет, тему и цель работы;
• метод и методологию проведения работы;
• результат работы;
• область применения результатов;
• выводы;
• дополнительную информацию.

Реферирование относятся к узкопрофессиональной информационно-аналитической деятельности. При этом в учебно-научной, научной и научно-практической, а также профессиональной деятельности специалистам и обучающимся достаточно часто приходится не только пользоваться рефератами, но и самим их создавать, что характеризует потребность индивидов формализовать определённые аспекты творческого процесса.

Так, например, студентам при подготовке курсовых и дипломных работ, а аспирантам и докторантам при проведении соответствующих научных исследований приходится использовать большое количество документов-источников, переработка которых приводит к созданию собственных материалов. Зачастую студентов обязывают исследовать заданный документ или документы по определённой теме, представив выполненную работу в форме реферата или эссе.

Ныне практически все письменные работы выполняются студентами на компьютерах. Аспиранты и диссертанты перед защитой своих работ обязаны опубликовать их в сжатой форме, то есть в виде автореферата.

Автореферат – это реферат произведения, созданный его автором.

Наиболее распространённый его вид – автореферат диссертации, в котором излагаются основные положения исследования, представленного к защите на соискание ученой степени кандидата или доктора наук. Существуют рекомендации по подготовке различных видов научных и научно-исследовательских работ.

Главный инструмент исследователя — его разум, интеллект, способность рассуждать, логически осмысливать, анализировать явления, видеть связи между ними. В психологических исследованиях это особенно важный инструмент.

Научное мышление характеризуется сочетанием объективности, определенности, четкости исходной позиции с непрерывным стремлением к критической проверке любой идеи, любого факта, любого теоретического построения. Девизом научного мышления может быть знаменитый афоризм древних греков: «Подвергай все сомнению!» Даже самые очевидные положения должны быть «пропущены» через сомнение, подвергнуты рассуждению, сопоставлению, теоретическому анализу. Не следует идти по пути упрощения явлений, хотя и чрезмерно усложнять тоже не следует. Научное мышление характеризует умение соблюсти меру.

Научное мышление (решение научных задач) — деятельность сложная, осуществляющаяся с помощью мыслительных операций: анализа и синтеза, сравнения и обобщения, абстрагирования и конкретизации, индукции и дедукции. Напомним суть этих операций.

Анализ — это расчленение исследуемой реальности на единицы, составные части, выделение отдельных признаков и отдельных элементов признаков.

Синтез — соединение разных сторон и признаков изучаемой реальности в смысловое целое. Это не простое суммирование частей, а их смысловое соединение.

Будучи тесно связанными между собой, анализ и синтез составляют основу системного мышления. Эти мыслительные операции можно уподобить двум веслам лодки: оба должны «загребать» с одинаковой силой, иначе неизбежны перекосы в познании. Если преобладает анализ, то возникает опасность не найти в едином целом места выделенным деталям, отдельным признакам; если преобладает синтез, то это может привести к поверхностности, упущению существенных деталей в характеристике целого, что приведет к поспешным обобщениям, поверхностным выводам.

Сравнение направлено на определение сходства и различия между отдельными признаками явлениями. Необходимым условием успешности сравнения является определение критерия (меры оценки) сравниваемого. Для этого необходимо определить существенные признаки явления, а потом устанавливать то, как они представлены в сравниваемых явлениях. Сравнения могут производиться как по одному, так и по многим признакам; можно также сравнивать явления на разных этапах развития. Важно, чтобы для сравнения отбирались качественно однородные показатели.

Обобщение — выделение в процессе сравнения общего, типичного в исследуемых явлениях. Обобщение тем обязательнее, чем большее количество существенных признаков явлений подвергалось сравнению.

Ранжирование — выделение главного и исключение второстепенного в исследуемом явлении.

Систематизация — распределение исследуемых явлений в смысловые группы в зависимости от сходства и различия.

Абстрагирование — мысленное отвлечение от всего несущественного в явлении и сосредоточение на каком-то одном, но существенном признаке. Исследователь как бы временно забывает обо всем многообразии признаков исследуемого явления и внимательно («под микроскопом абстракции») рассматривает один ив них. Таким образом, абстрагирование в мышлении заменяет микроскоп (под настоящий микроскоп человека не положишь, да и не дает этот прибор тех фактов, которые нужны в психологическом исследовании) и позволяет за счет временного забывания о других признаках более отчетливо рассматривать их поодиночке.

Конкретизация — противоположная абстрагированию мыслительная операция нахождения частного явления, отвечающего общему понятию. Если абстрагирование мы сравнивали с препарированием, то конкретизацию можно сравнить с трансплантацией и реанимацией: мы «оживляем» некую сторону явления, смотрим, как она проявляется в реальности. Сделать это сразу в полном объеме без операции абстрагирования нельзя, поэтому их надо применять в единстве.

Всякое научное рассуждение протекает в логической и языковой форме понятий, суждений, формул, схем, выводов, т.е. в формализованном виде. Языковая, формализованная (материализованная) форма научных рассуждений позволяет закреплять выявленные в исследовании связи между явлениями и признаками явлений. В научных рассуждениях одно положение выводится из другого (других); а на основе уже существующих выводов делаются новые умозаключения.

Список рекомендуемой литературы:

1. Бергсон А. Творческая эволюция.– М.: Терра-Книжный клуб: КАНОН-пресс-Ц, 2001. – 384 с.

2. Е.С. Коноплев Информационные практики в современном обществе: социально-философский анализ: Дис ... кан. фил. наук.– М.: МГТУ им. Н.Э. Баумана, 2007.– 168 с.

3. Розов Н.С. Методика контент-анализа и визуализации понимания философских текстов [Электронный ресурс].– Режим доступа: http://www.nsu.ru/filf/rpha/syllabi/ method.htm.

4. Практика внедрения технологии Т-МОДА в информационных подразделениях/ Ю.С. Гузев, А.Е. Кареева, К.П. Котов.

5. http://inforaz.narod.ru/analiz-2.html - анализ документов