Применение технологии Data Mining в лингвистике

Если база данных является чистыми данными в Европе, скорее всего, не будет никаких авторских прав, но могут существовать права на базы данных, поэтому в соответствии с Директивой по базам данных управление данными будет подчиняться правилам. Это привело к тому, что правительство Великобритании в 2014 году пересмотрело свое законодательство об авторском праве, чтобы разрешить разработку контента как ограничение и исключение. Только вторая страна в мире сделала это после Японии, которая представила исключение в 2009 году для добычи данных. Однако из-за ограничения Директивы об авторских правах исключение в Великобритании допускает использование контента в некоммерческих целях. Закон об авторском праве в Великобритании также не позволяет этому положению отменяться в соответствии с условиями контракта. Европейская комиссия способствовала обсуждению заинтересованными сторонами информации о разработке текста и данных в 2013 году под названием «Лицензии для Европы». Фокус на решении этой правовой проблемы, являющейся лицензией, а не ограничениями и исключениями, привел к тому, что представители университетов, исследователей, библиотек, групп гражданского общества и издателей открытого доступа покинули диалог с заинтересованными сторонами в мае 2013 года.2.2 Использование технологии DataMining для решения лингвистических задачПри обработке больших коллекций документов актуальны задачиклассификации (Categorization) и кластеризации текстов (TextClustering). Классификация означает отнесение каждого документак определенному классу с заранее известными параметрами, а кластеризация — разбиение множества документов на кластеры, т. е. подмножестватематически близких документов. Для решения этих задач применяютсяметоды машинного обучения, в связи с чем эти прикладные задачи частоотносят к направлению TextMining, рассматриваемому как часть научной области DataMining (интеллектуальный анализ данных).Задачи извлечения информации из текстов на естественном языкеможно отнести к информационному поиску (InformationRetrieval)в его самом широком понимании, предполагающем поиск релевантной информации. Однако у направления InformationExtraction есть принципиальные особенности. В отличие от классического поиска, выполняемогопоисковыми машинами сети Интернет и выдающего пользователю списокотранжированныхсниппетов, на выходе IE-систем — структурированнаяинформация, извлечённая из коллекции текстов (или одного большого текста), что так или иначе предполагает преобразование извлечённой информации. В целом, в рамках IE решается задача автоматического извлеченияиз текстов данных, релевантных определённой проблеме/вопросу/теме, изнеструктурированных текстов. Такие тексты не имеют никакой разметки или метаданных, помогающих идентифицировать искомую информацию. Для удобства дальнейшей обработки и применения извлечённыеданные структурируются: в простейшем случае с помощью тегов XML, вболее сложных они преобразуются и сохраняются в формальном виде: вреляционных базах данных, таблицах, сетевых базах знаний. Структурированные данные передаются средствам аналитической обработки DataMining или же визуализируются для человека-аналитика в виде семантических сетей, когнитивных карт и т.п.Рассмотрим конкретные компоненты процессов TextMining. Типичные стадии и задачи этой технологии включают в себя:1. Поиск информации и выявление исходных данных – это подготовительный шаг, который включает в себя сбор или выявление набора текстовых материалов для анализа. Такие материалы могут содержаться в Интернете, базах данных, файловых системах или системах управления контентом.2. Использование сугубо статистических методов анализа, а также процессов обработки естественного языка и средств лингвистического анализа.3. Выявление смыслов – использование статистических и прочих техник для выявления поименованных признаков текста – упоминаний людей, организаций, мест, символов, аббревиатур и так далее. Контекст помогает определить, что именно обозначает то или иное слово в конкретном вхождении.4. Выявление шаблонов – можно выявить, в каких шаблонах в тексте представлены те или иные смыслы.5. Выявление перекрестных ссылок – обнаружение определений и прочих признаков, которые относятся к одним и тем же объектам.6. Выявление взаимосвязей, фактов и событий – поиск связей между разными смыслами, заключенными в текстовой информации.7. Смысловой анализ – распознавание субъективного (а не фактического) материала и выявление различных форм оценочной информации – смыслов, мнений, настроений, эмоций. Технологии анализа позволяют изучать смыслы на уровне тем, концептов, а также выделять законодателей мнений и объекты мнений.8. Количественный анализ текста – использование набора техник, заимствованных их социальных наук, которые заключаются в том, что человек либо компьютер извлекает семантические либо грамматические связи между отдельными словами, чтобы понять смысл стилистических шаблонов, провести психологическое профилирование и так далее.ЗаключениеТаким образом, в ближайшем будущем технология Datamining станет доминирующей при анализе информации от клиентов в компаниях любого уровня, будь то телефонные центры поддержки, интернет-агентства или аналитические агентства. Кадровые отделы будут использовать программы класса textmining для поиска резюме, подходящих по сложной сетке показателей. А маркетинговые подразделения найдут применение таким программам в качестве анализаторов ситуации на рынке, отслеживающих тенденции, положение конкурентов и другие показатели на основе информации и самых разных источников - новостных лент, отчетов о НИР, обзоров, патентов.Литература1Арский Ю.М.,Финн В.К.Принципыконструирования интеллектуальных систем. Информационныетехнологииивычислительныесистемы.№4.М.:2008.стр.4-37.2Автоматическая обработка текстов на естественном языке и анализ данных: учеб. пособие / Большакова Е.И., Воронцов К.В., Ефремова Н.Э. и др.- М.: Изд-во НИУ ВШЭ, 2017. – 269 с.3Барсегян А.А., Куприянов М.С., Степаненко В.В., Холод И.И. Методы и модели анализа данных: OLAP и DataMining. – СПб.: БХВ-Петербург, 2004. – 336с.: ил.4Бритков В.Б., Булычев А.В. Методы анализа больших объемов слабоструктурированной информации / Информационные технологии и вычислительные системы 1/2010. стр. 36-445Будагов Р. А. Введение в науку о языке. / 3-е изд. М.: Добросвет-2000, 2003. — 544 с.6Кутукова Е.С. Технология TextMining7Майер-Шенбергер В. Большие данные. Революция, которая изменит то, как мы живем, работаем и мыслим / Виктор Майер-Шенбергер, Кеннет Кукьер; пер. с англ. Инны Гайдюк. – М.: Манн, Иванов и Фербер, 2014. – 240 с.8Медетов А. А. Термин BigData и способы его применения // Молодой ученый. — 2016. — №11. — С. 207-210. — URL https://moluch.ru/archive/115/30983/ (дата обращения: 10.02.2018).9Наследов А. SPSS 19: профессиональный статистический анализ данных. — СПб.: Питер, 2011. — 400 с.: ил.10Черняк Л. Большие Данные — новая теория и практика. Электронный ресурс. URL: http://www.osp.ru/os/2011/10/13010990/511ЧубуковаИ.А. Data mining. Изд-во: БИНОМ. Лаборатория знаний, 2008г.Иностранные источники12Frank Eibe, Hall Mark A. (30 January 2011).Data Mining: Practical Machine Learning Tools and Techniques (3 ed.). Elsevier. ISBN 978-0-12-374856-0.