Модели и методы обработки ЕЯ (естественный язык): создание моделей, методов и алгоритмов семантического анализа и интерпретации ЕЯ

Это гарантирует то, что извлеченный текстовый пассаж будет нести законченный семантический смысл.Этап 2. Разрешение анафор. Для разрешения анафорических ссылок пользуется метод абдуктивной логики, предложенный в работе [24]. В результате выполнения этого этапа получаются связанные фрагменты текстов (текстовые пассажи), которые несут полное семантическое значение.Этап 3. Построение семантических схем пассажей. Семантическое представление пассажей выполняется с использованием метода семантического представления функционала «смысловыразительности» [18]. В результате использования данного метода для текста формируется набор семантических схем, каждая из которых соответствует текстовому пассажу и может быть использована для сравнения. Отличие предлагаемого метода в том, что сравнение пассажей будет производиться в отношении многие-ко-многим. Этап 4. Сравнение на близость. Определение степени подобия между текстовыми пассажами эталона и сравниваемого текста согласно критерию семантической близости. Для этого предлагается использовать модифицированный семантический критерий сравнения на близость, основанный на критерии представленном в работе Вишнякова Р. Ю. [18].Отличием предлагаемого критерия семантической близости текстовых пассажей эталона и сравниваемого текста является вычисление доли совпадающих элементов смысла, в соответствии с семантическим классом слов, участвующих в сравнении.где p – фактор совпадения между словами, участвующих в сравнении, для каждого элемента смысла, согласно семантическому классу в интервале [0,1], р = 1, если слово идентично, р = 0 если слово вне семантического класса и р = (0,1) в зависимости от степени синонимии; k — количество элементов смысла в текстовом пассаже сравниваемого текста, n — общее число элементов смысла в текстовом пассаже эталона.Необходимо, чтобы эксперт предварительно определял степень синонимии каждого семантического класса. Это может быть сделано по предопределению в эталоне.Этап 5. Оценка подобия. Определение правильности и глубины напрямую зависит от целей и задач сравнения, а, следовательно, и оценки. В этом контексте под правильностью следует понимать приближенность текста к эталону с точки зрения подобия полного текста и его глубины — это верная полнота текста по отношению к эталону. Жизнеспособный критерий правильности вытекает из результатов, полученных в этапе 4, но теперь по отношению ко всему тексту, то определяется коэффициентом правильности C, который вычисляется по формуле:где Ф — результат, полученный для каждого сравнения этапа 4; q — количество текстовых пассажей сравниваемого текста, m — общее число текстовых пассажей эталона.Глубина может быть определена в виде пропорции количества текстовых пассажей сравниваемого текста по отношению к количеству текстовых пассажей эталона, то есть коэффициент глубины S, определяется по формуле:В то время оценка подобия может быть определена средним арифметическим двух ранее полученных коэффициентов; т.е. оценка R, определяется по формуле:Предлагаемый подход семантического сравнения текстов позволяет оценивать тексты, написанные на естественном языке и определить степень их подобия к эталонным текстам, независимо от используемых слов и синтаксиса. Это является основным отличием по отношению к существующим моделям, основанным на точном выявлении слов и/или фраз. ЗаключениеПроведенные исследования позволили автору установить, что для качественной АОТ необходимо применять комбинацию существующих методов, использующих в качестве базы исчисления предикатов в нечетком виде, но дополняющих их векторным представлением элементов, так же автором предлагается их модификация и совместное использование. Рассмотренный подход семантического сравнения текстов позволяет оценивать тексты, написанные на естественном языке и определить степень их подобия к эталонным текстам, независимо от используемых слов и синтаксиса. Дальнейшие исследования по разработке данного метода могут внести вклад в развитие методов повышения эффективности автоматической обработки текстов на естественном языке, в частности, систем дистанционного образования и систем типа «Антиплагиат».Таким образом цель реферата достигнута.Список использованных источниковЯзыкознание. Бол. энцикл. словарь / гл. ред. В.Н. Ярцева. - 2-е изд. - М.: Бол. рос. энцикл., 1998. - 685 с.Советский энциклопедический словарь / гл. ред. А.М. Прохоров. - 4-е изд. - М.: Сов. энциклопедия, 1989. - 1632 с.Искусственный интеллект. В 3 кн. Кн. 1. Системы общения и экспертные системы: справочник / под ред. Э.В. Попова. - М.: Радио и связь, 1990. - 464 с.Могилев, А.В. Информатика: учеб. пособие для студ. пед. вузов /Могилев, Н.И. Пак, Е.К. Хеннер; под ред. Е.К. Хеннера. - 3-е изд., пере- раб. и доп. - М.: Издательский центр «Академия», 2004. - 848 с.Марчук, Ю.Н. Компьютерная лингвистика / Ю.Н. Марчук. - М.: АСТ; Восток-Запад, 2007. - 317 с.Гайдамакин, Н.А. Автоматизированные информационные системы, базы и банки данных. Вводный курс: учеб. пособие / Н.А. Гайдамакин. - М.: Гелиос АРВ, 2002. - 368 с.Губин, М.В. Влияние морфологического анализа на качество информационного поиска / М.В. Губин, А.Б. Морозов // Труды RCDL-2006. - М., 2006. - С. 224-228.Баранов, А.Н. Введение в прикладную лингвистику: учеб. пособие / А.Н. Баранов. - М.: Эдиториал УРСС, 2001. - 360 с.http://translate.google.com/about/.Светова, С.Ю. Системы автоматизированного перевода PROMPT. Системы TranslationMemoryTrados. Интеграция PROMPT и Trados / С.Ю. Светова, Е.В. Косматова. В кн. Перевод: традиции и современные технология. - М.: ВЦП, 2002. - С. 42-55.Потапова, Р.К. Речь: коммуникация, информация, кибернетика: учеб. пособие / Р.К. Потапова. - М.: Едиториал УРСС, 2003. - 568 с.Гаскаров Д. В. «Интеллектуальные информационные системы», 2003.Леоненков А.В. «Нечёткое моделирование в среде MATLAB и fuzzyTECH», 2001.Тузов В.А. «Компьютерная семантика русского языка», СПб, 2004.В.Д. Ландэ «Поиск знаний в Internet», 2005.Толпегин П. В. «Информационные технологии анализа русских естественно-языковых текстов. Часть I» // «Информационные технологии», 2006, №8.А. Вебжицкая «Понимание культур через посредство ключевых слов», М., 2001.Вишняков Р. Ю. 2012. Разработка и исследование формализованных представлений и семантических схем предложений текстов научно-технического стиля для повышения эффективности информационного поиска.Дунаев А. А. Исследовательская система для анализа текстов на естественном языке. //http://www.iis.nsk.su/files/articles/sbor_kas_13_dunaev.pdf Contreras Z. Y. y Dávila Q. J. 2002. Unatécnica para la extracciónautomática de resúmenesbasada en unagramática de estilo. Kaszkiel M. y Zobel J. 2001. Effective Ranking with Arbitrary Passages», Journal of the American Society, for Information Science (JASIS). Muñoz T. R. 2009. Representación del conocimiento textual mediantetécnicaslógico-conceptuales en aplicaciones de tecnologíasdellenguajehumano. Quillian R. 1968. "Semantic Memory", in M. Minsky (ed.), Semantic Information Processing. Salguero L. F. 2010. Resoluciónabductiva de anáforaspronominales. http://www.http://personal.us.es/fsoler/papers/ivjornadas.pdf Salton G. 1989. Automatic Text Processing : The Transformation, Analysis, and Retrieval of Information by Computer, Addison Wesley, New York .Михайлов С.Н. Методика формирования архитектуры инфокоммуникационной среды информационно-аналитического обеспечения научных исследований технического вуза // Информационно-измерительные и управляющие системы. 2010. Т. 8, № 7. С. 27-29.Кокорин П.П. Инфологическая система аналитического мониторинга научно-технических фондов библиотек // Информационно-измерительные и управляющие системы. 2009. Т. 7, № 4. С. 11-15.Christopher D.M., Prabhaka R., Hinrich S. Introduction to information retrieval. CambridgeUniversitypress, 2008.Методы построения информационно-логических систем / В.В. Александров, Н.А. Андреева, С.В. Кулешов, Н.А. Андреева. СПб.: Анатолия, 2005. 109 с.Визуальный словарь [Электронный ресурс]: On-line версия. http://www.iai.dn.ua/public/JournalAI_2002_4/Razdel2/05_Anisimov_Marchenko.pdfhttp://www.iis.nsk.su/files/articles/sbor_kas_12_batura_etc.pdfhttp://www.osp.ru/os/2014/01/13039687/Аналитический мониторинг Internet контента. Инфологический подход [Текст] = AnalyticalMonitoringofInternetContent. InfoLogicalApproach / В. В. Александров, С. В. Кулешов // Качество. Инновации. Образование. - 2008. - N 3. - С. 68-70.http://www.ict.edu.ru/vconf/files/9060.pdf