Методы интеллектуального анализа данных

В то же время заявленная система является инструментом исследования, направленным на повышение качества создаваемых интеллектуальных систем и сокращение времени их разработки.Традиционная модель организации вычислений предполагает:- создание инфраструктуры (установка и настройка серверов;- организация хранилища данных, (организация локальной сети, объединяющей всю инфраструктуру в единую сеть);- установку и настройку операционной системы, необходимые системные приложения (например, драйверы, платформы NET, Java, сторонние системные библиотеки);- установка необходимого прикладного программного обеспечения (рис. 4), с которым будет взаимодействовать конечный пользователь.Рис. 4. Традиционная модель организации вычисленийОчевидно, что, следуя этой модели, необходимо выделить бюджет на закупку оборудования, программного обеспечения, оплату работы специалистов и поддержание всего этого в актуальном состоянии. Альтернативой традиционному подходу является модель облачных вычислений, которая включает организацию удаленного доступа к пулу конфигурируемых вычислительных ресурсов, который может быть быстро доставлен с минимальными эксплуатационными затратами.Эта модель предполагает наличие поставщика услуг, который предоставляет необходимые услуги для выделения необходимой инфраструктуры, поддержания ее в актуальном состоянии и, возможно, установки необходимого программного обеспечения.Облачные вычисления обычно классифицируются по двум причинам: в соответствии с моделью предоставления услуг; в зависимости от модели развертывания. В зависимости от модели оказания услуги различают следующие подходы:– инфраструктуракаксервис (Infrastructure as a Service, IaaS); – платформакаксервис (Platform as a Service, PaaS);– программное обеспечение как сервис (Softwareas a Service, SaaS).Разница между этими моделями заключается в уровне обслуживания и предоставляемых услугах (рис. 5).Рис. 5. Соответствие традиционной модели вычислений и услуг, предоставляемых на основе облачных вычисленийМодель IaaS предназначена для предоставления вычислительных ресурсов в соответствии с требованиями потребителей. В дальнейшем пользователь вправе использовать предоставленные ресурсы по своему усмотрению. Модель PaaS улучшает подход, предлагаемый в IaaS, и включает операционную систему, уже установленную и готовую к работе. Модель SaaS требует от поставщика услуг больше всего времени и включает в себя создание ваших собственных услуг и предоставление им непрерывного одновременного доступа для нескольких клиентов.В зависимости от модели развертывания различают следующие подходы: частное облако; публичное облако; гибридное облако. Благодаря своей открытости публичное облако предлагает максимальный спектр возможностей. Однако такая облачная организация требует больших вложений в вычислительные ресурсы, которые будут использоваться многими клиентами, и проблемы безопасности (например, хакерские атаки, изоляция пользовательских данных и т. д.).Частное облако, как правило, развертывается организацией для собственных нужд и не предполагает полного доступа к системе для всех. При необходимости организация доступа к облаку, территориально располагаемому за пределами организации, обычно формируется через закрытую сеть и недоступна извне. Основные преимущества такого подхода - снижение требований к организации защиты доступа и снижение требований к инфраструктуре.Гибридное облако - это союз идеологий частного и публичного облаков. С одного стороны, предполагается наличие собственного частного облака. Однако из-за нехватки вычислительных ресурсов или необходимости доступа к сторонним ресурсам организация дополнительно арендует услуги, предоставляемые сторонними общедоступными облаками. Как правило, в этом случае вся доступная инфраструктура (собственная и арендуемая) объединяется в одну.После обновления системы в 2019 году вычислительный кластер bguir станет частным облаком на основе модели SaaS и будет включать 7 Blade-серверов, один из которых выделен как управляющий, а 6 - в качестве вычислительных серверов, подключенных к InfiniBand 4x QDR (40 Гбит / с) шина.Каждый вычислительный модуль оснащен двумя IntelXeon E5-2650, 32 Gb RAM стандарта DDR3 и две NVIDIA Tesla M2075 6 Gb RAM. В качестве сервисов, доступ к которым планируется в ближайшее время, были выбраны система интеллектуального анализа обучающих и исследовательских данных, разработанная сотрудниками кафедры ЭВМ и НИЛ, а также ApacheZeppelin.Основными преимуществами использования собственного вычислительного кластера в качестве вычислительного облака являются: - независимость от внешних организаций; - подключение к локальной сети БГУИР.В будущем возможна организация доступа через Интернет, что позволит любому желающему подключиться к системе; - достаточные ИТ-ресурсы, чтобы справиться с большой вычислительной нагрузкой, в том числе в долгосрочной перспективе.Система интеллектуального анализа данных. Разрабатываемая система представляет собой набор микросервисов, которые взаимодействуют друг с другом (рис. 6): сервисный уровень, содержащий библиотеки алгоритмов; слой алгоритмов анализа данных; веб-сайт (пользовательский интерфейс).Рис. 6. Структурная схема системы интеллектуального анализа данныхУровень сервисов. Существует множество различных библиотек, реализующих алгоритмы интеллектуального анализа данных. Наиболее известны scikit-learn, MLlib, Theano, Weka. Каждая из представленных библиотек (Framework) предоставляет собственный интерфейс доступа, поддерживает разные языки программирования. При этом каждый из перечисленныхframework’ов эффективно справляется с конкретной задачей.Если программисту приходится использовать алгоритмы из разных библиотек, это становится трудным и требует от разработчика больших навыков. Для решения проблемы разработан первый уровень - уровень сервисов. Основными задачами сервисного уровня являются:- подключить запрошенную библиотеку или сообщить о проблемах в настройках;- проверить правильность введенных параметров;- вызов необходимых алгоритмов и обработка исключений;- предоставить информацию о производительности алгоритмов, включая любые произошедшие ошибки.Уровень алгоритмов анализа данных. Вышележащий уровень - это промежуточный уровень для организации доступа к услугам. Его основные цели:- хранение информации о библиотеках подключенных алгоритмов;- хранение информации о поддерживаемых алгоритмах в каждой из подключенных библиотек;- обобщение и систематизация полученной информации;- взаимодействие с сWeb-сайтом. Web-сайт. Последний уровень - это веб-сайт, развернутый на сервере на базе ЭВМ БГУИР.Его основные цели:- легкий доступ к поддерживаемым алгоритмам интеллектуального анализа данных;- формирование цепочки алгоритмов с параметрами, необходимыми для решения конкретных задач;- предоставить результаты работы;- контроль прав доступаApacheZeppelin.Таким образом, проект ApacheZeppelin - это полностью открытый проект, построенный по принципу веб-блокнотов и созданный для интерактивного анализа данных. Главное преимущество этого проекта - полная поддержка сложной инфраструктуры, созданной для облачных вычислений.На базе вычислительного кластера БГУИР и сервиса ApacheZeppelin предоставляется полноценный доступ через Web-интерфейс к таким языкам программирования, как Python и R. Кроме того, поддерживаются технологии ApacheSpark и TensorFlow, созданные для анализа данных и работы с нейронными сетями соответственно.ЗаключениеТаким образом, количество информации, которую человек должен использовать, увеличивается с огромной скоростью. Поэтому необходимо систематизировать данные. Однако этого недостаточно. Необходимо автоматизировать анализ этих данных и прогнозировать возможные ситуации на основе полученных данных.Следует использовать интеллектуальный анализ данных. Интеллектуальный анализ данных - это процесс обнаружения неизвестных, нетривиальных, практически полезных и доступных знаний (rowdata) в необработанных данных (закономерностей), которые необходимы для принятия решений в различных областях человеческой деятельности.Фактически, интеллектуальный анализ данных - это обработка информации и выявление закономерностей и тенденций, которые помогают принимать решения. Принципы интеллектуального анализа данных известны много лет, но с появлением больших данных они получили еще большее распространение.Большие данные привели к взрывному росту популярности более широких методов интеллектуального анализа данных, отчасти потому, что информация стала намного больше, а по своему характеру и содержанию становится все более разнообразной и крупномасштабной. При работе с большими наборами данных относительно простой и понятной статистики уже недостаточно. Эти бизнес-требования сместились от простых исследований и статистического анализа данных к более сложному интеллектуальному анализу данных. Бизнес-задачи требуют анализа данных, который позволяет построить модель описания информации и, в конечном итоге, создать итоговый отчет.Список литературы1. Айзек М.П. Графика, формулы, анализ данных в Excel. Пошаговые примеры / М.П. Айзек. - СПб.: Наука и техника, 2019. - 384 c.2. Бабенко М. А. Введение в теорию алгоритмов и структур данных./ Бабенко М. А. - М.: МЦНМО. 2020. 144 с.3. Бенгфорт, Б. Прикладной анализ текстовых данных на Python. Машинное обучение и создание приложений обработки естественного языка / Б. Бенгфорт. - СПб.: Питер, 2019. - 368 c.4. Интеллектуальный анализ данных: trend или application? / М.М. Татур // Сб. матер.конф. «Информационные технологии и системы». Минск, 2017. С. 10–12.5. Кулаичев А.П. Методы и средства комплексного анализа данных: Учебное пособие / А.П. Кулаичев. - М.: Форум, 2018. - 160 c.6. Макшанов А.В. Технологии интеллектуального анализа данных./ Макшанов А.В. - М.: Лань. 2019. 212 с.7. Певченко, С. С. Методы интеллектуального анализа данных / С. С. Певченко. // Молодой ученый. - 2018. - № 13 (93). - С. 167-169.8. Поиск, визуализация скрытых зависимостей и прогнозирования развития ситуаций на базе технологий DataMining & KnowledgeDiscovery / М.М. Татур // Сб. матер.конф. «BIG DATA andAdvancedAnalytics». Минск, 2017. С. 194–196. 9. Рафалович В. Datamining, или интеллектуальный анализ данных для занятых. Практический курс / В. Рафалович. - М.: SmartBook, 2018. - 352 c.10. Стоянченко С.С. Целесообразность использования систем для сбора и анализа информации полученной с WEB-ресурса / С.С. Стоянченко, А.В. Колесников, А.В. Дядичев // Сборник трудов I научной конференции профессорско-преподавательского состава, аспирантов, студентов и молодых ученых «Дни науки КФУ им. В.И. Вернадского», - Симферополь, 2017. - С.111-117.11. Чашкин, Ю.Р. Математическая статистика. Анализ и обработка данных. / Ю.Р. Чашкин; Под ред. С.Н. Смоленский. - Рн/Д: Феникс, 2017. - 236 c.Электронные ресурсы12. Дядичев В.В. Задачи и методы интеллектуального анализа данных. [Электронный ресурс] – Режим доступа: https://cyberleninka.ru/article/n/zadachi-i-metody-intellektualnogo-analiza-dannyh (дата обращения 26.12.2021)13. Татур М. М. Интеллектуальный анализ данных и облачные вычисления. [Электронный ресурс] – Режим доступа: https://cyberleninka.ru/article/n/intellektualnyy-analiz (дата обращения 26.12.2021)