Интеллектуальный анализ данных (Data Mining)

Интеллектуальный анализ данных и статистикаПоскольку организации по-прежнему завалены огромными объемами данных, им необходима способность извлекать нужную информацию с той скоростью, которая требуется их бизнесу.Компании в любой отрасли полагаются на интеллектуальный анализ данных, чтобы ускорить получение требуемых аналитических данных. Существует много общего между интеллектуальным анализом данных и статистики. Фактически, большинство методов, используемых при интеллектуальном анализе данных, можно поместить в статистическую структуру. Однако методы интеллектуального анализа данных отличаются от традиционных статистических методов.Традиционные статистические методы, как правило, требуют значительного взаимодействия с пользователем для проверки правильности модели. В результате статистические методы трудно автоматизировать. Более того, статистические методы обычно плохо масштабируются для очень больших наборов данных. Статистические методы основаны на проверке гипотез или нахождении корреляций на основе более мелких репрезентативных выборок из большей совокупности.Методы интеллектуального анализа данных подходят для больших наборов данных и их легче автоматизировать. Фактически, алгоритмы интеллектуального анализа данных часто требуют больших наборов данных для создания качественных моделей.Данные могут быть добыты независимо от того, хранятся ли они в каких либофайлах, электронных таблицах, таблицах баз данных или в другом формате хранения. Важным критерием для данных является не формат хранения, а его применимость к решаемой проблеме.Правильная сортировка и подготовка данных очень важны для интеллектуального анализа данных, и хранилище данных может облегчить эти действия. Однако хранилище данных бесполезно, если оно не содержит данных, необходимых для решения поставленной задачи.Интеллектуальный анализ данных – мощный инструмент, который может помочь найти закономерности и взаимосвязи в данных. Но интеллектуальный анализ данных не работает сам по себе. Это не отменяет необходимости знать свой бизнес, понимать свои данные или понимать аналитические методы. Интеллектуальный анализ данных обнаруживает скрытую информацию в данных, но не может сказать ценность информации для вашей организации.Важно помнить, что предсказательные отношения, обнаруженные с помощью интеллектуального анализа данных, не обязательно являются причинами действия или поведения. Например, интеллектуальный анализ данных может определить, что мужчины с доходом от 50000 до 65000 долларов США, которые подписываются на определенные журналы, вероятно, купят данный продукт. Можно использовать эту информацию, чтобы разработать маркетинговую стратегию. Однако не следует предполагать, что население, идентифицированное с помощью интеллектуального анализа данных, купит какой-либопродукт, потому что оно принадлежит к конкретной группе населения.ЗаключениеИнтеллектуальный анализ данных не позволяет автоматически находить решения без правильного подхода. Шаблоны, которые будутобнаружены при интеллектуальном анализе данных, будут сильно отличаться в зависимости от того, как формулируется задача.Чтобы получить значимые результаты, нужно научиться задавать правильные вопросы. Например, вместо того, чтобы пытаться узнать, как «улучшить отклик на предложение почтовой рассылки», лучше попытаться определить характеристику людей, которые отвечали на запросы в прошлом.Для обеспечения значимых результатов интеллектуального анализа данных, важно понимать свои данные. Алгоритмы интеллектуального анализа данных часто чувствительны к определенным характеристикам данных:выбросы (значения данных, которые сильно отличаются от типичных значений в текущей базе данных), нерелевантные столбцы, столбцы, которые различаются вместе (например, возраст и дата рождения), кодирование данных и данные, которые выбираются для включения или исключения. С помощьюDataMiningможно автоматически выполнять большую часть подготовки данных, требуемой алгоритмом. Часть подготовки данных может быть довольно специфична для задач интеллектуального анализа данных. В любом случае необходимо понимать данные, которые использовались для построения модели, чтобы правильно интерпретировать результаты при применении модели.Конкурентные преимущества, которые дает DataMining, позволяют получить полезные результаты, для которых требуются детальные знания данных и длительные проверки методом проб и ошибок.Специалисты, чувствующие высокий коммерческий потенциал средств DataMining, видят влияние технологии на прибыльность бизнесаи перспективы для расширения границ применения данной технологии.СписоклитературыBrynjolfsson, E. and A. McAfee (2014), The Second Machine Age: Work, Progress, and Prosperity in a Time ofBrilliant Technologies, New York: W.W. Norton and Company.Büchi, M., N. Just and M. Latzer (2015), ‘Modeling the second-level digital divide: A five-countrystudy of social differences in Internet use’, New Media & Society (published online 9 September, doi:10.1177/1461444815604154).Cambini, C. and Y. Jiang (2009), ‘Broadband investment and regulation: A literature review’, TelecommunicationsPolicy, 33 (10–11), 559–74.Armstrong, M. (2006), ‘Competition in two-sided markets’, RAND Journal of Economics, 37 (3), 668–91.Bauer, J.M., G. Madden and A. Morey (2014), ‘Effects of economic conditions and policy interventions onOECD broadband adoption’, Applied Economics, 46 (12), 1361–72.Börner, K., S. Sanyal and A. Vespignani (2008), ‘Network science’, Annual Review of Information Science andTechnology, 41 (1), 537–607.Brandenburger, A.M. and B.J. Nalebuff (1996), Co-opetition, New York: Currency Doubleday.Bresnahan, T.F. and M. Trajtenberg (1995), ‘General purpose technologies: “engines of growth”?’, Journal ofEconometrics, 65 (1), 83–108.Briglauer, W. (2014), ‘The impact of regulation and competition on the adoption of fiber-based broadbandservices: Recent evidence from the European union member states’, Journal of Regulatory Economics, 46 (1),51–79.Diamandis, P.H. and S. Kotler (2015), Bold: How to Go Big, Create Wealth, and Impact the World, New York:Simon & Schuster.Dutton, W.H. (ed.) (2013), The Oxford Handbook of Internet Studies, Oxford, UK: Oxford University Press.Easley, D. and J. Kleinberg (2010), Networks, Crowds, and Markets: Reasoning About a Highly Connected World,Cambridge, UK: Cambridge University Press.Cortada, J.W. (2001), 21st Century Business: Managing and Working in the New Digital Economy, Upper SaddleRiver, NJ: Financial Times/Prentice Hall.Coyle, D. (1997), The Weightless World: Strategies for Managing the Digital Economy, Cambridge, MA: MITPress.CSTB (2002), Bringing Home the Bits, Washington, DC: National Research Council, Computer Science andTelecommunications Board.Economides, N. (2005), ‘The economics of the Internet backbone’, in S. Majumdar, I. Vogelsang andM. Cave (eds), Handbook of Telecommunications Economics, Volume 2: Technology Evolution and theInternet, Amsterdam: Elsevier, pp.375–412.