Технологии исследования с использованием «больших данных» в области коммуникаций

Сокращено количество компьютеров, участвующих в операциях поиска, с 200 до 30. Период реиндексации всего сайта сократился с 11 до 5 часов. Уровень ошибок при поиске снизился в два раза, при этом 99% результатов обрабатываются менее чем за 500 миллисекунд. Увеличилось количество проиндексированных постов на 33%.2.2 Проблемы, возможности и перспективы использования технологии BigData в социальных сетяхНесмотря на свою важность в сфере социальных сетей, технология BigData сталкивается с некоторыми вызовами. Большим преимуществом ее применения является обнаружение новых перспектив в добавок к уже существующим возможностям. Рассмотрим важнейшие аспекты этой проблематики.Одной из ключевых проблем использования больших объемов данных в социальных медиа является ущемление частной жизни. Социальные сети накапливают обширный массив информации о своих клиентах, включая переписку, геоданные, фотографии и логи активности. Применение технологий анализа больших объемов информации позволяет извлечь большое количество дополнительных данных, распространение которых может быть нежелательным [9].Недавно ученые из Стэнфордского университета показали, что возможно определить сексуальную ориентацию человека, просматривая его фотографию. Они провели исследование, где нейросеть смогла верно определить ориентацию в 81% случаев для мужчин и в 74% для женщин по одной фотографии. Кроме того, когда ученые предоставляли нейросети пять фотографий одного человека, точность выросла до 91% и 83% соответственно. Эта новость привела к тому, что социальные платформы начали усовершенствовать свою политику конфиденциальности. Например, Facebook отказался передавать рекламодателям первоначальные данные о пользователях, предоставляя лишь результаты их анализа и обработки.Рассмотрим возможности использования больших данных в социальных сетях, а именно:Анализ оттока пользователей. Позволяет определить пользователей, склонных удалять свои профили, и тем самым поможет эффективно поддерживать отношения с ними;Прогнозирование потенциальной ценности пользователей в качестве покупателей. Используя анализ их поведения, искусственный интеллект может предсказать, сколько денег отдельный пользователь потратит на определенную группу товаров. Таким образом, можно стимулировать их расходы, предлагая таргетированную рекламу с учетом их привычек.Исследование настроений в сообщениях и обсуждениях. Оценка мнения аудитории о определенном продукте или бренде является возможной;Персонализация материалов. Использование алгоритмов машинного обучения для определения предпочтений каждого пользователя и последующего предложения соответствующего контента;Прогнозирование популярности материалов. Связь популярности контента с спросом на определенные товары может быть использована для анализа рекламы [8].Проблема использования больших объемов данных в соцсетях заключается в потере приватности. Большое количество информации о пользователях хранится в социальных сетях, в том числе переписка, геоданные, изображения и история действий. С помощью аналитики больших данных можно извлечь массу дополнительной информации, которая не должна быть общедоступной. Например, ученые из Стэнфордского университета продемонстрировали умение определить ориентацию человека, анализируя его фотографии.Мужчины пользуются нейросетью для определения ориентации на 81% лучше, чем женщины, а точность с пятью изображениями достигает 91% и 83% соответственно. Социальные сети пытаются справиться с проблемой, улучшая свою политику конфиденциальности, в частности, Facebook теперь передает рекламодателям лишь обработанные результаты, а не сырые данные пользователей. Технический аспект хранения и обработки больших данных остается актуальной проблемой, так как существующие продукты не полностью удовлетворяют потребности компаний.Одну из технологий, на которую полагается Facebook- этоHadoop, масштабируемая среда с открытым исходным кодом. Большое количество серверов используется для работы в этой среде, анализ данных начинается с чтения 300 петабайт информации. Особое внимание уделяется удалению данных о требованиях из базы данных и их сохранению в специальной таблице для последующей обработки отделом Facebook. Компания разрабатывает собственное гигантское хранилище данных для уменьшения затрат на анализ и экономии времени и денег.Для поддержания отношений с пользователями группы высокого риска полезно предсказывать их степень ухода исходя из прогноза ожидаемого отказа от использования профиля.Анализ поведения пользователей и применение искусственного интеллекта помогут сделать прогноз, насколько ценными покупателями они могут стать для определенной группы продуктов, и побуждать их тратить деньги, демонстрируя им целевую рекламу.Изучение ощущений сообщений и комментариев поможет оценить отношение общественности к конкретному продукту или бренду.Машинное обучение изменяет подход к персонализации контента, анализируя пользовательские предпочтения и предлагая индивидуальный контент. Прогнозирование популярности контента основано на запросах товаров, что может быть использовано для оптимизации рекламы. BigData используются для улучшения эффективности рекламы, предлагая рекламу, пользующуюся наибольшим спросом, и увеличивая привлекательность социальных сетей для увеличения просмотров рекламных предложений.Возьмем, к примеру, скандальное действие сервиса такси Uber, который незаметно следил за поездками клиентов, перемещением сотрудников и их семей, даже известных личностей. Не имея возможности подтвердить случай, правомерность или неправомерность сбора информации не может быть регулирована полностью. Дополнительно, в 2016 году в швейцарском журнале "DasMagazin" было опубликовано расследование о воздействии персонализированной рекламы в Facebook на политические выборы в США и Великобритании.Персональные данные пользователей в социальных сетях оказались под угрозой из-за разглашения информации, что принесло неожиданные последствия для разработчика методики - МихалаКазинника. Его метод психологического анализа основывался на изучении лайков пользователей, что помогало определить их индивидуальные особенности, включая цвет кожи, сексуальную ориентацию, мировоззрение и политические предпочтения. Это привлекло внимание CambridgeAnalytica, компании, занимающейся проведением интернет-кампаний в поддержку Brexit и Дональда Трампа.Ученый подчеркнул, что не он создал взрывное устройство, а лишь продемонстрировал его существование. Цифровые преимущества, доступные нам сейчас, упрощают нашу жизнь и экономят время на удовлетворение различных потребностей. Однако процесс цифровизации не ограничивается улучшением качества жизни. Внедрение технологий BIG DATA сильно изменяет образ жизни людей: их персональные данные становятся все более доступными, и скрыть что-либо становится сложнее. России важно активно внедрять соответствующие инструменты в институты и инфраструктуру предприятий различных отраслей.Государственные структуры активно используют человека как объект для получения информации, не только в рамках бизнеса, но и в пределах своих служб. Так, на примере Сбербанка можно увидеть, что он стал выдавать паспорта и права гражданам. Человек становится своего рода банковским аккаунтом, где хранятся данные о его личной жизни, финансовом положении, нарушениях ПДД и прочих аспектах. В результате таких новшеств эксперты прогнозируют неизбежное возрастание кибератак и утечек конфиденциальной информации, что не может повлиять негативно на обычную жизнь человека.Новые возможности, возникшие с появлением технологий BD, оказывают влияние как на интернет-пользователей, так и на компании, применяющие инструменты для рекламы товаров или услуг. Возможности, создаваемые Большими Данными, являются превосходным средством для развития различных областей. Цифровые технологии вроде BIG DATA и искусственного интеллекта могут как помогать, так и наносить ущерб. Сам вопрос заключается в том, как и кем будут управлять разработками. Цифровые технологии должны способствовать улучшению качества жизни и её упрощению, но никак не становиться инструментом контроля над жизнью людей.Общие перспективы применения больших данных сводятся к повышению эффективности рекламных предложений. Это может быть достигнуто либо прямым, предложением самой востребованной рекламы, либо косвенным, увеличением привлекательности использования социальной сети для увеличения количества просматриваемых рекламных предложений.ЗАКЛЮЧЕНИЕСложности, с которыми сталкиваются разработчики и исследователи области больших данных, представлены в разнообразной и труднопроницаемой форме, однако их разгадка имеет потенциал для привнесения значительного прогресса в данную сферу. Понимание явления больших данных менялось со времен его появления, вызывая обширные дебаты в научном и коммерческом сообществе; теперь это является обыденным инструментом как для ученых, так и для представителей бизнеса.Влияние информационных технологий на общение людей было очень велико, что привело к расширению и изменению практики использования больших объемов информации в социальных сетях. Главной целью этого подхода стало повышение эффективности рекламы, что в свою очередь обуславливает необходимость более глубокого анализа научных публикаций и материалов в СМИ для полного решения поставленных задач. Результаты исследований позволят лучше понять явление использования больших данных в социальных сетях и будут полезны для ознакомления с ним.СПИСОК ЛИТЕРАТУРЫ15 самых влиятельных BigData, аналитиков и DataScientists //Spark.ru. - 2017. - URL:https://spark.ru/startup/get-it/blog/32495/15-samih-vliyatelnih-big-data-analitikov-i-data-scientists(дата обращения: 08.06.2020). - Режим доступа: свободный.BigData от А до Я. Часть 1: Принципы работы с большими данными, парадигма MapReduce // Хабр. Блог компании DCA. - URL: https://habr.com/ru/company/dca/blog/267361(дата обращения: 08.06.2020). - Режим доступа: свободный.LectureonComputerScience// YouTube. - URL: https://www.youtube.com/channel/UCHEJCDnH5v0FHl8-yk3yfQg(дата обращения: 08.06.2020). - Режим доступа: свободный.Аналитический обзор рынка BigData // Хабр. Блог компании Московская биржа. - URL: https://habrahabr.ru/company/moex/blog/256747/ (дата обращения: 01.05.2020). - Режим доступа: свободный.Ананченко И. В. Использование программных и программно-аппаратных средств для работы с большими массивами данных(BIG DATA) / И. В. Ананченко, Я. А. Полин // Успехи современной науки и образования. - 2017. - Т. 1, № 1. - С. 74-76. - URL: https://elibrary.ru/download/elibrary_28129957_39000832.pdf (дата обращения: 01.06.2020). - Режим доступа: для авториз. пользователей.Архитектурные решения систем BIG DATA / И. В.Имангулов, С. П. Воробьёв, А. А. Муттлак, Е. А.Чернова // Новая наука: Теоретический и практический взгляд. - 2017. - Т.2,№3. - С. 115-120. - URL: https://elibrary.ru/download/elibrary_28418471_98094918.pdf(дата обращения: 01.05.2020).- Режим доступа: для авториз. пользователей.Ашманов И. Аналитика BigData. Все секреты больших данных с конференции eTarget // YouTube. - URL:https://www.youtube.com/watch?v=ko1lkrwvEZg (дата обращения: 01.06.2020). - Режим доступа: свободный.Болбаков Л. И. Большие данные в информационных науках / Л. И. Болбаков // Образовательные ресурсы и технологии. - 2017. - №1 (18). - С. 30-34. - URL:https://cyberleninka.ru/article/n/bolshie-dannye-v-informatsionnyh-naukah/viewer (дата обращения: 09.06.2020). - Режим доступа: свободный.Горев А. И. Оприменимости существующих алгоритмов обработки данных кBigData / А. И. Горев, Е. Г. Горева // Математические структуры и моделирование. - 2020. -№ 1 (53). - С. 139-143. - URL: https://elibrary.ru/download/elibrary_42908166_86056649.pdf (дата обращения: 01.06.2020). - Режим доступа: для авториз. пользователей.Дадян Э. Г. Методы, модели, средства хранения и обработки данных : учебник / Э. Г. Дадян, Ю. А. Зеленков. - Москва : Вузовский учебник : ИНФРА-М, 2017. - 168 с. - URL: https://znanium.com/catalog/document?id=53900 (дата обращения: 09.06.2020). - Режим доступа: для авториз. пользователей.Дроздов В. С. BigDataаналитика и ее применение/ В. С. Дроздов // BigDataandAdvancedAnalytics. - 2017.- №3. - С. 232-237. - URL:https://elibrary.ru/download/elibrary_37147356_52930123.pdf (дата обращения: 01.06.2020). - Режим доступа: для авториз. пользователей.К вопросу о совместном применении технологий программно-определяемых сетей и BigData / А. А. Гуков, В. Н. Волков, О. А.Савина, А. В. Демидов // Фундаментальные и прикладные исследования: гипотезы, проблемы, результаты: сб. материалов IV Междунар. науч.-практ. конф. (Новосибирск, 16 марта, 12 апр. 2018 г.). - Новосибирск, 2018. - С. 277-283. - URL: https://elibrary.ru/download/elibrary_32842537_93972299.pdf (дата обращения: 01.06.2020). - Режим доступа: для авториз. пользователей.Кабдуллин А. А. Система OracleBigData для анализа больших данных / А. А.Кабдуллин // WORLD SCIENCE: PROBLEMS AND INNOVATIONS :сб.ст. победителей IX Междунар. науч.-практ. конф. ( Пенза, 30 апр. 2017 г.): в 2ч. - Пенза, 2017. - Ч. 2. - С. 171-174. – URL: https://elibrary.ru/download/elibrary_29075826_71201760.pdf(дата обращения: 01.06.2020). - Режим доступа: для авториз. пользователей.Каныгин Г. В. «Умные» технологии как источник BigData / Г. В. Каныгин, М. С.Полтинникова // Наука о данных : материалы Междунар. науч.-практ. конф. (Санкт-Петербург, 5–7 февраля 2020 г.). - Санкт-Петербург, 2020. - С. 133-135. - URL: https://elibrary.ru/download/elibrary_42541024_69183022.pdf (дата обращения: 01.06.2020). - Режим доступа: для авториз. пользователей.Корнев М. С. История понятия «Большие данные» (BigData): словари, научная и деловаяпериодика / М. С. Корнев // Вестник РГГУ. Серия: История. Филология. Культурология.Востоковедение. - 2018. - № 1 (34). - С. 81-85. - URL: https://elibrary.ru/download/elibrary_32855494_35989205.pdf(дата обращения: 01.06.2020). - Режим доступа: для авториз. пользователей.Лесковец Ю. Анализ больших наборов данных / Ю. Лесковец, А. Раджараман, Д. Ульман ; пер. с англ. А. А. Слинкина. - Москва : ДМК Пресс, 2016. - 498 с. - URL: https://new.znanium.com/catalog/product/1027845(дата обращения: 28.05.2020). - Режим доступа: для авториз. пользователей.Маликова С. BigData: тенденции развития, опасности и перспективы / С. Маликова // Экономика и жизнь. - 2018. - №17/18. - URL: https://www.eg-online.ru/article/372363/(дата обращения: 08.06.2020). - Режим доступа: свободный.Методы и модели исследования сложных систем и обработки больших данных: моногр. / И. Ю. Парамонов, В. А. Смагин, Н. Е. Косых, А. Д. Хомоненко. - Санкт-Петербург : Лань, 2020. - 236 с. - URL: https://e.lanbook.com/reader/book/126938/#2(дата обращения: 28.05.2020). - Режим доступа: для авториз. пользователей.Навроцкий А. А.BigData в автоматизации IT-решений / А. А. Навроцкий, С. Ю.Крюков // BigDataandAdvancedAnalytics. - 2016.- №2. - С. 240-244. - URL: https://www.elibrary.ru/download/elibrary_38176174_56857736.pdf (дата обращения 06.06.2020). - Режим доступа: для авториз. пользователей.Осипов К. А. Использование технологий bigdata в формировании системыуправления рисками предпринимательских структур / К. А.Осипов // Теория и практика сервиса:экономика, социальная сфера, технологии. - 2019. - № 2 (40). - С. 27-32. - URL: https://elibrary.ru/download/elibrary_39188918_73444344.pdf (дата обращения 06.06.2020). - Режим доступа: для авториз. пользователей.