Люди обожают сохранять что-то на память, а также выкладывать в интернет фотографии, посты и видео. При этом машины любят
информацию еще больше: компьютеры, смартфоны и другие устройства создают около 80% новых данных. Из-за нашей общей любви к информации, ее количество постоянно растет. В 2018 году подсчитали, что вес всех данных мира составлял примерно 33 млрд терабайт, а к 2025 году прогнозируется рост до 175 млрд.
Ученые решили, что раз в мире так много информации, то было бы удобно анализировать ее всю сразу, допустим, одновременно посмотреть, как изменялась температура по всему земному шару за последние 50 лет. Раньше это было невозможно, но теперь с этой задачей справляются мощные компьютеры и современные методы исследований. В итоге, работа с большими данными уже не проблема.
Что такое большие данные?
Считается, что у таких данных есть пять основных характеристик:
- Огромный объем.
- Скорость создания и анализа данных. Каждый день люди производят порядка 2.5 квинтиллионов байтов новой информации, которую нужно быстро обрабатывать.
- Разнообразие. Большие данные – это информация разного типа из разных источников. Например, изображение, видео и аудиозаписи
в одном хранилище с текстовыми файлами. - Достоверность. В идеале, из больших данных нужно создавать массивы релевантной информации для конкретных проблем, а также избавляться от статистических выбросов.
- Ценность. Информация – самый дорогой актив 21 века, и у тех, кто научится обрабатывать и хранить огромные запасы данных, всегда будет конкурентное преимущество. Например, база данных о клиентах в семейном ресторане – это небольшие данные, поскольку их мало, новые добавляются редко и поэтому они не несут особой ценности. А вот база пользователей социальных сетей – это то что нужно. Там сотни миллионов людей, которые каждую секунду пишут посты, выкладывают фото и ставят лайки. Из этой базы можно получить выгоду, например, настроить рекламу по интересам.
Про большие данные так много говорят, потому что это ключ к решению проблем планетарного масштаба. Все ближе наступает будущее, в котором анализ больших данных позволит разобраться, как распределять энергию, запасы еды и медикаментов на уровне городов, стран или даже целой планеты. Более того, в Лос-Анджелесе уже экспериментируют над предотвращением преступлений. Полиция может на основе исторических данных об угонах и грабежах предсказывать, в каком районе произойдут новые происшествия и направляют туда больше патрулей.
Большие данные – топливо для технологий
Большие данные ценны сами по себе, а их главная роль – быть топливом для технологий и исследований. Их можно сравнить с большой поляной накрытой для пикника. Присоединиться может кто угодно: физик, экономист, биолог или даже искусственный интеллект. Физикам нужно обрабатывать большие данные, чтобы изучать глубины космоса, а экономистам, чтобы строить математические модели, которые бы учитывали тысячи факторов. Анализ больших данных помогает лучше понять природу: расшифровать ДНК вирусов или
предсказывать погоду на основе исторических наблюдений.
Беспилотные автомобили тоже появились благодаря технологии машинного обучения. Чтобы учиться, машинам нужны данные – чем больше, тем лучше. Робота-водителя учат распознавать на видео дорожные знаки, другие автомобили и людей, чтобы предсказывать их поведение и принимать максимально безопасное решение на дороге.
Онлайн-переводчик или персонализированная лента социальной сети – это тоже примеры того, как на поляну с большими данными пришел поучиться искусственный интеллект. Специалистов, которые занимаются большими данными, называют дата-аналитиками. Они могут обнаружить закономерности в данных и составить нужную выборку, дать прогноз или рекомендацию для бизнеса. Например, оператор мобильной связи хочет разослать предложение с новым тарифом только тем абонентам, кто старше 35 лет и разговаривает по телефону не менее 30 минут в месяц. Аналитик сможет выбрать из базы только тех клиентов, которые отвечают таким требованиям.
Большие данные – это основы для технологий будущего. Люди научились хранить и обрабатывать немыслимое количество информации, но это только первый шаг. Следующий этап – научиться решать с ее помощью глобальные проблемы человечества. Как говорится, большие данные – большие перспективы.
