Майнинг Криптовалюты
  • Новости
  • Криптовалюта
    • Что такое криптовалюта?
    • Как купить криптовалюту за рубли
    • Стейкинг — как получать доход от хранения криптовалюты?
    • NFT невзаимозаменяемые токены
    • Как заработать криптовалюту? ТОП-7 способов актуальных на 2022 год
    • Рейтинг криптовалютных обменников
    • Выбор кошелька для криптовалюты
    • Что такое Блокчейн (Blockchain)
    • Что такое альткоины (altcoins)
    • Что такое умные смарт-контракты
    • Что такое цифровой токен
    • Во что инвестировать в 2022 году
    • Криптовалюта Ethereum / Эфириум
      • Все виды кошельков для Эфириума — MyEtherWallet, Mist, Jaxx
      • Майнинг Эфириума (ETH) — пулы, программы, видеокарты
      • Как работает блокчейн Ethereum — смарт контракты и адреса счетов
      • Транзакции в сети Ethereum — Газ (GAS), комиссии, сложность сети
      • Токены ERC-20 на смарт-контрактах Ethereum. Что это и как работает?
    • Словарь криптовалютных терминов
  • Биткоин
    • Что такое Биткоин (Bitcoin)?
    • Как купить биткоины за рубли с карты Сбербанка, Киви, Яндекс Деньги
    • Какой Bitcoin кошелек выбрать — онлайн, локальный, аппаратный
    • Создание биткоин кошелька — пополнение, вывод, комиссии
    • Как майнить биткоины в 2022 году — виды майнинга, оборудование, пулы
    • Транзакции в сети Биткоин — время, отслеживание, размер комиссии
    • Биткоин краны — таблица 2022
    • Сатоши Накамото (создатель биткоина)
    • Как заработать биткоины и альткоины
  • Майнинг
    • Облачный майнинг — плюсы и минусы, рейтинг надежных сервисов
    • Что такое майнинг криптовалюты?
      • Сложность майнинга и хешрейт сети
      • Механизм консенсуса Proof-of-Work
      • Механизм консенсуса Proof-of-Stake
      • Алгоритмы майнинга криптовалют
      • Какую криптовалюту майнить в 2022?
      • Браузерный майнинг — что это и как на нем заработать
    • Майнинг ферма — сборка и настройка
    • Оборудование для майнинга криптовалют актуальное на 2022
      • Материнские платы на 4-13 видеокарт
      • Блоки питания, серверные и обычные
      • Райзеры для видеокарт
      • Комплектующие для майнинг фермы — процессоры, жесткие диски, ОЗУ
      • Сборка каркаса для GPU-фермы: чертеж и размеры
    • Майнинг на видеокарте (GPU)
      • Лучшие видеокарты для майнинга 2022 (таблицы и калькуляторы)
      • Какие драйвера ставить для майнинга на видеокартах Nvidia и AMD
      • Разгон видеокарт Nvidia и AMD для эффективности майнинга
      • Обзоры моделей видеокарт для майнинга — хешрейт и разгон
        • Обзор видеокарты RTX 2080
        • Обзор видеокарты RTX 2070 SUPER
        • Обзор видеокарты RTX 2060
        • Обзор видеокарты Radeon RX 5700 RX/XT
        • Обзор видеокарты Nvidia GTX Titan V
        • Обзор видеокарты GTX 1080 ti 8g
        • Обзор видеокарты GTX 1070 8g
        • Обзор видеокарты GTX 1060 3-6g
        • Обзор видеокарты GTX 1050 ti 4g
        • Обзор видеокарты Radeon RX 580
        • Обзор видеокарты Radeon RX 480
        • Обзор видеокарты Radeon RX 470
    • Майнинг на процессоре (CPU)
    • Майнинг на жестком диске (HDD, SSD)
    • Майнинг на асиках (ASIC)
      • Обзор Bitmain Antminer S19 и S19 pro
      • Обзор Bitmain Antminer S17+
      • Обзор Bitmain Antminer S15 и T15
      • Обзор Bitmain Antminer S9 и S9i
    • Калькуляторы прибыльности и окупаемости майнинга
    • Программы для майнинга
      • Hive OS 2.0 — специальная ОС для майнинга, установка и настройка
      • Claymore’s Dual Miner для GPU видеокарт Nvidia и AMD
  • Биржи
    • Рейтинг ТОП-15 криптовалютных бирж на 2022 год. Выбор криптобиржи
    • Как получать пассивный доход от хранения криптовалюты на бирже?
    • Фьючерсы на биткоин — что это такое и где можно ими торговать?
    • Обзоры 10 лучших криптовалютных площадок с пошаговой инструкцией
      • Обзор биржи Binance (Бинанс) — торговая площадка №1 в мире
      • Обзор биржи EXMO (Эксмо)
      • Обзор биржи PrimeXBT (Прайм-XBT)
      • Обзор биржи Huobi (Хуоби)
      • Обзор биржи BTC-Alpha (БТС-Альфа)
      • Обзор биржи Kucoin (Кукоин)
      • Обзор биржи OKEx (Окекс)
      • Обзор биржи Bittrex (Битрикс)
      • Обзор биржи Poloniex (Полоникс)
      • Обзор биржи YoBit (Йобит)
    • Как правильно торговать на бирже криптовалют?
    • Боты для торговли на криптобиржах
  • Пулы и сервисы
    • Стейкинг — получение дохода от хранения криптовалют. Виды и условия
    • NFT Binance: платформа для покупки и продажи NFT-токенов
    • IQMining сервис облачного майнинга №1 в мире — тарифы и настройки
    • Рейтинг лучших майниг-пулов для добычи на своем оборудовании 2022
      • Binance Pool — настройка майнинга биткоина, комиссии, вывод средств
      • Пулы для добычи Bitcoin (BTC)
      • Пулы для майнинга Ethereum (ETH)
      • Пулы для майнинга Zcash (ZEC)
      • Пулы для майнинга Litecoin (LTC)
  • Технологии
    • Даркнет (DarkNet)
    • Биг Дата (Big Data)
    • Интернет вещей (IoT)
    • 5G интернет технология
    • Робототехника (robotics)
    • QR-код (Quick Response Code)
    • Антиматерия (антивещество)
    • Искусственный интеллект (AI)
    • Виртуальная реальность (VR / AR)
    • Облачный майнинг (Cloud Mining)
    • Нейронные сети (neural network)
    • Децентрализованные финансы (DeFi)
    • Квантовый компьютер / вычисления
    • Двухфакторная аутентификация (2FA)
    • Машинное обучение (Machine Learning)
    • Цифровая экономика (Digital Economy)
Рейтинги крипто-сервисов
  • Криптовалютные биржи
  • Кошельки для криптовалюты
  • Обменники цифровых валют
  • Сервисы майнинга криптовалюты
База знаниий и IT-технологии
  • Биткоин-фьючерсы
  • Стейкинг / Staking
  • Технология 5G
  • Робототехника
  • Даркнет / DarkNet
  • Децентрализация
  • Облачный майнинг
  • Машинное обучение
  • Альткоины / Altcoins
  • Цифровая экономика
  • Блокчейн / Blockchain
  • Квантовый компьютер
  • Интернет вещей / IoT
  • Стейблкоины / Stablecoins
  • Метавселенная / Metaverse
  • Большие данные / Big Data
  • QR-код / Quick Response Code
  • Искусственный интеллект / AI
  • Фиатные деньги / Фиатная валюта
  • NFT / Невзаимозаменяемые токены
  • Децентрализованные финансы / DeFi
  • Двухфакторная аутентификация / 2FA
  • Нейронные сети / Искусственные нейроны
  • Государственные цифровые валюты / CBDC
Обзоры ведущих криптовалют
  • Bitcoin (BTC) / Биткоин
  • Ethereum (ETH) / Эфириум
  • Binance Coin (BNB) / Бинанс коин
  • Cardano (ADA) / Кардано
  • Polkadot (DOT) / Полкадот
  • Solana (SOL) / Солана
  • Ripple (XRP) / Рипл
  • Tether (USDT) / Тезер
  • Цифровой рубль / Крипторубль
Криптовалютная биржа Binance

Что такое машинное обучение? Методы, типы, задачи и примеры машинного обучения

by Mining-Cryptocurrency.ru 8 апреля, 2020 No Comments
Машинное обучение

Машинное обучение (Machine Learning) это тренировка математической модели на исторических данных для того, чтобы прогнозировать какое-то событие или явление на новых данных. То есть попытка заставить алгоритмы программ совершать действия на основе предыдущего опыта, а не только на основе имеющихся данных.

Для обучения нужны исторические данные (обучающая выборка) и значение целевой переменной (то, что прогнозируем), которое соответствует заданным историческим данным. Модель наблюдает и находит зависимости между данными и целевой переменной. Эти зависимости используются моделью для нового набора данных, чтобы прогнозировать целевую переменную, которая неизвестна.

Машинное обучение включает в себя целый набор методов и алгоритмов, которые могут предсказать какой-то результат по входным данным. Например, у вас есть какая-то информация по тому, сколько стоили ценные бумаги в каждый момент из какого-то длинного промежутка времени, алгоритмы машинного обучения могут предсказать, сколько эти бумаги будут стоить в будущем.

Алгоритмов машинного обучение большое множество: одни эффективны для решения одного типа задач задач, вторые — для другого. Важно не путать машинное обучение, нейросети и искусственный интеллект, это принципиально разные вещи. Обучить искусственный интеллект можно не только методами машинного обучения, а кроме нейросетевых алгоритмов есть ещё и классическое обучение, и обучение с подкреплением.

Навигация по материалу:

  • 1 Суть технологии машинного обучения
  • 2 Задачи машинного обучения
  • 3 Способы машинного обучения
    • 3.1 С учителем (Supervised machine learning)
    • 3.2 Без учителя (Unsupervised machine learning)
    • 3.3 Глубокое обучение (Deep learning)
  • 4 Методы машинного обучения
    • 4.1 Алгоритмы машинного обучения
  • 5 Примеры реального использования машинного обучения
    • 5.1 Google — нейронные сети
    • 5.2 Twitter — новостная лента
    • 5.3 Facebook — армия чатботов
    • 5.4 Baidu — будущее голосового поиска
    • 5.5 IBM — здравоохранение нового поколения
  • 6 Где можно получить образование по машинному обучению?
    • 6.1 Особенности обучения в GeekUniversity

Суть технологии машинного обучения

Говоря в общем, машинное обучение — это обучение компьютерной программы или алгоритма постепенному улучшению исполнения поставленной задачи.

Машинное обучение обозначает множество математических, статистических и вычислительных методов для разработки алгоритмов, способных решить задачу не прямым способом, а на основе поиска закономерностей в разнообразных входных данных.

Решение вычисляется не по четкой формуле, а по установленной зависимости результатов от конкретного набора признаков и их значений.Например, если каждый день в течении недели земля покрыта снегом и температура воздуха существенно ниже нуля, то вероятнее всего, наступила зима. Поэтому машинное обучение применяется для диагностики, прогнозирования, распознавания и принятия решений в различных прикладных сферах: от медицины до банковской деятельности.

Технология машинного обучения

Машинное обучение — не только математическая, но и практическая, инженерная дисциплина. Чистая теория, как правило, не приводит сразу к методам и алгоритмам, применимым на практике. Чтобы заставить их хорошо работать, приходится изобретать дополнительные эвристики, компенсирующие несоответствие сделанных в теории предположений условиям реальных задач. Практически ни одно исследование в машинном обучении не обходится без эксперимента на модельных или реальных данных, подтверждающего практическую работоспособность метода.

GeekUniversity совместно с Mail.ru Group открыли первый в России факультет Искусственного интеллекта преподающий машинное обучение. Для учебы достаточно школьных знаний. Программа включает в себя все необходимые ресурсы и инструменты + целая программа по высшей математике. Не абстрактная, как в обычных вузах, а построенная на практике. Обучение познакомит вас с технологиями машинного обучения и нейронными сетями, научит решать настоящие бизнес-задачи.

Образование по искусственному интеллекту

Задачи машинного обучения

Машинное обучение базируется на идее о том, что аналитические системы могут учиться выявлять закономерности и принимать решения с минимальным участием человека.

В машинном обучении выделяют четыре ключевые задачи:

  • регрессия — предсказание числовых значений признаков, например, предсказание будущих объемов продаж на основании известных данных о продажах в прошлом;
  • классификация — предсказание того, к какому из известных классов относится объект, например, предсказание того, вернет ли заемщик кредит, на основании данных о том, как возвращали кредиты заемщики в прошлом;
  • кластеризация — разделение большого множества объектов на кластеры — классы, внутри которых объекты похожи между собой, например, сегментирование рынка, разделение всех потребителей на классы так, что внуктри классов потребители похожи между собой, а в разных классах — отличаются;
  • уменьшение размерности – сведение большого числа признаков к меньшему (обычно 2–3) для удобства их последующей визуализации (например, сжатие данных);
  • поиск аномалий — поиск редких и необычных объектов, существенно отличающихся от основной массы, например, поиск мошеннических транзакций.

Способы машинного обучения

Каким бывает машинное обучение? Оно разделяется на три основных вида:

  1. С учителем (Supervised machine learning).
  2. Без учителя (Unsupervised machine learning).
  3. Глубокое обучение (Deep learning).

Типы машинного обучения

Рассмотрим подобрее каждый из способов и их принципиальные отличия.

С учителем (Supervised machine learning)

Для удобства мы рассмотрим этот метод на условном примере анализа склонности к определенным предметам – в программу будут вноситься данные об учениках и о том, каких результатов они добиваются.

Учителем выступает человек, который вбивает в компьютер данные. Допустим, он внес в базу следующую таблицу:

Имя ученика Класс IQ Пол Склад ума Возраст Предмет с самой высокой успеваемостью
Олег 8 120 Мужской Техничес­кий 15 Геомет­рия
Виктория 8 100 Женский Творчес­кий 15 Литера­тура
Иван 8 110 Мужской Гуманитар­ный 14 История
Игорь 8 105 Мужской Техничес­кий 15 Физика
Мария 8 120 Женский Гуманитар­ный 14 Литера­тура

Исходя из этих данных, программа может построить причинно-следственные связи и помочь учащимся с профориентацией. Например, она может предположить, что Мария может поступить на филологический факультет потому, что получила высший балл по литературе и имеет гуманитарный склад ума. Олег со склонностью к техническим наукам и хорошими результатами по геометрии может смотреть в сторону профессии инженера-проектировщика.

То есть учитель дает компьютеру dataset: вводную информацию (пол, возраст, IQ, склад ума, класс), а затем сразу же дает ему данные о результатах учебы, задавая вопрос «вот данные, они влияют на будущую профессию, как думаешь, почему?». И чем больше будет вводных, тем точнее будет анализ.

Так, например, программы учат распознавать объекты на фотографиях – программа просматривает миллионы изображений с описанием того, что на них изображено (дерево или облако). Она находит общие черты и уже сама учится давать описания изображениям. Учитель показывает изображение без описания, а программа спрашивает «это дерево?». Если человек отвечает утвердительно, программа понимает, что сделала правильные выводы. Хороший пример такой системы – облачный сервис для встраивания в приложения машинного зрения Vision на платформе Mail.Ru Cloud Solutions.

Систему распознавания объектов можно использовать для обеспечения работы беспилотных автомобилей. Для этого собираются данные с датчиков беспилотника и передаются пользователям, которые, к примеру, отмечают на снимках автомобили.

Без учителя (Unsupervised machine learning)

В начале статьи был ролик о том, как ИИ научился ходить. Эта программа получила задание от разработчика – добраться до точки Б. Но она не знала, как это сделать – ей даже не показали, как выглядит ходьба, но это не помешало ИИ выполнить задачу.

Поэтому обучение на играх – это один из самых эффективных способов машинного обучения. Вот более простой пример – программа получает данные о том, как далеко от нее находятся какие-то объекты, и может выбрать, как лучше перемещаться в игре «Змейка», чтобы получить больше очков:

Возвращаясь к примеру с профориентацией, можно сказать, что программа получает данные об учениках и их успеваемости, но не знает, что между ними есть связь. Обработав большой объем информации, она замечает, что данные влияют друг на друга, и делает какие-то выводы. Например, что склад ума важнее IQ, а возраст важнее пола и так далее.

Такой подход изучается для выполнения тех задач, где присутствует неочевидное решение. Например, в том же маркетинге. ИИ не понимает, что предлагать похожий товар человеку, который в нем не нуждается, нелогично, если это приносит деньги.

Также нейросети могут обучаться не самостоятельно, а в паре. Так работает генеративно-состязательная сеть (GAN). Она состоит из сетей G и D – первая на основе реальных изображений генерирует образцы, а вторая пытается отличить подлинные образцы от неправильных.

Технология используется для того, чтобы создавать фотографии, неотличимые от реальных, а также восстанавливать поврежденные или нечеткие изображения. Одна из компаний, которая использует GAN, –Facebook.

Глубокое обучение (Deep learning)

Глубокое обучение может быть как с учителем, так и без, но оно подразумевает под собой анализ Big Data – настолько большого массива информации, что одного компьютера будет недостаточно. Поэтому Deep Learning использует для работы нейронные сети.

Нейронные сети позволяют разделить одну большую задачу на несколько маленьких и делегировать их другим устройствам. Например, один процессор собирает информацию и передает ее двум другим. Те, в свою очередь, анализируют ее и передают еще четырем, которые выполняют еще какие-то задачи и передают следующим процессорам.

Это можно рассмотреть на примере систем распознавания объектов:

  • получение изображения;
  • выявление всех точек;
  • нахождение линий, построенных из точек;
  • построение простых фигур с помощью линий;
  • составление сложных фигур из простых и так далее.

То есть получая изображение человека, нейросеть сначала видит точки, потом линии, а затем круги и треугольники, из которых складывается лицо:

Я нейросеть, я так вижу

Deep learning может использоваться для самых неожиданных целей. Например, существует искусственный интеллект по имени Норман, его отправили изучать разделы с «жестью» на Reddit – кадры с расчлененными людьми, фотографии с мест преступлений, жуткие истории и так далее.

Затем Норману предложили пройти тест Роршаха, чтобы сравнить его ответы с ответами других ИИ – где одни видели цветы, животных и зонты, Норман видел мертвых мужчин и женщин, убитых самыми разными способами.

Работа с ним показывает, насколько важна информация, которую получает программа на первых этапах работы. Сейчас разработчики проводят исследования, которые помогут «вылечить» Нормана.

Похожая ситуация произошла с чат-ботом Тау от Microsoft, который общался с людьми в Twitter. Всего за сутки он стал публиковать нацистские, женоненавистнические и другие оскорбительные высказывания. Позже компания заблокировала его.

Методы машинного обучения

Сегодня чаще всего для создания программ машинного обучения используются языки R, Python, Scala и Julia. Они поддерживаются многими интегрированными средами разработки, в частности, R-Studio, R-Brain, Visual Studio, Eclipse, PyCharm, Spyder, IntelliJ IDEA, Jupyter Notebooks, Juno и др.

Классификация методов Machine Learning

Нейронные сети

Нейронные сети имитируют структуру головного мозга: каждый искусственный нейрон соединяется с несколькими другими нейронами. Нейросети имеют многослойную структуру: нейроны на одном слое передают данные нескольким нейронам на следующем и т. д. В конечном счете данные достигают выходного слоя, где сеть выдает предположение о том, как решить задачу, классифицировать объект и т. п.

Нейросети применяются в целом ряде отраслей. В здравоохранении их используют при анализе медицинских снимков с целью ускорения диагностических процедур и поиска лекарств. В телекоммуникационной отрасли и медиаиндустрии нейросети можно применять для машинного перевода, распознавания мошенничеств и предоставления услуг виртуальных ассистентов. В финансовой отрасли их используют для распознавания мошенничеств, управления портфелями и анализа риска. В розничной торговле — для избавления от очередей в кассу и для персонализации обслуживания покупателей.

Дерево решений

Алгоритм дерева решений классифицирует объекты, отвечая на «вопросы» об их атрибутах, расположенные в узловых точках. В зависимости от ответа выбирается одна из ветвей, и так до тех пор, пока не будет достигнут «лист» — окончательный ответ.

Среди применений дерева решений — платформы управления знаниями для клиентского обслуживания, прогнозного назначения цен и планирования выпуска продукции.

В страховой компании дерево решений поможет выяснить, какие виды страховых продуктов и премий лучше задействовать с учетом возможного риска. Используя данные о местонахождении и сведения о страховых случаях с учетом погодных условий, система может определять категории риска на основании поданных требований и затраченных сумм. Затем, используя модели, система будет оценивать новые заявления о страховой защите, классифицируя их по категории риска и возможному финансовому ущербу.

«Случайный лес»

Чтобы одиночное дерево решений давало точные результаты, его нужно обучать, алгоритм же случайного леса (random forest) использует «комитет» случайным образом созданных решающих деревьев с разными наборами атрибутов и дает возможность им проголосовать, чтобы выбрать самый популярный класс.

Случайный лес — универсальный, быстро обучаемый механизм для обнаружения связей внутри набора данных. В пример можно привести нежелательные массовые рассылки, создающие проблемы не только пользователям, но и провайдерам Интернета, которым из-за спама приходится иметь дело с повышенной нагрузкой на серверы. Для борьбы с проблемой были разработаны автоматизированные методы фильтрации спама, которые с помощью ансамбля решающих деревьев быстро и эффективно определяют нежелательные письма.

Среди других применений — диагностика заболеваний путем анализа медицинской карты пациента, распознавание банковских мошенничеств, прогнозирование числа звонков в колл-центрах и прогнозирование вероятности прибыли и убытка при покупке определенных акций.

Кластеризация

Кластеризация — это группирование элементов данных, имеющих сходные характеристики, с помощью статистических алгоритмов. Это метод обучения без учителя, который можно использовать для решения задач классификации.

Примеры: сегментирование покупательской аудитории в зависимости от характеристик для уточнения адресации маркетинговых кампаний; рекомендации новостей конкретным читателям; помощь в работе правоохранительным органам.

Кластеризация также действенна, когда в сложных наборах данных нужно обнаружить группы, которые трудно заметить без специальных средств. Примеры — от группирования похожих документов в базе данных до обнаружения по криминальным новостям территорий с повышенным уровнем преступности.

Поиск ассоциативных правил

Поиск ассоциативных правил — это метод обучения без учителя, позволяющий находить отношения между переменными. Используется в движках выдачи рекомендаций — именно этот метод применяется во многих интернет-магазинах для составления фразы «Вместе с этим товаром обычно покупают…».

Конкретный пример — повышение продаж в магазине деликатесов. Изучив покупательское поведение путем поиска ассоциативных правил, можно предлагать специальную упаковку и наборы для праздников и других особых случаев. Ассоциативные правила позволяют выяснить, когда и при каких обстоятельствах покупатели приобретают те или иные сочетания товаров. Используя сведения о прошлых покупках и времени их совершения, можно составить программу скидок и сформировать индивидуальные предложения с расчетом на повышение продаж.

Алгоритмы машинного обучения

Алгоритмы машинного обучения можно описать как обучение целевой функции f, которая наилучшим образом соотносит входные переменные X и выходную переменную Y: Y = f(X).

Мы не знаем, что из себя представляет функция f. Ведь если бы знали, то использовали бы её напрямую, а не пытались обучить с помощью различных алгоритмов.

Наиболее распространённой задачей в машинном обучении является предсказание значений Y для новых значений X. Это называется прогностическим моделированием, и наша цель — сделать как можно более точное предсказание.

Представляем вашему вниманию краткий обзор топ-10 популярных алгоритмов, используемых в машинном обучении.

Линейная регрессия

Линейная регрессия — пожалуй, один из наиболее известных и понятных алгоритмов в статистике и машинном обучении.

Прогностическое моделирование в первую очередь касается минимизации ошибки модели или, другими словами, как можно более точного прогнозирования. Мы будем заимствовать алгоритмы из разных областей, включая статистику, и использовать их в этих целях.

Линейную регрессию можно представить в виде уравнения, которое описывает прямую, наиболее точно показывающую взаимосвязь между входными переменными X и выходными переменными Y. Для составления этого уравнения нужно найти определённые коэффициенты B для входных переменных.

Линейная регрессия

Например: Y = B0 + B1 * X

Зная X, мы должны найти Y, и цель линейной регрессии заключается в поиске значений коэффициентов B0 и B1.

Для оценки регрессионной модели используются различные методы вроде линейной алгебры или метода наименьших квадратов.

Линейная регрессия существует уже более 200 лет, и за это время её успели тщательно изучить. Так что вот пара практических правил: уберите похожие (коррелирующие) переменные и избавьтесь от шума в данных, если это возможно. Линейная регрессия — быстрый и простой алгоритм, который хорошо подходит в качестве первого алгоритма для изучения.

Логистическая регрессия

Логистическая регрессия — ещё один алгоритм, пришедший в машинное обучение прямиком из статистики. Её хорошо использовать для задач бинарной классификации (это задачи, в которых на выходе мы получаем один из двух классов).

Логистическая регрессия похожа на линейную тем, что в ней тоже требуется найти значения коэффициентов для входных переменных. Разница заключается в том, что выходное значение преобразуется с помощью нелинейной или логистической функции.

Логистическая функция выглядит как большая буква S и преобразовывает любое значение в число в пределах от 0 до 1. Это весьма полезно, так как мы можем применить правило к выходу логистической функции для привязки к 0 и 1 (например, если результат функции меньше 0.5, то на выходе получаем 1) и предсказания класса.

Логистическая регрессия

Благодаря тому, как обучается модель, предсказания логистической регрессии можно использовать для отображения вероятности принадлежности образца к классу 0 или 1. Это полезно в тех случаях, когда нужно иметь больше обоснований для прогнозирования.

Как и в случае с линейной регрессией, логистическая регрессия выполняет свою задачу лучше, если убрать лишние и похожие переменные. Модель логистической регрессии быстро обучается и хорошо подходит для задач бинарной классификации.

Линейный дискриминантный анализ (LDA)

Логистическая регрессия используется, когда нужно отнести образец к одному из двух классов. Если классов больше, чем два, то лучше использовать алгоритм LDA (Linear discriminant analysis).

Представление LDA довольно простое. Оно состоит из статистических свойств данных, рассчитанных для каждого класса. Для каждой входной переменной это включает:

  • Среднее значение для каждого класса;
  • Дисперсию, рассчитанную по всем классам.

Линейный дискриминантный анализ (LDA)

Предсказания производятся путём вычисления дискриминантного значения для каждого класса и выбора класса с наибольшим значением. Предполагается, что данные имеют нормальное распределение, поэтому перед началом работы рекомендуется удалить из данных аномальные значения. Это простой и эффективный алгоритм для задач классификации.

Деревья принятия решений

Дерево решений можно представить в виде двоичного дерева, знакомого многим по алгоритмам и структурам данных. Каждый узел представляет собой входную переменную и точку разделения для этой переменной (при условии, что переменная — число).

Деревья принятия решений

Листовые узлы — это выходная переменная, которая используется для предсказания. Предсказания производятся путём прохода по дереву к листовому узлу и вывода значения класса на этом узле.

Деревья быстро обучаются и делают предсказания. Кроме того, они точны для широкого круга задач и не требуют особой подготовки данных.

Наивный Байесовский классификатор

Наивный Байес — простой, но удивительно эффективный алгоритм.

Модель состоит из двух типов вероятностей, которые рассчитываются с помощью тренировочных данных:

  • Вероятность каждого класса.
  • Условная вероятность для каждого класса при каждом значении x.

После расчёта вероятностной модели её можно использовать для предсказания с новыми данными при помощи теоремы Байеса. Если у вас вещественные данные, то, предполагая нормальное распределение, рассчитать эти вероятности не составляет особой сложности.

Наивный Байесовский классификатор

Наивный Байес называется наивным, потому что алгоритм предполагает, что каждая входная переменная независимая. Это сильное предположение, которое не соответствует реальным данным. Тем не менее данный алгоритм весьма эффективен для целого ряда сложных задач вроде классификации спама или распознавания рукописных цифр.

K-ближайших соседей (KNN)

К-ближайших соседей — очень простой и очень эффективный алгоритм. Модель KNN (K-nearest neighbors) представлена всем набором тренировочных данных. Довольно просто, не так ли?

Предсказание для новой точки делается путём поиска K ближайших соседей в наборе данных и суммирования выходной переменной для этих K экземпляров.

Вопрос лишь в том, как определить сходство между экземплярами данных. Если все признаки имеют один и тот же масштаб (например, сантиметры), то самый простой способ заключается в использовании евклидова расстояния — числа, которое можно рассчитать на основе различий с каждой входной переменной.

K-ближайших соседей (KNN)

KNN может потребовать много памяти для хранения всех данных, но зато быстро сделает предсказание. Также обучающие данные можно обновлять, чтобы предсказания оставались точными с течением времени.

Идея ближайших соседей может плохо работать с многомерными данными (множество входных переменных), что негативно скажется на эффективности алгоритма при решении задачи. Это называется проклятием размерности. Иными словами, стоит использовать лишь наиболее важные для предсказания переменные.

Сети векторного квантования (LVQ)

Недостаток KNN заключается в том, что нужно хранить весь тренировочный набор данных. Если KNN хорошо себя показал, то есть смысл попробовать алгоритм LVQ (Learning vector quantization), который лишён этого недостатка.

Сети векторного квантования (LVQ)

LVQ представляет собой набор кодовых векторов. Они выбираются в начале случайным образом и в течение определённого количества итераций адаптируются так, чтобы наилучшим образом обобщить весь набор данных.

После обучения эти вектора могут использоваться для предсказания так же, как это делается в KNN. Алгоритм ищет ближайшего соседа (наиболее подходящий кодовый вектор) путём вычисления расстояния между каждым кодовым вектором и новым экземпляром данных. Затем для наиболее подходящего вектора в качестве предсказания возвращается класс (или число в случае регрессии). Лучшего результата можно достичь, если все данные будут находиться в одном диапазоне, например от 0 до 1.

Метод опорных векторов (SVM)

Метод опорных векторов, вероятно, один из наиболее популярных и обсуждаемых алгоритмов машинного обучения.

Гиперплоскость — это линия, разделяющая пространство входных переменных. В методе опорных векторов гиперплоскость выбирается так, чтобы наилучшим образом разделять точки в плоскости входных переменных по их классу: 0 или 1. В двумерной плоскости это можно представить как линию, которая полностью разделяет точки всех классов. Во время обучения алгоритм ищет коэффициенты, которые помогают лучше разделять классы гиперплоскостью.

Метод опорных векторов (SVM)

Расстояние между гиперплоскостью и ближайшими точками данных называется разницей. Лучшая или оптимальная гиперплоскость, разделяющая два класса, — это линия с наибольшей разницей. Только эти точки имеют значение при определении гиперплоскости и при построении классификатора. Эти точки называются опорными векторами. Для определения значений коэффициентов, максимизирующих разницу, используются специальные алгоритмы оптимизации.

Метод опорных векторов, наверное, один из самых эффективных классических классификаторов, на который определённо стоит обратить внимание.

Бэггинг и случайный лес

Случайный лес — очень популярный и эффективный алгоритм машинного обучения. Это разновидность ансамблевого алгоритма, называемого бэггингом.

Бутстрэп является эффективным статистическим методом для оценки какой-либо величины вроде среднего значения. Вы берёте множество подвыборок из ваших данных, считаете среднее значение для каждой, а затем усредняете результаты для получения лучшей оценки действительного среднего значения.

В бэггинге используется тот же подход, но для оценки всех статистических моделей чаще всего используются деревья решений. Тренировочные данные разбиваются на множество выборок, для каждой из которой создаётся модель. Когда нужно сделать предсказание, то его делает каждая модель, а затем предсказания усредняются, чтобы дать лучшую оценку выходному значению.

Бэггинг и случайный лес

В алгоритме случайного леса для всех выборок из тренировочных данных строятся деревья решений. При построении деревьев для создания каждого узла выбираются случайные признаки. В отдельности полученные модели не очень точны, но при их объединении качество предсказания значительно улучшается.

Если алгоритм с высокой дисперсией, например, деревья решений, показывает хороший результат на ваших данных, то этот результат зачастую можно улучшить, применив бэггинг.

 Бустинг и AdaBoost

Бустинг — это семейство ансамблевых алгоритмов, суть которых заключается в создании сильного классификатора на основе нескольких слабых. Для этого сначала создаётся одна модель, затем другая модель, которая пытается исправить ошибки в первой. Модели добавляются до тех пор, пока тренировочные данные не будут идеально предсказываться или пока не будет превышено максимальное количество моделей.

AdaBoost был первым действительно успешным алгоритмом бустинга, разработанным для бинарной классификации. Именно с него лучше всего начинать знакомство с бустингом. Современные методы вроде стохастического градиентного бустинга основываются на AdaBoost.

Бустинг и AdaBoost

AdaBoost используют вместе с короткими деревьями решений. После создания первого дерева проверяется его эффективность на каждом тренировочном объекте, чтобы понять, сколько внимания должно уделить следующее дерево всем объектам. Тем данным, которые сложно предсказать, даётся больший вес, а тем, которые легко предсказать, — меньший.

Модели создаются последовательно одна за другой, и каждая из них обновляет веса для следующего дерева. После построения всех деревьев делаются предсказания для новых данных, и эффективность каждого дерева определяется тем, насколько точным оно было на тренировочных данных.

Так как в этом алгоритме большое внимание уделяется исправлению ошибок моделей, важно, чтобы в данных отсутствовали аномалии.

Примеры реального использования машинного обучения

Хотите увидеть, как применяется машинное обучение в реальной жизни? Ниже мы приведем примеры эффективного использования этой технологии в реальных компаниях.

Google — нейронные сети

У Google впечатляющие технологические амбиции. Сложно представить себе сферу научных исследований, в которую бы не внесла вклад эта корпорация (или ее головная компания Alphabet).

Например, за последние годы Google занимались разработкой технологий, замедляющих старение, медицинских устройств и нейронных сетей.

Самое значимое достижение компании – создание в DeepMind машин, которые могут мечтать и создавать необычные изображения.

Нейронные сети Google создают необычные изображения

Google стремится изучить все аспекты машинного обучения, что помогает компании совершенствовать классические алгоритмы, а также эффективнее обрабатывать и переводить естественную речь, улучшать ранжирование и предсказательные системы.

Twitter — новостная лента

Одно из самых значимых изменений в Twitter за последнее время – переход к новостной ленте на базе алгоритмов.

Теперь пользователи соцсети могут сортировать отображаемый контент по популярности или по времени публикации.

В основе этих изменений лежит применение машинного обучения. Искусственный интеллект анализирует каждый твит в реальном времени и оценивает его по нескольким показателям.

Алгоритм Twitte в первую очередь показывает те записи, которые с большей вероятностью понравятся пользователю. При этом выбор основывается на его личных предпочтениях.

facebook-armiya-chatbotov

Facebook — армия чатботов

Facebook Messenger – один из самых интересных продуктов крупнейшей социальной платформы в мире. Все потому, что мессенджер стал своеобразной лабораторией чатботов. При общении с некоторыми из них сложно понять, что ты разговариваешь не с человеком.

Любой разработчик может и запустить его на базе Facebook Messenger. Благодаря этому даже небольшие компании имеют возможность предлагать клиентам отличный сервис.

Конечно, это не единственная сфера применения машинного обучения в Facebook. AI приложения используются для фильтрации спама и контента низкого качества, также компания разрабатывает алгоритмы компьютерного зрения, которые позволяют компьютерам “читать” изображения.

Baidu — будущее голосового поиска

Google не единственный поисковой гигант, который осваивает машинное обучение. Китайский поисковик Baidu тоже активно инвестирует в развитие AI.

Одна из самых интересных разработок компании – Deep Voice, нейронная сеть, способная генерировать синтетические человеческие голоса, которые практически невозможно отличить от настоящих. Система может имитировать особенности интонации, произношения, ударения и высоты тона.

Последнее изобретение Baidu Deep Voice 2 значительно повлияет на эффективность обработки естественного языка, голосового поиска и систем распознавания речи. Применять новую технологию можно будет в других сферах, например, устных переводах и системах биометрической безопасности.

IBM — здравоохранение нового поколения

Крупнейшая технологическая корпорация IBM отказывается от устаревшей бизнес-модели и активно осваивает новые направления. Самый известный сегодня продукт бренда – искусственный интеллект Watson.

За последние несколько лет Watson использовался в госпиталях и медицинских центрах, где диагностировал определенные виды рака намного эффективнее, чем онкологи.

У Watson также есть огромный потенциал в сфере ритейла, где он может выполнять роль консультанта. IBM предлагает свой продукт на основе лицензии, что делает его уникальным в своем роде и более доступным.

Где можно получить образование по машинному обучению?

GeekUniversity совместно с Mail.ru Group открыли первый в России факультет Искусственного интеллекта преподающий машинное обучение.

Для учебы достаточно школьных знаний. У вас будут все необходимые ресурсы и инструменты + целая программа по высшей математике. Не абстрактная, как в обычных вузах, а построенная на практике. Обучение познакомит вас с технологиями машинного обучения и нейронными сетями, научит решать настоящие бизнес-задачи.

Обучение искусственному интеллекту

После учебы вы сможете работать по специальностям:

  • Искусственный интеллект,
  • Машинное обучение,
  • Нейронные сети,
  • Анализ больших данных.

Особенности обучения в GeekUniversity

Через полтора года практического обучения вы освоите современные технологии Data Science и приобретете компетенции, необходимые для работы в крупной IT-компании. Получите диплом о профессиональной переподготовке и сертификат.

Обучение проводится на основании государственной лицензии № 040485. По результатам успешного завершения обучения выдаем выпускникам диплом о профессиональной переподготовке и электронный сертификат на портале GeekBrains и Mail.ru Group.

Проектно-ориентированное обучение

Обучение происходит на практике, программы разрабатываются совместно со специалистами из компаний-лидеров рынка. Вы решите четыре проектные задачи по работе с данными и примените полученные навыки на практике. Полтора года обучения в GeekUniversity = полтора года реального опыта работы с большими данными для вашего резюме.

Наставник

В течение всего обучения у вас будет личный помощник-куратор. С ним вы сможете быстро разобраться со всеми проблемами, на которые в ином случае ушли бы недели. Работа с наставником удваивает скорость и качество обучения.

Основательная математическая подготовка

Профессионализм в Data Science — это на 50% умение строить математические модели и еще на 50% — работать с данными. GeekUniversity прокачает ваши знания в матанализе, которые обязательно проверят на собеседовании в любой серьезной компании.

GeekUniversity дает полтора года опыта работы для вашего резюме

В результате для вас откроется в 5 раз больше вакансий:

Статистика по данным сайта hh.ru за 2018 г. по запросу «Data Science»

Для тех у кого нет опыта в программировании, предлагается начать с подготовительных курсов. Они позволят получить базовые знания для комфортного обучения по основной программе.

The following two tabs change content below.
  • Автор материала
  • Последние новости мира криптовалют
Mining-Cryptocurrency.ru
Материал подготовлен редакцией сайта "Майнинг Криптовалюты", в составе: Главный редактор - Антон Сизов, Журналисты - Игорь Лосев, Виталий Воронов, Дмитрий Марков, Елена Карпина. Мы предоставляем самую актуальную информацию о рынке криптовалют, майнинге и технологии блокчейн. Отказ от ответственности: все материалы на сайте Mining-Cryptocurrency.ru имеют исключительно информативные цели и не являются торговой рекомендацией или публичной офертой к покупке каких-либо криптовалют или осуществлению любых иных инвестиций и финансовых операций.
Новости Mining-Cryptocurrency.ru (перейти к ленте всех новостей)
  • Инструкция: Как новичку купить биткоин на крипто-бирже за рубли? - 17.05.2024
  • Binance Earn — как получать пассивный доход от хранения криптовалюты на бирже Binance? - 17.05.2024
  • Что такое стейкинг и как получать пассивный доход от криптовалют? - 26.12.2022
  • Конфискация криптовалюты в России: как работает механизм изъятия криптоактивов? - 26.12.2022
  • Как минимизировать риски при торговле фьючерсами на Binance Futures? - 26.12.2022

IT технологии

  • Previous К концу июня цена Биткоина обновит годовой максимум и достигнет отметки $13 8005 лет ago
  • Next Цена BTC будет расти как минимум в течение следующих двенадцати месяцев5 лет ago

Добавить комментарий Отменить ответ

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Криптовалютная биржа Binance
Криптовалютные игры
Name Price24H (%)
bitcoin
Bitcoin(BTC)
$105,177.00
-2.21%
ethereum
Ethereum(ETH)
$2,529.52
-3.07%
ripple
XRP(XRP)
$2.17
-3.65%
binancecoin
BNB(BNB)
$652.74
-0.44%
solana
Solana(SOL)
$148.33
-3.24%
tron
TRON(TRX)
$0.273788
-0.86%
dogecoin
Dogecoin(DOGE)
$0.170827
-2.49%
cardano
Cardano(ADA)
$0.61
-3.76%
bitcoin-cash
Bitcoin Cash(BCH)
$476.35
-0.47%
chainlink
Chainlink(LINK)
$13.07
-4.78%
stellar
Stellar(XLM)
$0.252881
-3.84%
shiba-inu
Shiba Inu(SHIB)
$0.000012
-2.63%
litecoin
Litecoin(LTC)
$85.39
-1.93%
monero
Monero(XMR)
$324.12
-0.67%
polkadot
Polkadot(DOT)
$3.75
-3.20%
ethereum-classic
Ethereum Classic(ETC)
$16.57
-3.21%
vechain
VeChain(VET)
$0.021614
-3.99%
cosmos
Cosmos Hub(ATOM)
$4.05
-3.08%
algorand
Algorand(ALGO)
$0.170128
-4.36%
theta-token
Theta Network(THETA)
$0.69
-2.51%
zcash
Zcash(ZEC)
$41.33
-4.02%
iota
IOTA(IOTA)
$0.163653
-4.26%
tezos
Tezos(XTZ)
$0.54
-4.64%
flow
Flow(FLOW)
$0.346036
-2.55%
decentraland
Decentraland(MANA)
$0.255979
-4.54%
compound-governance-token
Compound(COMP)
$50.05
-8.96%
neo
NEO(NEO)
$5.46
-4.42%
eos
EOS(EOS)
$0.51
0.40%
matic-network
Polygon(MATIC)
$0.195396
-3.29%
Криптовалютная биржа Binance
Криптовалютная биржа №1 в мире
Copyright © 2017-2024. Все права защищены.
О сайте «Майнинг Криптовалюты»
Наши контакты: [email protected]
Политика конфиденциальности и ответственности
Криптовалютный сервис
Информационный портал «Майнинг Криптовалюты».