Со многими ребятами с Kaggle мы общаемся и сегодня. Удивительно, конечно, какая открытая культура общения на таких ИТ-мероприятиях мирового уровня. Афтерпати конференции проходил на огромном стадионе Oracle Park (домашняя арена команды San Francisco Giants) с выступлением Гвен Стефани.

• Хотя вам вряд ли достанется приз, а задачи сильно отличаются от «промышленного» Data Science, соревнования — это отличный инструмент обучения.
• Любой пользователь Kaggle может предложить свой собственный набор данных для машинного обучения.
• Это популярный простой алгоритм для задач бинарной классификации, который поможет установить низкий порог для прохождения будущими моделями.
• Если получу еще одну, перейду на следующий уровень — «Эксперт».
• Например, знаю, что большая концентрация людей с высоким рейтингом на платформе работают в NVIDIA или успешном стартапе H2O.ai.

В карточке состязания содержится вся информация, которая нужна участникам. Там описывают суть задачи, прикрепляют данные, с которыми предстоит работать, указывают сроки и вознаграждение. Featexp также помогает определить относительную важность того или иного признака. DAYS_BIRTH и EXT_SOURCE_1 имеют хорошую линию тренда. Это говорит о том, что признак может быть не так важен, как DAYS_BIRTH.

Помню, на хакатоне в Сан-Франциско, мы с командой Стресс-тестирование программного обеспечения заняли пятое место среди квалифицированных команд. Второе место заняла команда из Google Brain (одно из исследовательских подразделений Google), это была группа из пяти китайцев. После хакатона мне удалось немного пообщаться с ребятами.

Каждый раз, когда модель переобучается, новые данные для обучения могут быть сравнены с хорошо проверенными данными (обычно это данные, которые использовались при первой сборке модели). Корреляция тренда может помочь вам отследить, изменилась ли как-то зависимость признака от цели. Мини-курсы, предлагаемые платформой, обучают самым разным направлениям, включая, например, введение в SQL, введение в машинное обучение, Python, визуализацию данных и другие. Чтобы понять данные, стоит оторваться от клавиатуры и почитать документацию, например описание колонок каждого файла. Так как используется несколько файлов, нужно понять, как они связаны между собой, хотя для первого notebook мы будем использовать один файл, чтобы упростить работу. Чтение других ядер также поможет нам ознакомиться с данными и понять, какие переменные важны.

Работа В Первом Notebook

Например, популярной библиотеки или целого направления машинного обучения. Кроме того, пользователь может добавлять и свои ноутбуки любого типа — делиться с сообществом собственными наработками и решениями. Подготовили обзор, чтобы помочь новичкам разобраться в Kaggle. Разбираем, что площадка предлагает джунам и опытным специалистам, как пользоваться ее функциями и с какими задачами она может помочь.

Kaggle Для Начинающего Дата-сайентиста: Соревноваться Нельзя Учиться

В ней относительно коротко рассказывается о том, как всё это работает, в каких соревнованиях можно участвовать и какие вообще возможности предоставляет платформа участникам. После тщательного изучения данных и обеспечения приемлемости для машинного обучения, мы переходим к созданию базовых моделей. Однако, прежде чем мы полностью перейдём к этапу моделирования, важно понять показатель производительности для соревнований. В соревновании Kaggle всё сводится к одному числу — метрике по тестовым данным. Это не исчерпывающий список, поэтому хотел бы выделить ещё некоторые основные моменты.

Общий План Участия В Соревнованиях

Например, знаю, что большая концентрация людей с высоким рейтингом на платформе работают в NVIDIA или успешном стартапе H2O.ai. Высокий рейтинг на платформе помогает легко устанавливать контакты со многими известными участниками Kaggle, у вас появляется огромное количество друзей по всему миру. Люди сразу понимают, что вы «свой» и вам можно доверять. Или, например, решал задачи по распознаванию рака на медицинских снимках, кораблей на спутниковых снимках и много других. Главное здесь — не опускать руки, если что-то не получается, продолжать набираться опыта и находить новые решения.

Попробуйте обучить свою первую модель на несложном датасете. Например, модель Random Forest из библиотеки scikit-learn — у нас есть об этом хорошая статья. Так вы познакомитесь с основными инструментами машинного обучения, привыкнете делить датасет на обучающую и тестовую части, узнаете про кросс-валидацию и метрики работы модели. Kaggle — популярная платформа для соревнований по Data Science от Google. Пользователи (люди и организации) могут публиковать на ней свои наборы данных, создавать и исследовать модели машинного обучения, соревноваться друг с другом. Более того, я показал свой взгляд на соревнования по машинному обучению, который заключается в том, что нужно участвовать в обсуждении, работать с чужим кодом и делиться своей работой.

И можно быть частью этого kaggle соревнования фантастического сообщества Data Science. Пишут про кластеризацию, эмбеддинги, Бертовые модели. Наша следующая архитектура решения построена на извлечении эмбеддингов через разные модели и операциями с ними. Однако, приходит понимание, что на этой архитектуре мы не уедем ниже 1. Организаторы соревнования — это парни из H2O, а парни из H2O – в общем-то легенды в мире Kaggle и соревновательного Data Science. В Kaggle достаточно опередить только своих соперников.

С featexp требуется 15 минут, чтобы посмотреть на графики, и это определенно стоит того. Участвовать в соревнованиях Kaggle весело и захватывающе! За последние пару лет я разработал несколько простых способов создания более совершенных моделей машинного обучения. Эти простые, но https://deveducation.com/ мощные методы помогли мне попасть в топ 2% соревнования Instacart Market Basket Analysis, и я также использую их вне Kaggle.

Получил серебро и приглашение в VK (ранее Mail.Ru Group) на митап, чтобы рассказать о своём решении. На последнем курсе магистратуры встал вопрос выбора задачи для диссертации. По материалам прочитанной лекции решили опубликовать эту статью.

Когда решения выстреливают, ты поднимаешься на лидерборде участников соревнования, занимаешь призовые места, это сильно мотивирует. Если какой-то день вы пропускаете, то теряете возможность протестировать свои решения и идеи. Поэтому, как только у меня выдавалась свободная минута, я программировал, старался побыстрее протестировать и как можно чаще отправлять свои решения. Параллельно идут несколько соревнований, то есть вам необходимо решать несколько задач одновременно на определённых отрезках времени. Главным фактором успеха на Kaggle, конечно, считаю то, что я получал удовольствие от участия в соревнованиях. Мне действительно было интересно заниматься решением новых и сложных задач.