Форкастирование что это такое
Что такое форкастинг и почему он является важным процессом для малого бизнеса
Форкастинг – это довольно новый термин в предпринимательстве. Дословно он переводится как прогнозирование или предвидение, и сейчас как никогда важен именно для малого бизнеса во всем мире.
В сложные времена прогнозирование может показаться бесполезным делом, ведь предсказать будущее состояние дел, в частности сейчас, довольно сложно. Тем не менее, заглядывая наперед, невозможно подготовиться к худшему или наоборот лучшему сценарию развития вашего предприятия.
Форкастинг не должен вызывать ужас и неприятие. Существуют простые способы спланировать будущее вашего бизнеса, даже при серьезной неопределенности, вызванной глобальной пандемией COVID-19.
Что такое форкастинг
Форкастинг является процессом анализа прошлых и нынешних данных, показателей отдельного предприятия, а также тенденций рынка для предсказания финансовых результатов деятельности компании в будущем.
Форкастинг позволяет оценить, сколько дохода предприниматель сможет получить за определенный промежуток времени и какие шаги для этого необходимо сделать.
Этот процесс несколько отличается от планирования бюджета компании, хотя и происходит параллельно. Форкастинг только предусматривает финансовые результаты, когда бюджет компании четко описывает все возможные доходы и расходы предприятия и является исключительно одним утвержденным документом.
Почему делать форкастинг важно
Как начать форкастинг малого предприятия
Существует два общих метода форкастинга. Выбрать один из них стоит в зависимости от того, насколько долго существует ваше предприятие:
Что следует учитывать
Необходимо помнить, что худшие прогнозы могут посеять тревогу или показать абсолютную нерентабельность вашего бизнеса. В таких случаях, не стоит опускать руки или падать духом. Форкастинг должен стать не страшной историей, а общим инструментом, который поможет вам эффективно управлять собственным делом и быть готовым к самым непредсказуемым развитиям событий.
Как я за год победил откаты на предприятии
И теперь экономлю 15 млн рублей в год
В 2013 году я возглавил крупную строительную компанию в Краснодаре — «Анод-плюс».
До этого я три года работал в ней же главным инженером и с закупками напрямую не сталкивался. Когда я стал гендиректором, у меня в подчинении появился отдел снабжения, который занимается закупкой стройматериалов, инструментов и тому подобного.
Я начал разбираться с тем, как организованы поставки, и общаться с контрагентами. Выяснилось, что нам часто продают товары по завышенным ценам.
Я решил победить откаты. У меня получилось.
Как снабженцы берут откаты
На рынке стройматериалов жесткая конкуренция: поставщикам важно найти и удержать клиентов любой ценой, тем более таких крупных, как мы. Что и у кого покупать, часто решает конкретный сотрудник отдела снабжения. Если удастся с ним договориться, дав откат, то поставщик гарантированно получит клиента. Причем заработать получится больше, чем в обычном случае, ведь «своему» снабженцу можно продать стройматериалы по завышенным ценам.
Откаты дают не обязательно деньгами. Я знаю случаи, когда дарили Айпад или подарочную карту на 10 тысяч рублей в парфюмерный магазин.
Снабженцам, которые давно работают, не надо каждый раз договариваться о взятке с контрагентом. У них имеются свои проверенные поставщики, работа с которыми давно отлажена. Например, сотруднику платят ежемесячно фиксированную сумму — фактически вторую зарплату. Такие «оклады» стартуют от 5 тысяч рублей. Могут и просто выплачивать процент от сделки — от 5 до 20%.
Например, один из наших специалистов во всех регионах заказывал у одного и того же поставщика расходные материалы — шлифовальные круги, электроды, сверла. Подобными товарами торгуют многие крупные сети, например «Сатурн», «220 вольт», «Все инструменты». Но снабженец уверял, что именно его поставщик предлагает самые низкие цены. Но на деле оказалось, что это не так и можно было покупать дешевле.
Обнаружить закупки по завышенным ценам хоть и тяжело, но все же можно, а вот доказать сговор просто нереально. Снабженец начинает говорить, что у него мало опыта в закупках именно этого товара. Поставщики, в свою очередь, уверяют, что случайно выставили завышенную цену. Все извиняются — и делают вид, что произошла ошибка.
Признаваться в сговоре никому не выгодно: снабженца могут уволить, а поставщик потеряет гарантированного клиента. А еще за это вообще-то положена уголовная ответственность по УК РФ: можно получить большой штраф или даже сесть в тюрьму. Поэтому сотрудники обычно говорят что-то вроде «у этой фирмы лучше качество», «поставщик повысил стоимость за срочность и мне не сказал». Самая популярная отговорка: «Я не знаю, почему он потом дал скидку».
Снабженцы понимают, что доказать ничего нельзя — за руку никого не поймаешь. Поэтому проще признаться в собственной глупости, чем в жадности. Единственное, что остается руководителю, — выявлять случаи завышения цен и бороться с ними.
Как я узнал, что мы за все переплачиваем
Когда я возглавил фирму в 2013 году, завышенные цены не были большой проблемой. На тот момент мы не строили столько объектов, сколько строим сейчас. Поставщиков было немного, около сотни, а тех, кто продавал нам материалов больше чем на 100 тысяч рублей, — и вовсе пара десятков. О ценах договаривались лично топ-менеджеры.
С годами компания росла, увеличивалось количество заказов и, соответственно, закупок. Где-то к 2016 году счет поставщиков пошел уже на тысячи, договариваться со всеми лично стало физически невозможно. Пришлось проводить точечные проверки работы снабженцев.
В нашей компании работает специалист службы экономической безопасности. Я выборочно давал ему счета на проверку. Он смотрел на цены, которые предложил контрагент, звонил ему под видом клиента и спрашивал, за сколько можно купить такой же товар. Но оказалось, что такой способ не эффективен. Поставщики часто выставляли счета на еще большие суммы: либо пытались заработать на новом клиенте, либо думали, что звонит новичок-снабженец, которому можно предложить максимальную цену.
Еще специалист по безопасности искал других поставщиков с более низкими ценами. Такая проверка тоже часто не срабатывала. На рынке стройматериалов много перекупщиков — компаний, которые закупают товары напрямую у производителей, а потом продают дороже. Безопасник не снабженец, он не знает, как отличить прямого поставщика от такого посредника. Если просто вбить в поисковике «купить кабель», с большой вероятностью наверху окажутся именно перекупщики. Цены у них выше, чем у производителей, даже с учетом откатов снабженцам.
Более действенный способ — отдать счет на проверку другому снабженцу и попросить его найти такие же материалы, но дешевле. Главное, чтобы этот человек не был никак связан с вашими сотрудниками. Ведь коллеги могут просто прикрывать друг друга. Я обычно обращался к своему знакомому — тоже директору строительной фирмы. Счета проверял его отдел снабжения. В большинстве случаев проверка показывала, что мои подчиненные завысили цены.
С 2016 по 2018 год мы выявляли 20—30 таких счетов с завышенными ценами ежегодно. Но так как проверки проводили выборочно, я стал подозревать, что на самом деле случаев было сильно больше. Стало ясно, что откаты — системная проблема и решать ее тоже надо системно.
Р » loading=»lazy» data-bordered=»true»>
Способы, которые мне не подошли
Проводить открытую закупку материалов — это значит выкладывать на сайте компании цены поставщиков и искать таким образом контрагентов с более низкими ценами. Но, к сожалению, в нашей компании так поступить не получилось бы. Почти всегда по условиям договоров с заказчиками мы не имеем права разглашать стоимость материалов, которые используем в строительстве. Такой способ подходит крупным организациям, которые используют закупаемые материалы для себя, а не выступают как подрядчики.
Показательно наказывать снабженцев при малейшем подозрении. Это самый легкий путь, но он не решает проблему системно. Ведь так руководитель борется не с причиной коррупции, а со следствием. Я через это прошел: неоднократно срезал премии сотрудников, завышающих цены. Одного даже показательно уволил, когда знакомый поставщик рассказал, что снабженец пытается договориться об откате. Оказалось, санкции и запугивания работают один-два месяца, после этого все начинается снова.
Единая база поставщиков и цен
С 2016 по 2018 год я безуспешно выборочно анализировал счета, которые выставляют снабженцы, наказывал провинившихся, но это не помогало. В итоге я понял, что надо избавиться от человеческого фактора в выборе поставщика. Я решил внедрить в отделе снабжения информационную систему, которая будет автоматически выбирать контрагента с самой низкой ценой.
Если сильно упростить идею, то она выглядела так: я решил взять все накладные на материалы, которые мы покупали за последние два года, и внести поставщиков и их цены в одну большую базу данных. Чтобы сразу было видно, что и сколько у кого стоит. Так легко можно выбрать самое дешевое предложение.
Свою систему мы решили создать на базе программы «Алтиус» — это специализированная ЦРМ для строительных компаний. Теоретически можно было бы попробовать сделать все и в 1С, но потребовалось бы много доработок.
Сама программа «Алтиус» обошлась в 270 тысяч рублей — мы купили систему на 10 рабочих мест. Еще 160 тысяч ушло на доработку конкретно под наши задачи: например, программисты добавили возможность ранжировать поставщиков по накладным, а не только по прайс-листам.
я потратил на покупку и доработку программного обеспечения
Чтобы внести все материалы, цены и поставщиков в базу данных, понадобилось полгода. Следующие полгода я боролся с отчаянным сопротивлением сотрудников отдела снабжения во главе с начальником подразделения. Они всячески старались убедить меня, что программа работает с ошибками и вообще бесполезна.
Сотрудники даже объявили, что не могут и не будут пользоваться новой программой. Пришлось проводить еженедельные часовые совещания для всего отдела снабжения, на которых я объяснял, зачем нужна программа.
Все время, пока шла эта борьба, мы параллельно продолжали унифицировать базу данных — это касалось не только названий, но и единиц измерения. Например, встал вопрос, в чем считать стальные мачты, на которые крепятся прожекторы. Оказалось, что лучше считать их не в штуках, а в тоннах: мачты имеют разные размеры и цена чаще всего зависит именно от тоннажа.
Я издал приказ, в котором обязал снабженцев пользоваться новой системой под угрозой отмены премий. Кроме наказания, ввел и премии для тех сотрудников, которым удавалось купить стройматериалы по цене ниже, чем выдавала программа.
Помимо этого, на предприятии появилась должность специалиста по контролю цен, который подчинялся напрямую генеральному директору, то есть мне. Им стал тот самый бухгалтер, который создавал базу данных.
Как работает программа
Эти данные попадали к снабженцу. В его задачу входило сделать запрос минимум трем поставщикам с самыми низкими ценами из списка, устроить торг между ними и добиться скидок. Если получалось снизить стоимость товара — компания экономила. Эта экономия потом превращалась в премию для снабженца. Правда, сотрудник получал не все сэкономленные деньги: премию рассчитывали на основе специально созданной системы мотивации.
Если цена закупки оказывалась выше минимальной из базы данных, то снабженец бонусов не получал. Если в течение месяца больше половины счетов этого специалиста снабжения были с таким перерасходом, у него и начальника отдела срезали премию.
При такой схеме работы снабженец уже не мог никого обмануть. К каждому счету, который идет на оплату, специалист по контролю прикладывал выгрузку из базы с минимальными ценами. Если в счете завышенная цена, это сразу было видно. Договариваться с контролером снабженцу тоже не имело смысла: создать такой же отчет в базе, чтобы проверить цифры в выгрузке, может любой другой сотрудник компании.
Я исходил из того, что хороший снабженец всегда может купить материалы по ценам ниже, чем указаны в нашей базе. Пока моя теория работает. Что касается инфляции, возможно, в будущем мы пересмотрим стоимость каких-то товаров в списке, но только после того, как купим их хотя бы один раз. Исправить что-то в базе данных, например изменить цены, можно только по моему специальному разрешению.
За год применения программы закупочные цены на некоторые товары снизились на 3—25%. Например, сэндвич-панели мы теперь покупаем дешевле на 10% и экономим около 500 тысяч рублей в год. В целом, по моим оценкам, за год на закупках удалось сэкономить до 15 млн рублей.
Что такое Business Intelligence
Существует огромное количество терминов: аналитика, data mining, анализ данных, business intelligence и разница между ними не всегда столь очевидна даже для людей, которые с этим связаны. Сегодня мы расскажем о том, что же такое Business Intelligence (BI) доступным и понятным языком. Тема безусловна огромна и её не покрыть лишь одной короткой статьей, но наша задача — помочь сделать первый шаг и заинтересовать читателя темой. Заинтересованный же читатель также найдет исчерпывающий список для дальнейших шагов.
Зачем всё это нужно: из жизни аналитика
Представим, нами (неким аналитиком Петровичем у поставщика Цветочек) стоит задача оценить продажи ряда магазинов (куда мы поставляем товар) и каждый магазин ведет свой учет проданных товаров. Реальность такова, что формы учета будут заполнены не пойми как и не пойми кем, то есть у них будет разная структура и разный формат хранения (некоторая форма таблиц). Схематично эта задача изображена на схеме выше.
Казалось бы задача несложная и поэтому рассмотрим лобовое решение: пусть у нас есть N таблиц и нам нужно их собрать вместе в одну таблицу, тогда напишем N скриптов, которые преобразуют эти таблицы и один сборщик, который собирает их вместе.
Если мы поднимемся на уровень целой организации, то увидим, что проблем даже больше.
В чем задача: проблема на уровне компании
Производитель Цветочек на самом деле работает не напрямую с магазинами, а через некоторых посредников. Посредники посещают магазины и непосредственно своими действиями пытаются стимулировать продажи. Соответственно, они являются материально заинтересованными лицами и информацию, которую они выдают, приходится перепроверять.
Принципиально, задача выглядит схожим образом: пусть у нас есть N магазинов и K дистрибьюторов, можем ли агрегировать данные магазинов и сравнить их с результатами дистрибьюторов? (У всех данные имеют разную структуру и формат.)
Здесь помимо таблиц, мы уже можем столкнуться с целым зоопарком форматов, к которым добавляются отчеты дистрибьюторов. Как правило задача характеризуется очень низким качеством данных, в том числе дублированием, несогласованностью и ошибками. На основе полученных результатов и сравнения данных, отдел по закупкам принимает решения о том сколько, кому и почем чего отгружать. То есть решение этой задачи непосредственно влияет на финансовые показатели компании, что безусловно важно.
Рассмотрим несколько вариантов решения на уровне компании:
В целом если мы говорим о небольшом или среднем производителе, то с точки зрения времени интеграции, цены и качества решения сервис выглядит оптимальным вариантом, так как ценообразование динамическое и интеграция минимальна через веб. Как правило плюсом корпоративного ПО является настраиваемость и касмтомизированность (каждый бизнес считает себя уникальным), но описанная задача достаточно типична и стандартна для достаточно широкого круга компаний. Безусловно, нет единого решения для всех, но для каждого в отдельности его можно найти.
Сам процесс на уровне компании выглядит схожим образом: консолидируется данные, определенным образом трансформируются (агрегируются) и загружаются в систему для анализа.
(кликабельно) 
Обобщаем задачу: всё это звенья одной цепи
В чём же разница между аналитикой, data mining и business intelligence (BI)? Первые включают в себя комплекс методов для анализа уже чистых данных, а на практике очистка и преобразование данных в удобный для анализа формат — важный и неотъемлемый процесс. Так же помимо работы с преобразованием и консолидацией данных, основная задача BI — это принятие решений для бизнеса.
Большая инфографика
В схематичной и немного упрощенной форме описывается задача консолидации данных. Если нет возможности заниматься изучением темы в деталях, то эта инфографика даёт хорошее первое приближение проблемы и возможных методов решения. (кликабельно; взято отсюда) 
С чем можно поэкспериментировать
Сервис бесплатен и доступен через веб — ссылка.
AI для людей: простыми словами о технологиях
Представляем исчерпывающую шпаргалку, где мы простыми словами рассказываем, из чего «делают» искусственный интеллект и как это все работает.
В чем разница между Artificial Intelligence, Machine Learning и Data Science?
Artificial Intelligence — AI (Искусственный Интеллект)
В глобальном общечеловеческом смысле ИИ — термин максимально широкий. Он включает в себя как научные теории, так и конкретные технологические практики по созданию программ, приближенных к интеллекту человека.
Machine Learning — ML (Машинное обучение)
Раздел AI, активно применяющийся на практике. Сегодня, когда речь заходит об использовании AI в бизнесе или на производстве, чаще всего имеется в виду именно Machine Learning.
ML-алгоритмы, как правило, работают по принципу обучающейся математической модели, которая производит анализ на основе большого объема данных, при этом выводы делаются без следования жестко заданным правилам.
Наиболее частый тип задач в машинном обучении — это обучение с учителем. Для решения такого рода задач используется обучение на массиве данных, по которым ответ заранее известен (см.ниже).
Data Science — DS (Наука о данных)
Наука и практика анализа больших объемов данных с помощью всевозможных математических методов, в том числе машинного обучения, а также решение смежных задач, связанных со сбором, хранением и обработкой массивов данных.
Data Scientists — специалисты по работе с данными, в частности, проводящие анализ при помощи machine learning.
Как работает Machine Learning?
Рассмотрим работу ML на примере задачи банковского скоринга. Банк располагает данными о существующих клиентах. Ему известно, есть ли у кого-то просроченные платежи по кредитам. Задача — определить, будет ли новый потенциальный клиент вовремя вносить платежи. По каждому клиенту банк обладает совокупностью определенных черт/признаков: пол, возраст, ежемесячный доход, профессия, место проживания, образование и пр. В числе характеристик могут быть и слабоструктурированные параметры, такие как данные из соцсетей или история покупок. Кроме того, данные можно обогатить информацией из внешних источников: курсы валют, данные кредитных бюро и т. п.
Машина видит любого клиента как совокупность признаков: 
. Где, например, 
— возраст, 
— доход, а 
— количество фотографий дорогих покупок в месяц (на практике в рамках подобной задачи Data Scientist работает с более чем сотней признаков). Каждому клиенту соответствует еще одна переменная — 
с двумя возможными исходами: 1 (есть просроченные платежи) или 0 (нет просроченных платежей).
Совокупность всех данных 
и — есть Data Set. Используя эти данные, Data Scientist создает модель 
, подбирая и дорабатывая алгоритм машинного обучения.
В этом случае модель анализа выглядит так:
Алгоритмы машинного обучения подразумевают поэтапное приближение ответов модели к истинным ответам (которые в обучающем Data Set известны заранее). Это и есть обучение с учителем на определенной выборке.
На практике чаще всего машина обучается лишь на части массива (80 %), применяя остаток (20 %) для проверки правильности выбранного алгоритма. Например, система может обучаться на массиве, из которого исключены данные пары регионов, на которых сверяется точность модели после.
Теперь, когда в банк приходит новый клиент, по которому еще не известен банку, система подскажет надежность плательщика, основываясь на известных о нем данных .
Однако, обучение с учителем — не единственный класс задач, которые способна решать ML.
Другой спектр задач — кластеризация, способная разделять объекты по признакам, например, выявлять разные категории клиентов для составления им индивидуальных предложений.
Также с помощью ML-алгоритмов решаются такие задачи, как моделирование общения специалиста поддержки или создание художественных произведений, неотличимых от сотворенных человеком (например, нейросети рисуют картины).
Новый и популярный класс задач — обучение с подкреплением, которое проходит в ограниченной среде, оценивающей действия агентов (например, с помощью такого алгоритма удалось создать AlphaGo, победившую человека в Го).
Нейронная сеть
Один из методов Machine Learning. Алгоритм, вдохновленный структурой человеческого мозга, в основе которой лежат нейроны и связи между ними. В процессе обучения происходит подстройка связей между нейронами таким образом, чтобы минимизировать ошибки всей сети.
Особенностью нейронных сетей является наличие архитектур, подходящих практически под любой формат данных: сверточные нейросети для анализа картинок, рекуррентные нейросети для анализа текстов и последовательностей, автоэнкодеры для сжатия данных, генеративные нейросети для создания новых объектов и т. д.
В то же время практически все нейросети обладают существенным ограничением — для их обучения нужно большое количество данных (на порядки большее, чем число связей между нейронами в этой сети). Благодаря тому, что в последнее время объемы готовых для анализа данных значительно выросли, растет и сфера применения. С помощью нейросетей сегодня, например, решаются задачи распознавания изображений, такие как определение по видео возраста и пола человека, или наличие каски на рабочем.
Интерпретация результата
Раздел Data Science, позволяющий понять причины выбора ML-моделью того или иного решения.
Существует два основных направления исследований:
Естественно, производство интересует не только прогноз самого брака, но и интерпретация результата, т. е. причины брака для их последующего устранения. Это может быть долгое отсутствие тех.обслуживания станка, качество сырья, или просто аномальные показания некоторых датчиков, на которые технологу стоит обратить внимание.
Потому в рамках проекта прогноза брака на производстве должна быть не просто создана ML-модель, но и проделана работа по её интерпретации, т. е. по выявлению факторов, влияющих на брак.
Когда эффективно применение машинного обучения?
Когда есть большой набор статистических данных, но найти в них зависимости экспертными или классическими математическими методами невозможно или очень трудоемко. Так, если на входе есть более тысячи параметров (среди которых как числовые, так и текстовые, а также видео, аудио и картинки), то найти зависимость результата от них без машины невозможно.
Например, на химическую реакцию кроме самих вступающих во взаимодействие веществ влияет множество параметров: температура, влажность, материал емкости, в которой она происходит, и т. д. Химику сложно учесть все эти признаки, чтобы точно рассчитать время реакции. Скорее всего, он учтет несколько ключевых параметров и будет основываться на своем опыте. В то же время на основании данных предыдущих реакций машинное обучение сможет учесть все признаки и дать более точный прогноз.
Как связаны Big Data и машинное обучение?
Для построения моделей машинного обучения требуются в разных случаях числовые, текстовые, фото, видео, аудио и иные данные. Для того чтобы эту информацию хранить и анализировать существует целая область технологий — Big Data. Для оптимального накопления данных и их анализа создают «озера данных» (Data Lake) — специальные распределенные хранилища для больших объемов слабоструктированной информации на базе технологий Big Data.
Цифровой двойник как электронный паспорт
Цифровой двойник — виртуальная копия реального материального объекта, процесса или организации, которая позволяет моделировать поведение изучаемого объекта/процесса. Например, можно предварительно увидеть результаты изменения химического состава на производстве после изменений настроек производственных линий, изменений продаж после проведения рекламной кампании с теми или иными характеристиками и т. д. При этом прогнозы строятся цифровым двойником на основе накопленных данных, а сценарии и будущие ситуации моделируются в том числе методами машинного обучения.
Что нужно для качественного машинного обучения?
Data Scientiest’ы! Именно они создают алгоритм прогноза: изучают имеющиеся данные, выдвигают гипотезы, строят модели на основе Data Set. Они должны обладать тремя основными группами навыков: IT-грамотностью, математическими и статистическими знаниями и содержательным опытом в конкретной области.
Машинное обучение стоит на трех китах
Получение данных
Могут быть использованы данные из смежных систем: график работ, план продаж. Данные могут быть также обогащены внешними источниками: курсы валют, погода, календарь праздников и т. д. Необходимо разработать методику работы с каждым типом данных и продумать конвейер их преобразования в формат модели машинного обучения (набор чисел).
Построение признаков
Проводится вместе с экспертами из необходимой области. Это помогает вычислить данные, которые хорошо подходят для прогнозирования целей: статистика и изменение количества продаж за последний месяц для прогноза рынка.
Модель машинного обучения
Метод решения поставленной бизнес-задачи выбирает data scientist самостоятельно на основании своего опыта и возможностей различных моделей. Под каждую конкретную задачу необходимо подобрать отдельный алгоритм. От выбранного метода напрямую зависят скорость и точность результата обработки исходных данных.
Процесс создания ML-модели.
От гипотезы до результата
1. Всё начинается с гипотезы
Гипотеза рождается при анализе проблемного процесса, опыта сотрудников или при свежем взгляде на производство. Как правило, гипотеза затрагивает такой процесс, где человек физически не может учесть множество факторов и пользуется округлениями, допущениями или просто делает так, как всегда делал.
В таком процессе применение машинного обучения позволяет использовать существенно больше информации при принятии решений, поэтому, возможно, удается достичь существенно лучших результатов. Плюс ко всему, автоматизация процессов с помощью ML и снижение зависимости от конкретного человека существенно минимизируют человеческий фактор (болезнь, низкая концентрация и т. д.).
2. Оценка гипотезы
На основании сформулированной гипотезы выбираются данные, необходимые для разработки модели машинного обучения. Осуществляется поиск соответствующих данных и оценка их пригодности для встраивания модели в текущие процессы, определяется, кто будет ее пользователями и за счет чего достигается эффект. При необходимости вносятся организационные и любые другие изменения.
3. Расчет экономического эффекта и возврата инвестиций (ROI)
Оценка экономического эффекта внедряемого решения производится специалистами совместно с соответствующими департаментами: эффективности, финансов и т. д. На данном этапе необходимо понять, что именно является метрикой (количество верно выявленных клиентов / увеличение выпуска продукции / экономия расходных материалов и т. п.) и четко сформулировать измеряемую цель.
4. Математическая постановка задачи
После понимания бизнес-результата его необходимо переложить в математическую плоскость — определить метрики измерений и ограничения, которые нельзя нарушать. Данные этапы data
scientist выполняет совместно с бизнес-заказчиком.
5. Сбор и анализ данных
Необходимо собрать данные в одном месте, проанализировать их, рассматривая различные статистики, понять структуру и скрытые взаимосвязи этих данных для формирования признаков.
6. Создание прототипа
Является, по сути, проверкой гипотезы. Это возможность построения модели на текущих данных и первичной проверки результатов ее работы. Обычно прототип делается на имеющихся данных без разработки интеграций и работы с потоком в реальном времени.
Создание прототипа — быстрый и недорогой способ проверить, решаема ли задача. Это весьма полезно в том случае, когда невозможно заранее понять, получится ли достичь нужного экономического эффекта. К тому же процесс создания прототипа позволяет лучше оценить объем и подробности проекта по внедрению решения, подготовить экономическое обоснование такого внедрения.
DevOps и DataOps
В процессе эксплуатации может появится новый тип данных (например, появится ещё один датчик на станке или же на складе появится новый тип товаров) тогда модель нужно дообучить. DevOps и DataOps — методологии, которые помогают настроить совместную работу и сквозные процессы между командами Data Science, инженерами по подготовке данных, службами разработки и эксплуатации ИТ-систем, и помогают сделать такие дополнения частью текущего процесса быстро, без ошибок и без решения каждый раз уникальных проблем.
7. Создание решения
В тот момент, когда результаты работы прототипа демонстрируют уверенное достижение показателей, создается полноценное решение, где модель машинного обучения является лишь составляющей изучаемых процессов. Далее производится интеграция, установка необходимого оборудования, обучение персонала, изменение процессов принятия решений и т. Д.
8. Опытная и промышленная эксплуатация
Во время опытной эксплуатации система работает в режиме советов, в то время как специалист еще повторяет привычные действия, каждый раз давая обратную связь о необходимых улучшениях системы и увеличении точности прогнозов.
Финальная часть — промышленная эксплуатация, когда налаженные процессы переходят на полностью автоматическое обслуживание.
Шпаргалку можно скачать по ссылке.
Завтра на форуме по системам искусственного интеллекта RAIF 2019 в 09:30 — 10:45 состоится панельная дискуссия: «AI для людей: разбираемся простыми словами».
В этой секции в формате дебатов спикеры объяснят простыми словами на жизненных примерах сложные технологии. А также подискутируют на следующие темы:
Николай Марин, директор по технологиям, IBM в России и СНГ
Алексей Натекин, основатель, Open Data Science x Data Souls
Алексей Хахунов, технический директор, Dbrain
Евгений Колесников, директор Центра машинного обучения, Инфосистемы Джет
Павел Доронин, CEO, AI Today
Дискуссия будет доступна на канале YouTube «Инфосистемы Джет» в конце октября.