Английская исследовательская и консалтинговая компания вышла на российский рынок с новой услугой для авто производителей. В короткие сроки ей нужно было собрать маркетинговые данные по рынку, включающие специальные предложения для клиентов и для дилеров.

Моей задачей был сбор данных из открытых источников, внесение информации в международную базу данных компании, взаимодействие с dealer liaison managers (специалисты, собирающие закрытую информацию), проверку качества информации и поддержку клиентских менеджеров компании.

Компания имела представительства на всех континентах и имела отлаженные процессы сбора, анализа и интерпретации данных, но каждая страна имела свои особенности, которые требовали адаптации международных процедур. После прохождения обучения работы в системах и инструментах компании начался процесс сбора данных и непрерывные консультации с европейским офисом компании по методам кодирования полученной информации.

Большая часть информации добывалась с официальных сайтов производителей путям постоянного мониторинга страниц, связанных со специальными предложениями, включая лендинги и медиа-статьи. Приходилось тратить много времени на считывание сайтов 30-ти основных марок, представленных на российском рынке. Также необходимо было мониторить финансовые предложения 11 банков, которые предлагали автокредитование.

На втором месяце мониторинга стало очевидно, что необходимо внедрить инструмент мониторинга сайтов и после анализа существующих предложений было решено использовать сервис Website-Watcher, который устанавливался на локальную машину и с помощью скриптов обходил необходимые страницы и находил в них изменения. Все изменения затем анализировались, интерпретировались и затем кодировались в системе.

После внесения всех страниц в систему, написания макросов обхода ссылок и фильтров, удалось сократить время ежедневного ручного мониторинга изменений с 2−4 часов (в зависимости от количества изменений) до 15 минут. Таким образом удалось избавиться от рутины, повысить качество мониторинга и уделить больше времени анализу и проверке качества данных.

Критически важным фактором для анализа данных является согласованность данных (data consistency). Помимо технических требований к модели данных, было необходимо поддерживать высокое качество самих данных, то есть не допускать ошибок в формате и представлении текстовой и цифровой информации.

Так как я являлся одним из первых пользователей и создателей российской базы данных по маркетинговым программам авто производителей, я уделил большое внимание созданию шаблонов внесения информации, чтобы в дальнейшем упростить процедуру анализа данных. Особенностью заполнения информации в самописной системе было множественное дублирование в различных полях, выполняемое полностью в ручную. Было очевидно, что без шаблона будут большие временные потери на чистку данных от случайных ошибок, которых будет становиться больше с ростом команды.

Российская команда была не большой, поддержка европейского офиса была ограниченной, вопрос создания шаблонов пришлось взять полностью на себя. Необходимо было найти простой, универсальный и надёжный способ генерации шаблонной информации на основании введённых данных. В таких типах акций, как специальные финансовые предложения, по требованиям клиентов приходилось вносить одну и ту же информацию в различном виде до 4 раз.

Я обратил внимание на отличный инструмент, который есть у всех на рабочих компьютерах — Microsoft Word и его функционал для полей и защиты контента. Например, при заполнении данных для финансовых спецпредложений нужно было только один раз внести информацию о ставке, сроке и первоначальном взносе, а потом только скопировать нужную строку с шаблонной информацией. Информация в шаблоне была согласована и с европейским офисом, и с конечными потребителями информации — клиентами.

Таким образом удалось добиться унификации информации, значительного ускорения процесса внесения данных и избавиться от ошибок ручного впечатывания текста, которые негативно влияли на отношение клиентов и аналитиков к базе данных.

Как аналитик данных мне постоянно приходилось собирать отчёты из баз данных, создаваемых российским представительством компании. Из-за большого объёма информации было необходимо писать эффективные запросы, которые не перегружали бы сервера компании.

Также собирал отчёты используя LEFT JOIN, которые в дальнейшем использовались для анализа, визуализации и передачи заказчикам. Благодаря изначально качественной информации и правильной модели данных, на основе отчётов из десятков тысяч строк и десятков столбцов удавалось строить точную аналитику, высоко ценившуюся среди авто производителей. Клиенты компании создавали маркетинговые акции, исходя из данных, собираемых и анализируемых компанией.

Также в запросах активно применялась агрегация, сортировка и группировка для того, чтобы работать с релевантной информацией и собирать актуальные отчёты. Для расчёта показателей напрямую из базы данных применялись функции AVG, MIN, MAX, ROUND, COUNT и DISTINCT, а также подзапросы WITH. Часть данных анализировалась напрямую запросами SQL, а другая часть анализировалась в Excel — выбор метода анализа зависел от объёма информации для анализа, особенности данных и удобства работы с ними.

Компания уделяла внимание внутреннему порталу, где технические писатели выкладывали информацию об обновлениях внутренних систем, предоставляли некоторые инструкции по существующим самописным программам. Но из-за ограниченности ресурсов они не могли учесть особенности каждой страны, поэтому я взял на себя работу по документированию процедур, используемых нами на российском рынке.

Оказалось, что таким образом ты помогаешь не только новым членам команды, но и значительно улучшаешь свои навыки и знания. Во-первых, структурируя полученный опыт в виде документа начинаешь лучше видеть недочёты или пробелы в собственной работе. Во-вторых, ты намного лучше учишься и эти знания лучше закрепляются, когда ты передаёшь информацию другим.

Также повышается качество работы, так как появляется возможность показать свои наработки руководству и получить обратную связь. Таким образом удаётся найти огрехи в работе до того, как их обнаружат клиенты что положительно сказывается на качестве предоставляемых услуг и данных.

Помимо этого было обнаружено, что специфика работы с данными требует постоянного отчёта по выполненной работе в том числе для собственного пользования. Единообразность вносимых данных и чрезмерная их итеративность практически не откладывалась в памяти. А от аналитика постоянно требовалось сообщать, какие изменения были в каком месяце и каким образом данные изменения были закодированы в системе и, соответственно, в базе данных. Внутренняя система вела учёт вносимых изменений недостаточно подробно и не позволяла оперативно отвечать на запросы менеджеров по работе с ключевыми клиентами.

Я инициировал процесс создания внутреннего отчёта, который начал вести в свободного время. Данный отчёт являлся Word документом с таблицами-календарями, куда вносилась информация о произведённых изменениях в системе. Также со временем начал туда добавлять информацию об изменениях в процедурах и другую полезную для аналитика информацию. Несмотря на объём файла более 70 страниц, наличие оглавления и кросс-ссылок упрощали его использование, и он не раз выручал меня как аналитика и исследователя.

Благодаря данной инициативе скорость ответа на запросы клиентов увеличилась во много раз, снизилась трудоёмкость восстановления истории правок. Процент ошибочных ответов или случаев невозможности предоставить ответ в отведённые сроки снизились до 0.

Одна из самых сложных и нудных задач, которую мне поручили, был контроль качества данных. На момент моего прихода в компанию данную функцию выполняли самые опытные сотрудники, находящиеся в Италии и Англии. Разбирая вручную данные перед их передачей клиентам, они находили ошибки в расчётах и логике и сообщали о срочных исправлениях информации, представленной в базе данных.

После прохождения обучения и проведения нескольких внутренних аудитов я обнаружил закономерности и алгоритмы, которые на мой взгляд лучше выполнялись макросом. Из-за ограниченной поддержки со стороны Европы было решено самостоятельно попробовать реализовать некоторые идеи в виде макроса для Excel файла на VBA (Visual Basic for Applications).

В начале я нарисовал для себя схему, какие значения нужно проверять и сверять, взяв кусок из готового отчёта, передаваемого клиенту.

После этого я создал документ бизнес-требований для внутреннего пользования, чтобы зафиксировать в нём необходимый функционал макроса в версии 1.0 и ожидаемый результат от его использования.

Стало понятно, что макрос должен проверять совпадают ли значения из различных столбцов. IF совпадало, то заполнять строку значением OK, ELSE — ошибка.

Для того, чтобы выбирать нужные значения из текстового поля использовалась функция InStr. Благодаря тому, что информация записывалась в базу данных по шаблону, расположение значений и слов было чётко регламентировано, и поэтому макрос работал максимально эффективно. Макрос вытаскивал значение из различных столбцов, сверял их и делал пометку в новом столбце о том, что значение верное или ошибочное. Это позволяло затем отфильтровывать строки с ошибками и исправлять их в базе данных.

В результате внедрения версии 1.0 в мою работу я смог сократить время проверки отчёта для клиентов в разы. Вместо десятков рабочих часов на проверку десятков тысяч ячеек, макрос выдавал результат уже через 1 секунду при работе на локальном компьютере. Затем я анализировал отфильтрованную информацию, сообщал о необходимости исправить ошибки и разбирался с причинами появления ошибок.

Работа с закодированными данными подразумевала визуализацию отчётов и самым удобным и быстрым способом был Pivot Charts — функционал встроенного модуля Power Pivot. Он позволял строить множество диаграмм на основе больших таблиц, представлять их различными способами, использовать продвинутые фильтры и слайсеры.

Я прошёл обучение по программе Microsoft Analyzing and Visualizing Data with Excel, в которой меня научили использовать этот мощнейший инструмент и оперативно визуализировать данные, необходимые для создания аналитических отчётов.

Помимо визуализации данных я изучил язык DAX, который помогал мне работать с сводными таблицами и позволял мне быстрее оперировать с большими объёмами информации и быстро считать значения по тысячам строк.