как сделать мэппинг счетов в excel
Реализация работы в Excel по сети на основе XML маппинга.
Автор: Сафонов Семён Геннадьевич
Опубликовано: 09.03.2011
Исправлено: 10.12.2016
Версия текста: 1.0
Введение
Excel предоставляет возможность добавлять собственные XML схемы (XSD) к рабочим книгам. При добавлении создаётся XML карта, которая даёт дополнительные возможности при работе с данными, а именно импорт и экспорт данных. Таким образом, вы можете загружать данные в документ из хранилища, а затем записывать данные обратно посредством той же XML схемы.
Процесс начинается с добавления XSD файла к рабочей книге Excel. Как только XSD файл прикреплён, Excel создаёт XML карту, которая отображается в панели задач «источник XML» (см рис. 1), которую пользователь использует для позиционирования данных в регионах или отдельных ячейках. Excel использует данную карту для управления взаимодействием между позиционированными регионами и элементами XML схемы. Книга Excel может содержать несколько XML карт, где каждая не будет зависеть от других. Также вы можете иметь несколько карт, которые будут ссылаться на одну схему. Когда пользователь осуществляет импорт или экспорт XML данных, Excel использует карту для связи содержимого позиционированного региона с элементами схемы.
Рисунок 1. Панель «Источник XML»
В данной статье описывается проект, основанный на XML картах, который даёт возможность пользователям иметь общие шаблоны документов, XML схемы и хранилища данных размещенных в интернете. Своего рода Excel 365 своими руками.
Теперь предположим, что мы имеем рабочую книгу Excel содержащую XML карту, с позиционированными регионами и импортированными данными. Если посмотреть на книгу со стороны программиста, то её можно назвать слабосвязанной. Под словом «слабосвязанный» понимается понятие программирования loose coupling, т.е шаблон документа слабо связан с данными документа что даёт возможность делегировать функцию составления документа от разработчика пользователю. Похожий подход можно наблюдать в WPF, где работа над дизайном делегирована от разработчика дизайнеру, чего не было в Win Forms.
Поэтому, проект может применяться и при реализации модуля «вывода отчетов в Excel» в бизнес приложениях. При этом разработчику не обязательно создавать шаблон документа, пользователь сможет сделать это сам.
Архитектура
Рисунок 2.
Данный проект имеет SOA (service oriented architecture) архитектуру. Клиентом является Excel VSTO AddIn, а сервером является WCF сервис. Сервис предоставляет следующую функциональность:
Работа с шаблонами.
Рисунок 3.
Хранилищем шаблонов является директория файловой системы сервера, которая может содержать поддиректории и файлы шаблонов. Для того чтобы просмотреть содержание директории и открыть нужный шаблон используются упрощенная версия сервисного протокола WS-Enumeration и протокол WS-Transfer. Упрощение состоит в том что в WS-Enumeration реализованы только методы Enumerate и Pull.
Рисунок 4. Протокол взаимодействия при работе с шаблонами.
Начало работы с Power Map
Microsoft Power Map для Excel — это инструмент для трехмерной визуализации данных, который позволяет взглянуть на информацию по-новому. Вы можете получить результаты, которые недоступны при использовании традиционных двухмерных таблиц и диаграмм.
В Power Map можно отображать географические и временные данные на глобусе или пользовательской карте, показывать их изменение со временем, создавать наглядные туры и делиться ими с другими людьми. С помощью Power Map можно:
Карта данных Отобразить на картах Bing более миллиона строк данных в объемном формате из таблицы или модели данных Excel.
Обнаружение информации Повысьте понимание, просматривая данные в географическом пространстве и просматривая изменение данных с отметками времени с течением времени.
Делитесь историями Сделайте снимки экрана и создайте кинематографические управляемые видеотуры, которые можно сделать более интересными для широкой аудитории, как никогда раньше. Или экспортировать туры в видео и поделиться ими таким же образом.
Кнопка Карта находится в группе Туры на вкладке Вставка ленты Excel, как показано на этом рисунке.
Если вы не нашли эту кнопку в своей версии Excel, см. раздел Я не вижу кнопку Power Map в Excel.
Если у вас есть подписка Приложения Microsoft 365 для предприятий, вы можете использовать Power Map Excel в составе средств самостоятельной бизнес-аналитики. При добавлении новых возможностей и внесении усовершенствований в Power Map вы получите их в рамках своего плана подписки.
Чтобы узнать о планах Microsoft 365 подписки, ознакомьтесь с Microsoft 365 профессиональныйplus и сравните все планы Microsoft 365 для бизнеса.
Если вы раньше устанавливали предварительную версию Power Map, у вас будет временно две кнопки Карта на вкладке Вставка: одна в группе Туры и одна в группе Power Map. При нажатии кнопки Карта в группе Туры включается текущая версия Power Map и удаляются все предварительные версии.
Создание первой карты Power Map
Если у вас есть данные Excel с географическими свойствами в табличном формате или в модели данных (такие как строки и столбцы, содержащие названия городов, областей, краев, стран или регионов, почтовые индексы либо значения долготы и широты), вы готовы приступить к работе. Вот как это сделать:
В Excel откройте книгу, которая содержит таблицу или данные модели, которые вы хотите изучить в Power Map.
Сведения о подготовке данных см. в подготовьте данные для Power Map.
Чтобы просмотреть примеры наборов данных, прокрутите страницу вниз до следующего раздела этой статьи.
Щелкните любую ячейку в таблице.
Щелкните Вставить > Карта. При первом нажатии кнопки Карта автоматически включается Power Map.
Power Map Bing используется для геокодирования данных на основе их географических свойств. Через несколько секунд появится глобус рядом с первым экраном области слоев.
В области слоев проверьте, правильно ли сопоставлены поля, и щелкните стрелку раскрывающегося списка для неправильных полей, чтобы сопоставить их с нужными географическими свойствами.
Например, убедитесь, что почтовый индекс распознается в поле «Индекс».
Когда Power Map отображает данные, на глобусе появляются точки.
Нажмите кнопку Далее для статистической обработки и дальнейшей визуализации данных на карте.
Изучение примеров наборов данных в Power Map
С помощью примеров наборов данных можно ознакомиться с Power Map. Просто скачайте одну из следующих книг, в которые уже есть геопро пространственные записи, необходимые для начала работы. Как в приложениях Dallas Utilities, так и в службе food Inspections в Сиэтле есть данные с отметкой времени, которые позволяют просматривать данные с течением времени.
Трансформация российской отчетности с помощью Excel
Компании, применяющие Excel для целей трансформации отчетности, получают ощутимую экономию при подготовке отчетности по МСФО. Если объемы транзакций позволяют обрабатывать учетные данные в электронных таблицах, целесообразно использовать Excel
Таблицы Excel помимо арифметической точности и наглядности процедур трансформации позволяют формировать данные для экономического анализа финансовой деятельности на основании результатов по МСФО, что превращает модель отчетности в инструмент управления.
Подготовительный этап трансформации отчетности
Международные стандарты, имеющие отношение к каждому конкретному бизнесу, должны быть включены в состав учетной политики по МСФО. Например, торговое предприятие вряд ли будет использовать сложные финансовые инструменты или положения МСФО (IAS) 41 «Сельское хозяйство», а частная компания не должна раскрывать прибыль на акцию в соответствии с МСФО (IAS) 33 «Прибыль на акцию». Процедура формирования учетной политики должна быть нацелена не только на создание правил и меморандумов учета в соответствии с МСФО, но и на подготовку блока примечаний непосредственно отчетности по МСФО, содержащего основные аспекты учетной политики, обязательные к раскрытию в соответствии с МСФО (IAS) 1 «Представление финансовой отчетности».
Основываясь на полученной учетной политике по МСФО, следует выявить расхождения в оценках и принципах, применяемых в РСБУ, и сформировать список и правила расчета основных трансформационных корректировок, а также перечень дополнительной информации, необходимой для целей МСФО, но не учитываемой в соответствии с требованиями российского законодательства.
При первом применении международных стандартов в соответствии с МСФО (IFRS) 1 следует помнить об исключениях и упрощениях, разрешенных стандартом, и о том, что в дальнейшем данные послабления перестают действовать.
Процесс обновления учетной политики по МСФО, списка корректировок и перечня дополнительной информации должен быть постоянным, поскольку требования МСФО и российского законодательства постоянно дополняются.
Мэппинг плана счетов для трансформации отчетности
Таблица 1. Пример мэппинга плана счетов
Несколько слов о составлении собственно плана счетов по МСФО.
Следует отметить, что чем больше аналитик содержит российский план счетов, тем проще осуществлять мэппинг и реклассификационные корректировки, необходимые в связи с различными принципами агрегации данных в РСБУ и МСФО. Поэтому по возможности следует максимально приблизить план счетов РСБУ и его аналитику к нуждам МСФО, чтобы повысить эффективность процесса трансформации и снизить издержки.
Сбор информации, необходимой для заполнения трансформационной модели. На данном этапе собираются данные по остаткам балансовых счетов и оборотам доходно-расходных счетов за отчетный период, заполняется исходный баланс и отчет о прибылях и убытках.
Одновременно с этим процессом анализируются существенные операции, судебные споры, крупные новые контракты, дополнительные раскрытия. Должен быть разработан регламентированный перечень дополнительной информации, а также назначены ответственные за подготовку соответствующих данных и установлены сроки исполнения.
Перечень, представленный в таблице 2, может быть как сокращен, если у компании отсутствуют те или иные операции, так и существенно расширен. Как правило, в деятельности компании изменения, влекущие дополнительные корректировки по МСФО, возникают редко. Поэтому наиболее тщательный анализ делается во время первичного ознакомления с бизнесом, а уже затем отслеживаются существенные изменения. Таким образом, в большинстве случаев компании должны составлять порядка десяти-двадцати трансформационных корректировок, которые могут быть регламентированы соответствующими методическими указаниями и закреплены в документе «Порядок учета трансформационных корректировок».
Таблица 2. Примерный перечень дополнительной информации
Все корректировки следует оформлять в виде рабочего документа наподобие бухгалтерской справки. Рабочий документ должен содержать методологические основы и фактические предпосылки, на основании которых были сделаны те или иные корректировки, и непосредственно сами расчеты. Также необходимо установить контрольные процедуры, направленные на проверку правильности расчетов, сверку данных рабочих документов и трансформационных моделей, а также корректности проводок.
Этап формирования входящих корректировок. Входящие корректировки формируются при первом применении МСФО, а также при сделках по приобретению новых компаний, которые должны оцениваться по справедливой стоимости.
Для начала осуществляется перегруппировка статей баланса и отчета о прибылях и убытках. Это так называемые реклассификационные корректировки. К основным реклассификационным корректировкам относятся разворачивание или сворачивание дебиторской и кредиторской задолженности и авансов, рекласс расходов будущих периодов, разделение краткосрочных и долгосрочных активов и обязательств, перенос депозитов со сроком погашения менее 90 дней в денежные средства, а также более детальная разноска доходов и расходов на соответствующие счета, если подобная работа не была сделана на этапе мэппинга (таблица 3).
Таблица 3. Пример реклассификационной таблицы
Наиболее простой способ расчета корректировок заключается в сопоставлении данных РСБУ и МСФО и определении расхождения между ними. Данные суммы и формируют поправку (таблица 4).
Таблица 4. Расчет корректировки по дооценке основных средств по справедливой стоимости
Помимо отражения переоценки, по основным средствам и нематериальным активам бывает необходимо пересчитывать сумму капитализированных процентов, поскольку РСБУ и МСФО содержат разные подходы при определении суммы капитализации.
Положения стандарта МСФО (IAS) 36 «Обесценение активов» также в большей степени направлены на тестирование основных средств и нематериальных активов, чья стоимость должна корректироваться при наличии признаков обесценения.
Если компания использует инструменты финансовой аренды в своей деятельности (в том аспекте, как ее интерпретируют МСФО), поправки также могут затрагивать сумму основных средств и расходов по амортизации, в корреспонденции с обязательствами по финансовой аренде и задолженности по процентам за пользование кредитными средствами.
Особое внимание стоит уделять корректировкам, связанным с дисконтированием (как, например, в случае с долгосрочной финансовой арендой, когда на основе дисконтирования оценивается и стоимость основных средств, и задолженность по договорам финансовой аренды). В МСФО требуется дисконтировать любые долгосрочные активы и обязательства:
Среди наиболее часто встречающихся корректировок можно также отметить:
После формирования всех расчетных поправок определяется сумма корректировки отложенного налога на прибыль.
Конечно же, перечислены далеко не все возможные корректировки, поскольку задача состоит в том, чтобы продемонстрировать, каким образом формируется пул входящих корректировок и как корректировки должны переноситься из года в год (таблица 5).
Таблица 5. Формирование списка входящих корректировок
Далее с учетом входящих корректировок осуществляется подготовка баланса, отчета о прибылях и убытках, отчета об изменении капитала, отчета о движении денежных средств в формате МСФО, а также выполняется подготовка пояснений к отчетности.
Первичные корректировки используются для переноса в отчетность следующих периодов в качестве входящих поправок. Существует два способа переноса:
Выбор метода переноса влияет только на технику расчета текущих корректировок для следующих отчетных периодов, конечный результат будет одинаков, однако поменять модель расчета корректировок уже будет нельзя, поэтому следует заранее определить наиболее удобный метод и придерживаться его.
Затем с помощью формул «СУММЕСЛИ» подтягиваются данные на сводный лист (см. таблицу 6).
Таблица 6. Формирование данных МСФО в трансформационной модели
Данные МСФО (столбец 8) получаются путем суммирования исходных данных РСБУ, реклассифицирующих, входящих и текущих корректировок. На следующем этапе также с помощью формулы «СУММЕСЛИ» готовые показатели МСФО агрегируются на страницах отчетов (баланса, отчета о прибылях и убытках) по кодам строк форм отчетности в соответствии с присвоенным кодом формы отчетности (таблица 7). Аналогичным образом заполняются табличные формы примечаний, прописываются контрольные и сверочные формулы между трансформационной таблицей, формами отчетности и примечаниями, сопоставляется изменение нераспределенной прибыли за период с начальным и конечным сальдо по показателю (возможны расхождения на сумму начисленных дивидендов).
Таблица 7. Пример использования функции Excel «СУММЕСЛИ»
Как мы видим, Excel позволяет достаточно просто и наглядно формировать данные МСФО путем трансформации. На практике применяются и другие подходы к заполнению трансформационных таблиц, например, наподобие классической шахматки. Однако если корректировок много, получаются громоздкие файлы и возрастает риск технических ошибок, более того, становится сложно анализировать накопленные за несколько периодов поправки. Какая бы ни применялась модель трансформации, существуют универсальные рекомендации по работе с Excel: должно быть организовано хранение данных на надежных и защищенных от постороннего доступа серверах, автоматическое создание резервных копий основных рабочих файлов и автосохранение в процессе работы, регулярное архивирование как первичных данных, так и финальных моделей, отслеживание внесения изменений в файлы и ведение сводного файла-статуса (контрольного листа), содержащего информацию о необходимых этапах выполнения трансформации и степени выполнения установленных процедур.
Чернобровов Алексей Аналитик
Big Data Mapping: что такое маппирование больших данных
В этой статье рассмотрено, что такое маппирование больших данных, как это связано с Data Science, когда и как часто выполняется этот процесс, а также, какие программные инструменты позволяют автоматизировать Big Data mapping.
Что такое маппирование данных и где это используется
Представим, что в одной из корпоративных систем сведения о семейном положении сотрудника хранятся так, что «1» в поле «дети» означает их наличие. В другой системе эти же данные записаны с помощью значения «True», а в третьей – словом «да». Таким образом, разные системы для обозначения одних и тех же данных используют разные отображения. Чтобы привести информацию к единообразию, следует сопоставить обозначения одной системы обозначениям в других источниках, т.е. выполнить процедуру мэппинга данных (от английского map – сопоставление). В широком смысле маппирование – это определение соответствия данных между разными семантиками или представлениями одного объекта в разных источниках. На практике этот термин чаще всего используется для перевода или перекодировки значений [1].
Дисциплина управления данными, Data Management, трактует маппинг как процесс создания отображений элементов данных между двумя различными моделями, который выполняется в начале следующих интеграционных задач [2]:
Таким образом, маппирование данных представляет собой процесс генерации инструкций по объединению информации из нескольких наборов данных в единую схему, например, конфигурацию таблицы. Поскольку схемы данных в разных источниках обычно отличаются друг от друга, информацию из них следует сопоставить, выявив пересечение, дублирование и противоречия [3].
С прикладной точки зрения можно следующие приложения маппинга данных [4]:
В Big Data мэппинг выполняется при загрузке информации в озеро данных (Data Lake) и корпоративное хранилище (DWH, Data Warehouse). Чем Data Lake отличается от DWH, рассмотрено здесь. В этом случае маппинг реализуется в рамках ETL-процесса (Extract, Transform, Load) на этапе преобразования. При этом настраивается соответствие исходных данных с целевой моделью (рис. 1). В случае реляционных СУБД для идентификации одной сущности в разных представлениях нужно с ключами таблиц и настройкой отношений (1:1, *:1, 1:* или *:*) [5].
Рис.1. Маппирование данных при консолидации таблиц
В Data Science маппирование данных входит в этап их подготовки к ML-моделированию, когда выполняется формирование датасета в виде матрицы значений для обработки соответствующими алгоритмами. В частности, когда Data Scientist обогащает исходный датасет данными из сторонних источников, он занимается маппингом данных. Проводить процедуру дата мэппинга можно вручную или автоматически с помощью соответствующих подходов и инструментов, которые рассмотрены далее.
Особенности процесса дата мэппинга
На практике трудоемкость мэппинга зависит от следующих факторов [3]:
Облегчить процесс маппирования можно за счет метаданных – сведениях о признаках и свойствах объектов, которые позволяют автоматически искать и управлять ими в больших информационных потоках. В частности, если каждое приложение будет выполнять публикацию метаданных, что позволит создать их стандартизированный реестр, то маппинг будет полностью автоматизированным [2]. Однако в большинстве случаев процесс мапирования данных не полностью автоматизирован и состоит из следующих этапов [4]:
При работе с большими объемами данных выделяют 3 основных подхода к маппированию [2]:
Также стоит упомянуть полуавтоматическое маппирование в виде конвертирования схем данных, когда специализированная программа сравнивает источники данных и целевую схему для консолидации. Затем разработчик проверяет схему маппирования и вносит исправления, где это необходимо. Далее программа конвертирования схем данных автоматически генерирует код на C++, C # или Java для загрузки данных в систему приемник (рис. 3) [3].
Рис. 3. Конвертирование схем данных в процессе мэппинга
Далее рассмотрим, какие инструментальные средства реализуют вышеперечисленные подходы.
Инструменты маппирования больших данных
Как и большинство прикладных решений, все средства для маппинга данных можно разделить на 3 категории [6]:
Большинство перечисленных продуктов поддерживают все 3 подхода к маппированию: ручной (GUI и кодирование), data-driven и семантический. Однако, семантический мэппинг требует наличия реестров метаданных, что имеется далеко не в каждом предприятии. А публичные реестры метаданных, такие как национальные, отраслевые или городские репозитории [7] не всегда напрямую коррелируют, например, с задачами построения локального DWH. Но, наряду с открытыми государственными данными и другими публичными датасетами, их можно использовать в исследовательских DS-задачах.
При выборе конкретного инструмента для маппинга больших данных стоит учитывать следующие факторы:
Резюме
Итак, маппирование данных – это важная часть процесса работы с данными, в том числе и для Data Scientist’а. Эта процедура выполняется в рамках подготовки к ML-моделированию, в частности, при обогащении датасетов. В случае одноразового формирования датасета из нескольких разных источников сопоставление данных можно выполнить вручную или с помощью самописного Python-скрипта. Однако, такой подход не применим в промышленной интеграции нескольких информационных систем или построении корпоративных хранилищ и озер данных. Поэтому знание инструментов дата мэппинга пригодится как Data Scientist’у, так и Data Engineer’у. Наконец, сопоставление данных с целью избавления от дублирующихся и противоречивых значений входит в задачи обеспечения качества данных (Data Quality) [4]. В свою очередь, Data Quality относится к области ответственности стратега по данным и инженера по качеству данных. Таким образом, понимание процесса маппирования необходимо каждому Data-специалисту.