Платформа "1С:Предприятие" 8.3.14
15.11.2018

Использование "Дата акселератора"

В составе платформы "1С:Предприятие" версии 8.3.14 доступны два новых механизма для работы с данными:

Механизм копий базы данных. Позволяет для выбранных объектов метаданных создавать копию данных на доступной по сети СУБД и в некоторых случаях автоматически перенаправлять туда обращения к данным во время работы конфигурации;
Дата акселератор (Data accelerator). Представляет собой СУБД, хранящую и обрабатывающую данные в оперативной памяти компьютера и оптимизированную для выполнения аналитических отчетов.

Совместное использование этих механизмов позволяет:

выделить набор метаданных для хранения в Дата акселераторе;
создать и обновлять в нем копию базы данных;
направлять выбранные запросы и отчеты на обработку в Дата акселератор, получая в зависимости от вида запроса многократное ускорение обработки данных.

Технология Дата акселератора реализована в виде сервиса кластера серверов "1С" и обладает рядом специфических особенностей:

Механизм копий БД и Дата акселератор позволяют оптимизировать обработку данных только для чтения. Это позволяет ускорить или разнести обработку данных по различным компьютерам для выполнения сложных отчетов и аналитических операций. Запись данных и их транзакционная обработка всегда выполняются на основной базе конфигурации, обеспечивая целостность данных.
Дата акселератор хранит и обрабатывает данные непосредственно в оперативной памяти компьютера. Если объем оперативной памяти недостаточно большой, то пользователь получит ошибку при выполнении обновления копии данных, или во время выполнения запросов.
Платформа "1С:Предприятие" автоматически определяет возможность перенаправления запроса в копию данных. Для управления этим процессом добавлен набор новых параметров, определяющих возможный источник данных и необходимый уровень их актуальности (дату последнего изменения).

1. Требования к среде для работы сервиса

Сервис недоступен при использовании режима совместимости 8.3.13 и ниже.
Минимальные системные требования:

Операционная система семейства Linux:
- объем оперативной памяти 64Гб;
- изменить стратегию управления оперативной памятью – всегда выделять столько памяти, сколько требует приложение. Значение параметра overcommit_memory=1. Устанавливается с помощью команды sudo sysctl -w vm.overcommit_memory=1.
Операционная система семейства Windows:
- объем оперативной памяти 64Гб;
- использование файла подкачки объемом не менее 512Гб.

Фактический объем потребляемой оперативной памяти будет зависеть от выполняемых запросов и объема таблиц, размещенных в Дата акселераторе.

1.1. Изменение стратегии управления памятью в Linux

За стратегию управления выделением памяти отвечает параметр overcommit_memory. Значение по умолчанию – 0.

Необходимо установить значение 1 (всегда выделять столько памяти, сколько просит приложение). Устанавливается с помощью команды sudo sysctl -w vm.overcommit_memory=1. Проверить можно с помощью команды sudo cat /proc/sys/vm/overcommit_memory.

Для того чтобы политика выделения памяти оставалась такой же и после перезагрузки сервера необходимо сделать следующее:

Создать файл в каталоге /etc/sysctl.d/
Создать в нем файл 40-dbda.conf
В файле указать vm.overcommit_memory=1
Перезагрузить сервер.
Проверить состояние. sudo cat /proc/sys/vm/overcommit_memory должен вернуть 1.

1.2. Управление файлом подкачки

Управление файлом подкачки осуществляется через дополнительные параметры системы в свойствах компьютера. Нажимаем кнопку Параметры в секции Быстродействие.

В открывшемся окне на вкладке Дополнительно находим секцию Виртуальная память и нажимаем кнопку Изменить.

Выбираем диск для размещения файла подкачки. Выбираем переключатель Указать размер. Указываем размер файла подкачки (и минимальный, и максимальный). Нажимаем кнопку Задать, затем ОК. Выполняем перезагрузку компьютера.

2. Варианты развертывания сервиса "Дата акселератора"

Возможны два основных варианта развертывания сервиса Дата акселератора:

Для кластера серверов "1С", состоящего из одного сервера, сервис Дата акселератора всегда запущен по умолчанию. Для использования такого варианта развертывания необходимо учитывать, что общий объем доступной оперативной памяти на сервере должен быть рассчитан, исходя из имеющейся информации об использовании памяти сервером "1С" и минимальных/рекомендуемых требований. Для расчета можно использовать формулу M + Srec, где M – объем памяти, используемой всеми процессами кластера серверов "1С" на рассматриваемом рабочем сервере без использования Дата акселератора, Srec – рекомендуемый доступный объем оперативной памяти (512Гб).
Для кластера серверов "1С", состоящего из нескольких серверов, сервис Дата акселератора может быть запущен на отдельном сервере, на котором объем доступной оперативной памяти удовлетворяет требованиям. С помощью требования назначения функциональности нужно указать сервер кластера, на котором будет работать сервис Дата акселератора. После установки требования необходимо применить. Подробнее о требованиях назначения функциональности см. здесь https://its.1c.ru/db/v83doc#bookmark:cs:TI000000042

Рекомендуемые настройки требований назначения функциональности для кластера из двух серверов следующие:
- Рабочий сервер, выделенный под сервис Дата акселератора:
  - требование с объектом Сервис Дата акселератор и типом требования "Назначать" (с первым номером требования).
  - требование с объектом "Любой объект требования" и типом требования "Не назначать", чтобы никакие другие сервисы не выполнялись на этом рабочем сервере (со вторым номером требования).
- Центральный сервер кластера:
  - требование с объектом Сервис Дата акселератора и типом требования "Не назначать".
  Рабочий сервер, выделенный под Дата акселератор:
  
  Центральный сервер кластера:

3. Управление копиями баз данных

Для управления копиями баз данных необходимо через меню Все функции вызвать соответствующую стандартную обработку.

В открывшемся окне можно управлять копиями баз данных и составом метаданных, хранящихся в них.

Важно обратить внимание на следующие параметры:

Встроенный Дата акселератор. Значение "Да" означает, что будет использоваться сервис Дата акселератора. Значение "Нет" означает, что используется некоторая внешняя СУБД, в которой находится копия базы данных.
Для варианта использования внешней СУБД важно значение параметра Тип репликации. При значении "Стандартная" за актуальностью данных в копии следит сервис копий баз данных (значение по умолчанию, рекомендуется использовать его). При значении "Внешняя" за актуальностью данных в копии должен следить сторонний механизм, не относящийся к кластеру серверов "1С".

Справа, в дереве метаданных, необходимо указать те объекты метаданных, для которых будет создана копия.

При нажатии на кнопку Обновить копию начнется обновление текущей выделенной копии базы данных. Обновление копии выполняется в синхронном вызове, т.е. клиентское приложение после нажатия кнопки не будет отвечать, пока не будет полностью выполнен перенос данных. По окончании переноса клиентское приложение снова станет доступно.

Параллельное обновление копий баз данных невозможно. При попытке выполнения одновременного обновления будет возвращена ошибка "Параллельное обновление копии невозможно".
Для управления копиями баз данных из встроенного языка необходимо использовать менеджер "КопииБазыДанных".

4. Использование возможностей "Дата акселератора".

Использование возможностей Дата акселератора доступно только:

для отчетов, реализованных с применением схемы компоновки данных;
объекта встроенного языка "Запрос" с указанными свойствами Требуемая актуальность данных и Требуемое время актуальности данных.

Разработчик или пользователь указывает требования к запрашиваемым данным через свойства запроса или отчета. Требования задаются через свойства Требуемая актуальность данных и Требуемое время актуальности данных. Сервис копий баз данных решает, на какой базе будет выполняться запрос. Перед выполнением запроса проверяются следующие условия возможности его выполнения на копии базы данных:

Запрос выполняется вне транзакции;
Не используется объект встроенного языка "МенеджерВременныхТаблиц".
"Требуемая актуальность данных" установлено в значение "Авто" или "Любые".
Все таблицы, необходимые для исполнения запроса, имеются в копии баз данных.
Актуальность данных в копии удовлетворяет тем требованиям, которые установил пользователь или разработчик. Актуальность данных определяется исходя из значения параметра ТребуемоеВремяАктуальностиДанных:
- Если значение 0, то проверяется наличие не перенесенных изменений. Если таких нет, то запрос может быть исполнен в копии баз данных. В противном случае запрос будет выполнен в основной базе.
- Если значение больше 0, то от текущего времени отнимается значение - получается дата в прошлом. Если в основной базе не было изменений после полученной даты, либо все измененные таблицы в копии обновлены после этой даты, запрос будет выполнен в копии. В противном случае запрос будет выполнен в основной базе.

В схеме компоновки данных за использование копии базы данных отвечают параметры Требуемая актуальность данных и Требуемое время актуальности данных на закладке Дополнительные настройки. Параметры Выводить актуальность данных и Выводить копию базы данных позволяют увидеть, где фактически выполнился запрос. Информация выводится в шапке отчета.

В запросе за использование копии баз данных отвечают свойства:

ТребуемаяАктуальностьДанных
ТребуемоеВремяАктуальностиДанных

В результате запроса есть свойство КопияБазыДанных, в котором указывается имя копии, на которой выполнен запрос.

Определить, что запрос или отчет выполнялся Дата акселератором можно с помощью технологического журнала по событию "DBDA". Если копия базы данных расположена не в Дата акселераторе, то имя события в технологическом журнале будет соответствовать типу СУБД.

5. Автоматическое добавление объектов метаданных в копию

Для того чтобы отчет мог выполниться на копии, необходимо чтобы все таблицы, используемые при формировании отчета, были расположены в копии базы данных. Отчеты могут обращаться к множеству объектов метаданных. В некоторых случаях эти объекты метаданных могут явно не встречаться в тексте запроса на языке "1С", поэтому настройка списка объектов метаданных для размещения в копии может вызывать трудности.

Для упрощения этой процедуры можно воспользоваться обработкой Подбор таблиц для Дата акселератора. Она позволяет настроить копию несколькими способами:

По данным технологического журнала анализирует текст запроса к СУБД и получает объекты метаданных.
По данным текста запроса на языке 1С получает объекты метаданных.
По данным отчета конфигурации на базе СКД анализирует тексты запросов на языке "1С" и получает объекты метаданных.

По полученным данным обработка выбирает для копирования в копию необходимые объекты метаданных и запускает процесс обновления данных в копии так, чтобы она была готова к выполнению запроса.
Ниже приводится инструкция для сбора данных и использования этой обработки.

5.1. Сбор информации о запросах

5.1.1. Из технологического журнала

Необходимо узнать тип СУБД, на котором размещена база данных. Для этого можно воспользоваться консолью администрирования, посмотрев свойства информационной базы.

Далее потребуется понять, к каким таблицам идет обращение на СУБД при выполнении отчета. Сделать это можно с помощью технологического журнала. Ознакомиться с тем, что такое технологический журнал можно по ссылке https://its.1c.ru/db/v83doc#bookmark:adm:TI000000446

Настройки технологического журнала (logcfg.xml):

Копировать в буфер обмена

<?xml version="1.0"?>
<config xmlns="http://v8.1c.ru/v8/tech-log">
<log history="48" location="[ПутьКТехнологическомуЖурналу]">
<event>
<eq property="Name" value="[ИмяСобытия]"/>
<like property="Context" value="%[ИмяОтчета]%"/>
</event>
<property name="all"/>
</log>
</config>

В конфигурационном файле необходимо указать следующие параметры:

[ПутьКТехнологическомуЖурналу] – путь, куда процессы кластера будут писать технологический журнал. Должен быть доступен на чтение / изменение пользователю, от имени которого запущены процессы сервера 1С;
[ИмяСобытия] – имя события в зависимости от типа СУБД, на которой развернута база данных: DBMSSQL, DBPOSTGRS, DBORACLE, DB2;
[ИмяОтчета] – имя отчета, который необходимо выполнить в копии базы данных. Например, можно указать имя "ВедомостьПоТоварамНаСкладах" или "Отчет.РасчетыСКлиентами". Знаки процента должны остаться, т.к. производится поиск по маске.

Если база продуктивная (параллельно работают другие пользователи) или в кластере зарегистрировано несколько информационных баз, то необходимо установить дополнительные отборы для свойств "processName" или "Usr" - например, добавив следующую строку в секцию event:

Копировать в буфер обмена

<eq property="USR" value="[ИмяВашегоПользователя]"/>

Выполняем отчет один раз. Убеждаемся, что в каталоге технологического журнала появился каталог рабочего процесса (rphost), содержащий не пустой файл логов.

5.1.2. Из текста запроса

Найдите нужный текст запроса в конфигурации. Получите его текст запроса и скопируйте в буфер обмена.

5.1.3. Из отчета конфигурации

Определите имя отчета в терминах метаданных конфигурации.

5.2. Добавление таблиц в копию

Необходимо воспользоваться обработкой Подбор таблиц для Дата акселератора.

В поле Имя базы в Дата акселераторе необходимо указать имя копии базы данных. Можно указать как имя существующей копии, так и имя новой копии – при необходимости обработка создаст новую копию. Существующую копию можно выбрать по кнопке выбора.

В зависимости от выбранного способа получения информации о запросах в п 5.1. выполняем следующие действия:

Текст из технологического журнала добавляем в поле Текст из технологического журнала.
Текст из текста запроса на языке "1С" добавляем в поле Текст из текста запроса.
Выбираем отчет в поле Имя отчета.

Нажимаем кнопку Добавить таблицы и обновить копию. Обработка выполнит анализ текстов запросов, затем найдет соответствующие имена объектов метаданных, выполнит поиск копии базы данных по указанному ранее имени (в случае отсутствия создаст копию), добавит таблицы в копию и вызовет перенос данных.

По окончании работы в нижней табличной части будет указан список метаданных в терминах "1С" и СУБД, а также выдана информация о произведённых действиях или сообщение об ошибке в случае ее возникновения.

5.3. Проверка выполнения отчета в копии баз данных

Убедитесь, что в дополнительных настройках СКД указаны параметры Требуемая актуальность данных, Требуемое время актуальности данных, Выводить актуальность данных и Выводить копию базы данных.

Запустите выполнение отчета.

По окончании его формирования в заголовке табличного документа будет указана копия базы данных, из которой получены данные и дата актуальности данных.

Если в заголовке указано "Копия базы данных: не используется", значит, отчет был выполнен в основной базе. В таком случае проверьте настройки СКД на закладке Дополнительные настройки.

6. Примеры настроек

Данные о конфигурации кластера:

Центральный сервер кластера. ОС Windows. Объем памяти 32Гб
Рабочий сервер кластера. ОС Centos 7. Объем памяти 512 Гб

Настраиваем требования назначения функциональности (см. раздел 2):

Рабочий сервер, выделенный под сервис Дата акселератора:
- требование с объектом Сервис Дата акселератора и типом требования "Назначать" (с первым номером требования);
- требование с объектом Любой объект требования" и типом требования "Не назначать", чтобы никакие другие сервисы не выполнялись на этом рабочем сервере (со вторым номером требования).
Центральный сервер кластера:
- требование с объектом Сервис Дата акселератора и типом требования "Не назначать".

Применяем настроенные требования.

6.1. Пример для выполнения запроса в "Дата акселераторе"

С помощью стандартной обработки "Управление копиями баз данных" создаем копию с признаком "Встроенный Дата акселератор" - "Да"
Выбираем объекты метаданных, которые будут размещены в копии базы данных.
Нажимаем кнопку Обновить копию. Ждем окончания переноса данных.
Проверяем выполнение запроса из встроенного языка с признаком "Требуемая актуальность данных" = "Любые". Если таблица не была изменена с момента переноса данных, то в результате выполнения запроса будет возвращено имя копии баз данных, в которой выполнился запрос.

6.2. Пример для выполнения отчета в "Дата акселератор".

Выбираем отчет. Например, "Ведомость по товарам на складах" в конфигурации ERP 2.4.4.

Настраиваем технологический журнал для получения запросов отчета: Копировать в буфер обмена


<?xml version="1.0"?>
<config xmlns="http://v8.1c.ru/v8/tech-log">
<log history="48" location="C:\techlogs\Report">
<event>
<eq property="Name" value="DBMSSQL"/>
<like property="Context" value="%Отчет.ВедомостьПоТоварамНаСкладах%"/>
</event>
<property name="all"/>
</log>
</config>

Выполняем отчет. Полученный текст технологического журнала вставляем в обработку "Подбор таблиц для Дата акселератора". Указываем имя копии базы в поле Имя базы. Жмем на кнопку Добавить отчеты и обновить копию. Дожидаемся завершения выполнения команды.
Открываем отчет "Ведомость по товарам на складах". Переходим в Еще - Прочее - Изменить вариант отчета.
Открываем вкладку Дополнительные настройки. Указываем настройки:
- Требуемая актуальность данных = Любые;
- Требуемое время актуальности данных = 86400;
- Выводить актуальность данных = Выводить;
- Выводить копию базы данных = Выводить
Нажимаем кнопку Сформировать. Ждем завершения выполнения отчета. В шапке должно быть указано имя копии базы данных.

7. Устранение неполадок

Возникновение ошибки "Exception caught: bad allocation"
Ошибка возникает, потому что для выполнения операции не хватило виртуальной памяти. Проблема решается в зависимости от используемой операционной системы:
- Операционная система семейства Windows:
  - Если ошибка возникает при выполнении запроса или отчета, попробуйте удалить из копии баз данных неиспользуемые таблицы.
  - Попробуйте увеличить размер файла подкачки.
  - Попробуйте увеличить объем оперативной памяти.
- Операционная система семейства Linux:
  - Проверьте значение параметра overcommit_memory с помощью команды sudo cat /proc/sys/vm/overcommit_memory, если значение отличается от 1, установите его с помощью команды sudo sysctl -w vm.overcommit_memory=1.
  - Попробуйте увеличить объем оперативной памяти.
Отчет или запрос не выполняется в копии базы данных
Такая проблема может возникнуть, потому что нет ни одной копии, в которой бы располагались все таблицы, необходимые для выполнения запроса, либо данные в копиях устарели. Способы решения проблемы:
- Увеличьте значение параметра Требуемое время актуальности данных.
- Проверьте, все ли таблицы есть в копии. Это можно сделать, например, выполнив поочередное обращение к таблицам с помощью запросов. В свойстве КопияБазыДанных объекта РезультатЗапроса будет указано, на какой копии выполнился запрос.
- Проверьте текст запроса на языке "1С" и состав объектов метаданных в копии. В некоторых случаях необходимо вручную добавить используемые перечисления и константы.

8. Обращение в техподдержку

В случае, если настройки выполнены корректно, а устранить проблему своими силами не получается, необходимо отправить информацию в техническую поддержку.
Для этого необходимо предоставить следующую информацию:

Описание сценария возникновения проблемы.
Описание окружения: ОС, версия ОС, объем RAM на сервере, объем файла подкачки (если есть), значение параметра overcommit_memory.
Полный технологический журнал от воспроизведения проблемы. Настройка следующая: Копировать в буфер обмена
```
<?xml version="1.0" encoding="UTF-8"?>
<config xmlns="http://v8.1c.ru/v8/tech-log">
<dump create="true" location="[КаталогДампов]" type="0" prntscrn="false" externaldump="1"/>
<log location="[КаталогЛогов]" history="24">
<event>
<ne value="" property="Name"/>
</event>
<property name="all"/>
</log>
<plansql/>
</config>
```
Собранный технологический журнал может быть большого размера, поэтому не рекомендуется собирать его дольше 15 минут либо более того времени, которого достаточно для воспроизведения проблемы.
Выгрузку информационной базы.

Отправлять собранные данные необходимо на электронный адрес betaplatform@1c.ru с отметкой "DBDA" в теме письма.

ВЫ МОЖЕТЕ ПРЯМО СЕЙЧАС СКАЧАТЬ ОБРАБОТКУ "Подбор таблиц для Дата акселератора"
НА ЖЕСТКИЙ ДИСК ВАШЕГО КОМПЬЮТЕРА

Копировать