Модуль 10. Применение SQL Server Integration Services
Зачем нужны SQL Server Integration Services
SQL Server Integration Services (SSIS) - что это такое, DTS в SQL Server 2005, возможности и применение SSIS
SQL Server Integration Services (сокращенно SSIS) формально определяется как набор графических, консольных утилит и программных объектов, которые предназначены для извлечения, преобразования и консолидации данных из разнородных источников в разные "пункты назначения". Можно считать, чтоSSIS — это что-то вроде мощного насоса, предназначенного для перекачки данных из одного места в другое. Кроме того, службы SSIS в процессе "перекачки" могут преобразовывать и проверять данные.
В предыдущих версиях SQL Server службы-предшественники SSIS, предназначенные для перекачки данных, назывались Data Transformation Services (DTS). Однако изменения в SQL Server 2005 в отношении SSIS/DTS можно назвать скорее революционными, чем эволюционными. Изменилось практически все: средства создания и администрирования пакетов, формат пакетов, среда выполнения, объектные модели, консольные утилиты и т. п. По наблюдениям автора, даже специалисты, которые имеют значительный опыт работы с DTS, осваиваются с SSIS не сразу.
Администраторы и разработчики могут использовать службы SSIS во всех ситуациях, когда нужно производить загрузку, выгрузку, проверку или преобразование данных. При этом совсем не обязательно, чтобы эти данные находились на SQL Server. Вы можете использовать средства SSIS, например, для загрузки файлов DBF на сервер Oracle или для выгрузки информации из Access в файлы XML. Вот несколько обычных ситуаций, когда службы SSIS могут сэкономить вам много времени:
q вам нужно организовать сбор информации из филиалов или подразделений предприятия (например, отчетов о проведенных операциях) и размещение этой информации в базе данных (например, SQL Server или Oracle). Несколько лет назад для этого обычно использовались макетные файлы в формате CSV(Comma-separated Values — значения, разделенные запятыми). В последнее время для передачи данных все чаще используется формат XML. И в том, и в другом случае удобнее всего для проверки передаваемых данных и загрузки их на источник использовать средства SSIS;
q в последнее время на многих предприятиях все чаще создают Data Warehouses — хранилища данных. Они представляют собой обычные реляционные базы данных, как правило, большого размера и специальным образом спланированные. В хранилище данных поступает информация из самых разных рабочих источников данных (например, из баз данных SQL Server, Oracle, Access, файлов DBF, Excel и т. п.), с которыми непосредственно работают пользователи. Хранилища данных очень удобно использовать для создания отчетов и анализа сводной информации. Кроме того, за счет перемещения старой информации в хранилища разгружаются рабочие базы данных, с которыми ведется текущая работа (базы данных OLTP), что позволяет сильно повысить их производительность. Поскольку перемещение информации в хранилища производится на регулярной основе, то удобнее всего использовать для этой цели пакеты SSIS;
q многие предприятия не ограничиваются созданием хранилищ данных и делают еще один шаг — создают базы данных OLAP. В этих базах данных вместо обычных двумерных таблиц со столбцами и строками применяются многомерные кубы. Эти кубы очень удобно использовать для проведения анализа, например, в разрезе регионов, типов продуктов, временном разрезе и т. п. Процесс загрузки информации из хранилища данных (или прямо из баз данныхOLTP) в кубы OLAP называется процессингом. Его тоже проще всего производить при помощи пакетов SSIS.
Существует множество других ситуаций, когда службы SSIS могут оказаться очень полезны. Например, существуют приложения, в которых средствамиSSIS в базу данных помещается информация из логов телефонной станции, формируются отчеты и т. п. По опыту автора, время, потраченное на освоениеSSIS, окупается очень быстро.
Утилиты SSIS в SQL Server 2005, Business Intelligence Development Studio, SSIS Import and Export Wizard, Package Migration Wizard, dtexec,dtexecui, dtutil
Главное средство для работы с SSIS — это SSIS Designer, который является составной частью Business Intelligence Development Studio. Чтобы открыть окноSSIS Designer, достаточно запустить Business Intelligence Development Studio из меню Пуск | Программы | Microsoft SQL Server 2005 | SQL Server Business Intelligence Development Studio и создать новый проект на основе шаблона Integration Services Project. Окно SSIS Designer откроется автоматически (рис. 10.1).
Рис. 10.1. Интерфейс SSIS Designer
При помощи интерфейса SSIS Designer доступны все возможности работы с пакетами — наборами элементов, которые выполняют работу по передаче и преобразованию данных. Вы можете добавлять и настраивать компоненты пакета, сохранять пакет, запускать его на выполнение, производить отладку и т. п.
Отметим принципиальное отличие SSIS Designer от DTS Designer в SQL Server 7.0/2000, который входил в состав Enterprise Manager. В DTS Designer для создания пакета DTS необходимо было обязательно подключиться к SQL Server (даже если в пакете вы к нему не обращались). В SSIS Designer пакет представляет собой фактически специальный проект Visual Studio, и для работы с ним SQL Server не нужен. Это наверняка порадует многих разработчиков.
Если вам нужен самый простой пакет, который будет только перекачивать данные с одного источника на другой, и вы хотите затратить на решение этой задачи минимум времени, можно воспользоваться мастером SQL Server Import and Export Wizard. Его можно запустить разными способами:
q просто из командной строки операционной системы при помощи команды DTSWizard;
q из SSIS Designer при помощи меню Project | SSIS Import and Export Wizard;
q из SQL Server Management Studio, если в дереве Object Explorer щелкнуть правой кнопкой мыши по объекту базы данных и в контекстном меню выбратьTasks | Import Data (Задачи | Импортировать данные) или Tasks | Export Data (Задачи | Экспортировать данные).
Работа с мастером будет рассмотрена в следующем разделе.
Если у вас уже были созданы пакеты DTS в SQL Server 2000, то при переходе на SQL Server 2005 вам может потребоваться перевод их в формат пакетовSSIS. Проще всего это сделать при помощи мастера Package Migration Wizard. Его также можно запустить по-разному:
q из командной строки при помощи команды DTSMigrationWizard;
q из SSIS Designer при помощи меню Project | Migrate DTS 2000 Package (Проект | Перенести проект DTS2000);
q из SQL Server Management Studio. Для этого нужно раскрыть контейнер Management | Legacy | Data Transformation Services (Управление |Унаследованное | Data Transformation Services) и в контекстном меню для этого контейнера выбрать Migration Wizard.
Надо сказать, что в принципе можно и не обновлять формат пакетов, созданных на SQL Server 7.0/2000. Эти пакеты вполне можно запускать на выполнение и на SQL Server 2005. Однако редактировать их можно будет только средствами Enterprise Manager из SQL Server 2000.
Часто бывает удобно запускать созданные пакеты из командной строки. Например, это может потребоваться для запуска пакета по расписанию в ночное время (средствами планировщика операционной системы или заданий SQL Server Agent). Запуск пакета из командной строки операционной системы производится при помощи утилиты dtexec. Сгенерировать для нее командную строку (или точно также запустить пакет) можно при помощи графической утилиты dtexecui.
Из командной строки можно также производить некоторые административные операции с пакетами, например, копирование, перемещение, удаление, шифрование и т. п. Для этого предназначена утилита dtutil.
Но основным средством для работы с пакетами, конечно, является SSIS Designer. Но вначале рассмотрим создание простых пакетов средствами SQL ServerImport and Export Wizard.
