Внешняя таблица
Содержание раздела
Внешняя таблица — специальная сущность, которая ссылается на внешний источник или приемник данных и не хранит сами данные. Источниками и приемниками данных могут быть:
- топики Kafka,
- standalone-таблицы.
Доступны следующие виды внешних таблиц:
- внешняя таблица загрузки,
- внешняя таблица выгрузки,
- внешняя writable-таблица,
- внешняя readable-таблица.
На рисунке ниже показаны связи внешних таблиц с источниками и приемниками данных.
Внешние таблицы и их связи с источниками и приемниками данных
Внешние таблицы можно создавать и удалять. Подробнее об управлении внешними таблицами см. в разделе Управление схемой данных.
Внешняя таблица загрузки
Внешняя таблица загрузки позволяет загружать данные из топика Kafka в систему: в логическую таблицу или внешнюю writable-таблицу.
Внешняя таблица загрузки определяет следующие параметры загрузки:
- список загружаемых полей,
- путь к топику Kafka,
- формат обмена данными,
- дополнительные параметры.
Внешняя таблица выгрузки
Внешняя таблица выгрузки позволяет выгружать данные из системы в топик Kafka.
С помощью внешней таблицы выгрузки можно выгружать результаты определенного SELECT-подзапроса. Такой подзапрос может обращаться к отдельным сущностям и их соединениям: логическим таблицам, логическим и материализованным представлениям, standalone-таблицам.
Внешняя таблица загрузки определяет следующие параметры выгрузки:
- список выгружаемых полей,
- путь к топику Kafka,
- формат обмена данными.
Рекомендации по разделению данных по топикам Kafka
Потоки обмена данными с системой через топики Kafka должны быть разделены по топикам в следующих разрезах:
- по таблицам, куда загружаются данные,
- по направлениям потоков данных (загрузка/выгрузка),
- (опционально) по дополнительным признакам, например по внешним информационным системам.
Например, если для логической таблицы нужно поддержать загрузку и выгрузку данных, для нее следует создать хотя бы по одной таблице загрузки и выгрузки.
Внешняя writable-таблица
Внешняя writable-таблица позволяет записывать данные в standalone-таблицу с помощью функций загрузки и обновления данных.
Внешняя writable-таблица определяет следующие параметры записи:
- список записываемых полей,
- путь к standalone-таблице,
- дополнительные параметры.
Внешняя readable-таблица
Внешняя readable-таблица позволяет читать данные из standalone-таблицы с помощью функций чтения и выгрузки данных.
Внешняя таблица загрузки определяет следующие параметры чтения:
- список считываемых полей,
- путь к standalone-таблице,
- дополнительные параметры.