检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发者:开发者拥有工作空间内创建、管理工作项的业务操作权限。建议将任务开发、任务处理的用户设置为开发者。 运维者:运维者具备工作空间内运维调度等业务的操作权限,但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客:访客可以查看工作空间内的数据,但无法操作业务。建议将只查看空间内容、不进行操作的用户设置为访客。
FACT_LOGIC_TABLE: 事实表 FACT_MEASURE: 事实表度量 FUNCTION: 函数 INFO_ARCH: 信息架构(批量修改主题使用) MODEL: 模型 QUALITY_RULE: 质量规则 SECRECY_LEVEL: 密级 STANDARD_ELEMENT:
支持指定列脱敏。开启后您可以对源表中的指定列配置脱敏算法,支持对多列分别配置不同的脱敏算法。 说明: 注意该参数确定后,无法再通过编辑任务修改此选项。 *指定列 开启“是否指定列”时,此参数为必选项。 如果您需要对某列进行脱敏,则必须勾选对应列,然后选择脱敏算法才能生效。如果仅选择脱敏算法,则无法实现脱敏。
在API网关服务上购买一个APIG实例。实例创建后,有一个默认API分组,系统为分组自动分配一个内部测试用的调试域名,此调试域名唯一且不可更改,每天最多可以访问1000次。如果您不希望与其他API共享此规格,可以在APIG控制台新建一个API分组(详情请参考创建API分组),然后
FACT_LOGIC_TABLE: 事实表 FACT_MEASURE: 事实表度量 FUNCTION: 函数 INFO_ARCH: 信息架构(批量修改主题使用) MODEL: 模型 QUALITY_RULE: 质量规则 SECRECY_LEVEL: 密级 STANDARD_ELEMENT:
关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。 当作业源端为OBS、迁移CSV文件时,并且配置“解析首行为列名”参数的场景下显示列名。 当
关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。 当作业源端为OBS、迁移CSV文件时,并且配置“解析首行为列名”参数的场景下显示列名。 当
关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。 当作业源端为OBS、迁移CSV文件时,并且配置“解析首行为列名”参数的场景下显示列名。 当
关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。 当作业源端为OBS、迁移CSV文件时,并且配置“解析首行为列名”参数的场景下显示列名。 当
Boolean 是否禁用。 id String 数据标准ID,ID字符串。 actived Boolean 是否显示,系统默认项必然显示不允许修改。true表示使用数据标准时体现(增改查的时候可以操作该属性),false表示使用数据标准时不体现。 required Boolean 是
包含度量和维度两种类型。 字段名称 只允许除\、<、>、%、"、'、;及换行符以外的字符。 维度属性的字段会自动显示所添加的维度表及维度表的属性值字段,一般不需要修改。 字段英文名称 只能以英文字母开头,支持英文字母、数字、下划线。 数据类型 显示该维度的数据类型。 主键 选中时表示该字段为主键。 说明:
说明 名称 只允许除\、<、>、%、"、'、;及换行符以外的字符。 维度属性的字段会自动显示所添加的维度表及维度表的属性值字段,一般不需要修改。 英文名称 只能以英文字母开头,支持英文字母、数字、下划线。 数据类型 显示该字段名称的数据类型。 配置类型 表示该字段名称对应的配置类型。比如衍生指标。
作业创建时间。 downstreamJobs 否 String 下游依赖当前作业的作业名称。 lastUpdateUser 否 String 作业最后修改人。 logPath 否 String 作业运行日志存放的OBS路径。 basicConfig 否 BasicConfig数据结构 作业的基本信息,参考表28
FACT_LOGIC_TABLE: 事实表 FACT_MEASURE: 事实表度量 FUNCTION: 函数 INFO_ARCH: 信息架构(批量修改主题使用) MODEL: 模型 QUALITY_RULE: 质量规则 SECRECY_LEVEL: 密级 STANDARD_ELEMENT:
作业类型为REAL_TIME时类型可选择如下:FlinkSQL、FlinkJar、DLISpark。 lastUpdateUser 否 String 作业最后修改人。 logPath 否 String 作业运行日志存放的OBS路径。 basicConfig 否 BasicConfig数据结构 作业的基本信息,参考表29。
Describe:查询权限 Create:创建主题权限 Delete:删除主题权限 Describe Configs:查询配置权限 Alter Configs:修改配置权限 Storm Storm的Topology权限: Submit Topology:提交拓扑 File Upload:上传文件 File
逻辑表预览 目标端配置。 图6 配置目标端参数 源库表和目标匹配策略: 目标端库名:自定义目标端库名。 表匹配策略:默认为与源端逻辑表同名,不可更改。 写入模式:选择数据写入模式。 UPSERT为批量更新入库模式,COPY为DWS专有的高性能批量入库模式。 批写最大数据量:根据表数据大
Boolean 是否禁用。 id String 数据标准ID,ID字符串。 actived Boolean 是否显示,系统默认项必然显示不允许修改。true表示使用数据标准时体现(增改查的时候可以操作该属性),false表示使用数据标准时不体现。 required Boolean 是
钟不等。 图5 逻辑表预览 目标端配置。 源库表和目标匹配策略: 目标端库名:自定义目标端库名。 表匹配策略:默认为与源端逻辑表同名,不可更改。 目标数据源配置: 数据存储路径:Hudi数据存储的基础路径,只对自动建表生效。每张目的端表会在基础路径下创建子目录,支持HDFS或OB
选择源端和目的端的数据类型,支持的源端与目的端请参见支持的数据源。 图1 选择数据连接类型 选择集成作业类型。 同步类型:默认为实时,不可更改。 选择同步场景,支持分库分表和整库同步方式,具体支持的数据源请参见支持的数据源。 不同场景介绍如表1所示。 表1 同步场景参数说明 场景类型