检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS连接固定选择为OBS。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件
否:写入数据前保留数据。 否 主键分隔符 主键取值方式为“联合主键”时,显示主键分隔符配置项,用于将多选的主键用主键分隔符拼接写入id。 _ 高级属性 管道ID 需要先在kibana中创建管道ID,这里才可以选择,该参数用于数据传到Elasticsearch后,通过Elasticsear
资产总览可展示业务资产、技术资产和指标资产的情况。 业务资产来自于数据架构组件中定义并发布过的逻辑实体与数据表,资产总览展示业务对象、逻辑实体、业务属性的数量及其详情。 技术资产来自于数据连接和元数据采集任务,资产总览展示数据库、数据表、数据量的数量及其详情。 指标资产来自于数据架构组件中
在数据开发模块控制台的左侧导航栏,进入“数据开发 > 脚本开发”,选择“新建DLI SQL脚本”。 进入SQL脚本开发页面,在脚本属性栏选择“数据连接”、“数据库”、“资源队列”。 图1 脚本属性 在脚本编辑器中输入以下SQL语句。 INSERT OVERWRITE TABLE trade_report SELECT
s Studio对用户数据的存储和传输进行加密保护,以防止个人数据泄露,保证您的个人数据安全。 用户名:用于审批,消息通知,作为用户资产的属性存在,获取委托token的key值以及国际化。 用户IP:用于作为用户资产的唯一标识的必要信息存在。 手机号:用于审批及消息通知。 邮箱:用于审批及消息通知。
系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 TABLE_EXAMPLE 高级属性 Where子句 “使用SQL语句”选择“否”时,显示该参数,表示配置抽取范围的Where子句,不配置时抽取整表。 如果要迁移的表中没有Where子句的字段,迁移失败。
描述信息。支持的长度为1~600个字符。 选择“属性配置”页签,配置汇总表的属性信息。 单击“添加”,可以添加一个或多个相关联的属性信息,例如衍生指标。 单击“导入字段”,可以选择“从指标导入”、“从维度属性导入”或“从数据指标导入”,可以导入所需的字段信息。 从维度属性导入字段时,指标引用的维度属性,必须先关联指
*table表示导出所有以“table”结尾的表。 *table*表示表名中只要有“table”字符串,就全部导出。 table 高级属性 Where子句 “使用SQL语句”选择“否”时,显示该参数,表示配置抽取范围的Where子句,不配置时抽取整表。 该参数支持配置为时间宏
式分布。 *属性名称(CHN) 表中的属性字段的中文名称。只允许除\、<、>、%、"、'、;及换行符以外的字符。 *属性名称(ENG) 表中的属性字段的英文名称。只能包含英文字母、数字和下划线,且以英文字母开头。 属性编码 表中的属性字段的编码,系统自动生成。 属性别名 用户在配
N中的“fromJobConfig.tableName”属性值配置为“mail${num}”,即源表名是通过参数配置。如下图所示: 图7 编辑JSON 由于数据迁移作业名不能重复,因此修改JSON中作业名称“name”属性值配置为“mail${num}”,目的是创建多个CDM集成作业,避免作业名称重复。如下图所示:
> 作业开发”。 在作业目录中,双击单任务模式作业名称,进入作业开发页面。 在SQL编辑器右侧,单击“基本信息”,可以配置作业的基本信息、属性和高级信息等。单任务SQL作业的基本信息如表1所示,属性如表2所示,高级信息如表3所示。 表1 作业基本信息 参数 说明 责任人 自动匹配创
Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 table 高级属性 Where子句 “使用SQL语句”选择“否”时,显示该参数,表示配置抽取范围的Where子句,不配置时抽取整表。 指定抽取的是WHERE
数据目录 数据目录组件有什么用? 数据目录支持采集哪些对象的资产? 什么是数据血缘关系? 数据目录如何可视化展示数据血缘?
据回滚到作业开始之前的状态,自动清理目的表中的数据。 参数位置:创建表/文件迁移的作业时,如果目的端为关系型数据库,在目的端作业配置的高级属性中,可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理:如果启用,在作业执行时CDM会自动创建临时表,先将数据导入到该临时表,导
Redis连接固定选择为Redis。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件
据回滚到作业开始之前的状态,自动清理目的表中的数据。 参数位置:创建表/文件迁移的作业时,如果目的端为关系型数据库,在目的端作业配置的高级属性中,可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理:如果启用,在作业执行时CDM会自动创建临时表,先将数据导入到该临时表,导
)、中划线(-)、下划线(_)、冒号(:)。 在“属性配置”中添加维度属性,单击“新建”按钮,可以添加多个维度属性。 图2 属性配置 表3 属性配置 参数名称 说明 属性名称 只允许除\、<、>、%、"、'、;及换行符以外的字符。 属性英文名称 只能包含英文字母、数字和下划线,且英文字母开头。
工作空间用户管理 获取工作空间用户角色 编辑工作空间用户或用户组 获取工作空间用户信息 添加工作空间用户 删除工作空间用户 父主题: 管理中心API
元数据采集任务接口 查询采集任务列表 创建采集任务 查询采集任务详情 编辑采集任务 删除单个采集任务 启动、调度、停止采集任务 获取任务日志 父主题: 数据目录API
新建数据表。 在弹出的对话框中,显示“配置基本属性”页面,参见表1配置相关参数。 表1 基本属性 数据连接类型 参数说明 DLI 请见表5的“基本属性”部分 DWS 请见表6的“基本属性”部分 MRS Hive 请见表7的“基本属性”部分 单击“下一步”,在“配置表结构”页面配置如表2所示的参数。