检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
主机连接参数说明 表1 主机连接 参数 是否必选 说明 数据连接类型 是 主机连接固定选择为主机连接。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,
Spark Python算子的具体使用教程,请参见开发一个MRS Spark Python作业。 参数 用户可参考表1,表2和表3配置MRS Spark Python节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、
根据业务需求设计关系模型、维度模型,在数据架构模块中,逐步建立模型中的对象,例如维度、事实表、指标、汇总表等。 添加审核人 添加审核人 管理配置中心 管理配置中心 流程设计 流程设计 主题设计 主题设计 码表管理 新建码表 制定数据标准 新建数据标准 关系建模 关系建模 维度建模 维度建模 业务指标
Studio工作空间角色决定了其在工作空间内的权限,当前有管理员、开发者、部署者、运维者和访客这几种预置角色可被分配,角色的权限说明请参见权限列表章节。 如果预置角色可以满足您的使用需求,则您可以跳过本章节;否则,请您按照本章节描述创建自定义角色。 背景信息 DAYU Administrator或Tenant
至少新增一个根目录层级分类。后续再新建分类时,可通过或,新增同级或子级分类。 单击或后,在弹出的新建分类窗口中,参考表1填写数据分类信息。 图2 新建数据分类 表1 参数设置 参数名 参数设置 *分类名称 分类名称只能包含中文、英文字母、数字和下划线。 描述 分类描述支持所有字符输入。
查询数据连接列表 功能介绍 查询数据连接列表。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/data-connections 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
定)、DIMENSION_LOGIC_TABLE(维度表)、FACT_LOGIC_TABLE(事实表)、AGGREGATION_LOGIC_TABLE(汇总表)、TABLE_MODEL(关系建模表)、CODE_TABLE(码表)、STANDARD_ELEMENT)(数据标准)、B
输入检验前缀。只能包含英文字母、数字和下划线,且以英文字母开头。 说明: 模型校验前缀,针对关系建模里面的物理表(关系表)、维度建模里面的事实表、数据集市的汇总表的新建、修改、导入表时,会校验是否有前缀,没有的话会校验失败。进行逆向操作时,也会校验是否有前缀。 描述 数仓模型描述信息。支持的长度0~600字符。 单击“确定”。数仓模型新建完成。
Studio工作空间角色决定了其在工作空间内的权限,当前有管理员、开发者、部署者、运维者和访客这几种预置角色可被分配,角色的权限说明请参见权限列表章节。 如果预置角色可以满足您的使用需求,则您可以跳过本章节;否则,请您按照本章节描述创建自定义角色。 背景信息 DAYU Administrator或Tenant
选择否,CSV中的\作为数据不会进行转义。 是 使用正则表达式分隔字段 文件格式为CSV格式时支持此参数。 是否使用正则表达式分隔字段。 是 正则表达式 文件格式为CSV格式且使用正则表达式分隔字段为是时支持此参数。 分隔字段的正则表达式。 ^(\d.*\d) (\w*) \[(.*)\]
查询码表列表 功能介绍 查询码表列表。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/code-tables 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
逻辑控制器 条件分支 非必选 条件分支算子通过获取上游算子的请求参数或结果集进行条件判断,根据定义的表达式来确定下一步执行的分支。注意,多个分支满足条件时仅执行第一个满足条件的分支。 条件分支算子和表达式的配置方法,详见配置条件分支算子。 并行处理 非必选 并行处理算子可以同时执行多个分支逻辑,分支间互不影响。
统一权限治理对数据连接Agent、数据源版本和用户权限等均有相应的要求。在使用前,您应先按照表1,检查并准备相关配置。 DLI权限管理仅涉及授权dlg_agency委托,不涉及检查集群版本与权限。 使用前检查checklist 表1 使用前检查checklist 检查项 是否必选 检查内容 配置指导 数据连接Agent版本
字符串类的参数直接填写字符串,例如:str1 数值类的参数直接填写数值或运算表达式。 参数配置完成后,在作业中的引用格式为:${参数名称} 编辑参数表达式 在参数值文本框后方,单击,编辑参数表达式,更多表达式请参见表达式概述。 修改 在参数名和参数值的文本框中直接修改,修改完成后,请保存。
库的“SQOOP.CDM_20171016”表中数据,迁移到HDFS的“/opt/ttxx/1508115701746”目录中。 图1 源表名和写入目录配置为时间宏变量 目前也支持一个表名或路径名中有多个宏定义变量,例如“/opt/ttxx/${dateformat(yyyy-M
库的“SQOOP.CDM_20171016”表中数据,迁移到HDFS的“/opt/ttxx/1508115701746”目录中。 图1 源表名和写入目录配置为时间宏变量 目前也支持一个表名或路径名中有多个宏定义变量,例如“/opt/ttxx/${dateformat(yyyy-M
*满分(5,10,100)。 当表为空,即总行数为0时,正向规则评分固定为满分,反向评分固定为0分。 表 表评分计算公式:∑(表关联的所有规则评分*规则权重)/∑规则权重 业务对象 业务对象下所有表评分的加权求平均值,即:∑业务对象下所有表评分/表的数量。 主题域 主题域下所有业
同步场景:包含单表、整库、分库分表场景,各数据源支持的场景不一,详情请参见使用教程。 不同场景介绍如表1所示。 表1 同步场景参数说明 场景类型 说明 单表 支持将源端一个实例下的单张表实时同步至目的端一个实例下的单张表。 整库 支持将源端一个实例下多个库的多张表批量实时同步到目
API发布状态预留的最低期限,单位为小时,0表示不设限制。 如果需要停用/下线/解除授权,则停用/下线/解除授权时间必须选择在发布后的最低保留期限时间之后。选择时间后,停用/下线/解除授权会通知已授权用户。如果所有已授权用户均完成审核中心通知列表消息处理,或在应用中解绑与API的绑定关
理算子打开配置面板,配置输出处理算子: 添加结果集映射。节点映射表达式取普通API的结果,如“${NormalApi_5274d|payload}”,结果集名称按照实际取值,此处以销售记录Sales records为例进行配置。 格式转换选择返回格式为EXCEL。 图4 配置输出处理算子