检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
生成的元数据xml文件,属性(Property)中的数据复合类型(Cardinality),目前仅支持填写为“single”类型,不支持自定义。 生成元数据功能本身,支持一次生成多对点表和边表的元数据xml文件。
期望通过实施数据治理达到以下目标: 数据标准化、模型标准化 统一统计口径,提供高质量数据报告 数据质量监控告警 统计每天收入 统计某月收入 统计不同支付类型收入占比 流程简介 本入门指导将参考如表1所示的流程,实现示例场景的数据治理。
表1 Hive作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 数据库名称 输入或选择数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择Hive表名。单击输入框后面的按钮可进入表的选择界面。
委托 选择需要授权的IAM委托,仅限于委托对象为“数据湖治理中心 DGC”的云服务类型委托。如需新建委托,请参考参考:创建委托。 说明: 对于未选择的委托,则默认该委托权限放开,不做权限管控。
例如支持123,abc;如果参数是字符串类型需要加上英文的双引号(""),如"05"。 关于EL表达式的使用,请参见表达式概述。 描述 否 参数说明。 配置完一个环境变量后,您还可以进行新增、修改或删除等操作。 新增:单击“新增”配置新的环境变量。
图1 添加自定义属性 表1 Hudi写入优化参数 参数名 类型 默认值 说明 hoodie.sink.flush.tasks int 1 Hudi flush数据时的并发数,默认为1,即顺序写入。
添加完字段后,请确保自定义入库时间字段与目的端表字段类型相匹配。 单击“下一步”配置任务参数,一般情况下全部保持默认即可。 单击“保存并运行”,回到作业管理的表/文件迁移界面,在作业管理界面可查看作业执行进度和结果。
添加完字段后,请确保自定义入库时间字段与目的端表字段类型相匹配。 单击“下一步”配置任务参数,一般情况下全部保持默认即可。 单击“保存并运行”,回到作业管理的表/文件迁移界面,在作业管理界面可查看作业执行进度和结果。
图1 添加自定义属性 表1 Hudi写入优化参数 参数名 类型 默认值 说明 hoodie.sink.flush.tasks int 1 Hudi flush数据时的并发数,默认为1,即顺序写入。
当拥有多个工作空间时,您可以按使用者、维护者或用途等各类维度为各工作空间添加标签,然后在工作空间列表页面,可以通过标签搜索、识别不同类型的工作空间。 标签由标签键和标签值组成。
关联技术指标类型 下拉选择与业务指标关联的技术指标类型,包含衍生指标、复合指标和原子指标。 关联技术指标 下拉选择与业务指标关联的技术指标。 度量对象 衡量该指标的度量字段。 计量单位 指标的计量单位。 配置管理信息。
零售商信息RetailerInformation分支的条件类型配置为“不满足其他条件时”,表示如果不满足并行处理分支的条件,则执行零售商信息RetailerInformation分支。
表2 参数 参数类型 参数说明 使用示例 path参数 路径参数,作为url的一部分,直接替换url中{}标识的参数。
OBS数据连接参数说明 表1 对象存储服务(OBS)连接 参数 是否必选 说明 数据连接类型 是 OBS连接固定选择为OBS。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。
进入购买DGC增量包页面,按照如下配置: 增量包类型:选择规格增量包,如作业节点调度次数/天增量包、技术资产数量增量包或数据模型数量增量包。 计费方式:当前仅支持套餐包。 增量包规格:请根据您的业务情况选择合适的增量包规格。 购买时长:表示此套餐包的有效时长。
同步场景 Migration实时同步功能支持多种拓扑类型的同步场景,用户可根据自身需求进行规划,详细说明可参考以下内容。 单表同步 支持将源端一个实例下的单张表实时同步至目的端一个实例下的单张表。
表1 支持云审计的关键操作列表 操作名称 资源类型 资源名称 事件名称 查看主题设计 DAYU_DS dsSubject getListSubject 创建主题设计 DAYU_DS dsSubject createSubject 更新主题设计 DAYU_DS dsSubject updateSubject
当拥有多个工作空间时,您可以按使用者、维护者或用途等各类维度为各工作空间添加标签,然后在工作空间列表页面,可以通过标签搜索、识别不同类型的工作空间。 标签由标签键和标签值组成。
表1 DLI连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dli_link 访问标识(AK) 访问DLI数据库时鉴权所需的AK和SK。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。
表1 购买数据服务专享版实例参数说明 参数项 说明 增量包类型 选择数据服务专享集群增量包。 计费方式 实例收费方式,当前支持“包年包月”。 工作空间 选择需要使用数据服务专享集群增量包的工作空间。