检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HIERARCHIES: 层级维度 code_table_id String 引用码表ID(新建/更新“码表维度”时必填),ID字符串。 code_table CodeTableVO object 引用码表,只读。 queue_name String dli数据连接执行sql所需的队列,数据连接类型为DLI时必须。
数据治理实施方法论 数据治理实施方法论按照数据治理成熟度评估->评估现状、确定目标、分析差距->计划制定、计划执行->持续监测度量演进的关键实施方法形成数据治理实施闭环流程。 图1 数据治理实施方法论 这也遵循了PDCA(Plan-Do-Check-Action)循环的科学程序,
关联标准字段数,ID字符串。 coverage Double 标准覆盖率。 details Array of AllTableVO objects 引用表数组。 表8 AllTableVO 参数 参数类型 描述 id String l1的ID,ID字符串。 name String l1名称。
补数据场景使用介绍 适用场景 在某项目搬迁场景下,当您需要补充以前时间段内的历史业务数据,需要查看历史数据的详细信息时,可以使用补数据特性。 补数据是指作业执行一个调度任务,在过去某一段时间里生成一系列的实例。用户可以通过补数据,修正历史中出现数据错误的作业实例,或者构建更多的作业记录以便调试程序等。
补数据场景使用介绍 适用场景 在某项目搬迁场景下,当您需要补充以前时间段内的历史业务数据,需要查看历史数据的详细信息时,可以使用补数据特性。 补数据是指作业执行一个调度任务,在过去某一段时间里生成一系列的实例。用户可以通过补数据,修正历史中出现数据错误的作业实例,或者构建更多的作业记录以便调试程序等。
关联标准字段数,ID字符串。 coverage Double 标准覆盖率。 details Array of AllTableVO objects 引用表数组。 表7 AllTableVO 参数 参数类型 描述 id String l1的ID,ID字符串。 name String l1名称。
技术支持人员协助解决。 Cdm.0903 400 元数据获取失败。原因:%s。 元数据获取失败。 请确认在集群的“连接管理”页面创建连接时引用符号是否正确或查看数据库表是否存在。若仍无法解决,请联系客服或技术支持人员协助解决。 Cdm.0904 400 从结果中检索数据时发生错误。原因:%s。
新建数据标准并发布 在本示例中,您需要新建如表6所示的3个数据标准: 表6 数据标准 目录 *标准名称 *标准编码(自定义) *数据类型 数据长度 引用码表 *码表字段 描述 付款方式 付款方式 payment_type 长整型(BIGINT) 无 付款方式 付款方式编码 无 供应商 供应商
单击“导入字段”,可以选择“从指标导入”、“从维度属性导入”或“从数据指标导入”,可以导入所需的字段信息。 从维度属性导入字段时,指标引用的维度属性,必须先关联指标/导入指标字段,再关联维度,才能够从维度属性导入字段。 单击“数据标准稽查”,可以对汇总表的属性信息进行数据标准稽查,“稽查状态”为。
新建数据标准并发布 在本示例中,您需要新建如表7所示的3个数据标准: 表7 数据标准 目录 *标准名称 *标准编码(自定义) *数据类型 数据长度 引用码表 *码表字段 描述 付款方式 付款方式 payment_type 长整型(BIGINT) 无 付款方式 付款方式编码 无 供应商 供应商
选择要监听的OBS路径,如果该路径下有新增文件,则触发调度;新增的文件的路径名,可以通过变量Job.trigger.obsNewFiles引用。前提条件:该OBS路径已经配置DIS消息通知。 最大处理文件数 节点被驱动运行时,每批次最多可处理的文件数。当“触发事件类型”选择“OBS”时才需要配置。
请根据错误提示进行定位,若无法解决,请联系客服或技术支持人员协助解决。 Cdm.0903 元数据获取失败。原因:%s。 请确认在集群的“连接管理”页面创建连接时引用符号是否正确或查看数据库表是否存在。若仍无法解决,请联系客服或技术支持人员协助解决。 Cdm.0904 从结果中检索数据时发生错误。原因:%s。
DLI Spark 功能 通过DLI Spark节点执行一个预先定义的Spark作业。 DLI Spark节点的具体使用教程,请参见开发一个DLI Spark作业。 参数 用户可参考表1,表2和表3配置DLI Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称
MRS Flink Job 功能 通过MRS Flink Job节点执行数据开发模块中预先定义的Flink SQL脚本和Flink作业。 MRS Flink Job节点的具体使用教程,请参见开发一个MRS Flink作业。 参数 用户可参考表1和表2配置MRS Flink节点的参数。
MRS Spark Python 功能 通过MRS Spark Python节点实现在MRS中执行预先定义的Spark Python作业。 MRS Spark Python算子的具体使用教程,请参见开发一个MRS Spark Python作业。 参数 用户可参考表1,表2和表3配置MRS
数据管理能力概述 《大数据产业发展十四五规划》多次提到“数据管理”和“数据管理能力”,进入数字化经济时代,数据已成为产业发展的生产要素,企业的数据管理能力成为企业竞争的核心能力之一。 DCMM(Data management Capability Maturity Model)是《数据管理能力成熟度评估模型》GB/T
运维者操作 运维者作为运维管理的负责人,需要对生产环境的作业、实例、通知、备份等进行统一管控,相关操作如下表所示。 表1 运维者操作 操作 说明 作业监控 包含对批作业、实时作业的监控。 具体请参见作业监控。 实例监控 对作业实例进行监控,作业每次运行,都会对应产生一次作业实例记录。
MRS Spark SQL 功能 通过MRS Spark SQL节点实现在MRS中执行预先定义的SparkSQL语句。 参数 用户可参考表1,表2和表3配置MRS Spark SQL节点的参数。 表1 属性参数 参数 是否必选 说明 MRS作业名称 否 MRS的作业名称。 如果未
源端为DIS JSON样例 "from-config-values": { "configs": [ { "inputs": [ {
配置DIS源端参数 消息体中的数据是一条类似CSV格式的记录,可以支持多种分隔符。不支持二进制格式或其他格式的消息内容解析。 作业中源连接为DIS连接时,源端作业参数如所表1示。 表1 DIS作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 DIS通道 DIS的通道名。