正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安全,数据应用,以及数据生存周期;并对每项能力域进行了二级能力项(28个过程项)和发展等级的划分(5个等级)以及相关功能介绍和评定指标(445项指标)的制定。 该标准适用于信息系统的建设单位,应用单位等进行数据管理时的规划,设计和评估,也可以作为针对信息系统建设状况的指导、监督和检查的依据。
支持配置多种方式报警,作业和任务发生错误时可及时通知相关人,保证业务正常运行。 数据质量:可控可检验 数据质量模块支持对业务指标和数据质量进行监控,数据质量可检验,帮助用户及时发现数据质量问题。 业务指标监控 业务指标监控是对业务指标数据进行质量管理的有效工具,可以灵活的创建业务指标、业务规则
如何创建通知配置对全量作业都进行结果监控? 问题描述 创建通知配置如何对全量作业都进行结果监控。 解决方案 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,在“运维调度 > 作业监控”中,选择“批作业监控”页签。
数据治理各模块域之间的关系 数据治理主要模块域之间的关系如下图所示: 图1 数据治理各模块之间的关系 数据标准为数据开发和设计工作提供核心参考,同时也通过数据开发实现数据标准化落地。数据标准为数据应用提供“一致的语言”;数据标准为主数据管理提供主数据定义的基准,数据标准也是数据质
由一个特定的分析对象及其相关的统计指标组成的,向用户提供了以统计粒度为主题的所有统计数据。 在DataArts Studio数据架构中,维度建模是以维度建模理论为基础,抽象出事实和维度,构建维度模型和事实模型,同时对报表需求进行抽象整理出相关指标体系,通过数据集市构建出汇总模型。
运维调度 运维概览 作业监控 实例监控 补数据监控 通知管理 备份管理 操作历史 父主题: 数据开发
当前管理中心支持搬迁的数据目录数据包含分类、标签、采集任务,数据目录中的业务资产、技术资产、指标资产均不支持直接导入导出。 您可以通过导入管理中心和数据架构数据,并运行新导入的采集任务重新生成业务资产、技术资产、指标资产。 父主题: DataArts Studio配置数据搬迁实践
在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 在作业目录中选择需要复制的作业,右键单击作业名称,选择“拷贝另存为”。 图1 复制作业 在弹出的“另存为”页面,配置如表1所示的参数。 表1 作业目录参数 参数 说明 作业名称 自定义作业的名称,只能包含英文字母、数字、中文、“-”、“_”、“
CDM通过数据迁移作业,将源端数据迁移到目的端数据源中。其中,主要运行逻辑如下: 数据迁移作业提交运行后,CDM会根据作业配置中的“抽取并发数”参数,将每个作业拆分为多个Task,即作业分片。 不同源端数据源的作业分片维度有所不同,因此某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。
在作业监控页面里的“上次实例状态”只有运行成功、运行失败,这是为什么? 问题描述 在作业监控页面里的“上次实例状态”只有运行成功、运行失败。 解决方案 上次实例状态是作业已经执行完成,只有成功、失败;实例监控里面状态有取消、暂停等好几种,是因为展示了作业的所有状态,另外作业运行异常和错误都会是作业失败的状态。
置作业抽取并发数,同时也可以设置集群最大抽取并发数。 CDM通过数据迁移作业,将源端数据迁移到目的端数据源中。其中,主要运行逻辑如下: 数据迁移作业提交运行后,CDM会根据作业配置中的“抽取并发数”参数,将每个作业拆分为多个Task,即作业分片。 不同源端数据源的作业分片维度有所
删除作业:选择作业操作列的“更多 > 删除”可删除作业。 停止作业:选择作业操作列的“更多 > 停止”可停止作业。 查看作业JSON:选择作业操作列的“更多 > 查看作业JSON”,可查看该作业的JSON定义。 编辑作业JSON:选择作业操作列的“更多 > 编辑作业JSON”
在数据架构控制台,单击左侧导航树中的“技术指标”,进入技术指标页面。 新建一个原子指标“总车费”,用于统计总车费。 在技术指标页面,进入“原子指标”标签页,然后单击“新建”按钮。 在新建原子指标页面配置如下,配置完成后单击“发布”。 图45 原子指标 等待审核人审核通过。审核通过后,原子指标就创建好了。 当
查看业务指标 DAYU_DS dsBizMetric getListBizMetric 创建业务指标 DAYU_DS dsBizMetric createBizMetric 更新业务指标 DAYU_DS dsBizMetric updateBizMetric 发布业务指标 DAYU_DS
- Hudi MYSQL - DMS Kafka 启动作业后,即进入运行中开始数据迁移。 监控作业。 对已运行的作业可以设置不同的监控规则。关于实时处理集成作业相关告警,详情请参见管理并查看监控指标。 父主题: 实时处理集成作业开发
管理中心相关开放API并发限制为100qps。 数据集成 CDM作业支持自动备份和恢复,将备份数据存储到OBS中,该功能需要您手动开启。详情请参见CDM作业自动备份/恢复章节。 CDM作业本身无配额限制,但建议作业数不超过CDM集群的vCPU核数*2,否则作业运行性能可能会受到一定影响。 数据集成CD
开发批处理单任务SQL作业 对已新建的作业进行开发和配置。 开发单任务模式的批处理作业,请您参考开发SQL脚本、配置作业参数、质量监控、数据表、调测并保存作业和下载或转储脚本执行结果章节。 前提条件 已创建作业,详情请参见新建作业。 当前用户已锁定该作业,否则需要通过“抢锁”锁定作业后才能继续
数据集成组件中创建的CDM作业,包含作业中的CDM连接。 数据开发组件中已提交版本的脚本和作业。导出作业时默认只导出作业,不包含其依赖的脚本和资源。 数据架构组件中创建的主题、流程、码表、数据标准、关系建模模型、维度、业务指标、原子指标、衍生指标、复合指标和汇总表,不包含事实表。
(可选)管理作业 复制作业 复制名称和重命名作业 移动作业/作业目录 导出导入作业 批量配置作业 删除作业 解锁作业 查看作业依赖关系图 转移作业责任人 批量解锁 前往监控 添加通知配置 父主题: 作业开发
作业开发时,测试运行后如何查看运行日志? 问题描述 作业开发时,测试运行后不知道如何查看运行日志。 解决方案 方式1:待节点测试运行完成后,在当前节点鼠标右键选择查看日志。 方式2:通过画布上方的“前往监控”,在实例监控中展开作业实例,查看节点日志。 父主题: 数据开发