检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DWS模型的表支持以下表类型: DWS_ROW:行存表。行存储是指将表按行存储到硬盘分区上。 DWS_COLUMN:列存表。列存储是指将表按列存储到硬盘分区上。 DWS_VIEW:视图存表。视图存储是指将表按视图存储到硬盘分区上。 MRS_HIVE模型支持HIVE_TABLE和HIVE_EXTERNAL_TABLE。
在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据质量”模块,进入数据质量页面。 选择“数据质量监控 > 规则模板”。 单击待操作规则模板操作列的“发布历史”。 图1 发布历史 单击历史版本最右侧的“下线”按钮。则可以查看该规则模板对应的关联作业。
境的两套数据湖服务,用于隔离开发和生产环境: 对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS),如果使用两套集群,DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的
打开一个已创建好的作业,从左侧节点库中拖拽一个“Create OBS”节点。 在节点属性页签中配置属性。 图2 Create OBS 单击“保存”后,选择“前往监控”页面监控作业的运行情况。 配置作业参数 作业参数中支持定义变量和常量,作业参数的作用范围为当前作业。 变量是指不同的作业下取值不同,需要重新配置值。
部署者:部署者需要在数据开发的开发环境,查看待审批任务,并进行发布审批操作。 运维者:部署者需要在数据开发的生产环境,基于开发者发布的资源,进行作业监控、通知管理、备份等操作。 自定义角色:用户可以对需要的操作权限进行自定义设置,来满足实际业务的需要。 访客:具备DataArts Studio只读权限,只允许对DataArts
配置调度周期。调度周期设置为分钟。 图1 配置调度周期(分钟) 作业配置完成后,保存并提交版本。 单击“执行调度”,启动作业调度。 在“作业监控”里面查看作业执行结果。 图2 查看被依赖作业的执行结果 创建一个周期调度的天任务作业。(每天07:15执行的天任务作业) 在数据开发主界面的左侧导航栏,选择“数据开发
Oracle数据库连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 oracle_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 192.168.0.1 端口 配置为要连接的数据库的端口。 默认端口:1521 数据库连接类型 选择Oracle数据库连接类型:
业务规则责任人 在下拉框中选择业务规则责任人。该责任人为质量规则制定责任人,可以手动输入名字或直接选择已有的责任人。 数据监控责任人 在下拉框中选择数据监控责任人。该责任人为质量规则实施责任人,可以手动输入名字或直接选择已有的责任人。 标准层级 global:全局级别。 domain:非全局级别。
如何将云下内网或第三方云上的私网与CDM连通? 很多企业会把关键数据源建设在内网,例如数据库、文件服务器等。由于CDM运行在云上,如果要通过CDM迁移内网数据到云上的话,可以通过以下几种方式连通内网和CDM的网络: 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通
DM连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dm_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的DWS、RDS等实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。
配置的位点时间早于Binlog日志最早时间点时,默认会以日志最新时间点开始消费。 监控作业。 通过单击作业开发页面导航栏的“前往监控”按钮,可前往作业监控页面查看运行情况、监控日志等信息,并配置对应的告警规则,详情请参见实时集成任务运维。 图13 前往监控 性能调优 若链路同步速度过慢,可参考参见任务性能调优章节中对应链路文档进行排查及处理。
签。如需解锁作业标签,请参考锁定与解锁作业标签。 监控某个作业标签下的作业 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 选择“作业标签”,进入“作业标签管理”页面。 单击作业标签名对应的“前往监控”,可进入作业监控界面,该界面展示具有此标签的所有作业。 锁定与解锁作业标签
配置的位点时间早于Kafka消息最早偏移量时,默认会从最早偏移量开始消费。 监控作业。 通过单击作业开发页面导航栏的“前往监控”按钮,可前往作业监控页面查看运行情况、监控日志等信息,并配置对应的告警规则,详情请参见实时集成任务运维。 图10 前往监控 性能调优 若链路同步速度过慢,可参考参见任务性能调优章节中对应链路文档进行排查及处理。
打开作业“test”,从左侧节点库中拖拽一个“Create OBS”节点。 在节点属性页签中配置属性。 图3 Create OBS 单击“保存”后,选择“前往监控”页面监控作业的运行情况。 父主题: 配置
"description" : "数据监控责任人", "required" : false, "searchable" : false, "actived" : false, "label" : "数据监控责任人", "disabled"
标准设计 模型设计 指标设计 数据集市建设 数据开发 数据管理 脚本开发 作业开发 运维调度 配置管理 使用教程 数据质量 业务指标监控 数据质量监控 使用教程 数据目录 数据地图 数据权限 元数据采集 使用教程 数据服务 准备工作 创建API 调试API 发布API 管理API 流量控制
DataArts Studio各模块之间的示意图 DataArts Studio平台提供了上述各个功能模块,满足数据接入、数据建模、标准化、质量监控、数据服务等全流程的数据管理动作。 父主题: 数据治理框架
"yyyy-MM-dd")},更多EL表达式请参见EL表达式。 保存并提交作业版本,单击“测试运行”,执行数据开发作业。 数据开发作业执行成功后,单击右上角的“前往监控”,进入“作业监控”页面,查看生成的任务或实例是否符合需求,如图6所示。 图6 查看运行结果
DWS模型的表支持以下表类型: DWS_ROW:行存表。行存储是指将表按行存储到硬盘分区上。 DWS_COLUMN:列存表。列存储是指将表按列存储到硬盘分区上。 DWS_VIEW:视图存表。视图存储是指将表按视图存储到硬盘分区上。 MRS_HIVE模型支持HIVE_TABLE和HIVE_EXTERNAL_TABLE。
要做到财报的高效、准确、完整,离不开高度集成的全球结账管理系统,更离不开数据治理,通过交易核算自动化、ERP优化、数据调度优化、数据质量监控以及提升数据分析平台的性能,华为实现了全球核算实时可视,过程可跟踪、可管理。 图1 华为数据治理实践 父主题: 华为数据治理案例