检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击每个对象名称后的统计数量将跳转到该对象的管理页面。 快捷入口 显示数据架构数据治理方法的整体流程。单击流程下的具体操作,可以跳转到对应的界面。 数据架构流程 显示数据架构流程以及与DataArts Studio其他模块间的交互关系。关于数据架构流程的详细描述,请参见数据架构使用流程。
迁移到新版本上。具体请参见如下操作。 编辑规则模板时,编辑界面增加了“版本名称”和“关联作业”两个参数。 选择“数据质量监控 > 规则模板”,在规则模板列表中找到待修改的规则模板,单击操作列的“编辑”进入编辑规则模板界面。 图5 编辑规则模板 支持修改维度,修改输出结果说明和重新定义关系。
ion实时集成作业。配置作业前请务必阅读使用前自检概览, 确认已做好所有准备工作。 参见新建实时集成作业创建一个实时集成作业并进入作业配置界面。 选择数据连接类型:源端选PostgreSQL,目的端选DWS。 图1 选择数据连接类型 选择集成作业类型:同步类型默认为实时,同步场景包含整库和分库分表场景。
Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,MRS集群可以访问公网且防火墙规则已开放连接端口。 DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群同区
字段类型映射。 说明: 自动建表只同步列注释,表注释不会被同步。 不自动创建 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。
单击)。实现作业每天自动运行,每日数据将自动导入到GES图中。 您如果需要及时了解作业的执行结果是成功还是失败,可以通过数据开发的运维调度界面进行查看,如图9所示。 图9 查看作业执行情况 父主题: 图数据自动化构建与分析
ion实时集成作业。配置作业前请务必阅读使用前自检概览, 确认已做好所有准备工作。 参见新建实时集成作业创建一个实时集成作业并进入作业配置界面。 选择数据连接类型:源端选PostgreSQL,目的端选DWS。 图1 选择数据连接类型 选择集成作业类型:同步类型默认为实时,同步场景包含整库场景。
Code):Oauth2.0认证。 Oauth2.0授权码模式,使用账号密码换取accessToken,再使用获取的accessToken访问接口。 用户名 否 认证方式为BASIC_AUTH模式时显示该参数。 可以通过#username获取该值,放到body、header中传递。
ion实时集成作业。配置作业前请务必阅读使用前自检概览, 确认已做好所有准备工作。 参见新建实时集成作业创建一个实时集成作业并进入作业配置界面。 选择数据连接类型:源端选PostgreSQL,目的端选Hudi。 图1 选择数据连接类型 选择集成作业类型:同步类型默认为实时,同步场景包含整库场景。
API方式或者代理方式提交: MRS API方式:通过MRS API的方式提交。历史作业默认是MRS API提交,编辑作业时建议不修改。 代理方式:通过用户名、密码访问的方式提交。新建作业建议选择代理提交,可以避免权限问题导致的作业提交失败。 数据质量当前不支持MRS Hive组件的严格模式。 数据库 选择配置的数据质量规则所应用到的数据库。
ion实时集成作业。配置作业前请务必阅读使用前自检概览, 确认已做好所有准备工作。 参见新建实时集成作业创建一个实时集成作业并进入作业配置界面。 选择数据连接类型:源端选Oracle,目的端选Hudi。 图2 选择数据连接类型 选择集成作业类型:同步类型默认为实时,同步场景包含整库场景。
ct”和“top_bad_comment_product”表。 您如果需要及时了解作业的执行结果是成功还是失败,可以通过数据开发的运维调度界面进行查看,如图11所示。 图11 查看作业执行情况 数据开发还支持配置通知管理,可以选择配置当作业运行异常/失败后,进行短信、邮件等多种方式提醒,此处不再展开描述。
ive_movie”和“top_rating_movie”表。 您如果需要及时了解作业的执行结果是成功还是失败,可以通过数据开发的运维调度界面进行查看,如图11所示。 图11 查看作业执行情况 数据开发还支持配置通知管理,可以选择配置当作业运行异常/失败后,进行短信、邮件、控制台等多种方式提醒,此处不再展开描述。
在主题域“时空”下,新建1个业务对象:时间。 在主题域“公共维度”下,新建1个业务对象:公共维度。 表1 主题设计信息 主题域分组名称(L1) 主题域分组编码(L1) 主题域名称(L2) 主题域编码(L2) 业务对象名称(L3) 业务对象编码(L3) 城市交通 city_traffic 行程记录 stroke_reminder
度保持一致。 原子指标中仅含有唯一度量以及与该度量相关的属性,旨在用于支撑指标的敏捷自助消费。敏捷自助消费指的是业务用户能够自主地、快速地访问和使用指标,而不依赖于IT部门或数据团队进行复杂的查询和计算。原子指标提供了非常基础且易于理解的度量,可以支持用户在需要时灵活地创建自己的
数据连接名称。 dw_type String 数据连接类型。 dw_config Object 连接动态变化配置项,每种连接略有区别,建议在界面进行调试。 agent_id String CDM集群ID,获取方法请参见查询集群列表。 agent_name String 代理集群名称,获取方法请参见查询集群列表。
工作空间描述。 eps_id 是 String 企业项目ID,获取方法请参见项目ID和账号ID。可通过查询同实例下其他工作空间获取,或在console界面获取。 job_log_location_name 否 String 作业日志OBS路径。 name 是 String 工作空间名称。 响应参数
有多个子实例检验该表,则每个子实例一条记录。 单击“规则评分”列的评分值链接,展开该规则关联的字段评分,如图3所示。 图3 表关联规则评分界面 查看业务报告业务质量评分 质量评分的满分可设置为5分,10分,100分。默认为5分制,是以表关联的规则为基础进行评分的。而表、业务对象、
写方式。 如果元数据来源为已有文件,单击输入框中的并选择对应的元数据文件 。 如果元数据来源为新建元数据,单击输入框中的,进入新建元数据的界面,分别选择MRS Hive中的点表和边表,并填写元数据输出的OBS路径,单击生成元数据,系统会自动生成xml格式的元数据文件并回填到OBS路径。
当配置的子网支持IPv6后,可选择是否开启IPv6双栈支持。 开启IPv6双栈后,集群内网IP支持IPv4和IPv6,可通过IPv4或IPv6内网地址访问集群。 说明: 开启IPv6双栈后,仅支持选择已开启IPv6网段的子网。如果待选择的子网未开启IPv6网段,则需要在虚拟私有云VPC服务中开启。