检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
键业务流程和IT系统,对本领域数据治理的路标和工作计划进行细化并排序,最终管理执行。 作为本领域数据治理专家,管理并解决问题和争议,必要时提交数据Owner进行裁决。 对业务环节数据的完整性、及时性、准确性、一致性、唯一性、有效性负责,确保行为即记录,记录即数据,并依据数据质量规格对本领域数据进行度量和报告。
载权限”,进入下载权限页签。 图1 进入下载权限页签 单击下载权限页签的“新建” ,在弹出的策略配置页参考表1配置相关参数,配置完成单击“提交”,策略配置完成。 表1 配置下载权限策略参数说明 参数名 参数描述 *策略名称 标识下载权限策略,为便于策略管理,建议名称中包含授权对象。
单次调度表示需要手动触发运行,周期性调度表示会按照配置定期触发作业运行。此处以当天配置为例,设置每15分钟触发运行一次对账作业为例的配置。 单击“提交”, 完成对账作业的创建。 执行对账作业并查看结果分析 在数据质量模块左侧导航栏中,选择“数据质量监控 > 对账作业”。 单击对账作业操作列中的“运行”,运行对账作业。
format(DateUtil.addDays(Job.planTime,-1),"yyyy-MM-dd")},更多EL表达式请参见EL表达式。 保存并提交作业版本,单击“测试运行”,执行数据开发作业。 数据开发作业执行成功后,单击右上角的“前往监控”,进入“作业监控”页面,查看生成的任务或实例是否符合需求,如图6所示。
FROM (SELECT * FROM A WHERE DATE = ${DATE}) 图6 开发脚本 脚本dws_030903编写完成后,保存并提交此脚本的最新版本。 开发一个批处理作业。开发作业时,您需要配置节点属性参数。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。
Hetu上的数据源名称,本集群的Hive数据源名称默认为“hive”。由于Hetu支持多个Catalog对接同一个Hive,因此您也可以选择其他本集群的Catalog。 单击“提交”,完成hetu权限同步策略创建。 当Hive权限同步触发后,会同步权限至Hetu端Ranger,策略命名格式为“catalog名_sch
执行耗时,单位:毫秒 instance_id 是 Long 作业实例ID,用于查询作业实例详情。 submit_time 是 Long 作业提交运行时间 instance_type 是 int 作业调度方式: 0:正常调度 2:手工调度 5:补数据 6:子作业调度 7:单次调度 force_success
请求要求代理的身份认证,与401类似,但请求者应当使用代理进行授权。 408 Request Time-out 服务器等候请求时发生超时。 客户端可以随时再次提交该请求而无需进行任何更改。 409 Conflict 服务器在完成请求时发生冲突。 返回该状态码,表明客户端尝试创建的资源已经存在,或者由于冲突请求的更新操作不能被完成。
自动按月或者按年续费。购买时长为按月购买时,自动续费周期为1个月;购买时长为按年购买时,自动续费周期为1年。 单击“立即购买”,确认规格后提交订单。 购买套餐包成功后,系统配额会在默认规格基础上,增加增量包的规格。 父主题: 购买DataArts Studio增量包
单击左侧导航树中的“DataArts资源权限”,进入目录权限页面。 图1 进入目录权限页面 单击目录权限页面的“新建” ,在弹出的策略配置页参考表1配置相关参数,配置完成单击“提交”,策略配置完成。 表1 配置目录权限策略参数说明 参数名 参数描述 *策略名称 标识目录权限策略,为便于策略管理,建议名称中包含资源对象和授权对象。
节点名称只能由字母、数字、中划线和下划线组成,并且长度为1~64个字符。 说明: 节点名称不得包含中文字符、超出长度限制等。如果节点名称不符合规则,将导致提交MRS作业失败。 默认情况下,节点名称会与选择的脚本名称保持同步。若不需要节点名称和脚本名称同步,请参考禁用作业节点名称同步变化禁用该功能。
系统默认查看一个月内的任务日调度数和作业数,支持通过时间段筛选进行查看。 任务类型分布 可以直观地查看作业的任务节点类型分布图及数量。 任务表示作业中的算子。 系统会统计已提交的所有作业节点数,含实时作业和批处理作业。 实例运行时长top100 通过时间和责任人筛选出我的或者全部责任人的实例运行时长top100的数据。
继续运行。 实例超时是否忽略等待时间:根据实际需要配置实例运行时等待时间是否会被计入超时时间。 图5 配置实例超时时间 配置完成后,单击“提交”,完成作业配置。
节点名称只能由字母、数字、中划线和下划线组成,并且长度为1~64个字符。 说明: 节点名称不得包含中文字符、超出长度限制等。如果节点名称不符合规则,将导致提交MRS作业失败。 默认情况下,节点名称会与选择的脚本名称保持同步。若不需要节点名称和脚本名称同步,请参考禁用作业节点名称同步变化禁用该功能。
系统支持作业名称按照作业名称_节点名称格式自动填入。 说明: 作业名称不得包含中文字符、超出长度限制等。如果作业名称不符合规则,将导致提交MRS作业失败。 脚本类型 是 离线脚本 在线脚本 MRS集群名 是 选择支持spark python的mrs集群。MRS只有特定版本支持spark
当API开放方需要将API发布至服务市场,从服务市场下线,取消对某个应用的授权,基于数据服务平台提交操作后,均需要等待审核中心责任人审核后方生效。 当API调用方申请API授权和授权续约时,基于数据服务平台提交操作后,也需要等待审核中心责任人审核后方生效。 待审核的API可在审核中心由发起者执行撤销操作。
依赖属性:可以配置为依赖其他作业运行,本例不涉及,无需配置。 跨周期依赖:可以选择配置为依赖上一周期或者不依赖,此处配置为不依赖即可。 最后保存并提交版本(单击),执行调度作业(单击)。实现作业每天自动运行,每日数据将自动导入到GES图中。 您如果需要及时了解作业的执行结果是成功还是失败
系统支持作业名称按照作业名称_节点名称格式自动填入。 说明: 作业名称不得包含中文字符、超出长度限制等。如果作业名称不符合规则,将导致提交MRS作业失败。 Flink作业资源包 是 选择Jar包。在选择Jar包之前,您需要先将Jar包上传至OBS桶中,并在“资源管理”页面中新
ppKey和AppSecret等信息,具体参见认证前准备。 已安装Eclipse 3.6.0或以上版本,如果未安装,请至Eclipse官方网站下载。 已安装Java Development Kit 1.8.111或以上版本,如果未安装,请至Oracle官方下载页面下载。 获取SDK
单击每一项上面统计数量将分别跳转到“我的申请”和“待我审核”页面。 资产概览 显示数据架构中所有对象的总量。 单击每个对象名称后的统计数量将跳转到该对象的管理页面。 快捷入口 显示数据架构数据治理方法的整体流程。单击流程下的具体操作,可以跳转到对应的界面。 数据架构流程 显示数据架构流程以及与DataArts