检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据开发应用示例 操作场景 数据治理中心DataArts Studio帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。 下面介绍如何调用创建脚本API创建脚本,API的调用方法请参见如何调用API。
如果系统中已有的编码和模板中的编码相同,系统则认为是数据重复。 不更新:当数据重复时,不会替换系统中原有的数据。 更新:当数据重复时 系统中的原有数据为草稿状态,则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态,则会生成下展数据。
Windows操作系统下,打开本地命令提示符框,输入如下命令,在本地生成已下载SDK包的SHA256值,其中,“D:\java-sdk.zip”为SDK包的本地存放路径和SDK包名,请根据实际情况修改。
如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。
结合具备专业技能的专职数据治理人员和熟悉业务和IT系统的已有人员,在运作上实现数据治理团队的快速构建和能力导入,捆绑业务、IT开发和数据团队利用已有人员熟悉度快速切入重点工作。 在工作内容和责任上具体到三层的工作组织: 图1 数据治理工作组织 父主题: 数据治理组织架构
如果未在“敏感数据分布”页面中修正敏感数据字段的数据状态为“有效”,则系统会认为表中无敏感字段,也就不会按照规则进行脱敏。 解决方案 创建静态脱敏任务前,必须先创建敏感数据发现任务,并在运行成功发现敏感字段后,在“敏感数据分布”页面中修正敏感数据字段的数据状态为“有效”。
数据加密密钥:这里的密钥必须与加密时配置的密钥一致,否则解密出来的数据会错误,且系统不会提示异常。 初始化向量:这里的初始化向量必须与加密时配置的初始化向量一致,否则解密出来的数据会错误,且系统不会提示异常。
数据加密密钥:这里的密钥必须与加密时配置的密钥一致,否则解密出来的数据会错误,且系统不会提示异常。 初始化向量:这里的初始化向量必须与加密时配置的初始化向量一致,否则解密出来的数据会错误,且系统不会提示异常。
如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。 当前节点失败后,后续节点处理策略 是 节点执行失败后的操作: 终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。
操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。
表1 开发者操作 操作 说明 脚本开发 选择开发环境的数据湖引擎,在开发环境下的调测并发布数据开发脚本,发布到生产环境后系统会自动替换为对应生产环境引擎。 具体请参见脚本开发。
图11 查看作业执行情况 数据开发还支持配置通知管理,可以选择配置当作业运行异常/失败后,进行短信、邮件、控制台等多种方式提醒,此处不再展开描述。 至此,基于电影评分的数据集成与开发流程示例完成。
单击右侧的“模板”,选择刚才创建好的脚本模板,例如412_mobna,系统支持可以引用多个模板。 图1 引用脚本模板 脚本创建完成后,单击“保存”,脚本412_test创建完成。
说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。
系统支持按补数据名称、创建人、日期和状态进行筛选。 图1 补数据监控主页 在图1的页面中,单击补数据名称,进入图2的页面。在此页面,用户可以查看补数据的任务执行情况,以及手动干预实例和节点的执行(如需了解更多,请参见批作业监控:补数据 )。
图3 添加质量规则页 此时,系统将弹出“添加规则”对话框,在规则列表中将显示DataArts Studio数据质量中默认的质量规则,选中所需要的规则,然后单击“确定”。
new_biz BizVersionManageVO object 业务版本管理,只读。 attributes Array of TableModelAttributeVO objects 表属性信息。
系统默认查看一个月内的任务日调度数和作业数,支持通过时间段筛选进行查看。 任务类型分布 可以直观地查看作业的任务节点类型分布图及数量。 任务表示作业中的算子。 系统会统计已提交的所有作业节点数,含实时作业和批处理作业。
new_biz 否 BizVersionManageVO object 业务版本管理,只读。 l1 否 String 主题域分组中文名,只读,创建和更新时无需填写。 l2 否 String 主题域中文名,只读,创建和更新时无需填写。
new_biz 否 BizVersionManageVO object 业务版本管理,只读。 l1 否 String 主题域分组中文名,只读,创建和更新时无需填写。 l2 否 String 主题域中文名,只读,创建和更新时无需填写。