检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
搬迁后验证 在新空间的作业和连接导入完成后,您可以在新空间查看并验证作业和连接是否与旧空间一致,以确保导入成功。 父主题: DataArts Studio配置数据搬迁实践
消息通知服务 DataArts Studio使用消息通知服务(Simple Message Notification,简称SMN)依据用户的订阅需求主动推送通知消息,使用户可以在触发告警(如质量监控)时能立即接收到通知。
开启后,支持配置20个手机号码或邮箱,作业(目前仅支持表/文件迁移的作业)失败时、EIP异常时会发送短信或邮件通知用。 phone_num 否 String 接收消息通知的手机号码。 email 否 String 接收消息通知的邮箱。
通过数据开发使用参数传递灵活调度CDM作业 如果CDM作业接收来自数据开发作业配置的参数,则在数据开发模块可以使用诸如EL表达式传递动态参数来调度CDM作业。 本示例介绍的参数传递功能仅支持CDM 2.8.6版本及以上集群。
用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限,例如: 在“服务列表”中选择数据治理中心,进入DataArts Studio实例卡片。从实例卡片进入控制台首页后,确认能否正常查看工作空间列表情况。
图11 查看导入结果 搬迁后验证 在新空间的资源导入完成后,您可以在新空间查看并验证如下导入资源是否与旧空间一致: 管理中心的数据连接。 数据目录的元数据采集任务,元数据的分类和标签。 数据服务中发布的API。 父主题: DataArts Studio配置数据搬迁实践
RestClient:REST API请求 SMN:发送短信或邮件 MRSSpark:执行MRS服务的Spark作业 MapReduce:执行MRS服务的MapReduce作业 MRSFlinkJob: 执行MRS服务的FlinkJob作业。
在MRS中恢复HBase表并验证。 准备数据 项目 数据项 说明 取值示例 DES盒子 挂载地址 DES盒子在客户的虚拟机挂载的地址。 //虚拟机IP/huawei 存储管理系统 DES盒子的存储管理系统,与管理IP相关。
输入测试数据,单击“测试”,在测试结果文本框中进行验证。 开启或关闭状态,只有启用状态下的脱敏策略才可生效。 查看数据脱敏效果 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据目录”模块,进入数据目录页面。
图19 导入作业成功 搬迁后验证 在新空间的脚本、作业、环境变量、资源数据导入完成后,您可以在新空间查看并验证这些数据是否与旧空间一致,以确保导入成功。 父主题: DataArts Studio配置数据搬迁实践
图18 查看对账作业导入结果 搬迁后验证 在新空间的规则模板、质量作业、对账作业导入完成后,您可以在新空间查看并验证规则模板、质量作业、对账作业是否与旧空间一致,以确保导入成功。 父主题: DataArts Studio配置数据搬迁实践
用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限,例如: 在“服务列表”中选择数据治理中心,进入DataArts Studio实例卡片。从实例卡片进入控制台首页后,确认能否正常查看工作空间列表情况。
当前仅支持“短信”、“邮件”、“HTTP”这三种协议的订阅终端订阅主题。 开关:是否开启通知,默认开启。 图4 配置通知 单击“确定”,为作业配置失败告警通知。
用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限,例如: 在“服务列表”中选择数据治理中心,进入DataArts Studio实例卡片。从实例卡片进入控制台首页后,确认能否正常查看工作空间列表情况。
用户登录并验证权限:使用新创建的用户登录控制台,验证权限配置是否符合预期。 图2 最小化授权操作流程 创建用户组并授予系统角色 User 使用华为账号登录统一身份认证服务IAM控制台。 在IAM服务控制台中,单击“用户组”,在用户组页面单击右上方的“创建用户组”。
通知管理 DataArts Studio使用消息通知服务(Simple Message Notification,简称SMN)依据用户的订阅需求主动推送通知消息,用户在作业运行异常或成功时能立即接收到通知。 管理通知 通知周期概览 终端订阅管理 父主题: 运维调度
通知管理 配置在作业运行异常或成功时能接收到通知。 具体请参见通知管理。 备份管理 支持每日定时备份昨日系统中的所有作业、脚本、资源和环境变量。 具体请参见备份管理。 父主题: 企业模式角色操作
图11 查看作业执行情况 数据开发还支持配置通知管理,可以选择配置当作业运行异常/失败后,进行短信、邮件、控制台等多种方式提醒,此处不再展开描述。 至此,基于电影评分的数据集成与开发流程示例完成。
图11 查看作业执行情况 数据开发还支持配置通知管理,可以选择配置当作业运行异常/失败后,进行短信、邮件等多种方式提醒,此处不再展开描述。 至此,基于电商BI报表的数据开发流程示例完成。
图8 查看作业执行结果 日志验证。 运行成功后,登录MRS manager后在YARN上查看日志,发现有hello python的输出。 图9 查看YARN上日志 父主题: 使用教程