检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实时报警平台搭建 在本实践用户可以了解到如何搭建一个简单的实时报警平台,该平台将应用多个云服务,结合数据开发模块的作业编辑和作业调度功能来实现。 假设客户有一个数据中心部署了很多应用,需要建立统一的运维系统,实时接收应用的告警信息。
终端订阅管理 操作场景 系统支持按照责任人配置终端订阅信息(短信、邮件、电话),配置好订阅信息后,通过通知管理功能配置作业通知任务,当作业运行异常或成功时向已配置的责任人发送通知。 前提条件 已开通消息通知服务并配置主题。
状态码如表1所示。 表1 状态码 状态码 编码 状态说明 100 Continue 继续请求。 这个临时响应用来通知客户端,它的部分请求已经被服务器接收,且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。
说明: 当前仅支持“短信”、“邮件”、“HTTP”这三种协议的订阅终端订阅主题。 终端协议 是 配置该参数前,请确保工作空间默认项设置中已配置作业告警通知主题。 通知方式选择“按责任人”时才需配置。 短信 邮件 电话 单击“校验联系方式”,系统会自动校验作业责任人信息是否已配置。
通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台,借助DLF的在线脚本编辑、周期调度CDM的迁移作业,也可以实现增量数据迁移。
当配额使用量超出设置的告警阈值时,会触发SMN短信或邮件告警。 进入消息通知服务SMN控制台,单击进入“主题管理 > 主题”,找到主题名称“DGC_Topic_Manager_Schedule_Alarm_项目名称_实例ID”。
云服务进入宽限期/保留期后,华为云将会通过邮件、短信等方式向您发送提醒,提醒您续订或充值。保留期到期仍未续订或充值,存储在云服务中的数据将被删除、云服务资源将被释放。
图2 DataArts Studio各模块之间的示意图 DataArts Studio平台提供了上述各个功能模块,满足数据接入、数据建模、标准化、质量监控、数据服务等全流程的数据管理动作。 父主题: 数据治理框架
前提条件 第三方平台的动态脱敏策略需要发布到Kafka消息队列,且消息格式满足要求,详见参考:Kafka消息格式要求。 已在管理中心创建MapReduce服务(MRS Kafka)类型的数据连接,请参考创建DataArts Studio数据连接。
华为沃土数字平台是使能行业客户数字化转型的平台参考架构。以云为基础,通过优化整合新ICT技术,融合数据,使能客户实现业务协同与敏捷创新。 DataArts Studio作为沃土平台数据使能模块,帮助接入沃土数字平台的企业更好的管理使用数据。 父主题: 咨询与计费
步骤4:元数据采集 为了在DataArts Studio平台中对迁移到云上的原始数据进行管理和监控,我们必须先在DataArts Studio数据目录模块中对SDI贴源层数据进行元数据采集并监控。
DDS连接参数说明 DDS连接适用于华为云上的文档数据库服务,常用于从DDS同步数据到大数据平台。 连接云服务DDS时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。
DataArts Studio是基于数据湖的数据运营平台,维度建模使用的场景比较多。 父主题: 数据架构
新建数据连接 创建DataArts Studio数据连接 数据集成 通过DataArts Studio平台将源数据上传或者接入到云上。
如果缺少合适的主题,则可以单击“查看主题”,进入消息通知服务(SMN)界面创建消息主题信息。 当前仅支持“短信”、“邮件”、“HTTP”这三种协议的订阅终端订阅主题。 开关:是否开启通知,默认开启。 图4 配置通知 单击“确定”,为作业配置失败告警通知。
数据地图 查看业务资产和技术资产 步骤9:服务退订 进行服务退订,避免持续产生费用。 服务退订 服务退订(可选) 父主题: 企业版:基于MRS Hive的出租车出行数据治理流程
优势 数据集成一键式操作 通过在服务界面配置化操作,可实现线上线下数据快速集成到云数据仓库。 支持多种数仓服务类型 根据需求,可以灵活选择数据服务类型,可以选择DWS服务建数仓,也可以选择MRS服务等数据平台。
前提条件 已在ModelArts平台中完成工作空间的创建,具体请参考创建工作空间。 已在ModelArts平台中完成工作流的创建,具体请参考创建工作流。 参数 用户可参考表1和表2配置ModelArts Train节点的参数。
快速入门指引 数据治理中心DataArts Studio是具备数据全生命周期管理和智能数据管理能力的一站式数据治理平台,基于数据湖底座,提供数据集成、开发、治理等能力。
面向的读者 本文面向的读者包括:企事业各级管理人员、参与数据工作的相关人员、工具平台开发维护的相关人员等。