检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实时报警平台搭建 在本实践用户可以了解到如何搭建一个简单的实时报警平台,该平台将应用多个云服务,结合数据开发模块的作业编辑和作业调度功能来实现。 假设客户有一个数据中心部署了很多应用,需要建立统一的运维系统,实时接收应用的告警信息。 当告警级别达到严重及以上级别时,向用户发送一条消息。
ModelArts Train 功能 通过编排ModelArts Train算子,实现在DataArts Studio中调度ModelArts工作流。 前提条件 已在ModelArts平台中完成工作空间的创建,具体请参考创建工作空间。 已在ModelArts平台中完成工作流的创建,具体请参考创建工作流。
启用细粒度认证后,在数据开发组件选择数据库时报错“Failed to obtain the database”怎么办? 可能原因 数据开发用户不具备DWS Database Access权限。 解决方案 为数据开发用户添加DWS Database Access权限后,再次尝试选择数据库。
限制。 解决方案 目前默认每个用户最多可以创建10000个作业,每个作业建议最多包含200个节点。 另外,系统支持用户根据实际需求调整最大配额。如有需求,请提交工单进行申请。 父主题: 数据开发
流程设计 流程架构基于价值流产生,属于业务架构的流程处理模块,指导并规范需求的管理,确保业务需求受理、分析、交付等过程的高效运作;并聚焦高价值需求,实现业务价值最大化,支撑业务运作及目标的达成。 新建流程 根据业务需求设计流程,流程支持三层至七层,如需要修改,请参考流程层级数。 在DataArts
流程设计 流程设计基于价值流产生,属于指标管理的流程处理模块,指导并规范需求的管理,确保业务需求受理、分析、交付等过程的高效运作;并聚焦高价值需求,实现业务价值最大化,支撑业务运作及目标的达成。 数据指标流程设计首先需要基于明确的业务诉求,在明确业务需要统计的指标后,制定指标对应的数据信息。
node start execute failed, so the current node status is set to cancel.”怎么处理? 问题描述 作业实例取消了,日志提示“The node start execute failed, so the current
本入门指南以某市出租车出行数据为例,统计某出租车供应商2017年度的运营数据。基于需求分析和业务调研,数据治理业务流程设计如图1所示,后续的数据治理操作均基于本业务流程完成。 图1 流程设计 需求分析 通过需求分析,可以提炼出数据治理流程的实现框架,支撑具体数据治理实施流程的设计。 在本示例场景下,当前面临的数据问题如下:
执行SQL语句失败,系统提示“Failed to create ThriftService instance, please check the cluster has available resources and check YARN or Spark driver's logs
Studio上落地实现,包括流程落地和功能落地。流程落地是指有一套详细的流程规范(需求、设计、实施、验证、发布等阶段)指导用户使用DataArts Studio开展数据治理工作;功能落地是指DataArts Studio平台提供自动化、智能化的工具帮助用户高效完成数据治理工作。 数据治理方法论
DataArts Studio使用流程 数据治理中心DataArts Studio是具有数据全生命周期管理、智能数据管理能力的一站式治理运营平台,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数
Studio和沃土是什么关系? 华为沃土数字平台是使能行业客户数字化转型的平台参考架构。以云为基础,通过优化整合新ICT技术,融合数据,使能客户实现业务协同与敏捷创新。 DataArts Studio作为沃土平台数据使能模块,帮助接入沃土数字平台的企业更好的管理使用数据。 父主题: 咨询与计费
Migration,简称CDM)助力H公司做到代码“0”改动、数据“0”丢失迁移上云。 案例:搭建实时报警平台 在本实践用户可以了解到如何搭建一个简单的实时报警平台,该平台将应用多个云服务,结合数据开发模块的作业编辑和作业调度功能来实现。
int 分页的起始页,默认值为0。取值范围大于等于0。 status 否 String 实例运行状态: waiting:等待运行 running:运行中 success:运行成功 fail:运行失败 running-exception:运行异常 skip-by-depend:跳过 freeze:冻结
创建DWS数据连接时报错提示“The account has been locaked”怎么处理? 问题原因 连接DWS集群输入密码错误的次数达到集群参数failed_login_attempts所设置的值(默认10)时,账户将会被自动锁定。 解决方案 解锁方式参考账号被锁住了,如何解锁? 父主题:
以上工作的有效开展,离不开组织管理、明确的责任人、考核体系、流程制度、数据治理政策和数据治理平台的支撑。 图2 DataArts Studio各模块之间的示意图 DataArts Studio平台提供了上述各个功能模块,满足数据接入、数据建模、标准化、质量监控、数据服务等全流程的数据管理动作。
Studio实例中已经包含一个仅用于测试、试用等非正式业务场景的CDM集群(试用版除外)。 如果该集群已经满足您的使用需求,则无需再购买批量数据迁移增量包。 如果您需要CDM集群用于满足业务需求,请通过按需计费方式购买批量数据迁移增量包。 如果您需要为购买的CDM集群匹配套餐包用于降低使用成本,
连接方式应该选择API连接还是代理连接? API连接仅支持在数据开发组件使用。 因此如无特殊需求,为保证数据架构、数据质量、数据目录、数据服务等组件能够使用连接,推荐配置为“通过代理连接”。 父主题: 管理中心
配置CDM作业消息体 编辑“CDM作业消息体”。 由于源表有三个,分别为mail001、mail002、mail003,因此需要将作业JSON中的“fromJobConfig.tableName”属性值配置为“mail${num}”,即源表名是通过参数配置。如下图所示: 图7 编辑JSON
public static void main(String[] args) { // The AK and SK used for authentication are hard-coded or stored in plaintext, which has great