检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实时报警平台搭建 在本实践用户可以了解到如何搭建一个简单的实时报警平台,该平台将应用多个云服务,结合数据开发模块的作业编辑和作业调度功能来实现。 假设客户有一个数据中心部署了很多应用,需要建立统一的运维系统,实时接收应用的告警信息。 当告警级别达到严重及以上级别时,向用户发送一条消息。
华为联合亿信华辰提供数据入表全方位助力 作为Gartner认可的数据资产管理标杆厂商、IDC认证的中国数据治理解决方案市场第一厂商,亿信华辰一直走在数据资产化前列。面对数据入表的需求,亿信华辰不仅提供全套数据治理软件,让数据采集、加工、治理、应用更加便捷。还为企业搭建数据入表所需
指标数据信息参数 参数说明 说明 *计算公式 定义业务指标的计算逻辑,以便指导开发者根据计算公式设计原子指标、衍生指标。业务指标是为了指导技术指标的落地,实际并不做运算。 *统计周期 指定指标的统计周期,以便指导开发者根据统计周期设计时间限定。 统计维度 可以在下拉列表中选择已经创建的维度。维度的创建请参见新建维度。
Studio和沃土是什么关系? 华为沃土数字平台是使能行业客户数字化转型的平台参考架构。以云为基础,通过优化整合新ICT技术,融合数据,使能客户实现业务协同与敏捷创新。 DataArts Studio作为沃土平台数据使能模块,帮助接入沃土数字平台的企业更好的管理使用数据。 父主题:
数据开发 数据开发可以创建多少个作业,作业中的节点数是否有限制? DataArts Studio支持自定义的Python脚本吗? 作业关联的CDM集群删除后,如何快速修复? 作业的计划时间和开始时间相差大,是什么原因? 相互依赖的几个作业,调度过程中某个作业执行失败,是否会影响后续作业?这时该如何处理?
将APP认证方式的API授权给APP类型的应用 使用APP认证方式的API,必须将API授权给应用后,才能进行API调用。授权可以分为API开发者主动授权和API调用者申请授权,本文以API开发者主动授权为例进行介绍。 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。
所有脚本或作业仅支持在开发环境编辑,开发者无法修改生产环境的脚本或作业。 开发环境和生产环境的数据隔离,开发者无法影响生产环境的数据。 开发环境下,脚本、作业以当前开发者的身份执行;生产环境下,脚本、作业则使用空间级的公共IAM账号或公共委托执行。 如果需要对生产环境进行变更,必须在开发环境通过开发者的发布操
开发脚本 开发SQL脚本 开发Shell脚本 开发Python脚本 父主题: 脚本开发
脚本开发 脚本开发流程 新建脚本 开发脚本 提交版本 发布脚本任务 (可选)管理脚本 父主题: 数据开发
脚本开发API 创建脚本 修改脚本内容 查询脚本信息 查询脚本列表 查询脚本实例执行结果 删除脚本 执行脚本 停止脚本实例的执行 父主题: 数据开发API(V1)
待审核的API可在审核中心由发起者执行撤销操作。 审核人支持管理员、开发者、运维者,访客无法添加为审核人。 工作空间管理员角色的用户,无论是否被添加为审核人,都默认具备审核人权限。 管理审核人 数据服务平台提供管理审核人的功能,您可在审核中心新建和删除审核人,下面以新建审核人为例介绍如何操作。
伙伴、开发者开放功能和数据。 数据服务是API对外开放或者在自己的应用中调用的最后一道防线,提供了权限管理、流量控制、访问控制等服务,因此在数据服务中生成的API以及注册的API,为了安全起见,都需要发布到服务市场中才能对外提供服务。 发布API 审核API 数据服务平台的审核中
作业开发API 创建作业 修改作业 查询作业列表 查询作业详情 查询作业文件 导出作业 批量导出作业 导入作业 立即执行作业 启动作业 停止作业 删除作业 停止作业实例 重跑作业实例 查询实时作业运行状态 查询作业实例列表 查询作业实例详情 查询系统任务详情 父主题: 数据开发API(V1)
作业开发API 创建补数据实例 查询补数据实例 停止补数据实例 修改作业名称 查询发布包列表 查询指定发布包详情 设置作业标签 查询告警通知记录 发布任务包 撤销任务包 查询实例运行状态 查询任务完成情况 查询指定作业的实例列表 父主题: 数据开发API(V2)
锁定状态转换图 前提条件 已完成脚本开发任务。 解锁脚本 提交脚本会将当前开发态的最新脚本保存并提交为版本,并覆盖之前的脚本版本。为了便于后续其他开发者对此脚本进行修改,建议您在提交脚本后通过“解锁”解除该脚本锁定。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
数据科学家、数据开发人员为主 业务分析师为主 华为智能数据湖方案 华为数据使能服务DAYU,为大型政企客户量身定制跨越孤立系统、感知业务的数据资源智能管理解决方案,实现全域数据入湖,帮助政企客户从多角度、多层次、多粒度挖掘数据价值,实现数据驱动的数字化转型。 DAYU的核心主要是华为智能数据湖Fusion
锁定状态转换图 前提条件 已完成作业开发任务。 解锁作业 “提交”会将当前开发态的最新作业保存并提交为版本,并覆盖之前的作业版本。为了便于后续其他开发者对此作业进行修改,建议您在提交作业后通过“解锁”解除该作业锁定。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
试和执行。具体请参见开发脚本。 提交版本并解锁:脚本开发完成后,您需要提交版本并解锁,提交版本并解锁后才能正式地被作业调度运行,便于其他开发者修改。具体请参见提交版本。 (可选)管理脚本:脚本开发完成后,您可以根据需要,进行脚本管理。具体请参见(可选)管理脚本。 发布脚本。企业模
步骤6:数据开发处理 DataArts Studio数据开发模块可管理多种大数据服务,提供一站式的大数据开发环境、全托管的大数据调度能力,极大降低用户使用大数据的门槛,帮助您快速构建大数据处理中心。 使用DataArts Studio数据开发,用户可进行数据管理、数据集成、脚本开
数据开发进阶实践 周期调度依赖策略 离散小时调度与作业最近依赖调度逻辑 补数据场景使用介绍 作业调度支持每月最后一天 获取SQL节点的输出结果值 IF条件判断教程 获取Rest Client节点返回值教程 For Each节点使用介绍 数据开发调用数据质量算子并且作业运行的时候需要传入质量参数