检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
场景说明 根据前一个CDM节点是否执行成功,决定执行哪一个IF条件分支。基于图1的样例,说明如何设置IF条件。 图1 作业样例 配置方法 登录DataArts Studio控制台,找到所需要的DataArts Studio实例,单击实例卡片上的“进入控制台”,进入概览页面。 选择
Studio数据质量模块中,可以对业务指标和数据质量进行监控。 查看质量作业 在DataArts Studio数据开发中,作业运行成功后,您可以登录DataArts Studio数据质量控制台查看质量作业运行结果。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
义工作空间角色,添加工作空间成员并配置角色的具体操作请参见添加工作空间成员和角色。 角色的权限说明请参见权限列表章节。 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限,例如: 在“服务列表”中选择数据治理中心,进入DataArts Studio实例卡片。从实
义工作空间角色,添加工作空间成员并配置角色的具体操作请参见添加工作空间成员和角色。 角色的权限说明请参见权限列表章节。 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限,例如: 在“服务列表”中选择数据治理中心,进入DataArts Studio实例卡片。从实
绑定公网域名”,输入已完成域名注册、ICP备案的域名,数据服务调用DNS服务将公网域名与外网地址相关联。注意,绑定公网域名的前提是在集群创建时已开启“公网入口”绑定了弹性公网IP,否则将会绑定失败。另外,每个租户支持添加50个公网域名。 公网域名支持添加主域名及主域名的子域名,即最多支持添加二级域名,例如abc
进行截断操作,确保总长度不会超出64的限制。 图3 选择同名处理方式 完成还原后,您可以在相应空间权限集、权限集、通用角色或动态脱敏策略的入口,检查还原后的数据,并手动进行同步,以确保还原后的数据生效。 父主题: 数据安全
企业版:基于MRS Hive的出租车出行数据治理流程 示例场景说明 步骤1:流程设计 步骤2:数据准备 步骤3:数据集成 步骤4:元数据采集 步骤5:数据架构设计 步骤6:数据开发处理 步骤7:数据质量监控 步骤8:数据资产查看 步骤9:服务退订
单击“测试运行”,执行该脚本作业。 待测试完成,执行“提交”。 在“作业监控”界面,查看作业执行结果。 图8 查看作业执行结果 日志验证。 运行成功后,登录MRS manager后在YARN上查看日志,发现有hello python的输出。 图9 查看YARN上日志 父主题: 使用教程
time_location 时间 date 公共维度 public_dimension 公共维度 public_dimension 图3 主题设计 操作步骤如下: 登录DataArts Studio控制台。找到已创建的DataArts Studio实例,单击实例卡片上的“进入控制台”。 在工作空间概览列表
Studio实例过程中申请VPC、子网和安全组。 VPC、子网、安全组的详细操作,请参见《虚拟私有云用户指南》。 登录DataArts Studio控制台 登录华为云控制台。 在控制台左上方,单击“服务列表”按钮,选择“数据治理中心”,进入DataArts Studio控制台。
变量。 导入环境变量 导入环境变量功能依赖于OBS服务,如无OBS服务,可从本地导入。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
Studio实例过程中申请VPC、子网和安全组。 VPC、子网、安全组的详细操作,请参见《虚拟私有云用户指南》。 登录DataArts Studio控制台 登录华为云控制台。 在控制台左上方,单击“服务列表”按钮,选择“”,进入DataArts Studio控制台。 购买DataArts
天每个API按1元收费。 网络访问 公网访问。 实例运行在虚拟私有云(VPC)中,在VPC内,使用实例子网地址调用API。 可通过开启公网入口与出口访问,允许外部服务调用API,及后端部署在外部网络环境中。 云市场售卖 API可在云市场公开售卖。 不支持将API上架到云市场公开售卖。
本章以Chrome浏览器为例,因此需要已安装Chrome浏览器。 约束与限制 如需在本地调用专享版API,则需在创建专享版集群时绑定一个弹性公网IP,作为实例的公网入口。共享版API默认可通过公网访问。 调用数据服务API时,如果查询及返回数据的总时长超过默认60秒则会报超时错误。此时可通过访问日志中的A
安装,请至Postman官方网站下载。 约束与限制 如需在本地调用专享版API,则需在创建专享版集群时绑定一个弹性公网IP,作为实例的公网入口。共享版API默认可通过公网访问。 调用数据服务API时,如果查询及返回数据的总时长超过默认60秒则会报超时错误。此时可通过访问日志中的A
示例场景说明 本示例是一个DataArts Studio全流程入门教程,旨在介绍如何在DataArts Studio平台完成端到端的全流程数据运营。 本案例基于某市的出租车出行数据,选择MRS Hive作为数据湖底座,使用DataArts Studio实施全流程数据治理。期望通过实施数据治理达到以下目标:
步骤1:流程设计 本入门指南以某市出租车出行数据为例,统计某出租车供应商2017年度的运营数据。基于需求分析和业务调研,数据治理业务流程设计如图1所示,后续的数据治理操作均基于本业务流程完成。 图1 流程设计 需求分析 通过需求分析,可以提炼出数据治理流程的实现框架,支撑具体数据治理实施流程的设计。
步骤9:服务退订 本开发场景中,DataArts Studio、OBS、MRS和DWS服务均会产生相关费用。在使用过程中,如果您额外进行了通知配置,可能还会产生以下相关服务的费用: SMN服务:如果您在使用DataArts Studio各组件过程中开启了消息通知功能,则会产生消息
步骤6:数据开发处理 DataArts Studio数据开发模块可管理多种大数据服务,提供一站式的大数据开发环境、全托管的大数据调度能力,极大降低用户使用大数据的门槛,帮助您快速构建大数据处理中心。 使用DataArts Studio数据开发,用户可进行数据管理、数据集成、脚本开
离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。