检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新建一个业务场景 场景说明 业务场景用于监控业务指标。本例以新建一个业务场景为例,介绍如何使用业务指标监控功能。 操作步骤 在DataArts Studio控制台首页,选择对应工作空间的“数据质量”模块,进入数据质量页面。 新建业务指标。 单击左侧导航“指标管理”。 单击页面上方的“新建”,如下图所示。
新建一个对账作业实例 场景说明 数据对账对于数据开发和数据迁移流程中的数据一致性至关重要,而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。本章分别以DLI和DWS作为数据源,介绍如何通过DataArts Studio中的数据质量模块实现跨源数据对账的基本一致性校验。
新建一个质量作业 场景说明 开发质量作业是为了监控数据质量。本章以新建一个质量作业为例,介绍如何开发质量作业。 操作步骤 在DataArts Studio控制台首页,选择对应工作空间的“数据质量”模块,进入数据质量页面。 创建规则模板。 单击左侧导航“规则模板”,默认展示系统自定
开发一个Python作业 本章节介绍如何在数据开发模块上开发并执行Python作业示例。 环境准备 已开通弹性云服务器,并创建ECS,ECS主机名为“ecs-dgc”。 本示例主机选择“CentOS 8.0 64bit with ARM(40GB)”的公共镜像,并且使用ECS自带
inputPath) #每一行数据按照空格拆分 得到一个个单词 words = lines.flatMap(lambda line:line.split(" "),True) #将每个单词 组装成一个tuple 计数1 pairWords = words
开发一个MRS Flink作业 本章节介绍如何在数据开发模块上进行MRS Flink作业开发。 场景说明 本教程通过开发一个MRS Flink作业来实现统计单词的个数。 前提条件 具有OBS相关路径的访问权限。 已开通MapReduce服务MRS,并创建MRS集群。 数据准备 下
开发一个Hive SQL作业 本章节介绍如何在数据开发模块上进行Hive SQL开发。 场景说明 数据开发模块作为一站式大数据开发平台,支持多种大数据工具的开发。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能;可
开发一个DWS SQL作业 介绍如何在数据开发模块上通过DWS SQL节点进行作业开发。 场景说明 本教程通过开发一个DWS作业来统计某门店的前一天销售额。 环境准备 已开通DWS服务,并创建DWS集群,为DWS SQL提供运行环境。 已开通CDM增量包,并创建CDM集群。 CD
如何将一个空间的数据开发作业和数据连接迁移到另一空间? 您需要通过导入导出功能,分别将旧空间的数据连接和作业数据导入到新空间内。 数据连接数据,需要在管理中心的资源迁移进行导入导出。具体操作请参考资源迁移。 作业数据,需要在数据开发中将作业导入导出。具体操作请参考导出导入作业。 父主题:
资源管理”。单击“新建资源”,在数据开发模块中创建一个资源关联到1的JAR包,资源名称为“spark-example”。 图1 创建资源 提交Spark作业 用户需要在数据开发模块中创建一个作业,通过作业的DLI Spark节点提交Spark作业。 创建一个数据开发模块空作业,作业名称为“job_DLI_Spark”。
一个空间可以创建同一数据源的多个连接吗? 工作空间内允许创建多个同一数据源的连接,但是连接的名字不能相同。 需要注意的是,为便于后续开发过程中选择到正确的数据连接,建议您为连接做好命名区分,避免出现混淆。 父主题: 管理中心
DES迁移一个月前的历史数据 迁移流程 通过脚本将一个月前的历史数据导入到DES盒子。DES盒子的相关操作请参见数据快递服务 DES。 DES将数据快递到华为云数据中心。 使用华为云CDM将DES中的数据迁移到华为云OBS。 使用华为云CDM将OBS数据迁移到MRS。 其中CDM
CDM迁移近一个月的数据 备HBase集群中约10TB数据,最近一个月新增的数据量约60TB,总共约70TB。H公司安装的云专线为20GE端口,支持CDM超大规格的集群(cdm.xlarge),综合考虑迁移时间、成本、性能等,这里使用2个CDM超大规格集群并行迁移。CDM集群规格如表1所示。
在数据开发子模块中,新建的DLI SQL脚本默认队列是一个已删除的队列,怎么处理? 问题描述 新建的DLI SQL脚本默认队列是一个已删除的队列。 图1 DLI SQL脚本 问题分析 新建的DLI SQL脚本队列显示的逻辑是这样的,在该工作空间,上一次使用DLI SQL脚本或打开DLI
Connect服务上购买一个ROMA实例,并创建API分组(详情请参考创建API分组)。API分组创建后,系统为分组自动分配一个内部测试用的子域名,此子域名每天最多可以访问1000次。为了不受此规格限制,您可以为API分组绑定独立域名(详情请参考绑定域名),API调用者通过访问独立域名来调用您开放的API。
绑定公网域名”,输入已完成域名注册、ICP备案的域名,数据服务调用DNS服务将公网域名与外网地址相关联。注意,绑定公网域名的前提是在集群创建时已开启“公网入口”绑定了弹性公网IP,否则将会绑定失败。另外,每个租户支持添加50个公网域名。 公网域名支持添加主域名及主域名的子域名,即最多支持添加二级域名,例如abc
实例试用/购买成功后,可以转移到其他账号下吗? 不可以,实例试用/购买后不能转移到另一个账户。 如需授权其他用户使用,请参见授权用户使用DataArts Studio。 父主题: 咨询与计费
移动脚本/脚本目录 您可以通过移动功能把脚本文件从当前目录移动到另一个目录,也可以把当前脚本目录移动到另一个目录中。 前提条件 已完成脚本开发,请参见开发脚本。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
新建原子指标 原子指标是对指标统计逻辑、具体算法的一个抽象。为了从根源上解决定义、研发不一致的问题,指标定义明确设计统计逻辑(即计算逻辑),不需要ETL二次或者重复研发,从而提升了研发效率,也保证了统计结果的一致性。 原子指标:原子指标中的度量和属性来源于多维模型中的维度表和事实
考本教程,根据您的实际业务需要,开发您自己的作业。 EL表达式用法可参考EL表达式。 根据前一个节点的执行状态进行IF条件判断 场景说明 根据前一个CDM节点是否执行成功,决定执行哪一个IF条件分支。基于图1的样例,说明如何设置IF条件。 图1 作业样例 配置方法 登录DataArts