检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新建一个业务场景 场景说明 业务场景用于监控业务指标。本例以新建一个业务场景为例，介绍如何使用业务指标监控功能。 操作步骤 在DataArts Studio控制台首页，选择对应工作空间的“数据质量”模块，进入数据质量页面。 新建业务指标。 单击左侧导航“指标管理”。 单击页面上方的“新建”，如下图所示。
开发一个Hive SQL作业 本章节介绍如何在数据开发模块上进行Hive SQL开发。 场景说明 数据开发模块作为一站式大数据开发平台，支持多种大数据工具的开发。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能；可
新建一个质量作业 场景说明 开发质量作业是为了监控数据质量。本章以新建一个质量作业为例，介绍如何开发质量作业。 操作步骤 在DataArts Studio控制台首页，选择对应工作空间的“数据质量”模块，进入数据质量页面。 创建规则模板。 单击左侧导航“规则模板”，默认展示系统自定
新建一个对账作业实例 场景说明 数据对账对于数据开发和数据迁移流程中的数据一致性至关重要，而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。本章分别以DLI和DWS作为数据源，介绍如何通过DataArts Studio中的数据质量模块实现跨源数据对账的基本一致性校验。
必须相同，如果不同，需要修改工作空间的企业项目。 约束限制 Python节点支持脚本参数和作业参数。 本示例以Python3为例。 建立主机数据连接 开发Python脚本前，我们需要建立一个到弹性云服务器ECS的连接。 参考访问DataArts Studio实例控制台，登录DataArts
开发一个MRS Flink作业 本章节介绍如何在数据开发模块上进行MRS Flink作业开发。 场景说明 本教程通过开发一个MRS Flink作业来实现统计单词的个数。 前提条件 具有OBS相关路径的访问权限。 已开通MapReduce服务MRS，并创建MRS集群。 数据准备 下
inputPath) #每一行数据按照空格拆分 得到一个个单词 words = lines.flatMap(lambda line:line.split(" "),True) #将每个单词 组装成一个tuple 计数1 pairWords = words
开发一个DWS SQL作业 介绍如何在数据开发模块上通过DWS SQL节点进行作业开发。 场景说明 本教程通过开发一个DWS作业来统计某门店的前一天销售额。 环境准备 已开通DWS服务，并创建DWS集群，为DWS SQL提供运行环境。 已开通CDM增量包，并创建CDM集群。 CD
资源管理”。单击“新建资源”，在数据开发模块中创建一个资源关联到1的JAR包，资源名称为“spark-example”。 图1 创建资源 提交Spark作业 用户需要在数据开发模块中创建一个作业，通过作业的DLI Spark节点提交Spark作业。 创建一个数据开发模块空作业，作业名称为“job_DLI_Spark”。
项目ID，获取方法请参见项目ID和账号ID。 apig_instance_id 是 String 网关实例编号，共享版为固定值：APIG。 表2 Query参数 参数 是否必选 参数类型 描述 apig_type 是 String 网关类型。 枚举值： APIG：APIG类型网关 APIGW：APIGW类型网关
一个空间可以创建同一数据源的多个连接吗？ 工作空间内允许创建多个同一数据源的连接，但是连接的名字不能相同。 需要注意的是，为便于后续开发过程中选择到正确的数据连接，建议您为连接做好命名区分，避免出现混淆。 父主题： 管理中心
DES迁移一个月前的历史数据 迁移流程 通过脚本将一个月前的历史数据导入到DES盒子。DES盒子的相关操作请参见数据快递服务 DES。 DES将数据快递到华为云数据中心。 使用华为云CDM将DES中的数据迁移到华为云OBS。 使用华为云CDM将OBS数据迁移到MRS。 其中CDM
项目ID，获取方法请参见项目ID和账号ID。 表2 Query参数 参数 是否必选 参数类型 描述 apig_type 是 String 网关类型。 枚举值： APIGW：APIGW类型网关 ROMA_APIC：ROMA类型网关 limit 否 Integer 查询条数限制。 offset
CDM迁移近一个月的数据 备HBase集群中约10TB数据，最近一个月新增的数据量约60TB，总共约70TB。H公司安装的云专线为20GE端口，支持CDM超大规格的集群（cdm.xlarge），综合考虑迁移时间、成本、性能等，这里使用2个CDM超大规格集群并行迁移。CDM集群规格如表1所示。
如何将一个空间的数据开发作业和数据连接迁移到另一空间？ 您需要通过导入导出功能，分别将旧空间的数据连接和作业数据导入到新空间内。 数据连接数据，需要在管理中心的资源迁移进行导入导出。具体操作请参考资源迁移。 作业数据，需要在数据开发中将作业导入导出。具体操作请参考导出导入作业。 父主题：
在数据开发子模块中，新建的DLI SQL脚本默认队列是一个已删除的队列，怎么处理？ 问题描述 新建的DLI SQL脚本默认队列是一个已删除的队列。 图1 DLI SQL脚本 问题分析 新建的DLI SQL脚本队列显示的逻辑是这样的，在该工作空间，上一次使用DLI SQL脚本或打开DLI
网关管理接口 获取网关实例(专享版) 获取网关分组 父主题： 数据服务API
版上，则您需要提前在API网关服务上购买一个APIG实例。实例创建后，有一个默认API分组，系统为分组自动分配一个内部测试用的调试域名，此调试域名唯一且不可更改，每天最多可以访问1000次。如果您不希望与其他API共享此规格，可以在APIG控制台新建一个API分组（详情请参考创建
将待发送的请求内容按照与API网关后台约定的规则组装，确保客户端签名、API网关后台认证时使用的请求内容一致。 使用规范请求和其他信息创建待签字符串。 使用AK/SK和待签字符串计算签名。 将生成的签名信息作为请求消息头添加到HTTP请求中，或者作为查询字符串参数添加到HTTP请求中。 API网关收到请求后，执行1~3，计算签名。
创建NAT网关，注意选择和CDM集群相同的VPC、子网。 创建完NAT网关后，回到NAT网关控制台列表，单击创建好的网关名称，然后选择“添加SNAT规则”。 图1 添加SNAT规则 选择子网和弹性IP，如果没有弹性IP，需要先申请一个。 完成之后，就可以到CDM控制台，通过Intern
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
