检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
(可选)购买规格增量包 DataArts Studio采用基础包+增量包的计费模式。如果购买的基础包无法满足您的使用需求,您可以额外购买增量包。在购买增量包前,请确保您已购买DataArts Studio实例。 增量包大体可分为功能增量包与规格增量包,功能增量包用于拓展DataArts
区域和可用区如何选择? 什么是区域、可用区? 我们用区域和可用区来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Regio
数据开发调用数据质量算子并且作业运行的时候需要传入质量参数 由于数据质量作业在执行SQL语句时不支持传参,通过数据开发调用数据质量算子,运行的时候可以把数据质量作业的参数传递给数据质量算子作业,实现数据质量的参数传递。 使用场景 数据质量需要传递参数到数据质量算子作业里面并且能够正常运行。
步骤7:数据质量监控 数据质量监控DQC(Data Quality Control)模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。 在DataArts Studio数据质量模块中,可以对业务指标和数据质量进行监控。
开发一个MRS Spark Python作业 本章节介绍如何在数据开发模块上进行MRS Spark Python作业开发。 案例一:通过MRS Spark Python作业实现统计单词的个数 前提条件: 开发者具有OBS相关路径的访问权限。 数据准备: 准备脚本文件"wordcount
查询集群详情 功能介绍 查询集群详情接口。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
Elasticsearch整库迁移到云搜索服务 操作场景 云搜索服务(Cloud Search Service)为用户提供结构化、非结构化文本的多条件检索、统计、报表,本章节介绍如何通过CDM将本地Elasticsearch整库迁移到云搜索服务中,流程如下: 创建CDM集群并绑定EIP
使用Python脚本连接MRS安全集群执行Impala SQL 第一步:在执行任务的服务器上安装相应的包 pip install krbcontext(版本0.10) pip install kerberos(版本1.3.1) pip install impala 命令样例如下:
基本概念 数据库、数据仓库、数据湖与华为智能数据湖方案 请参考数据库、数据仓库、数据湖与华为智能数据湖方案。 DataArts Studio实例 DataArts Studio实例是数据治理中心给用户提供的最小计算资源单位。数据治理中心以DataArts Studio实例的方式提
配置Elasticsearch/云搜索服务(CSS)目的端参数 作业中目的连接为Elasticsearch连接参数说明或云搜索服务(CSS)连接参数说明时,即将数据导入到Elasticsearch/云搜索服务(CSS)时,目的端作业参数如表1所示。 表/文件迁移和整库迁移时需配置
MRS Hetu数据连接参数说明 表1 MRS Hetu数据连接 参数 是否必选 说明 数据连接类型 是 MRS Hetu连接固定选择为MapReduce服务(MRS Hetu)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签
开发实时处理单任务DLI Spark作业 前提条件 参见新建作业创建一个实时处理的单任务DLI Spark作业。 配置DLI Spark作业 表1 配置属性参数 参数 是否必选 说明 作业名称 是 输入DLI Spark作业名称。 作业名称只能包含英文字母、数字、下划线和中划线,且长度为1~64个字符。
配置离线处理集成作业 数据集成支持创建离线作业,通过在界面勾选源端数据和目的端数据,并结合为其配置的参数,实现将源端单表、分库分表、整库的全量或增量数据周期性同步至目标数据表。 本文为您介绍离线同步任务的常规配置,各数据源配置存在一定差异,请以配置作业源端参数及配置作业目的端参数为准。
查询集群详情信息列表 功能介绍 查询集群详情信息列表。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/instances 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
MRS HBase数据连接参数说明 表1 MRS HBase数据连接 参数 是否必选 说明 数据连接类型 是 MRS HBase连接固定选择为MapReduce服务(MRS HBase)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。
MySQL数据迁移到MRS Hive分区表 MapReduce服务(MapReduce Service,简称MRS)提供企业级大数据集群云服务,里面包含HDFS、Hive、Spark等组件,适用于企业海量数据分析。 其中Hive提供类SQL查询语言,帮助用户对大规模的数据进行提取
MRS Kafka数据连接参数说明 表1 MRS Kafka数据连接 参数 是否必选 说明 数据连接类型 是 MRS Kafka连接固定选择为MapReduce服务(MRS Kafka)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。
MRS Clickhouse数据连接参数说明 表1 MRS Clickhouse数据连接 参数 是否必选 说明 数据连接类型 是 MRS Clickhouse连接固定选择为MapReduce服务(MRS Clickhouse)。 数据连接名称 是 数据连接的名称,只能包含字母、数
查询集群详情信息 功能介绍 查询集群详情信息。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/instances/{instance_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
MRS Impala数据连接参数说明 表1 MRS Impala数据连接 参数 是否必选 说明 数据连接类型 是 MRS Impala连接固定选择为MapReduce服务(MRS Impala)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。