正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS Impala数据连接参数说明 表1 MRS Impala数据连接 参数 是否必选 说明 数据连接类型 是 MRS Impala连接固定选择为MapReduce服务(MRS Impala)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。
MRS Hudi数据连接参数说明 表1 MRS Hudi连接 参数 是否必选 说明 数据连接类型 是 MRS Hudi连接固定选择为MapReduce服务(MRS Hudi)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签
面向的读者 本文面向的读者包括:企事业各级管理人员、参与数据工作的相关人员、工具平台开发维护的相关人员等。
配置Elasticsearch/云搜索服务源端参数 作业中源连接为Elasticsearch连接参数说明或云搜索服务(CSS)连接参数说明时,源端作业参数如表1所示。 表1 Elasticsearch/云搜索服务作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 索引
表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 每次查询的数据连接条数的限制量,默认20。 offset 否 Integer 每次查询的数据连接条数的分页页码,默认0。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
创建数据连接时,在代理模式下为什么选不到需要的CDM集群? 可能原因 创建数据连接时,在代理模式下选不到需要的CDM集群,可能是由于CDM集群关机。 解决方案 请确认CDM集群是否被关机。如果关机,请重新启动。 父主题: 数据开发
测试数据开发连接细粒度连通性 功能介绍 测试数据开发连接细粒度连通性。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/fgac/dlf/datawarehouses/{dw_id} 表1 路径参数 参数 是否必选 参数类型
个字符。连接名称不能重复。 type 是 String 连接类型,包含: DWS DLI SparkSQL HIVE RDS CloudTable HOST config 否 Map<String,String> 连接的配置项,不同类型的连接配置项不同。DLI类型的连接不需要配置
CII编码,因ASCII编码不能编码汉字所以报错。因此需要将编码格式转化为“utf8”。 解决方法 用python3解释器,在主机上做一个软连接,如下图所示。 图2 主机上做软连接 在文件中设置标准编码方式。 # -*- coding: utf-8 -*-;或者设置主机的编码格式
为什么在创建数据连接的界面上MRS Hive/HBase集群不显示? 出现该问题的可能原因有: 创建MRS集群时未选择Hive/HBase组件。 创建MRS集群时所选择的企业项目与工作空间的企业项目不同。 创建MRS数据连接时所选择的CDM集群和MRS集群网络不互通。 CDM集群
一个空间可以创建同一数据源的多个连接吗? 工作空间内允许创建多个同一数据源的连接,但是连接的名字不能相同。 需要注意的是,为便于后续开发过程中选择到正确的数据连接,建议您为连接做好命名区分,避免出现混淆。 父主题: 管理中心
DataWareHouseDTO objects 数据开发细粒度连接列表。 表5 DataWareHouseDTO 参数 参数类型 描述 dw_id String 数据连接ID。 dw_name String 数据连接名称。 dw_type String 数据连接类型: HIVE数据源 DWS数据源 SPARK数据源
配置分库源端参数 作业中源连接为分库连接,源端作业参数如表1所示。 表1 分库作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,分库连接时此处默认展示对应第一个后端连接的表空间。用户也可以直接输入模式或表空间名称。
配置DWS源端参数 作业中源连接为DWS连接时,源端作业参数如表1所示。 表1 DWS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,
配置MRS Hudi源端参数 作业中源连接为MRS Hudi连接时,源端作业参数如表1所示。 表1 MRS Hudi作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 选择已配置的MRS Hudi连接。 hudi_from_cdm 数据库名称 输入或选择
ClickHouse源端参数 作业中源连接为MRS ClickHouse连接时,源端作业参数如表1所示。 表1 MRS ClickHouse作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 选择已配置的MRS ClickHouse连接。 ck_from_cdm 模式或表空间
数据连接”。 图1 创建数据连接 单击“创建数据连接”,在弹出的页面中,选择“数据连接类型”为“MapReduce服务(MRS Hive)”,并参见表1配置相关参数。 图2 MRS Hive连接配置参数 表1 MRS Hive数据连接 参数 是否必选 说明 数据连接类型 是 MRS
数据。 单位:%。 0.001%~90% CDM集群实例 1分钟 tomcat_connect tomcat并发连接数 该指标为从物理机层面采集的tomcat并发连接数。 单位:Count/个。 0~2147483647 CDM集群实例 1分钟 tomcat_thread_count
enabled(启用AQE用于连接操作,可以通过根据正在处理的数据动态选择最佳连接算法来提高性能。) spark.sql.adaptive.skewedJoin.enabled(启用AQE用于倾斜的连接操作,可以通过自动检测倾斜的数据并相应地优化连接算法来提高性能) spark.sql
配置OpenTSDB目的端参数 作业中目的连接为CloudTable OpenTSDB连接时,目的端作业参数如表1所示。 表1 OpenTSDB作为目的端时的作业参数 参数名 说明 取值样例 指标 可选参数,输入指标名称,或选择OpenTSDB中已存在的指标。 city.temp