检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
项目。 新建MRS hive连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面,如图1所示。 图1 选择连接器类型 连接器类型选择“MRS Hive”后单击“下一步”,配置MRS Hive连接的参数,如图2所示。 图2 创建MRS
Elasticsearch数据连接参数说明 表1 Elasticsearch连接 参数 是否必选 说明 数据连接类型 是 Elasticsearch连接固定选择为Elasticsearch。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。
Redis数据连接参数说明 表1 Redis数据连接 参数 是否必选 说明 数据连接类型 是 Redis连接固定选择为Redis。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。
数据连接”。 图1 创建数据连接 单击“创建数据连接”,在弹出的页面中,选择“数据连接类型”为“数据仓库服务(DWS)”,并参见表1配置相关参数。 图2 DWS连接配置参数 表1 DWS数据连接 参数 是否必选 说明 数据连接类型 是 DWS连接固定选择为数据仓库服务(DWS)。
SFTP/FTP数据连接参数说明 表1 SFTP/FTP数据连接 参数 是否必选 说明 数据连接类型 是 SFTP/FTP连接固定选择为SFTP/FTP。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。
MongoDB数据连接参数说明 表1 MongoDB数据连接 参数 是否必选 说明 数据连接类型 是 MongoDB连接固定选择为MongoDB。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。
HDFS连接参数说明 FTP/SFTP连接参数说明 Redis连接参数说明 DDS连接参数说明 CloudTable连接参数说明 MongoDB连接参数说明 Cassandra连接参数说明 DIS连接参数说明 Kafka连接参数说明 DMS Kafka连接参数说明 云搜索服务(CSS)连接参数说明
DWS数据连接参数说明 表1 DWS数据连接 参数 是否必选 说明 数据连接类型 是 DWS连接固定选择为数据仓库服务(DWS)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。
ClickHouse数据连接参数说明 表1 OpenSource ClickHouse数据连接 参数 是否必选 说明 数据连接类型 是 OpenSource ClickHouse连接固定选择为MapReduce服务(OpenSource ClickHouse)。 数据连接名称 是 数据连接的名称,
OBS数据连接参数说明 表1 对象存储服务(OBS)连接 参数 是否必选 说明 数据连接类型 是 OBS连接固定选择为OBS。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。
连接管理”。 在连接管理界面找到需要修改的连接: 删除连接:单击操作列的“删除”删除该连接,或者勾选连接后单击列表上方的“删除连接”来批量删除未被任何作业使用的连接。 编辑连接:单击该连接名称,或者单击操作列的“编辑”进入修改连接的界面,修改连接时需要重新输入数据源的登录密码。 测试连通性
RDS数据连接参数说明 RDS数据连接支持连接MySQL、PostgreSQL、SQL Server等数据库。 表1 RDS数据连接 参数 是否必选 说明 数据连接类型 是 RDS连接固定选择为RDS。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。
仅在创建dws连接时才有此参数。 linkConfig.jdbcProperties 否 Map 连接属性,指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。 linkConfig.version 否 枚举 创建Oracle连接时才有该参数,根据您Oracle数据库的版本来选择。
dw_name 是 String 数据连接名称,创建时自定义,编辑时通过数据连接列表获取。 dw_type 是 String 数据连接类型,如:DWS、DLI、HIVE、RDS、SparkSQL等,可在console界面查看所有数据连接类型,编辑时通过数据连接列表获取。 dw_config
dw_name 是 String 数据连接名称,创建时自定义,编辑时通过数据连接列表获取。 dw_type 是 String 数据连接类型,如:DWS、DLI、HIVE、RDS、SparkSQL等,可在console界面查看所有数据连接类型,编辑时通过数据连接列表获取。 dw_config
删除数据连接 功能介绍 删除数据连接。 调用方法 请参见如何调用API。 URI DELETE /v1/{project_id}/data-connections/{data_connection_id} 表1 路径参数 参数 是否必选 参数类型 描述 data_connection_id
dw_name 是 String 数据连接名称,创建时自定义,编辑时通过数据连接列表获取。 dw_type 是 String 数据连接类型,如:DWS、DLI、HIVE、RDS、SparkSQL等,可在console界面查看所有数据连接类型,编辑时通过数据连接列表获取。 dw_config
Hive迁移作业长时间卡顿怎么办? 问题描述 Hive迁移作业长时间卡顿怎么办? 解决方案 为避免Hive迁移作业长时间卡顿,可手动停止迁移作业后,通过编辑Hive连接增加如下属性设置: 属性名称:hive.server2.idle.operation.timeout 值:10m
自动带入上次连接创建时的密码。 完成修改后,单击“测试”去测试数据连接是否可以正常连接,如果可以正常连接,单击“保存”。如果测试连接无法连通,数据连接将无法创建,请根据错误提示重新修改连接参数后再进行重试。 删除数据连接:在数据连接页面的连接列表中,找到所需删除的连接,然后单击“
MRS Hudi数据连接参数说明 表1 MRS Hudi连接 参数 是否必选 说明 数据连接类型 是 MRS Hudi连接固定选择为MapReduce服务(MRS Hudi)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签