配置连接参数-华为云

数据治理中心 DATAARTS STUDIO-FTP/SFTP连接参数说明

FTP/SFTP连接参数说明 FTP/SFTP连接适用于从线下文件服务器或E CS 服务器上迁移文件到数据库。当前仅支持Linux操作系统的FTP 服务器。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。连接FTP或SFTP服务器时，连接参数相同，如表1所示。表1 FTP/SFTP连接参数参数名说明取值样例名称连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 ftp_link 主机名或IP FTP或SFTP服务器的IP地址或者主机名。 ftp.apache.org 端口 FTP或SFTP服务器的端口，FTP默认值为21；SFTP默认值为22。 21 用户名登录FTP或SFTP服务器的用户名。 cdm 密码登录FTP或SFTP服务器的密码。 - FTP文件名编码 FTP时显示该参数。 ftp-client的controlEncoding文件名编码配置，默认为ISO-8859-1，目前支持ISO-8859-1/UFT8。 ISO-8859-1 父主题：配置连接参数

数据治理中心 DATAARTS STUDIO 配置连接参数

云数据迁移 CDM-数据仓库服务（DWS）连接参数说明

数据仓库服务（DWS）连接参数说明连接数据仓库服务（DWS）时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。表1 数据仓库服务（DWS）连接参数参数名说明取值样例名称连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 dws_link 数据库服务器配置为要连接的数据库的IP地址或域名。单击输入框后的“选择”，可获取用户的实例列表。 192.168.0.1 端口配置为要连接的数据库的端口。不同的数据库端口不同，请根据具体情况配置。数据库名称配置为要连接的数据库名称。 dbname 用户名待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。 cdm 密码用户名密码。 - 使用Agent Agent功能待下线，无需配置。 - Agent Agent功能待下线，无需配置。 - 引用符号可选参数，连接引用表名或列名时的分隔符号，参考对应数据库的产品文档进行配置。 " 单次请求行数可选参数，单击“显示高级属性”后显示。指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 1000 单次提交行数可选参数，单击“显示高级属性”后显示。指定每次批量提交的行数，根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 10000 SSL加密可选参数，控制是否通过SSL加密方式连接数据仓库。是说明：启用SSL加密需确保DWS本身已启用SSL加密。连接属性可选参数，单击“添加”可增加多个指定数据源的JDBC连接器的属性，参考对应数据库的JDBC连接器说明文档进行配置。常见配置举例如下： connectTimeout=60与socketTimeout=300：迁移数据量较大、或通过查询语句检索全表时，会由于连接超时导致迁移失败。此时可自定义连接超时时间与socket超时时间（单位s），避免超时导致失败。 useCursorFetch=false： CDM 作业默认打开了JDBC连接器与关系型数据库通信使用二进制协议开关，即useCursorFetch=true。部分第三方可能存在兼容问题导致迁移时间转换出错，可以关闭此开关；开源MySQL数据库支持useCursorFetch参数，无需对此参数进行设置。 sslmode=require 说明：启用SSL加密后sslmode值不设置可能会导致连接失败。连接私密属性可选参数，单击“显示高级属性”后显示。自定义私密连接属性。 sk=09fUgD5WOF1L6f 父主题：配置连接参数

云数据迁移 CDM 配置连接参数

云数据迁移 CDM-Oracle数据库连接参数说明

Oracle数据库连接参数说明连接Oracle数据库时，连接参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。表1 Oracle数据库连接参数参数名说明取值样例名称连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 oracle_link 数据库服务器配置为要连接的数据库的IP地址或域名。 192.168.0.1 端口配置为要连接的数据库的端口。默认端口：1521 数据库连接类型选择Oracle数据库连接类型： Service Name：通过SERVICE_NAME连接Oracle数据库。 SID：通过SID连接Oracle数据库。 SID 实例名称配置Oracle实例ID，用于实例区分各个数据库。“数据库连接类型”选择“SID”时才有该参数。 dbname 数据库名称配置为要连接的数据库名称。“数据库连接类型”选择“Service Name”时才有该参数。 dbname 用户名待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。 cdm 密码用户密码。 - 使用Agent Agent功能待下线，无需配置。 - Agent Agent功能待下线，无需配置。 - Oracle版本创建Oracle连接时才有该参数，根据您Oracle数据库的版本来选择。当出现“java.sql.SQLException: Protocol violation异常”时，可以尝试更换版本号。高于12.1 引用符号可选参数，连接引用表名或列名时的分隔符号，参考对应数据库的产品文档进行配置。 " 驱动版本不同类型的关系数据库，需要适配不同的驱动，更多详情请参见如何获取驱动。 - 单次请求行数可选参数，单击“显示高级属性”后显示。指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 Oracle到DWS迁移时，可能出现目的端写太久导致迁移超时的情况。此时请减少Oracle源端“单次请求行数”参数值的设置。 1000 单次提交行数可选参数，单击“显示高级属性”后显示。指定单次批量提交的行数。 10000 连接属性可选参数，单击“添加”可增加多个指定数据源的JDBC连接器的属性，参考对应数据库的JDBC连接器说明文档进行配置。常见配置举例如下： socketTimeout：配置JDBC连接超时时间，单位为毫秒。 mysql.bool.type.transform：配置mysql读取时，是否将tinyint(1)解析成boolean类型，默认为true。 - 连接私密属性可选参数，单击“显示高级属性”后显示。自定义私密连接属性。 sk=09fUgD5WOF1L6f 父主题：配置连接参数

云数据迁移 CDM 配置连接参数

数据治理中心 DATAARTS STUDIO-Cassandra连接参数说明

Cassandra连接参数说明作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。表1 Cassandra连接参数参数名说明取值样例名称连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 mongodb_link 服务节点一个或者多个节点的地址，以“;”分隔。建议同时配置多个节点。 192.168.0.1;192.168.0.2 端口连接的Cassandra节点的端口号。 9042 用户名连接Cassandra的用户名。 cdm 密码连接Cassandra的密码。 - 连接超时时长可选参数，单击“显示高级属性”后显示。连接超时时长，单位秒。 5 读取超时时长可选参数，单击“显示高级属性”后显示。读取超时时长，单位秒。小于或等于0表示不超时。 12 父主题：配置连接参数

数据治理中心 DATAARTS STUDIO 配置连接参数

云数据迁移 CDM-Cassandra连接参数说明

Cassandra连接参数说明作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。表1 Cassandra连接参数参数名说明取值样例名称连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 mongodb_link 服务节点一个或者多个节点的地址，以“;”分隔。建议同时配置多个节点。 192.168.0.1;192.168.0.2 端口连接的Cassandra节点的端口号。 9042 用户名连接Cassandra的用户名。 cdm 密码连接Cassandra的密码。 - 连接超时时长可选参数，单击“显示高级属性”后显示。连接超时时长，单位秒。 5 读取超时时长可选参数，单击“显示高级属性”后显示。读取超时时长，单位秒。小于或等于0表示不超时。 12 父主题：配置连接参数

云数据迁移 CDM 配置连接参数

数据治理中心 DATAARTS STUDIO-HDFS连接参数说明:FusionInsight HDFS

FusionInsight HDFS 连接FusionInsight HD上的HDFS数据源时，相关参数如表2所示。表2 FusionInsight HDFS连接参数参数名说明取值样例名称连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 FI_hdfs_link Manager IP FusionInsight Manager平台的地址。 127.0.0.1 Manager端口 FusionInsight Manager平台的端口。 28443 CAS Server端口与FusionInsight对接的CAS Server的端口。 20009 用户名登录FusionInsight Manager平台的用户名。从HDFS导出目录时，如果需要创建快照，这里配置的用户需要HDFS系统的管理员权限。 cdm 密码 FusionInsight Manager平台的密码。 - 认证类型访问集群的认证类型： SIMPLE：非安全模式选择Simple鉴权。 KERBEROS：安全模式选择Kerberos鉴权。 KERBEROS 运行模式选择HDFS连接的运行模式： EMBEDDED：连接实例与CDM运行在一起，该模式性能较好。 STANDALONE：连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源（ MRS 、Hadoop或CloudTable），并且既有KERBEROS认证模式又有SIMPLE认证模式，只能使用STANDALONE模式。说明：STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时，存在jar包冲突的情况，这时需要将源端或目的端放在STANDALONE进程里，防止冲突导致迁移失败。 STANDALONE Agent Agent功能待下线，无需配置。 - 是否使用集群配置您可以通过使用集群配置，简化Hadoop连接参数配置。否集群配置名仅当“是否使用集群配置”为“是”时，此参数有效。此参数用于选择用户已经创建好的集群配置。集群配置的创建方法请参见管理集群配置。 hdfs_01 单击“显示高级属性”，然后单击“添加”，您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性，可单击属性后的“删除”按钮进行删除。

数据治理中心 DATAARTS STUDIO 配置连接参数

数据治理中心 DATAARTS STUDIO-HDFS连接参数说明:Apache HDFS

Apache HDFS 连接Apache Hadoop上的HDFS数据源时，相关参数如表3所示。表3 Apache HDFS连接参数参数名说明取值样例名称连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 hadoop_hdfs_link URI 表示NameNode URI地址。可以填写为：hdfs://namenode实例的ip:8020。 hdfs://IP:8020 认证类型访问集群的认证类型： SIMPLE：非安全模式选择Simple鉴权。 KERBEROS：安全模式选择Kerberos鉴权。 KERBEROS 运行模式选择HDFS连接的运行模式： EMBEDDED：连接实例与CDM运行在一起，该模式性能较好。 STANDALONE：连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源（MRS、Hadoop或CloudTable），并且既有KERBEROS认证模式又有SIMPLE认证模式，只能使用STANDALONE模式。说明：STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时，存在jar包冲突的情况，这时需要将源端或目的端放在STANDALONE进程里，防止冲突导致迁移失败。 STANDALONE IP与主机名映射运行模式选择“EMBEDDED”、“STANDALONE”时，该参数有效。如果HDFS配置文件使用主机名，需要配置IP与主机的映射。格式：IP与主机名之间使用空格分隔，多对映射使用分号或回车换行分隔。 10.1.6.9 hostname01 10.2.7.9 hostname02 Agent Agent功能待下线，无需配置。 - 是否使用集群配置您可以通过使用集群配置，简化Hadoop连接参数配置。否集群配置名当“是否使用集群配置”为“是”或“认证类型”为“KERBEROS”时，此参数有效。此参数用于选择用户已经创建好的集群配置。集群配置的创建方法请参见管理集群配置。 hdfs_01

数据治理中心 DATAARTS STUDIO 配置连接参数

数据治理中心 DATAARTS STUDIO-HDFS连接参数说明:MRS HDFS

MRS HDFS 连接MRS上的HDFS数据源时，相关参数如表1所示。当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群，请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。新建MRS连接前，需在MRS中添加一个kerberos认证用户并登录MRS管理页面更新其初始密码，然后使用该新建用户创建MRS连接。如需连接MRS 2.x版本的集群，请先创建2.x版本的CDM集群。CDM 1.8.x版本的集群无法连接MRS 2.x版本的集群。如果选择集群后连接失败，请检查MRS集群与作为Agent的CDM实例是否网络互通。网络互通需满足如下条件： DataArts Studio 实例（指DataArts Studio实例中的CDM集群）与MRS集群处于不同区域的情况下，需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP，MRS集群可以访问公网且防火墙规则已开放连接端口。 DataArts Studio实例（指DataArts Studio实例中的CDM集群）与MRS集群同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。此外，还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同，如果不同，您需要修改工作空间的企业项目。当同一Agent连接多个MRS集群时，如果其中一个MRS集群被删除或状态异常，会影响另外一个正常的MRS集群数据连接。因此建议一个Agent对应一个MRS集群数据连接。表1 MRS上的HDFS连接参数参数名说明取值样例名称连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 mrs_hdfs_link Manager IP MRS Manager的浮动IP地址，可以单击输入框后的“选择”来选定已创建的MRS集群，CDM会自动填充下面的鉴权参数。说明：当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群，请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 127.0.0.1 用户名选择KERBEROS鉴权时，需要配置MRS Manager的用户名和密码。从HDFS导出目录时，如果需要创建快照，这里配置的用户需要HDFS系统的管理员权限。如果要创建MRS安全集群的数据连接，不能使用admin用户。因为admin用户是默认的管理页面用户，这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户，然后在创建MRS数据连接时，“用户名”和“密码”填写为新建的MRS用户及其密码。说明：如果CDM集群为2.9.0版本及之后版本，且MRS集群为3.1.0及之后版本，则所创建的用户至少需具备Manager_viewer的角色权限才能在CDM创建连接；如果需要对MRS组件的库、表、列进行操作，还需要参考MRS文档添加对应组件的库、表、列操作权限。如果CDM集群为2.9.0之前的版本，或MRS集群为3.1.0之前的版本，则所创建的用户需要具备Manager_administrator或System_administrator权限，才能在CDM创建连接。仅具备Manager_tenant或Manager_auditor权限，无法创建连接。 cdm 密码访问MRS Manager的用户密码。 - 认证类型访问MRS的认证类型： SIMPLE：非安全模式选择Simple鉴权。 KERBEROS：安全模式选择Kerberos鉴权。 SIMPLE 运行模式选择HDFS连接的运行模式： EMBEDDED：连接实例与CDM运行在一起，该模式性能较好。 STANDALONE：连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源（MRS、Hadoop或CloudTable），并且既有KERBEROS认证模式又有SIMPLE认证模式，只能使用STANDALONE模式。说明：STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时，存在jar包冲突的情况，这时需要将源端或目的端放在STANDALONE进程里，防止冲突导致迁移失败。若在一个CDM中同时连接两个及以上开启Kerberos认证且realm相同的集群，只能使用EMBEDDED运行模式连接其中一个集群，其余需使用STANDALONE。 STANDALONE Agent Agent功能待下线，无需配置。 - 是否使用集群配置您可以通过使用集群配置，简化Hadoop连接参数配置。否集群配置名仅当“是否使用集群配置”为“是”时，此参数有效。此参数用于选择用户已经创建好的集群配置。集群配置的创建方法请参见管理集群配置。 hdfs_01 单击“显示高级属性”，然后单击“添加”，您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性，可单击属性后的“删除”按钮进行删除。

数据治理中心 DATAARTS STUDIO 配置连接参数

数据治理中心 DATAARTS STUDIO-CloudTable连接参数说明

CloudTable连接参数说明连接CloudTable时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。表1 CloudTable连接参数参数名说明取值样例名称连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 cloudtable_link ZK链接地址可通过CloudTable服务的集群管理界面获取该参数值。 cloudtable-cdm-zk1.cloudtable.com:2181,cloudtable-cdm-zk2.cloudtable.com:2181 IAM 统一身份认证如果所需连接的CloudTable集群在创建时开启了“IAM 统一身份认证 ”，该参数需设置为“是”，否则设置为“否”。当选择IAM统一身份认证时，需要输入用户名、AK和SK。否用户名登录CloudTable集群的用户名。 admin AK 登录CloudTable集群的访问标识。您需要先创建当前账号的访问密钥，并获得对应的AK和SK。 - SK 登录CloudTable集群的密钥。您需要先创建当前账号的访问密钥，并获得对应的AK和SK。 - 是否使用集群配置您可以通过使用集群配置，简化Hadoop连接参数配置。否集群配置名仅当“是否使用集群配置”为“是”时，此参数有效。此参数用于选择用户已经创建好的集群配置。集群配置的创建方法请参见管理集群配置。 hadoop_01 单击“显示高级属性”，然后单击“添加”，您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性，可单击属性后的“删除”按钮进行删除。父主题：配置连接参数

数据治理中心 DATAARTS STUDIO 配置连接参数

云服务器内容精选

配置连接参数

7*24

备案

专业服务

退订

建议反馈

售前咨询热线