检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
密钥(SK) 登录DIS服务器的密钥。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 - 项目ID DIS的项目ID。 - 父主题: 配置连接参数
STANDALONE 是否使用集群配置 用户可以在“连接管理”处创建集群配置,用于简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hbase_01 单击“显
String 配置名称:源端作业的配置名称为“fromJobConfig”。目的端作业的配置名称为“toJobConfig”,连接的配置名称固定为“linkConfig”。 id 否 Integer 配置ID,由系统生成,用户无需填写。 type 否 String 配置类型,由系统
添加Broker连接地址的自映射,以便客户端能够快速解析实例的Broker。例如Kafka Broker地址配置为10.154.48.120时,hosts文件中的自映射配置为: 10.154.48.120 10.154.48.120 是 用户名 开启Kafka SASL_SSL时显示该参数,表示连接DMS
AccessKeyID 访问日志服务的访问密钥,用于标识用户。 - accessKeySecret 访问日志服务的访问密钥,用来验证用户的密钥。 - 父主题: 配置连接参数
性。 CDM数据迁移以抽取-写入模式进行。CDM首先从源端抽取数据然后将数据写入到目的端,数据访问操作均由CDM主动发起,对于数据源(如RDS数据源)支持SSL时,会使用SSL加密传输。迁移过程要求用户提供源端和目的端数据源的用户名和密码,这些信息将存储在CDM实例的数据库中。保护这些信息对于CDM安全至关重要。
String 配置名称:源端作业的配置名称为“fromJobConfig”。目的端作业的配置名称为“toJobConfig”,连接的配置名称固定为“linkConfig”。 id 否 Integer 配置ID,由系统生成,用户无需填写。 type 否 String 配置类型,由系统
FTP时显示该参数。 ftp-client的controlEncoding文件名编码配置,默认为ISO-8859-1,目前支持ISO-8859-1/UFT8。 ISO-8859-1 父主题: 配置连接参数
/bucket/dir”。 obs://bucket/dir/test.txt 属性配置 需要集成的表名,多个表名使用英文逗号“,”分开,请务必配置,不要有空格,默认无需配置。 - 父主题: 配置连接参数
ClickHouse > 实例”,配置ClickHouseBalancer的默认端口,非安全模式MRS集群配置“lb_http_port”参数对应的端口,安全模式MRS集群配置“lb_https_port”参数对应的端口。 如果MRS ClickHouse是安全集群,则需配置为https默认端口。
Elasticsearch服务器列表 配置为一个或多个Elasticsearch服务器的IP地址或域名,包括端口号,格式为“ip:port”,多个地址之间使用“;”分隔。 192.168.0.1:9200;192.168.0.2:9200 父主题: 配置连接参数
serverSelectionTimeout,默认serverSelectionTimeout=5000 socketTimeout=60000 父主题: 配置连接参数
参数原理:通过“Where子句”参数可以配置一个SQL语句(例如:age > 18 and age <= 60),CDM只导出该SQL语句指定的数据;不配置时导出整表。 Where子句支持配置为时间宏变量,当数据表中有时间日期字段或时间戳字段时,配合定时执行作业,能够实现抽取指定日期的数据。 配置样例: 假设
取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 css_link Elasticsearch服务器列表 配置为一个或多个Elasticsearch服务器的IP地址或域名,包括端口号,格式为“ip:port”,多个地址之间使用“;”分隔。 192.168
参数原理:通过“Where子句”参数可以配置一个SQL语句(例如:age > 18 and age <= 60),CDM只导出该SQL语句指定的数据;不配置时导出整表。 Where子句支持配置为时间宏变量,当数据表中有时间日期字段或时间戳字段时,配合定时执行作业,能够实现抽取指定日期的数据。 配置样例: 假设
{ "name": "toJobConfig.database", "value": "rf_database" }, {
创建MRS数据连接时测试连通性报下载配置文件失败错误怎么处理? 问题描述 创建MRS连接器报如下错误,在Manager检查用户权限是有的,检查网络也都是通的。 解决方案 登录Manager初始化用户后,重新建立数据连接即可。 父主题: 故障处理类
{ "name": "fromJobConfig.database", "value": "rf_database" }, {
原始库多,有的多十几条,有的多几千条。 故障分析 根据故障信息分析,考虑是作业配置限制,检查作业配置,发现目的端配置为导入开始前“不清除”,不清除可能存在多次操作,部分数据重复。 解决方案 目的端配置为导入开始前“清空全部数据”,验证后,源/目的端条数一致。 父主题: 故障处理类
{ "name": "fromJobConfig.maxPollRecords", "value": "100" },