检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
认证方式为OAUTH_CODE_GRANT模式时显示该参数。 Oauth 2.0模式认证请求方法,GET/POST。在填写了认证地址的情况下,必填。 例如:GET 认证账号 否 认证方式为OAUTH_CODE_GRANT模式时显示该参数。 Oauth 2.0模式需要填写账号,可以用#auth
是否需要测试Hive JDBC连通。 否 是否使用集群配置 您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hive_01 单击“保存”回到连接管理界面。
配置CDM作业字段映射 操作场景 作业参数配置完成后,将进行字段映射的配置,您可以通过字段映射界面的可自定义新增字段,也可单击操作列下创建字段转换器。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。
下载或转储脚本执行结果 脚本运行成功后,支持下载和转储SQL脚本执行结果。系统默认支持所有用户都能下载和转储SQL脚本的执行结果。如果您不希望所有用户都有该操作权限,可参考配置数据导出策略进行配置。 脚本执行完成后在“执行结果”中,单击“下载”可以直接下载CSV格式的结果文件到本地。可以在下载中心查看下载记录。
1000 ScrollId超时时间配置 Elasticsearch scroll查询时会记录一个scroll_id,超时或者scroll查询结束后会清除请求的srcoll_id,通过设置这个超时时间配置,来指定scroll_id超时时间。 5 父主题: 配置CDM作业源端参数
在“通知管理”页签,单击“通知配置”,弹出“通知配置”页面,配置如表1所示的参数。 图1 通知配置 表1 通知参数 参数 是否必选 说明 作业范围 是 选择通知的范围: 单个作业:对单个作业发送通知。 所有作业:对所有作业发送通知。所有作业指当前已有的作业和后续新创建的作业会使用这个通知配置。 作业名称
- 使用Agent Agent功能待下线,无需配置。 - Agent Agent功能待下线,无需配置。 - 导入模式 COPY模式:将源数据经过DWS管理节点后复制到数据节点。如果需要通过Internet访问DWS,只能使用COPY模式。 COPY 单击“保存”完成创建连接。 创建迁移作业
CDM集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,您还必须确保该云服务的实例与CDM集群所属的企业项目必须相同,如果不同,需要修改工作空间的企业项目。
1.0)默认不开放此配置项,则需要联系MRS服务客服或技术支持人员协助处理。 图3 配置ranger.usersync.config.expandor参数 参数配置完成后,单击左上角的“保存”,在弹窗中单击“确定”保存配置。 保存成功后,切换到实例页签,选择配置已过期的UserSync实例后,单击“更多
Elasticsearch服务器列表 配置为一个或多个Elasticsearch服务器的IP地址或域名,包括端口号,格式为“ip:port”,多个地址之间使用“;”分隔。 192.168.0.1:9200;192.168.0.2:9200 安全模式认证 是否开启安全模式认证。 如果所需连接的C
质量名称。 alert_conf String 告警配置。 expression String 正则相关校验规则中正则配置。 extend_info String 扩展信息。 from_standard Boolean 是否来源于数据标准质量配置,只读。 result_description
作为key,通过配置@{column1}--@{column2}。 例如:目的端字段为id、name,需要使用这两个字段值,则配置成@{id}--@{name}。 schema:该参数会显示在写入的数据的消息体中,此处配置该参数时后续显示为设置的参数;如果没有配置,默认使用原表的schema值。
(可选)购买规格增量包 DataArts Studio采用基础包+增量包的计费模式。如果购买的基础包无法满足您的使用需求,您可以额外购买增量包。在购买增量包前,请确保您已购买DataArts Studio实例。 增量包大体可分为功能增量包与规格增量包,功能增量包用于拓展DataArts
配置互斥 通过配置互斥组,可以避免多个作业去并发的运行。配置好互斥组以后,本次设置将在作业的下一个调度周期生效。 互斥组配置完成后,在同一个互斥组内的作业,只能有一个作业是运行中,其他作业生成实例后则处于等待运行中。当运行中的作业运行完(包括执行成功、执行失败、取消)或者停止调度
在作业管理界面,选择“连接管理 > 新建连接”,进入连接器类型的选择界面,选择“MRS HDFS”。 单击“下一步”,配置连接参数,依次填写相关信息。“认证类型”选择“SIMPLE”,运行模式保持默认即可。 单击“测试”,如果右上角显示“测试成功”,表示连接成功,单击“保存”。 华为云CDM创建迁移作业
在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 选择“模板配置”。 配置脚本模板信息。 单击“新建”进入脚本模板配置界面。 输入“模板名称”。 在界面上输入SQL语句,并引入脚本参数。 配置脚本模板参数。参数名称不可修改,参数值可以进行修改。 图1 配置脚本模板 单击“保存”。
Elasticsearch服务器列表 配置为一个或多个Elasticsearch服务器的IP地址或域名,包括端口号,格式为“ip:port”,多个地址之间使用“;”分隔。 192.168.0.1:9200;192.168.0.2:9200 父主题: 配置连接参数
如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题? 如何处理CDM连接器报错“配置项 [linkConfig.iamAuth] 不存在”? 报错“配置项[linkConfig.createBackendLinks]不存在”或“配置项 [throttlingConfig.concurrentSubJobs]
ClickHouse > 实例”,配置ClickHouseBalancer的默认端口,非安全模式MRS集群配置“lb_http_port”参数对应的端口,安全模式MRS集群配置“lb_https_port”参数对应的端口。 如果MRS ClickHouse是安全集群,则需配置为https默认端口。
打开“通知抑制”后,告警上报的通知策略可以进行配置,在最近N分钟以内,连续N次告警,则发送告警通知。最近时间可支持配置1~360分钟,连续次数可支持配置1~10次。 单击“下一步”,选择调度方式,支持单次调度和周期调度两种方式,周期调度的相关参数配置请参见表3。配置完成后单击“提交”。 单次调度