检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是否覆盖 配置导入的重名API是否需要更新,默认不更新。仅专享版支持该参数。 不覆盖:如果已存在同名API,则不导入该API。 当导入API与原有API定义冲突时,覆盖原有API定义:如果存在同名API,则按照导入的API更新API定义。 导入文件 待导入的API文件可以是从其他项
B的建议单线程抽取数据。 集群最大抽取并发数规格 该参数设置为适当的值可以有效提升迁移速度,过小则会限制迁移速度,过大则会导致源端负载过高、影响系统稳定性。 不同规格的CDM集群支持的最大抽取并发数规格不同,并发数上限建议设置为vCPU核数*2。 cdm.large:16 cdm
当表的条数过多时,作业会划分较多的分片,从而占用过多的内存导致内存问题,请解决表的条数适当调整该值。 当scan.incremental.snapshot.backfill.skip为false时,实时处理集成作业会缓存单个分片的数据,此时分片越大,占用内存越多,引发内存溢出,在此场景下,可以考虑降低分片大小。
MRS集群和CDM集群之间网络互通,网络互通需满足如下条件: CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 CDM集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组
1及以上版本。 运行程序参数 配置作业运行参数。当选择了MRS集群名后,该参数才显示。 该参数为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 注意: 系统支持实时Flink SQL作业运行前能够查询历史checkpoint
(可选)升级企业模式工作空间 企业模式简介 创建企业模式工作空间 企业模式角色操作 父主题: 购买并配置DataArts Studio
源库表和目标匹配策略 同步场景 配置方式 整库 Schema匹配策略。 与来源库同名:数据将同步至与来源MySQL库名相同的DWS Schema中。 自定义:数据将同步至自行指定的DWS Schema中。 表匹配策略。 与来源表同名:数据将同步至与来源MySQL表名相同的DWS表中。 自定义:数据将同步至自行指定的DWS表中。
已参见表1下载对应的驱动。 已参见FTP/SFTP连接参数说明创建SFTP连接并将对应的驱动上传至线下文件服务器(可选)。 如何获取驱动 不同类型的关系数据库,需要适配不同类型的驱动。注意,上传的驱动版本不必与待连接的数据库版本相匹配,直接参考表1获取建议版本的JDK8 .jar格式驱动即可。 表1
Spark作业的名称,只能包含英文字母、数字、“_”,且长度为1~64个字符。默认与节点的名称一致。 作业运行资源 否 选择作业运行的资源规格: 8核32G内存 16核64G内存 32核128G内存 作业主类 是 Spark作业的主类名称。当应用程序类型为“.jar”时,主类名称不能为空。
S集群的作业管理下,在操作的“更多 > 查看详情”里面可以查看该作业的详细信息。 说明: 为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。Spark代理连接不支持该配置。 在MRS API连接模式下,单算子作业Spark
CDM集群是否支持升级操作? CDM集群目前不支持升级操作,如果需要使用高版本集群则需要重新创建。 父主题: 数据集成(CDM作业)
配置。 常见配置举例如下: connectTimeout=600000与socketTimeout=300000:迁移数据量较大、或通过查询语句检索全表时,会由于连接超时导致迁移失败。此时可自定义连接超时时间与socket超时时间(单位ms),避免超时导致失败。 tinyInt1isBit=false或mysql
表8 源表与目标表映射 同步场景 配置方式 整库 支持用户根据实际需求修改映射后的目的端Topic名称,可以配置为一对一、多对一的映射关系。 图9 整库场景下源表与目标表映射 分库分表 默认使用源端配置的逻辑表名作为目的端的Topic名称。 图10 分库分表场景下源表与目标表映射
在MRS中恢复HBase表并验证。 准备数据 项目 数据项 说明 取值示例 DES盒子 挂载地址 DES盒子在客户的虚拟机挂载的地址。 //虚拟机IP/huawei 存储管理系统 DES盒子的存储管理系统,与管理IP相关。 https://管理IP:8088/deviceManager/devicemanager/login/login
YASHAN连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 yashan_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。
ges:jobs:getDetail Import GES作业节点运行 ECS ecs:servers:list ecs:servers:get ecs:servers:stop ecs:servers:start ecs:cloudServers:list Open/Close Resource作业节点运行,创建主机连接
调用API方式简介 创建API时,有三种认证方式可选,不同认证方式的API支持的调用方式也有所不同,详见表1。 表1 API认证与调用方式说明 认证方式 安全级别 授权与认证机制 支持的调用方式 调用方法示例 使用说明 (推荐)APP认证 高 通过APP应用将API授权给应用后,使用应用的
连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 adb_link 连接器 默认为关系数据库,不可更改。 - 数据库服务器 配置为要连接的数据库的IP地址或域名,多个值以;分隔。 192.168.0.1;192.168.0.2 端口 配置为要连接的数据库的端口。
的环境。新建主机连接请参见主机连接参数说明。 连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Sh
密码不会立即生效且作业会运行失败。 表1 ClickHouse连接参数 参数名 说明 取值样例 名称 连接名称。 cklink 数据库服务器 配置为要连接的数据库的IP地址或域名。 说明: 当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2