检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业名称不符合规则,将导致提交MRS作业失败。 运行模式 是 配置Spark作业的运行模式。 批处理:指Spark作业为批模式运行,节点会一直等待Spark作业执行完成才结束。 流处理:指Spark作业为流处理运行模式,节点执行时只要作业启动成功即执行成功。后续每次周期运行时检查
若关联的SQL脚本,脚本参数发生变化,可单击刷新按钮同步。 运行模式 是 配置Flink作业的运行模式。 批处理:指Flink作业为批模式运行,节点会一直等待Flink作业执行完成才结束。 流处理:指Flink作业为流处理运行模式,节点执行时只要作业启动成功即执行成功。后续每次周期运行时检查
名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dds_link 服务器列表 服务器地址列表,输入格式为“数据库服务器域名或IP地址:端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 数据库名称
当表的条数过多时,作业会划分较多的分片,从而占用过多的内存导致内存问题,请解决表的条数适当调整该值。 当scan.incremental.snapshot.backfill.skip为false时,实时处理集成作业会缓存单个分片的数据,此时分片越大,占用内存越多,引发内存溢出,在此场景下,可以考虑降低分片大小。
medium vCPUs/内存:4核 8GB 集群数量:1个 规格名称:cdm.large vCPUs/内存:8核 16GB 集群数量:1个 规格名称:cdm.xlarge vCPUs/内存:16核 32GB 集群数量:1个 规格名称:cdm.xlarge vCPUs/内存:16核 32GB
连接到文件服务器时出错。 连接到文件服务器时出错。 请联系客服或技术支持人员协助解决。 Cdm.0413 400 向文件服务器传输数据时出错。 向文件服务器传输数据时出错。 请联系客服或技术支持人员协助解决。 Cdm.0415 400 从文件服务器下载文件出错。 从文件服务器下载文件出错。
连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mongodb_link 服务器列表 MongoDB服务器地址列表,输入格式为“数据库服务器域名或IP地址:端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 数据库名称
未实名认证的用户,无法进行任何的创建操作。 x 专享版规格 数据服务专享版的实例规格,如表4所示。 表4 专享版实例规格说明 实例规格 最大支持发布的API数量 延时(单位:ms) 小规格 500 <20 中规格 1000 <15 大规格 2000 <10 API返回数据规格 数据服务适用于小批量数据的快
已经开通了云搜索服务,且获取云搜索服务集群的IP地址和端口。 已获取本地Elasticsearch数据库的服务器IP、端口、用户名和密码。 如果Elasticsearch服务器是在本地数据中心或第三方云上,需要确保Elasticsearch可通过公网IP访问,或者是已经建立好了企业
如果是独立CDM服务,参考创建集群创建CDM集群;如果是作为DataArts Studio服务CDM组件使用,参考创建集群创建CDM集群。 关键配置如下: CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。 CDM集群所在VPC、子网、安全组,选择与MRS集群所在的网络一致。
离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 Elasticsearch服务器列表 是 一个或多个通过分号分割的服务器列表(服务器域名或IP地址:服务器端口)。 例如:192.168.0.1:9200;192.168.0.2:9200。 KMS密钥 是
数,超出规格的Task排队等待运行。 因此作业抽取并发数和集群最大抽取并发数参数设置为适当的值可以有效提升迁移速度,您可参考下文有效配置抽取并发数。 集群最大抽取并发数的上限建议为vCPU核数*2,如表1所示。 表1 集群最大抽取并发数配置建议 规格名称 vCPUs/内存 集群并发数上限参考
离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 服务器列表 是 一个或多个通过逗号分割的服务器列表(服务器域名或IP地址:服务器端口)。 例如: 192.168.0.1:27017,192.168.0.2:27017。 KMS密钥
连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 es_link Elasticsearch服务器列表 配置为一个或多个Elasticsearch服务器的IP地址或域名,包括端口号,格式为“ip:port”,多个地址之间使用“;”分隔。 192.168.0.1:9200;192
0411 连接到文件服务器时出错。 请联系客服或技术支持人员协助解决。 Cdm.0412 与文件服务器断开连接时出错。 请联系客服或技术支持人员协助解决。 Cdm.0413 向文件服务器传输数据时出错。 请联系客服或技术支持人员协助解决。 Cdm.0415 从文件服务器下载文件出错。 请联系客服或技术支持人员协助解决。
规格变更接口 功能介绍 规格变更接口。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/change-resource 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
Single:表示单机部署。 Cluster:表示集群部署。 Proxy:表示通过代理部署。 Single Redis服务器列表 Redis服务器地址列表,输入格式为“数据库服务器域名或IP地址:端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 密码
Endpoint可从终端节点Endpoint获取。 - 访问标识(AK) 登录DIS服务器的访问标识。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 - 密钥(SK) 登录DIS服务器的密钥。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 - 项目ID DIS的项目ID。
选择是否开启HBase的预写日志机制(WAL,Write Ahead Log)。 是:开启后如果出现HBase服务器宕机,则可以从WAL中回放执行之前没有完成的操作。 否:关闭时能提升写入性能,但如果HBase服务器宕机可能会造成数据丢失。 toJobConfig.transType 否 Boolean
连接器类型选择“Oracle”后单击“下一步”,配置Oracle连接参数: 名称:用户自定义连接名称,例如“oracle_link”。 数据库服务器地址、端口:配置为Oracle服务器的地址、端口。 数据库名称:选择要导出数据的Oracle数据库名称。 用户名、密码:Oracle数据库的登录用户名和密码