检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
免空间占用。 不支持对象多版本的迁移。 增量迁移时,单个作业的源端目录下的文件数量或对象数量,根据CDM集群规格分别有如下限制:大规格集群30万、中规格集群20万、小规格集群10万。 如果单目录下文件或对象数量超过限制,需要按照子目录来拆分成多个迁移作业。 DLI数据源约束 使用
CDM是否支持集群关机功能? 问题描述 CDM是否支持集群关机功能? 解决方案 不支持。 从2022年4月开始,CDM已不再支持集群关机功能。当集群关机时,其底层资源可能会被占用,导致集群可能无法正常开机使用。 父主题: 数据集成(CDM作业)
约束限制 当所连接的数据源发生变化(如MRS集群扩容等情况)时,您需要重新编辑并保存该连接。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 前提条件 已具备CDM集群。 CDM集群与目标数据源可以正常通信。 如果目标数据
请选择“集群 > 服务 > 服务名称 > 更多 > 下载客户端”,弹出“下载客户端”信息提示框。 MRS 3.3.0及之后版本,在Manager主页中直接单击“下载客户端”即可。 登录MRS控制台。 选择“MRS集群 > 现有集群”。 单击所需集群的名称进入MRS集群的概览页面
CDM集群是否支持升级操作? CDM集群目前不支持升级操作,如果需要使用高版本集群则需要重新创建。 父主题: 数据集成(CDM作业)
性低于从弹性云服务器内部采集的数据。 单位:%。 0.001%~90% CDM集群实例 1分钟 disk_io 磁盘io 该指标为从物理机层面采集的磁盘每秒读取和写入的字节数,数据准确性低于从弹性云服务器内部采集的数据。 单位:Byte/sec 0~10GB CDM集群实例 1分钟
数据开发节点运行中报TOKEN不合法? 作业开发时,测试运行后如何查看运行日志? 月周期的作业依赖天周期的作业,为什么天周期作业还未跑完,月周期的作业已经开始运行? 执行DLI脚本,报Invalid authentication怎么办? 创建数据连接时,在代理模式下为什么选不到需要的CDM集群? 作业配置了每日调度,但是实例没有作业运行调度记录?
工作空间内的API配额已满,无法新建API怎么解决? DataArts Studio实例下数据服务专享版的API总分配配额默认为5000,如果工作空间内的API配额未达此配额,则您可以为当前工作空间分配更多已分配配额。 登录DataArts Studio管理控制台。 在旧版首页的
Manager的浮动IP地址,可以单击输入框后的“选择”来选定已创建的MRS集群,CDM会自动填充下面的鉴权参数。 说明: 当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群,请注意“Kerberos加密类型”应为“aes256-sha1
公测期间的集群将进入宽限期,如果公测期间创建的数据服务专享版集群没有进行开启计费的操作,集群将于2021/08/29 00:00(北京时间)进入冻结期,冻结期内集群将被强制关机,在冻结期结束2021/09/08 00:00(北京时间)之后系统将自动删除未开启计费的集群。 宽限期内
在CDM集群中创建作业 新建表/文件迁移作业 新建整库迁移作业 配置CDM作业源端参数 配置CDM作业目的端参数 配置CDM作业字段映射 配置CDM作业定时任务 CDM作业配置管理 管理单个CDM作业 批量管理CDM作业 父主题: 数据集成(CDM作业)
不存在怎么办”? 问题描述 创建数据连接时报错“配置项[linkConfig.createBackendLinks]不存在”或创建作业时报错“配置项 [throttlingConfig.concurrentSubJobs] 不存在”。 原因分析 当同时存在多个不同版本的集群,先在
Redis部署方式: Single:表示单机部署。 Cluster:表示集群部署。 Proxy:表示通过代理部署。 Single Redis服务器列表 Redis服务器地址列表,输入格式为“数据库服务器域名或IP地址:端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192
网中的其他弹性云服务器共享弹性IP,可以更经济、更方便的通过Internet迁移本地数据中心或第三方云上的数据。 具体操作如下: 假设已经创建好了CDM集群(无需为CDM集群绑定专用弹性IP),记录下CDM集群所在的VPC和子网。 创建NAT网关,注意选择和CDM集群相同的VPC、子网。
objects 作业列表,请参见jobs数据结构说明。 clusters 是 Array of strings CDM集群ID列表,系统会从里面随机选择一个开机状态的集群,在该集群中创建作业并执行作业。 表4 Job 参数 是否必选 参数类型 描述 job_type 是 String 作业类型:
Elasticsearch连接适用于第三方云的Elasticsearch服务,以及用户在本地数据中心或ECS上自建的Elasticsearch。 Elasticsearch连接器仅支持非安全模式的Elasticsearch集群。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。
在CDM集群中创建连接 创建CDM与数据源之间的连接 配置连接参数 上传CDM连接驱动 新建Hadoop集群配置 父主题: 数据集成(CDM作业)
方式二:单击对应驱动名称右侧操作列的“从sftp复制”,配置sftp连接器名称和驱动文件路径。 (可选)在驱动更新场景下,上传驱动后必须在CDM集群列表中重启集群才能更新生效。 父主题: 在CDM集群中创建连接
创建DWS数据连接时报错提示“The account has been locaked”怎么处理? 问题原因 连接DWS集群输入密码错误的次数达到集群参数failed_login_attempts所设置的值(默认10)时,账户将会被自动锁定。 解决方案 解锁方式参考账号被锁住了,如何解锁?
是否开启安全模式认证。 如果所需连接的CSS集群在创建时开启了“安全模式”,该参数需设置为“是”,否则设置为“否”。 是 用户名 CSS集群开启安全认证模式时显示此参数。该参数表示连接云搜索服务的用户名。 admin 密码 CSS集群开启安全认证模式时显示此参数。该参数表示连接云搜索服务的密码。