检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据库账号权限 类型名称 权限要求 源数据库连接账号 Oracle 库需要开启归档日志,同时需表查询权限和日志解析权限,开通对应权限详情请参考Oracle数据源如何开通归档日志、查询权限和日志解析权限?。 目标数据库连接账号 MRS用户需要拥有Hadoop和Hive组件的读写权限,建议参照图1所示角色及用户组配置MRS用户。
持各种WEB应用,成本低,中小企业首选。 ORACLE ORACLE数据库系统是以分布式数据库为核心的一组软件产品,是目前最流行的客户/服务器(CLIENT/SERVER)或B/S体系结构的数据库之一。 ORACLE数据库是目前世界上使用最为广泛的数据库管理系统,作为一个通用的数
不能使用无符号的双精度浮点数。可以定义显示长度(M)和小数位数(D)。 这不是必需的, 默认为16,4,其中4是小数的位数。小数精度可以达到53位的DOUBLE。 REAL是DOUBLE同义词。 52.36 DOUBLE FLOAT8 DOUBLE PRECISION 与DOUBLE相似。
CDM迁移作业的抽取并发数应该如何设置? CDM是否支持动态数据实时迁移功能? CDM是否支持集群关机功能? 如何使用表达式方式获取当前时间? 日志提示解析日期格式失败时怎么处理? 字段映射界面无法显示所有列怎么处理? CDM迁移数据到DWS时如何选取分布列? 迁移到DWS时出现value too
ges:jobs:getDetail Import GES作业节点运行 ECS ecs:servers:list ecs:servers:get ecs:servers:stop ecs:servers:start ecs:cloudServers:list Open/Close Resource作业节点运行,创建主机连接
取值样例 基本参数 Topic 主题名称。支持单个topic。 cdm_topic 数据格式 解析数据时使用的格式: JSON:以JSON格式解析源数据。 CSV格式:以CSV格式解析源数据。 JSON格式 消费组ID 用户指定消费组ID。 如果是从DMS Kafka导出数据,专
CSV格式:以CSV格式解析源文件,用于迁移文件到数据表的场景。 JSON格式:以JSON格式解析源文件,一般都是用于迁移文件到数据表的场景。 ORC格式:以ORC格式解析源文件,一般都是用于迁移文件到数据表的场景。 PARQUET格式:以PARQUET格式解析源文件,一般都是用于迁移文件到数据表的场景。
您可以选择重启CDM服务进程或重启集群VM,选择完成并单击确认后即可完成集群重启操作。 重启CDM服务进程:只重启CDM服务的进程,不会重启集群虚拟机。 重启集群VM:业务进程会中断,并重启集群的虚拟机。 父主题: 创建并管理CDM集群
String OBS路径 表24 RESTAPI节点属性说明 参数名 是否必选 参数类型 说明 url 是 String URL地址。 云服务提供的URL地址。 method 是 String HTTP方法: GET POST PUT DELETE headers 否 String
String OBS路径 表23 RESTAPI节点属性说明 参数名 是否必选 参数类型 说明 url 是 String URL地址 云服务提供的URL地址。 method 是 String HTTP方法: GET POST PUT DELETE headers 否 String
附录 公共消息头 解析响应消息体中的流 状态码 错误码
String OBS路径 表24 RestClient节点属性说明 参数名 是否必选 参数类型 说明 url 是 String URL地址 云服务提供的URL地址。 method 是 String HTTP方法: GET POST PUT DELETE agentName 是 String
"type_display_name" : "作业", "project_id" : "0833a5737480d53b2f25c010dc1a7b88", "domain_id" : "0833a5736980d53b0f22c0102ffcbfc0", "instance_id" : [
请求示例 /v1/0833a5737480d53b2f25c010dc1a7b88/security/admin { "manager_type" : "USER", "manager_id" : "0833a5737480d53b2f25c010dc1a7b88",
数据集成(CDM作业) 数据集成概述 约束与限制 支持的数据源 创建并管理CDM集群 在CDM集群中创建连接 在CDM集群中创建作业 时间宏变量使用解析 优化迁移性能 关键操作指导 使用教程 常见错误码参考
导出包含API信息的EXCEL文件。 /v1/0833a5737480d53b2f250010d01a7b88/service/export/excel [ "6b9e682fd6d0ef7c0f674701adb20762", "42505b429b53b42a9b535640617d9b17" ] 响应示例
作业任务参数调优 概述 实时数据集成服务底层使用Flink流处理框架进行开发,因此包含了Flink系统中最重要的两个部分:JobManager和TaskManager。 作业任务配置中调整的处理器核数、并发数、执行内存参数等便是用来调整JobManager和TaskManager
/v1/0833a5737480d53b2f25c010dc1a7b88/security/admin 响应示例 状态码: 200 OK { "manager_type" : "USER", "manager_id" : "0833a5737480d53b2f25c010dc1a7b88"
实时网络连接(对等连接)添加数据源网段路由。 单击步骤4所创建实时网络连接的“路由信息”,单击“添加路由”,输入本地IDC自建数据库的私有网络地址(例如192.168.0.0/24)。 图6 添加路由1 图7 添加路由2 (可选)MRS类型数据源还需要进行以下操作打通网络。 实时网络
符避免任务失败。 源数据库如果开启客户端配置中的“强制协议加密(Force Protocol Encrypton)”,必须同时开启“信任服务器证书(trust server certificate)”,如下图所示: 图1 查看客户端属性 使用限制 通用: 实时同步过程中,不支持IP、端口、账号、密码修改。