检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实践。 表1 常用最佳实践 实践 描述 使用教程 创建MRS Hive连接器 MRS Hive连接适用于MapReduce服务,本最佳实践为您介绍如何创建MRS Hive连接器。 MySQL数据迁移到OBS CDM支持表到OBS的迁移,本最佳实践介绍如何通过CDM将MySQL表数据迁移到OBS中。
} } 获取Token后,再调用其他接口时(以数据开发组件的“查询连接列表”接口为例),您需要在请求消息头中添加“X-Auth-Token”,其值即为Token。例如Token值为“ABCDEFJ....”,则调用接口时将“X-Auth-Token: ABCDEFJ..
hh:mm:ss")) 如果当前字段值为“yyyy-MM-dd”格式的日期字符串,需要截取年,例如字段值为“2017-12-01”,转换后为“2017”。 表达式:StringUtils.substringBefore(value,"-") 如果当前字段值为数值类型,转换后值为当前值的两倍。 表达式:value*2
hh:mm:ss")) 如果当前字段值为“yyyy-MM-dd”格式的日期字符串,需要截取年,例如字段值为“2017-12-01”,转换后为“2017”。 表达式:StringUtils.substringBefore(value,"-") 如果当前字段值为数值类型,转换后值为当前值的两倍。 表达式:value*2
message String 报错信息。 externalMessage String 附加信息。 请求示例 修改一个源端为Elasticsearch数据连接,目的端为DIS数据连接,作业名为es_css的表数据迁移作业。 PUT /v1.1/1551c7f6c808414d8e9f3
message String 报错信息。 externalMessage String 附加信息。 请求示例 创建一个源端为Elasticsearch数据连接,目的端为DIS数据连接,作业名为es_css的数据迁移作业。 POST /v1.1/1551c7f6c808414d8e9f3
}] } } 如果想以如下格式写入到数据库,则需要在作业第一步指定文件格式为“JSON格式”,指定JSON类型为“JSON对象”,并且指定记录节点为“hits.hits”,然后在作业第二步进行字段匹配。 表3 示例 ID SourceName SourceBooks
}] } } 如果想以如下格式写入到数据库,则需要在作业第一步指定文件格式为“JSON格式”,指定JSON类型为“JSON对象”,并且指定记录节点为“hits.hits”,然后在作业第二步进行字段匹配。 表3 示例 ID SourceName SourceBooks
hh:mm:ss")) 如果当前字段值为“yyyy-MM-dd”格式的日期字符串,需要截取年,例如字段值为“2017-12-01”,转换后为“2017”。 表达式:StringUtils.substringBefore(value,"-") 如果当前字段值为数值类型,转换后值为当前值的两倍。 表达式:value*2
Long 创建时间,单位:毫秒。 execute-date Long 执行时间。 progress Float 作业进度,失败时为“-1”,其它情况为0~100。 status String 作业状态: BOOTING:启动中。 FAILURE_ON_SUBMIT:提交失败。 RUNNING:运行中。
车联网大数搬迁入湖简介场景介绍 场景描述 为搭建H公司车联网业务集团级的云管理平台,统一管理、部署硬件资源和通用类软件资源,实现IT应用全面服务化、云化,CDM(Cloud Data Migration,简称CDM)助力H公司做到代码“0”改动、数据“0”丢失迁移上云。 约束限制
rd”表示,第一个后端数据库IP为192.168.3.0,端口为3306,数据库名称为cdm,账户名密码以“用户名”、“密码”处配置为准;第二个后端数据库IP为192.168.2.2,端口为3306,数据库名称为cdm,账户名为“user”、密码为“password”。 192.168
HTTP方法:查询CDM作业状态的HTTP请求方法为“GET”。 请求头: Content-Type = application/json X-Language = en-us 是否需要判断返回值:选择“YES”。 返回值字段路径:配置为submissions[0].status。 请求成功标志位:配置为SUCCEEDED。
创建Mysql链接,确认过用户名、密码没有错,同样的配置,在roma上建立数据连接能成功。 故障分析 查看后端日志,考虑用户Mysql侧有白名单限制,测试内网相通的另一台ECS Mysql客户端使用这个用户链接。 解决方案 再次核实账号密码无误,是用户使用Mysql账号没有给CDM集群授权,用户侧Mysql数据库需要对cdm集群的ip授权。
户来使用。您可以创建一个新的MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。 说明: 如果CDM集群为2.9.0版本及之后版本,且MRS集群为3.1.0及之后版本,则所创建的用户至少需具备Manager_viewer的角色权限才能在CD
SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。 当作业源端为OBS、迁移CSV文件时,并且配置“解析首行为列名”参数的场景下显示列名。 当使用二进制格式进行文件到文件的迁移时,没有字段映射这一步。 自动创表场景下,需在目的
csv”的文件,即可查看访问密钥(Access Key Id和Secret Access Key)。 说明: 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全,访问密钥仅在初次生成时自动下载,后续不可再次通过管理控制台界面获取。请在生成后妥善保管。 - 密钥(SK) - 项目ID
在创建CDM表/文件迁移的作业,源连接选择为HBase连接或CloudTable连接时,高级属性的可选参数中可以配置时间区间。 图1 HBase时间区间 起始时间(包含该值),格式为“yyyy-MM-dd HH:mm:ss”,表示只抽取该时间及以后的数据。 终止时间(不包含该值),格式为“yyyy-MM-dd
在创建CDM表/文件迁移的作业,源连接选择为HBase连接或CloudTable连接时,高级属性的可选参数中可以配置时间区间。 图1 HBase时间区间 起始时间(包含该值),格式为“yyyy-MM-dd HH:mm:ss”,表示只抽取该时间及以后的数据。 终止时间(不包含该值),格式为“yyyy-MM-dd
物理区域间的资源(计算资源、存储资源和网络资源),以默认项目为单位进行授权,用户可以访问您账号中该区域的所有资源。如果您希望进行更加精细的权限控制,可以在区域默认的项目中创建子项目,并在子项目中购买资源,然后以子项目为单位进行授权,使得用户仅能访问特定子项目中资源,使得资源的权限控制更加精确。