检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
段。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。 其他场景下,CDM会自动匹配源端和目的端数据表字段,需用户检查字段映射关系和时间格式是否正确,例如:源字段类型是否可以转换为目的字段类型。
专享版API都将产生费用,具体价格请参考该服务的计费详情页。商用计费开始后公测期间的集群将进入宽限期,如果公测期间创建的数据服务专享版集群没有进行开启计费的操作,集群将于2021/08/29 00:00(北京时间)进入冻结期,冻结期内集群将被强制关机,在冻结期结束2021/09/08
配置了SMN通知,却收不到作业失败告警通知? 问题描述 配置了SMN通知,作业失败告警通知没有收到。 如图,在“运维调度 > 通知管理”中配置了作业异常/失败的SMN通知,但却收不到作业失败的告警通知。 图1 通知管理 解决方案 此时可按以下步骤依次排查: 确认失败作业为调度中的
Endpoint可从终端节点Endpoint获取。 - 访问标识(AK) 登录DIS服务器的访问标识。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 - 密钥(SK) 登录DIS服务器的密钥。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 - 项目ID DIS的项目ID。
CLICKHOUSE_0_3_1:适用于连接ClickHouse 20.7以下版本,此驱动版本不支持多IP连接数据库服务器。 CLICKHOUSE_0_4_2:适用于连接ClickHouse 20.7及以上版本,支持多IP连接数据库服务器。 说明: 选择CLICKHOUSE_0_4_2驱动版本时,支持的timesta
数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。 Content-Type 否 String 消息体的类型(格式),有Body体的情况下必选,没有Body体无需填写。如果请求消息体中含有中文字符,则需要通过charset=utf8指定中文字符集,例如取值为:application/json;charset=utf8。
仅导入API:仅导入API,导入后的API为“未发布”状态。 导入API并发布到当前空间所有集群:导入API,并发布到当前工作空间的所有集群上。如果没有集群,则不发布只导入。 是否覆盖 配置导入的重名API是否需要更新,默认不更新。仅专享版支持该参数。 不覆盖:如果已存在同名API,则不导入该API。
布列,建议按如下顺序选取分布列: 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景,建议设置所有主键作为分布列。 在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。 如CDM不支持源端迁移字段类型,请参见不支持数据类型转换规避指导将字段类型转换为CDM支持的类型。
Email掩码 掩码Email信息。 不支持。 移动设备标识掩码 对设备码进行掩码,支持IMEI、MEDI、ESN。 支持配置类型。 IPv6掩码 掩码IPv6地址。 不支持。 IPv4掩码 掩码IPv4地址。 不支持。 MAC地址掩码 掩码MAC地址。 不支持。 电话号码掩码 掩码电话号码。
xlarge”,该实例类型适用大部分迁移场景。 虚拟私有云:CDM集群的VPC,选择用户本地数据中心与云专线连通的VPC。 子网、安全组:这里没有要求,分别任选一个即可。 集群创建完成后,选择集群后面的“作业管理 > 连接管理 > 新建连接”,进入选择连接类型的界面,如图1所示。 图1
连接器类型选择“Oracle”后单击“下一步”,配置Oracle连接参数: 名称:用户自定义连接名称,例如“oracle_link”。 数据库服务器地址、端口:配置为Oracle服务器的地址、端口。 数据库名称:选择要导出数据的Oracle数据库名称。 用户名、密码:Oracle数据库的登录用户名和密码
可以增量迁移指定时间段内的数据(例如每天晚上0点导出前一天新增的数据)。 增量迁移指定时间段内的数据 适用场景:源端为关系型数据库,目的端没有要求。 关键配置:Where子句+定时执行作业。 前提条件:数据表中有时间日期字段或时间戳字段。 关系数据库增量迁移方式,只对数据表追加写入,不会更新或删除已存在的记录。
可以增量迁移指定时间段内的数据(例如每天晚上0点导出前一天新增的数据)。 增量迁移指定时间段内的数据 适用场景:源端为关系型数据库,目的端没有要求。 关键配置:Where子句+定时执行作业。 前提条件:数据表中有时间日期字段或时间戳字段。 关系数据库增量迁移方式,只对数据表追加写入,不会更新或删除已存在的记录。
该指标为从物理机层面采集的磁盘使用率,数据准确性低于从弹性云服务器内部采集的数据。 单位:%。 0.001%~90% CDM集群实例 1分钟 disk_io 磁盘io 该指标为从物理机层面采集的磁盘每秒读取和写入的字节数,数据准确性低于从弹性云服务器内部采集的数据。 单位:Byte/sec 0~10GB
用于传输请求的协议,支持HTTP和HTTPS协议。 请求方式 HTTP请求方法(也称为操作或动词),它告诉服务你正在请求什么类型的操作。 GET:请求服务器返回指定资源。 POST:请求服务器新增资源或执行特殊操作,注册API时推荐使用。POST请求当前不支持body体,而是直接透传。 描述 对API进行简要描述。
数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。 Content-Type 否 String 消息体的类型(格式),有Body体的情况下必选,没有Body体无需填写。如果请求消息体中含有中文字符,则需要通过charset=utf8指定中文字符集,例如取值为:application/json;charset=utf8。
系统内置了80+条敏感数据识别规则,可对个人敏感信息(银行卡、信用卡等)、个人基本资料(手机号码、电子邮箱等)、网络身份标识信息(IPv4地址、IPv6地址等)等敏感信息进行识别和脱敏。内置的敏感数据识别规则可在“内置规则模板”页签查看。 选择内置规则后,可输入测试数据,测试能否通过内置规则识别。
Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理,所以创建DWS的数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请先进行创建。 CDM集群作为网络代理,必须和DWS集群网络互通才可以成功创建DWS连接,为确保两者网络互通,CDM集群
MySQL迁移时报错:invalid input syntax for integer: "true" 问题描述 数据库中存储的是1或0,但没有true和false的数据,但MySQL迁移时读取到的是true或false,提示报错信息:Unable to execute the SQL
HTTP请求方式,表示请求什么类型的操作,包含GET、POST等,遵循resultful风格。 GET:请求服务器返回指定资源,推荐使用GET请求。 POST:请求服务器新增资源或执行特殊操作。POST请求当前不支持body体,而是直接透传。 描述 对API进行简要描述。 标签