检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS上存储脏数据的目录,只有在配置了脏数据目录的情况下才会记录脏数据。 用户可以进入脏数据目录,查看作业执行过程中处理失败的数据或者被清洗过滤掉的数据,针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 /user/dirtydir 单个分片的最大错误记录数 当“是否写入脏数据”为“是”才显示该参数。
Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码,如图1所示。 图1 获取SDK代码示例 SDK列表 表1提供了CDM服务支持的SDK列表,您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址
、EIP异常时会发送短信或邮件通知用户。 查看当前配置,确认无误后单击“立即购买”进入规格确认界面。 集群创建好以后不支持修改规格,如果需要使用更高规格,需要重新创建。 单击“提交”,系统开始自动创建CDM集群,在“集群管理”界面可查看创建进度。 父主题: 创建并管理CDM集群
project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 cluster_id 是 String CDM集群ID,获取方法请参见查询集群列表。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 Content-Type 是 String 消息体的类型
创建并管理CDM集群 创建CDM集群 解绑/绑定CDM集群的EIP 重启CDM集群 删除CDM集群 下载CDM集群日志 查看并修改CDM集群配置 管理集群标签 管理并查看CDM监控指标
创建Oracle关系型数据库迁移作业时,无法获取模式名怎么处理? 问题描述 创建Oracle关系型数据库迁移作业时,无法获取模式名。 原因分析 这是由于可能上传了暂不支持的最新ORACLE_8驱动(如Oracle Database 21c (21.3) drivers)。 解决方案
熟悉CDM服务,具体场景如图1所示。 图1 MySQL迁移到DWS CDM的基本使用流程如下: 创建CDM集群 创建连接 创建并执行作业 查看作业运行结果
永久移动,请求的资源已被永久的移动到新的URI,返回信息会包括新的URI。 302 Found 资源被临时移动。 303 See Other 查看其它地址。 使用GET和POST请求查看。 304 Not Modified 所请求的资源未修改,服务器返回此状态码时,不会返回任何资源。 305 Use Proxy
通过CDM从OBS迁移数据到DLI,同样的作业在新版本集群迁移失败? CDM迁移DWS数据报错Read timedout怎么处理? CDM集群Hive连接无法查询库和表的内容 创建FusionInsight HDFS连接报错get filesystem怎么解决? Mysql导入数据到DLI,快执行完时失败了提示Invoke
"xxxxxxxxxxxxxxxxxx" } } } } 获取Token后,再调用其他接口时(以数据开发组件的“查询连接列表”接口为例),您需要在请求消息头中添加“X-Auth-Token”,其值即为Token。例如Token值为“ABCDEFJ....
合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书 另外,华为云还提供了以下销售许可证及软件著作权证书,供用户下载和参考。具体请查看合规资质证书。 图3 销售许可证&软件著作权证书 父主题: 安全
如何将云下内网或第三方云上的私网与CDM连通? 很多企业会把关键数据源建设在内网,例如数据库、文件服务器等。由于CDM运行在云上,如果要通过CDM迁移内网数据到云上的话,可以通过以下几种方式连通内网和CDM的网络: 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通
速创建集群、绑定集群EIP、重启集群、修改集群消息通知及用户隔离等需求。 创建集群 解绑/绑定集群的EIP 下载集群日志 查看集群基本信息 修改集群配置 查看监控指标 已发布区域:全部 创建连接 CDM有两种迁移方式,支持的数据源有所不同: 表/文件迁移:适用于数据入湖和数据上云
k”中获取“k”的最后一个索引4。 表达式:StringUtils.lastIndexOf(value,"k") 从字符串中指定的位置往后查找,获取指定字符串的第一个索引,没有则转换为“-1”。例如“aabaabaa”中索引3的后面,第一个“b”的索引是5。 表达式:StringUtils
D对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。 - 单次写入行数
终端节点不同。您可以通过以下方式获取OBS桶的Endpoint信息: OBS桶的Endpoint,可以进入OBS控制台概览页,单击桶名称后查看桶的基本信息获取。 说明: CDM集群和OBS桶不在同一个Region时,不支持跨Region访问OBS桶。 作业运行中禁止修改密码或者更
} ] } 其他参数保持不变,单击“保存并运行”。 作业完成后,查询DWS表中的数据是否和HBase中的数据匹配。如果不匹配,请检查JSON文件中HBase和DWS字段的顺序是否一致。 父主题: 故障处理类
k”中获取“k”的最后一个索引4。 表达式:StringUtils.lastIndexOf(value,"k") 从字符串中指定的位置往后查找,获取指定字符串的第一个索引,没有则转换为“-1”。例如“aabaabaa”中索引3的后面,第一个“b”的索引是5。 表达式:StringUtils
k”中获取“k”的最后一个索引4。 表达式:StringUtils.lastIndexOf(value,"k") 从字符串中指定的位置往后查找,获取指定字符串的第一个索引,没有则转换为“-1”。例如“aabaabaa”中索引3的后面,第一个“b”的索引是5。 表达式:StringUtils