检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
加密保护,以防止个人数据泄露,保证您的个人数据安全。 数据销毁机制 用户删除CDM集群后,存储在集群上的用户个人敏感数据会随之删除。 用户在控制台上删除填写的手机号、邮箱,并关闭消息通知功能后,数据库中会同步删除用户的手机号、邮箱信息。 数据传输安全 用户个人敏感数据将通过TLS
Hive迁移作业长时间卡顿怎么办? 问题描述 Hive迁移作业长时间卡顿怎么办? 解决方案 为避免Hive迁移作业长时间卡顿,可手动停止迁移作业后,通过编辑Hive连接增加如下属性设置: 属性名称:hive.server2.idle.operation.timeout 值:10m 如图所示:
连接参数 参数 是否必选 类型 说明 linkConfig.deploymentMode 是 枚举 Redis部署方式: Single:表示单机部署。 Cluster:表示集群部署。 linkConfig.serverlist 是 String 服务器地址列表,格式如:“host1:port1;host2:port2”。
或 code.test.com:443 对于获取用户Token接口,由于不需要认证,所以只添加“Content-Type”即可,添加消息头后的请求如下所示。 POST https://iam.cn-north-1.myhuaweicloud.com/v3/auth/tokens Content-Type:
车联网大数搬迁入湖简介场景介绍 场景描述 为搭建H公司车联网业务集团级的云管理平台,统一管理、部署硬件资源和通用类软件资源,实现IT应用全面服务化、云化,CDM(Cloud Data Migration,简称CDM)助力H公司做到代码“0”改动、数据“0”丢失迁移上云。 约束限制
步骤4:查看作业运行结果 操作场景 作业完成后,可以查看作业执行结果及最近30天内的历史信息,包括写入行数、读取行数、写入字节、写入文件数和日志等信息。 操作步骤 在集群管理界面,找到步骤1:创建集群章节创建的集群“cdm-aff1”。 单击该CDM集群后的“作业管理”,进入作业管理界面。
empty table with no column”。 原因分析 这是由于数据库表名中含有特殊字符导致识别出语法错误,按数据库对象命名规则重新命名后恢复正常。 例如,DWS数据仓库中的数据表命名需要满足以下约束:长度不超过63个字符,以字母或下划线开头,中间字符可以是字母、数字、下划线、$、#。
AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。 仅当创建IAM用户时的访问方式勾选“编程访问”后,此IAM用户才能通过认证鉴权,从而使用API、SDK等方式访问DataArts Studio。 Token认证 Token的有效期为24小
ers/bae65496-643e-47ca-84af-948672de7eeb/cdm/link -k -v 创建迁移作业 连接创建成功后,调用指定集群创建作业API创建迁移作业,作业样例如下: 作业名称:mysql2dws。 从MySQL导出数据的数据库名称为default,
迁移HDFS文件,报错无法获取块怎么处理? 问题描述 用户HDFS为线下自建的,往OBS迁移文件建立好连接器后,测试源端和目的端的连通性都是没问题的。 任务启动时报如下错误: Error: java.io.IOException: org.apache.hadoop.hdfs.B
行备份。 对于购买DataArts Studio服务时系统赠送的CDM集群,非常不建议您进行删除操作。该集群删除后无法再次赠送,只能另外购买。 删除集群后,CDM集群不再按需计费或扣除套餐时长。如果您为删除的CDM集群购买了CDM折扣套餐或包年包月形式的DataArts Stud
解绑/绑定CDM集群的EIP 操作场景 CDM集群创建完成后,支持解绑或绑定EIP。EIP即弹性公网IP,由虚拟私有云(Virtual Private Cloud,简称VPC)负责其计费。 如果CDM需要访问本地数据源、Internet的数据源,或者跨VPC的云服务,则必须要为C
toJobConfig.writeToWAL 否 Boolean 选择是否开启HBase的预写日志机制(WAL,Write Ahead Log)。 是:开启后如果出现HBase服务器宕机,则可以从WAL中回放执行之前没有完成的操作。 否:关闭时能提升写入性能,但如果HBase服务器宕机可能会造成数据丢失。
Service,CTS)可以记录CDM相关的操作事件,用于支撑安全分析、合规审计、资源管理和问题定位等常见应用场景。 在您开启了云审计服务后,系统开始记录CDM的相关操作,云审计服务的管理控制台保存最近7天的操作记录。 前提条件 已开通云审计服务。开通方式请参见开通云审计服务。 操作步骤
Hudi目的端的作业失败,日志报错Read Timeout怎么解决? 问题描述: 作业日志报错Read time out,日志如下: 原因分析 确认MRS集群的JdbcServer是多实例模式还是多租模式。 如果是多实例模式,跳转3。 否则跳转2。 多租户模式下,确认其他租户的作业是否正常。
功能说明 云监控服务(Cloud Eye)可以监控和查看云服务的运行状态、各个指标的使用情况,并对监控项创建告警规则。 当您创建了CDM集群后,云监控服务会自动关联CDM的监控指标,帮助您实时掌握CDM集群的各项性能指标,精确掌握CDM集群的运行情况。 本章节描述了CDM上报云监控
是当前时间5~10分钟前的状态。如果您的CDM集群刚创建完成,请等待5~10分钟后查看监控数据。 前提条件 CDM集群正常运行。 重启失败、不可用状态的集群,无法查看其监控指标。当集群再次启动或恢复后,即可正常查看。 CDM集群已正常运行一段时间(约10分钟)。 对于新创建的集群
加密的密码,确保用户隔离。本地数据库使用用户Ruby运行,数据库仅侦听127.0.0.1,用户没有远程访问数据库的权限。 用户实例发放完毕后,CDM将虚拟机的root和Ruby用户密码更改为随机密码且不会保存在任何地方,以阻止CDM管理员访问用户实例和含有密码信息的数据库。 CD
如图1所示。 图1 获取SDK代码示例 SDK列表 表1提供了CDM服务支持的SDK列表,您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址 参考文档 Java huaweicloud-sdk-java-v3 Java
Hudi目的端的作业执行卡Running,读取行数写入行数相等且不再增加怎么解决? 问题描述 CDM写Hudi为两段式,先写到hive临时表,然后再执行spark sql写到Hudi,写入行数统计的是写hive临时表的行数,当行数不再增长时,说明源端数据已经读完写到Hive表中,此时作业正在执行Spark