检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION; 如果想允许用户abc从ip为10.10.50.127的主机连接到mysql服务器,并使用654321作为密码: mysql>GRANT ALL PRIVILEGES ON *.* TO 'abc'@'10
检查连接器配置,发现没有打开开关,参数含义是“是否支持OBS存储,如果Hive表数据存储在OBS,需要打开此开关”。 解决方案 修改连接配置,打开Hive连接中的OBS开关,重新输入密码。 父主题: 故障处理类
参数设置及设置情况: 用户连接参数超时时间“6000000”毫秒,已经足够大。进一步排查客户Mysql数据库是否异常,将日志中打印查询源端的sql在Mysql客户端执行,看是否报错以及报错情况: 发现执行查询语句,全表查询,报错“Lost connection to MySQL server
在使用CDM时,可能遇到如下权限相关的问题: 跳转到CDM首页,获取到的集群列表为空。 提示没有权限访问,如图1所示。 执行启动作业/重启集群等操作时,报错当前策略不允许执行,如图2所示。 图1 没有权限访问 图2 不允许创建连接 原因分析 以上所列的问题均属于权限配置问题。 解决方案
数据库写入OBS场景,表中小驼峰命名字段,提示字段不存在 问题描述 数据库写入OBS场景,表中小驼峰命名字段,提示字段不存在。 故障分析 查看日志报PG数据库表字段找不到所致,分析是字段命名使用小驼峰,而PG数据库区分大小写所以无法找到。 解决方案 让客户在连接配置高级属性添加包围符配置,问题解决。
当MySQL、Oracle、PostgreSQL作为源端时,如果作业报错“Read timed out”怎么处理? 问题描述 当MySQL、Oracle、PostgreSQL作为源端时,如果作业报错“Read timed out”怎么处理? 解决方案 当MySQL、Oracle、
原因分析 使用Spark SQL写数据入hudi表,由于配置问题,表schema中会自动增加一列类型为array<string>,名称为col的列。 解决方案 字段映射中删去此列,如果是自动建表,SQL中也要把此列删去。 父主题: 故障处理类
通过弹性IP地址,登录MRS集群后台。 用户名:admin 密码:创建集群时的密码 执行ip a | grep wsom命令查询MRS集群的浮动ip(wsom标志),如下图所示。 返回创建MRS连接界面,输入查询到的IP,创建连接成功。 创建MRS数据源连接时,认证类型要与MRS集群是否开启KERBEROS保持一致。
Service,CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可记录的CDM操作列表详见支持云审计的关键操作。用户开通开通云审计服务并创建和配置追踪器后,
集群开启沙箱所导致的,后端对集群取消沙箱,重启CDM 集群后问题依然存在。 查看CDM迁移作业,源端数据库表名全部为小写,但是迁移的表中是包含有大写字母,将所要迁移的表名跟数据库中保持一致,目的端字段就可以映射出来了,问题解决。 解决方案 在作业设置中,源端配置中迁移的数据库表名应按
使用CDM+OBS+DLI进行贸易统计分析的操作过程主要包括2个步骤: 使用CDM上传数据到OBS 通过CDM将H公司存量数据上传到对象存储服务OBS。 通过CDM作业的定时任务,每天自动上传增量数据到OBS。 使用DLI分析数据 通过DLI直接分析OBS中的业务数据,支撑H公司客户进行贸易统计分析。
OS认证模式又有SIMPLE认证模式,只能使用STANDALONE模式。 选择STANDALONE模式时,CDM支持在多个MRS集群的HDFS之间迁移数据。 若在一个CDM中同时连接两个及以上开启Kerberos认证且realm相同的集群,只能使用EMBEDDED运行模式连接其中
创建Oracle数据连接测试连通性成功,连接管理界面中测试连接失败。是什么原因? 问题描述 创建Oracle数据连接,创建连接时测试连通性成功。 在连接管理界面中,测试Oracle数据连接失败。提示如下信息: “无法连接服务器,请检查IP、主机名、端口填写是否正确,检查网络安全组
sqoop.user; 模式或表空间 “使用SQL语句”选择“否”时,显示该参数,表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 说明:
EMBEDDED:连接实例与CDM运行在一起,该模式性能较好。 STANDALONE:连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源(MRS、Hadoop或CloudTable),并且既有KERBEROS认证模式又有SIMPLE认证模式,只能使用STANDALONE模式。 选择STANDA
选择“是”后,迁移对象文件时会复制源文件的Content-Type属性,主要用于静态网站的迁移场景。 归档存储的桶不支持设置Content-Type属性,所以如果开启了该参数,目的端选择写入的桶时,必须选择非归档存储的桶。 否 换行符 文件中的换行符,默认自动识别“\n”、“\r”
进入数据湖探索DLI控制台,参考DLI用户指南中的创建数据库创建数据库。 参考创建OBS表创建OBS外表,包括贸易统计数据库、贸易详单信息表和基础信息表。 基于业务需求,在DLI控制台中开发相应的SQL脚本进行贸易统计分析。 父主题: 贸易数据极简上云与统计分析
选择SQL队列。用户应该是先写到OBS文件,然后通过外表映射导入到DLI表。数据基本已经完成,最终映射时候报错,因为这种场景需要使用DLI的SQL队列。 解决方案 联系用户核实,确实选择队列不是SQL队列。并且查询资源得知,账户名下队列没有SQL队列,让用户购买DLI-SQL队列进行迁移同步。
缩存储。 否 存储模式 导入数据到DWS且选择自动创表时,用户可以指定存储模式: 行模式:表的数据将以行式存储,适用于点查询(返回记录少,基于索引的简单查询),或者增删改比较多的场景。 列模式:表的数据将以列式存储,适用于统计分析类查询(group、join多的场景),或者即席查
图4 创建Oracle到DWS的迁移任务 作业名称:用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称:选择创建Oracle连接中的“oracle_link”。 模式或表空间:待迁移数据的数据库名称。 表名:待迁移数据的表名。 高级属性里的可选参数一般情况下保持默认即可。