检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
源类型“JDBC > MySQL”。 配置“MySQL配置”,参数配置请参考表1。 表1 MySQL配置 参数 描述 取值样例 驱动 默认为“mysql”。 mysql 驱动名称 选择2中已提前上传的待使用的MySQL驱动,格式为xxx.jar。 mysql-connector-java-8
jar”,具体MySQL jdbc驱动程序选择参见下表。 表1 版本信息 jdbc驱动程序版本 MySQL版本 Connector/J 5.1 MySQL 4.1、MySQL 5.0、MySQL 5.1、MySQL 6.0 alpha Connector/J 5.0 MySQL 4.1、MySQL
已参考管理驱动,上传了MySQL数据库驱动。 步骤1:在MRS Hive上创建Hive分区表 在MRS的Hive客户端中,执行以下SQL语句创建一张Hive分区表,表名与MySQL上的表trip_data一致,且Hive表比MySQL表多建三个字段y、ym、ymd,作为Hive的分区字段。 SQL语句如下:
使用Hcatalog方式同步Hive和MySQL之间的数据,timestamp和data类型字段会报错 问题 使用Hcatalog方式同步Hive和MySQL之间的数据,timestamp和data类型字段会报错: 回答 调整Sqoop源码包中的代码,将timestamp强制转换类型和Hive保持一致。
chown omm:wheel jar包文件名 chmod 600 jar包文件名 登录FusionInsight Manager系统,选择“集群 > 服务 > Loader > 更多 > 重启服务”输入管理员密码重启Loader服务。 父主题: 使用Loader
一分区 database:使用数据库名称做分区,保证同一个数据库的事件写入到kafka同一个分区中 table:使用表名称做分区,保证同一个表的事件写入到kafka同一个分区中 database ignore_producer_error 否 是否忽略生产者发送数据失败的错误 t
绑定对应字段。 sqoop export --connect jdbc:mysql://数据库IP地址:端口号/数据库名 --username 数据库用户名 --password 密码 --table 表名 --columns 列字段(多个列用英文逗号分开) -export-dir
一分区 database:使用数据库名称做分区,保证同一个数据库的事件写入到kafka同一个分区中 table:使用表名称做分区,保证同一个表的事件写入到kafka同一个分区中 database ignore_producer_error 否 是否忽略生产者发送数据失败的错误 t
'password') MySQL数据库引擎参数说明: host:port :RDS服务MySQL数据库实例IP地址和端口。 database :RDS服务MySQL数据库名。 user :RDS服务MySQL数据库用户名。 password:RDS服务MySQL数据库用户密码,命令中如果携带认
通过Sqoop读取MySQL数据并写parquet文件到OBS时失败 用户问题 通过Sqoop读取MySQL数据,然后直接写到OBS,指定parquet格式时写入报错,不指定parquet时不报错。 问题现象 原因分析 parquet格式不支持hive3,用Hcatalog方式写入。
Sqoop读取MySQL数据到HBase时报HBaseAdmin.<init>方法找不到异常 问题 使用MRS的Sqoop客户端(1.4.7版本),从MySQL数据库中指定表抽取数据,存放到HBase(2.2.3版本)指定的表中,报出异常: Trying to load data
Sqoop如何连接MySQL 用户问题 Sqoop如何连接MySQL数据库。 处理步骤 在集群上安装客户端,查看客户端“sqoop/lib”目录下是否有MySQL驱动包。 在客户端目录下加载环境变量。 source bigdata_env 执行Kerberos用户认证。 如果集群
'password') MySQL数据库引擎参数说明: host:port:RDS服务MySQL数据库实例IP地址和端口。 database:RDS服务MySQL数据库名。 user:RDS服务MySQL数据库用户名。 password:RDS服务MySQL数据库用户密码,命令中如果携带认证
业务。 Zookeeper异常导致merge无法正常执行。 登录Manager页面,检查ZooKeeper是否存在服务不可用、ClickHouse服务在ZooKeeper的数量配额使用率超过阈值等相关告警,如果存在,请按照告警指导处理。 执行如下SQL排查是否存在副本同步队列任务积压:
已准备源集群,例如,MySQL服务端集群。 Doris集群与MySQL服务端集群网络互通。 已安装MySQL客户端,相关操作可参考使用MySQL客户端连接Doris。 通过JDBC Catalog查询MySQL/Doris数据 进入MySQL官网(https://www.mysql.com/),选择“DOWNLOADS
Zookeeper异常导致merge无法正常执行。 登录Manager页面,检查ZooKeeper是否存在服务不可用、ClickHouse服务在ZooKeeper的数量配额使用率超过阈值等相关告警,如果存在,请按照告警指导处理。 执行如下SQL排查是否存在副本同步队列任务积压: select
使用MySQL客户端连接Doris数据库时报错“plugin not enabled”如何处理 问题现象 使用MySQL客户端连接Doris数据库时报错: ERROR 2059 (HY000): Authentication plugin 'mysql_clear_password'
FlinkSQL Doris数据表开发规则 提前在Doris中创建表: Flink作业在Doris中找不到对应表会报错,所以需要提前在Doris中创建好对应的表。 Doris作为Sink表时需开启CheckPoint: Flink作业在触发CheckPoint时才会往Doris表中写数据。 父主题:
产生告警的集群或系统名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 对系统的影响 ClickHouse组件中存在单副本,当出现硬件故障时,无法恢复数据。 可能原因 ClickHouse节点其组件配置目录下的metrika.xml配置信息中存在单副本配置。
Sqoop客户端使用实践 Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(MySQL、PostgreSQL...)间进行数据的传递,可以将一个关系型数据库(例如:MySQL、Oracle、PostgreSQL等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。