检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Loader Loader数据导入导出概述 Loader用户权限管理 上传MySQL数据库连接驱动 创建Loader数据导入作业 创建Loader数据导出作业 管理Loader作业 Loader运维管理 Loader算子帮助 客户端工具说明 Loader常见问题
说明: 该配置仅用于MySQL专用连接器,当数据列内容中包含默认分隔符时,需要设置自定义分隔符,否则会出现数据错乱。 string 否 , 换行分隔符 用户根据数据实际情况,填写字符串作为换行符。支持任何字符串。默认使用操作系统的换行符。 说明: 该配置仅用于MySQL专用连接器,当数
登录Doris集群中已安装好MySQL客户端的MRS Master节点,执行如下命令进入Doris数据库。 export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 (若集群已启用Kerberos认证(安全模式)需执行该命令) mysql -u数据库登录用户 -p数据库登录用户密码
安装补丁 如果任务失败,选择“重试安装”,只有当“状态”显示为“已安装”时,才能进入下一步操作。 升级安装失败或者重试后仍然失败,不能直接回滚,请联系运维人员。 修改配置 不涉及。 重启相关组件 补丁安装完成后,需要手动重启相关大数据组件服务,使补丁生效。 当前补丁只支持离线重启。
安装补丁 如果任务失败,选择“重试安装”,只有当“状态”显示为“已安装”时,才能进入下一步操作。 升级安装失败或者重试后仍然失败,不能直接回滚,请联系运维人员。 修改配置 不涉及。 重启相关组件 补丁安装完成后,需要手动重启相关大数据组件服务,使补丁生效。 提供两种重启方式,请根据业务自行选择重启方式:
使用hive-table方式同步数据报错 使用hcatalog方式同步hive parquet表报错 使用Hcatalog方式同步Hive和MySQL之间的数据,timestamp和data类型字段会报错 父主题: 使用Sqoop
使用CDM服务迁移HBase数据至MRS集群 使用CDM服务迁移Hive数据至MRS集群 使用BulkLoad工具向HBase中批量导入数据 使用CDM服务迁移MySQL数据至MRS Hive 使用CDM服务迁移MRS HDFS数据至OBS
说明: 该配置仅用于MySQL专用连接器,当数据列内容中包含默认分隔符时,需要设置自定义分隔符,否则会出现数据错乱。 string 否 , 换行分隔符 用户根据数据实际情况,填写字符串作为换行符。支持任何字符串。默认使用操作系统的换行符。 说明: 该配置仅用于MySQL专用连接器,当数
码一致。 如果任务失败,选择“重试安装”,只有当“状态”显示为“已安装”时,才能进入下一步操作。 升级安装失败或者重试后仍然失败,不能直接回滚,请联系运维人员。 修改配置 MRS_3.2.0-LTS.1.6以及之后补丁,Spark支持视图表权限控制,开启方法(若之前有设置过,则跳
码一致。 如果任务失败,选择“重试安装”,只有当“状态”显示为“已安装”时,才能进入下一步操作。 升级安装失败或者重试后仍然失败,不能直接回滚,请联系运维人员。 修改配置 MRS_3.2.0-LTS.1.6以及之后补丁,Spark支持视图表权限控制,开启方法(若之前有设置过,则跳
添加ClickHouse数据源 添加GAUSSDB数据源 添加HBase数据源 添加跨集群HetuEngine数据源 添加IoTDB数据源 添加MySQL数据源 添加Oracle数据源 添加GBase数据源 父主题: 使用HetuEngine
Doris冷热分离使用实践 登录安装了MySQL的节点,执行以下命令,连接Doris数据库。 若集群已启用Kerberos认证(安全模式),需先执行以下命令再连接Doris数据库: export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 mysql -u数据库登录用户 -p
have”查看所有异常的Tablet信息。 登录安装了MySQL的节点,执行以下命令,连接Doris数据库。 若集群已启用Kerberos认证(安全模式),需先执行以下命令再连接Doris数据库: export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 mysql -u数据库登录用户 -p数据库登录用户密码
ClickHouse数据导入 配置ClickHouse对接RDS MySQL数据库 配置ClickHouse对接OBS源文件 配置ClickHouse对接HDFS源文件(MRS 3.2.0-LTS) 配置ClickHouse对接HDFS源文件(MRS 3.3.0-LTS及之后版本)
码一致。 如果任务失败,选择“重试安装”,只有当“状态”显示为“已安装”时,才能进入下一步操作。 升级安装失败或者重试后仍然失败,不能直接回滚,请联系运维人员。 修改配置 支持HDFS单副本检测能力 在MRS 3.1.0.0.2补丁以及之后的补丁中,会增加HDFS单副本检测和告警
有管理员权限的角色并绑定给用户。 已安装MySQL客户端,相关操作可参考使用MySQL客户端连接Doris。 已安装Flink客户端。 使用FlinkServer将Kafka数据写入到Doris中 Doris侧操作。 登录安装了MySQL的节点,执行以下命令,连接Doris数据库。
在Doris集群安装MySQL客户端,详细操作请参考使用MySQL客户端连接Doris。 步骤3:准备数据 创建Doris的Unique表。 登录Doris集群中已安装好MySQL客户端的MRS Master节点,执行如下命令进入Doris数据库。 export LIBMYSQL_ENAB
rmi://%s/kafka #修改kafka mysql jdbc driver address数据库相关的配置 efak.driver=com.mysql.cj.jdbc.Driver efak.url=jdbc:mysql://IP:Port/ke?useUnicode=
'[comments]'); 查看所有存在的savepoint call show_savepoints(table =>'[table_name]'); 回滚savepoint: call rollback_savepoint('[table_name]', '[commit_Time]'); 参数描述
API方式连接Spark SQL查询遇到特殊字符,比如换行时标准的解析会自动换行的问题。 解决Yarn监控图缺失问题。 解决使用Sqoop将MySQL数据导入到Hive中失败的问题。 解决Yarn配置本地化日志级别参数被设置为不支持修改的问题。 Hudi clean与archive逻辑解耦,不执行clean也能执行归档。