检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用数据库连接器来说，导出、导入速度更快。 使用mysql-fastpath-connector时，要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令，并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容，如果没有这两个命令或版本不兼容，请参考http://dev
、HetuEngine等服务提供访问OBS的临时认证凭据。 配置Guardian服务对接OBS主要操作如下： 创建OBS并行文件系统 创建普通账号委托 创建云服务委托并绑定集群 为Guardian组件配置访问OBS权限 开启Hive表的级联授权功能 配置回收站清理策略 前提条件
用数据库连接器来说，导出、导入速度更快。 使用mysql-fastpath-connector时，要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令，并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容，如果没有这两个命令或版本不兼容，请参考http://dev
Hive的元数据信息，存储在MySQL等数据库中。MRS Hive集群的元数据会默认存储到MRS DBService（华为的Gaussdb数据库），也可以选择RDS（MySQL）作为外置元数据库。 Hive的业务数据，存储在HDFS文件系统或OBS对象存储中。 MySQL数据迁移到MRS集群Hive分区表
Hive是否支持对同一张表或分区进行并发写数据 问题 为什么通过接口并发对Hive表进行写数据会导致数据不一致？ 该章节仅适用于MRS 3.1.2版本。 回答 Hive不支持对同一张表或同一个分区进行并发数据插入，这样会导致多个任务操作同一个数据临时目录，一个任务将另一个任务的数
在OBS存算分离场景下，用户可以通过委托方式获取访问OBS的临时AK、SK，继而访问OBS服务端。对于集群外节点的客户端，如果想要访问OBS，可以通过Guardian组件获取AK、SK实现。Guardian组件是MRS的自研组件，可以帮助集群外的客户端访问OBS的临时AK、SK。 仅MRS 3.1.5版本集群支持该功能。
FlinkSQL JDBC表开发建议 Flink SQL与JDBC数据类型对应关系 参考表1开发Flink SQL作业。 表1 Flink SQL与JDBC数据类型对应关系 Flink SQL数据类型 MySQL数据类型 Oracle数据类型 PostgreSQL数据类型 SQL Server数据类型
用数据库连接器来说，导出、导入速度更快。 使用mysql-fastpath-connector时，要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令，并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容，如果没有这两个命令或版本不兼容，请参考http://dev
EAD SECTOR(S)”或者“WRITE SECTOR(S)”表示磁盘有坏道；如果出现其他错误，表示磁盘电路板有问题。这两种错误均表示磁盘不正常，需要更换。 如果显示“No Errors Logged”，则表示没有错误日志，则可以触发磁盘smart自检。 是，执行15。 否，执行18。
Hive表数据修改、未新增删除表、未修改已有表的数据结构：此时Hive表已经创建好，仅需迁移Hive存储在HDFS或OBS上的文件即可，请参考使用CDM服务迁移Hadoop数据至MRS集群页面新增数据迁移方式进行数据迁移。 Hive表有新增：请选择“作业管理”的“表/文件迁移”
generic-jdbc-connector：参数配置请参见表1。 ftp-connector：参数配置请参见表2。 sftp-connector：参数配置请参见表3。 hdfs-connector：参数配置请参见表4。 oracle-connector：参数配置请参见表5。 mysql-fastpath-connector：参数配置请参见表7。
等待一个小时，进入下一次检查，查看告警是否恢复。 是，操作结束。 否，执行8。 如果集群安装目录所在磁盘分区已满，部分程序安装目录会由于sed命令执行失败，产生一些临时文件，且没有读写可执行权限。如果这些文件产生在该告警的监控范围内，那么系统会上报该告警，告警原因可以看到是由于产生的临时文件权
在使用MRS多用户访问OBS的场景中，执行Spark、Hive、Presto等作业时，出现“/tmp”目录没有权限的报错。 问题原因 作业执行过程中有临时目录，提交作业的用户对临时目录没有操作权限。 解决方法 在集群“概览”页签中，查询并记录集群所绑定的委托名称。 登录IAM服务控制台。 选择“权限 > 创建自定义策略”。
--create-hive-table 创建Hive表，默认false，如果目标表不存在，则会创建目标表 --hive-table 指定hive表 --table 关系型数据库表名 --columns 指定需要导入的关系型数据表字段 --query 指定查询语句，将查询结果导入 hcatalog参数
--create-hive-table 创建Hive表，默认false，如果目标表不存在，则会创建目标表 --hive-table 指定Hive表 --table 关系型数据库表名 --columns 指定需要导入的关系型数据表字段 --query 指定查询语句，将查询结果导入 hcatalog参数
对于需要使用动态分区插入（使用历史分区更新）数据到目的表中，且和数据源表是同一张表时，由于直接在原表上执行insert overwrite可能会导致数据丢失或数据不一致的风险，建议先使用一个临时表来处理数据，再执行insert overwrite操作。 操作步骤 假设存在如下一张表： user_data(user_group
Overwrite自读自写风险 场景说明 对于目的表，需要使用动态分区插入（使用历史分区更新），且目的表和数据源表都是同一张表。 由于直接在原表上执行insert overwrite可能会导致数据丢失或数据不一致的风险，建议首先使用一个临时表来处理数据。 操作步骤 假设存在如下一张表： user_data(user_group
补丁基本信息 表1 补丁基本信息 补丁号 MRS 3.2.0-LTS.1.8 发布时间 2024-04-23 解决的问题 MRS 3.2.0-LTS.1.8修复问题列表： 解决Spark JDBCServer在session关闭超时的时候会出现session一直存在的问题。 解决
（若集群已启用Kerberos认证（安全模式）需执行该命令） mysql -u数据库登录用户 -p数据库登录用户密码 -P数据库连接端口 -hDoris FE实例IP地址 数据库连接端口为Doris FE的查询连接端口，可通过登录MRS Doris集群的Manager界面，选择“集群 >
通常，HDFS执行Balance操作结束后，会自动释放“/system/balancer.id”文件，可再次正常执行Balance。 但在上述场景中，由于第一次的Balance操作是被异常停止的，所以第二次进行Balance操作时，“/system/balancer.id”文件仍然存在，则会触发append
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
