检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理节点“数据存放路径/LocalBackup/”是否有充足的空间。 如果数据要备份至OBS中，需要当前集群已对接OBS，并具有访问OBS的权限。MRS 3.5.0及之后版本支持备份数据到OBS。 备份Flink元数据 在FusionInsight Manager，选择“运维 >
克隆作业时，参数包含非OBS路径可能会执行失败。 克隆作业时，逗号+空格的格式只能存在参数间，若存在参数中，克隆作业可能执行失败。 在原有参数后继续添加参数，逗号后需要有空格，否则作业可能执行失败。 克隆的作业返回参数不含有fs.obs.access.key、fs.obs.secret.key，若需要fs
ation实例的数据权限界面进行授权操作。 RangerAdmin WebUI界面的OBS模块，禁止执行添加、删除权限非默认策略的操作，统一在LakeFormation实例的数据权限界面进行OBS路径授权操作。 MRS集群取消对接LakeFormation后，RangerAdmi
batch.delete.count 25 JobServer每一批老化数据的条数。 job.record.expire.count 500000 JobServer老化数据的条数。 job.record.expire.day 7 JobServer作业过期的时间。 logging.level
REGION>")) .build(); BatchDeleteJobsRequest request = new BatchDeleteJobsRequest(); request.withClusterId("{cluster_id}");
样例程序如果指定OBS为输入输出的目标文件系统（如obs://<BucketName>/input/），需要进行以下配置。 在$YARN_CONF_DIR/core-site.xml中添加AK配置项“fs.obs.access.key”和SK配置项“fs.obs.secret.k
beeline不打印日志的问题 解决Yarn页面上active node数目不对问题 解决RM线程数过多导致RM页面打开慢问题 支持OBS监控 OBS包升级 解决hive-jdbc并发插入10条数据时部分数据未插入问题 解决hive偶现报kryo反序列化失败问题 解决Spark jobhistory内存泄漏问题
的DataArts Studio实例保持一致。 创建具有访问OBS权限的ECS委托，详细操作请参考配置MRS集群通过IAM委托对接OBS中“创建具有访问OBS权限的ECS委托”部分。例如委托名称为“mrs_ecs_obs”。 创建包含Hive、Spark等组件的MRS集群，并创建用户、安装客户端。
Timeout或者SocketTimeout Exception异常。 调优建议： 将ZooKeeper实例个数调整为5个及以上，可以通过设置peerType=observer来增加observer的数目。 通过控制单个任务并发的map数或减少每个节点下运行task的内存，降低节点负载。 升级ZooKeeper数据磁盘，如SSD等。
16/03/03 16:44:57 INFO mapreduce.JobSubmitter: number of splits:200 16/03/03 16:44:57 INFO mapreduce.JobSubmitter: Submitting tokens for job:
对同一目录创建多个外表，可能导致外表查询失败 访问Spark2x JobHistory中某个应用的原生页面时页面显示错误 对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 Spark shuffle异常处理 父主题： 使用Spark2x（MRS 3.x及之后版本）
持一致。 如果HBase数据存储在本地HDFS，支持将HBase元数据备份到OBS。如果HBase数据存储在OBS，则不支持数据备份。 如果数据要备份至OBS中，需要当前集群已对接OBS，并具有访问OBS的权限。 备份HBase元数据 在FusionInsight Manager，选择“运维
需确保主备集群中Doris和HDFS的“hadoop.rpc.protection”配置项的值保持一致。 如果需要从OBS恢复数据，需要当前Doris集群已对接OBS，并具有访问OBS的权限。 规划好恢复数据保存表的数据库，数据表在HDFS的保存位置，以及访问恢复数据的用户清单。 检查Doris备份文件保存路径。
Hive集群的元数据会默认存储到MRS DBService组件，也可以选择RDS（MySQL）作为外置元数据库。 Hive的业务数据，存储在HDFS文件系统或OBS对象存储中。 图1 Hive数据迁移示意 方案优势 场景化迁移通过迁移快照数据然后再恢复表数据的方法，能大大提升迁移效率。 约束与限制 搬迁数
Hive使用WHERE条件查询超过3.2万分区的表报错 使用IBM的JDK访问beeline客户端出现连接HiveServer失败 Hive表的Location支持跨OBS和HDFS路径吗 MapReduce引擎无法查询Tez引擎执行union语句写入的数据 Hive是否支持对同一张表或分区进行并发写数据 Hive是否支持向量化查询
upgrade /opt/client/ 集群外客户端通过委托获取临时AKSK访问OBS场景下，需要在客户端所有core-site.xml中新增配置： <property> <name>fs.obs.auth.node-cache-short-circuit.enable</name>
16/03/03 16:44:57 INFO mapreduce.JobSubmitter: number of splits:200 16/03/03 16:44:57 INFO mapreduce.JobSubmitter: Submitting tokens for job:
protection”配置项的值保持一致。 根据业务需要，规划备份任务的类型、周期、备份对象、备份目录等策略规格。 如果数据要备份至OBS中，需要当前Doris集群已对接OBS，并具有访问OBS的权限。 备份Doris业务数据 在FusionInsight Manager，选择“运维 > 备份恢复 > 备份管理”。
0版本推出了冷热数据分层功能，用户可以使用冷热分层功能将数据从本地下沉到对象存储中，如图1所示。 图1 冷热数据分层功能原理 OBS对象存储支持海量数据存储，并提供安全可靠的、低成本的分布式存储服务。Doris主要基于OBS实现冷热分离功能，如图2所示。 图2 Doris冷热分离原理 父主题：
对同一目录创建多个外表，可能导致外表查询失败 访问Spark2x JobHistory中某个应用的原生页面时页面显示错误 对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 Spark shuffle异常处理 Spark多服务场景下，普通用户无法登录Spark客户端
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
