检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Hive对接MemArtsCC 操作场景 本章节介绍在存算分离场景下如何配置Hive任务中集成MemArtsCC缓存，MemArtsCC会在将热点数据存储在计算侧集群，可以起到降低OBS服务端带宽的作用，利用MemArtsCC的本地存储，访问热点数据不必跨网络，可以提升Hive的数据读取效率。
配置在Spark对接MemArtsCC 操作场景 本章节介绍在存算分离场景下如何配置Spark任务中集成MemArtsCC缓存，MemArtsCC会在将热点数据存储在计算侧集群，可以起到降低OBS服务端带宽的作用，利用MemArtsCC的本地存储，访问热点数据不必跨网络，可以提升Spark的数据读取效率。
配置FlinkServer作业运行残留信息自动清理 操作场景 Flink任务异常停止时会在ZooKeeper、HDFS中残留目录，开启FlinkServer目录残留清理功能可以清理残留目录。 配置作业残留信息自动清理步骤 登录Manager页面。 选择“集群 > 服务 > Flink
metastore-refresh-interval 5m 元数据缓存刷新时间，单位：分钟 通过hive创建表tb3，此时Hetu-cli查询结果： show tables; Table ------- tb1 tb2 (2 rows) 刷新元数据缓存后再次查询： refresh catalog
ALM-50208 清理历史元数据镜像文件失败的次数超过阈值 告警解释 系统每30秒周期性检查FE节点清理历史元数据镜像文件失败的次数，当检查到失败的次数超出阈值（默认值为1）时产生该告警。 当系统检查到FE节点清理历史元数据镜像文件失败的次数低于阈值时，告警清除。 告警属性 告警ID
创建了用户且该用户具备组件数据的删除权限时，也需要参考本章节配置新用户的回收站目录清理策略。 针对HBase配置存算分离的场景，在MRS 3.1.2及后续版本中，需参考本章节配置组件数据回收站清理策略。 需为MRS集群预置用户所涉及的回收站目录和其他新增的有防误删需求的用户的回收
user.group.cache.timeout.sec 指定缓存中保存用户对应组信息的时间。单位：秒。 300 缓存中用户和组对应关系缓存时间，超过此时间用户信息才会再次通过id -Gn命令查询，在此期间，仅使用缓存中的用户和组对应关系。 zookeeper.connection
使用Mapreduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优
使用MapReduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优
解决MRS对接DCS做缓存，缓存键一天多次被清空问题 解决CBG访问OBS概率性无权限问题 解决长时间使用客户端出现死锁问题 解决Yarn运行偶现RM主备切换问题 解决Spark SQL外表动态分区执行insert overwrite报错问题 解决周期清理任务清理.hive-staging时，查询数据库失败问题
uration实例，已经创建的HConnection实例，会被缓存起来。也就是说，如果客户端需要与HBase集群进行交互的时候，会传递一个Configuration实例到缓存中去，HBase Client部分通过已缓存的HConnection实例，来判断属于这个Configura
但需要注意的是，被cache的表会占用executor的内存。尽管在Spark SQL采用压缩存储的方式来尽量减少内存开销、缓解GC压力，但当缓存的表较大或者缓存表数量较多时，将不可避免地影响executor的稳定性。 此时的最佳实践是，当不需要将表cache来实现查询加速时，应及时将表进行
X-Auth-Token: ABCDEFG.... 您还可以通过这个视频教程了解如何使用Token认证：https://bbs.huaweicloud.com/videos/101333 。 父主题： 如何调用API
kafka-authorizer.log Broker鉴权日志。 kafka-root.log Broker基础日志。 cleanup.log Broker卸载的清理日志。 metadata-backup-recovery.log Broker备份恢复日志。 ranger-kafka-plugin-enable
Impala之前正常使用的udf突然报了找不到类路径，Hive中可正常使用，但Impala报找不到类路径。 回答 Impala默认将UDF对应的jar包缓存到“/tmp”目录下，由--local_library_dir配置项控制，“/tmp”目录下的文件保存一定时间后会被操作系统删除，导致Impala查询时出现缺类错误。
MRS集群如何使用公网访问Presto 用户问题 用户调测Presto JDBC样例代码，需要使用公网访问Presto。 问题分析 登录MRS Manager上查看Presto全部配置，Coordinator角色配置： PRESTO_COORDINATOR_FLOAT_IP = 内网IP地址
个数据集的全部或部分可以缓存在内存中，在多次计算间重用。 RDD的生成： 从HDFS输入创建，或从与Hadoop兼容的其他存储系统中输入创建。 从父RDD转换得到新RDD。 从数据集合转换而来，通过编码实现。 RDD的存储： 用户可以选择不同的存储级别缓存RDD以便重用（RDD有11种存储级别）。
聚合算法优化 操作场景 在Spark SQL中支持基于行的哈希聚合算法，即使用快速聚合hashmap作为缓存，以提高聚合性能。hashmap替代了之前的ColumnarBatch支持，从而避免拥有聚合表的宽模式（大量key字段或value字段）时产生的性能问题。 操作步骤 要启动
解决MRS对接DCS做缓存，缓存键一天多次被清空问题 解决CBG访问OBS概率性无权限问题 解决长时间使用客户端出现死锁问题 解决Yarn运行偶现RM主备切换问题 解决Spark SQL外表动态分区执行insert overwrite报错问题 解决周期清理任务清理.hive-staging时，查询数据库失败问题
如何让不同的业务程序分别用不同的Yarn队列？ 问： 如何让不同的业务程序分别用不同的Yarn队列？ 答： 在Manager页面上创建一个新的租户，然后将不同的集群业务用户绑定至不同的租户。 操作步骤 登录FusionInsight Manager，单击“租户资源”。 在左侧租户
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
