检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
更改NodeManager的存储目录 操作场景 Yarn NodeManager定义的存储目录不正确或Yarn的存储规划变化时，MRS集群管理员需要在Manager中修改NodeManager的存储目录，以保证Yarn正常工作。NodeManager的存储目录包含本地存放目录“yarn
使用LZC压缩算法存储HDFS文件 配置场景 文件压缩可以减少储存文件的空间，并且提高数据从磁盘读取和网络传输的速度。HDFS有Gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC（Lempel-Ziv Compression）提供配置方法。这种压缩格
at java.lang.Thread.run(Thread.java:748) 回答 上述问题可能是因为网络内存枯竭而导致的。 问题的解决方案是根据实际场景适当增大网络设备的阈值级别。 例如： [root@xxxxx ~]# cat /proc/sys/net/ipv4/neig
''/tmp/input/mapdata'': No files matching path file:/tmp/input/mapdata 原因分析 当前登录的用户不具备操作此目录的权限或者在HiveServer所在节点上没有此目录。 解决方案 通常不建议使用本地文件加载数据到hive表。
MRS支持什么类型的分布式存储？ 问： MRS集群支持什么类型的分布式存储？有哪些版本？ 答： MRS集群内使用主流的大数据Hadoop，目前支持Hadoop 3.x版本，并且随集群演进更新版本。 同时MRS也支持用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离模式。
aiShan版本，如何让spark2x支持其正常运行。 回答 第三方jar包（例如自定义udf）区分x86和TaiShan版本时，混合使用方案： 进入到服务端spark2x sparkResource的安装目录（这个集群安装过程中可能会安装在多个节点上，随便进入一个安装节点，cd
aiShan版本，如何让Spark2x支持其正常运行。 回答 第三方jar包（例如自定义udf）区分x86和TaiShan版本时，混合使用方案： 进入到服务端Spark2x SparkResource的安装目录（集群安装时，SparkResource可能会安装在多个节点上，登录任
当分级存储策略为LAZY_PERSIST时为什么文件的副本的存储类型为DISK 问题 当文件的存储策略为LAZY_PERSIST时，文件的第一副本的存储类型应为RAM_DISK，其余副本为DISK。 为什么文件的所有副本的存储类型都是DISK？ 回答 当用户写入存储策略为LAZY
更改NodeManager的存储目录 操作场景 Yarn NodeManager定义的存储目录不正确或Yarn的存储规划变化时，MRS集群管理员需要在Manager中修改NodeManager的存储目录，以保证Yarn正常工作。NodeManager的存储目录包含本地存放目录“yarn
首先出现英文，中文并未输入，再次输入会带上之前的内容，示例如下： 原因分析 Hue对中文的处理存在混乱的情况，需要进行修正。 处理步骤 该方案仅适用于MRS 2.x及之前版本集群。 登录MRS Manager页面，选择“服务管理 > Hue > 实例”，查询Hue实例所在的节点的IP。
ClickHouse支持和OpenLDAP进行对接，通过在ClickHouse上添加OpenLDAP服务器配置和创建用户，实现账号和权限的统一集中管理和权限控制等操作。此方案适合从OpenLDAP服务器中批量向ClickHouse中导入用户。 本章节操作仅支持MRS 3.1.0及以上集群版本。 前提条件 MRS
ataSource的优势可以参考表1说明。 表1 ELB和BalancedClickhouseDataSource两种负载均衡方案对比 负载均衡方案 方案对比 ELB 支持多种请求策略 故障自动检测转移 后端ClickHouse扩容新增节点只需要修改ELB上的配置即可 Balan
支持界面检查集群状态（主题，消费者，偏移量，分区，副本，节点） 支持界面执行副本的leader选举 使用选择生成分区分配以选择要使用的分区方案 支持界面执行分区重新分配（基于生成的分区方案） 支持界面选择配置创建主题（支持多种Kafka版本集群） 支持界面删除主题（仅0.8.2版本并设置参数“delete
SHOW_COMMIT_FILES 本章节仅适用于MRS 3.3.0及之后版本。 命令功能 查看指定的instant一共更新或者插入了多个文件。 命令格式 call show_commit_files(table=>'[table]', instant_time=>'[instant_time]'
配置Ranger元数据存储至RDS 本章节旨在指导用户将现有集群的Ranger元数据切换为RDS数据库中存储的元数据。该操作可以使多个MRS集群共用同一份元数据，且元数据不随集群的删除而删除，也能够避免集群迁移时Ranger元数据的迁移。 停用集群组件Ranger鉴权 该操作仅在MRS
健康检查时，误将JDBCServer Kill 问题 健康检查方案中，在并发执行的语句达到线程池上限后依然会导致健康检查命令无法执行，从而导致健康检查程序超时，然后把Spark JDBCServer进程Kill。 回答 当前JDBCServer中存在两个线程池HiveServer
TEXTFILE类型文件使用ARC4压缩时查询结果乱码 问题现象 Hive查询结果表做压缩存储（ARC4），对结果表做select * 查询时返回结果为乱码。 可能原因 Hive默认压缩格式不是ARC4格式或者未开启输出压缩。 解决方案 在select结果乱码时，在beeline中进行如下设置。 set
实现远程任意执行代码。 影响风险 存在漏洞的业务被攻击时，将可能导致攻击者远程在业务平台中执行任意代码。 预防与建议 在产品未发布对应解决方案前，建议您参考以下的相关预防措施。 加固物理设备安全边界，防止外网直接访问及攻击内网管理平面。 排查平台各组件节点是否使用默认密码，如果有，建议修改新密码。
供服务。不同的租户可以配置不同的YARN队列，从而达到资源隔离，且JDBCServer根据需求动态启动，可避免浪费资源。 实现方案 多租户模式的HA方案原理如图1所示。 图1 Spark JDBCServer多租户 ProxyServer在启动时，向ZooKeeper注册自身消息
SQL防御概述 当前大数据领域的SQL引擎层出不穷，在带给解决方案多样性的同时，也暴露出一定的问题，例如SQL输入语句质量良莠不齐、SQL问题难定位、大SQL语句消耗资源过多等。 低质量的SQL会对数据分析平台系统带来不可预料的冲击，影响系统的性能或者平台稳定性。 SQL防御功能仅MRS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
