检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1 发布时间 2020-01-07 解决的问题 MRS大数据组件 MRS Kafka优化健康检查及滚动重启逻辑 补丁兼容关系 无。 安装补丁的影响 安装MRS 1.8.10.1补丁期间会重启MRS Manager和Kafka服务，重启服务期间会引起服务暂时不可用。 父主题： MRS集群补丁说明
Yarn节点配置调优 操作场景 合理配置大数据集群的调度器后，还可通过调节每个节点的可用内存、CPU资源及本地磁盘的配置进行性能调优。 具体包括以下配置项： 可用内存 CPU虚拟核数 物理CPU使用百分比 内存和CPU资源的协调 本地磁盘 操作步骤 如果您需要对参数配置进行调整，具体操作请参考修改集群服务配置参数。
访问Spark WebUI界面 操作场景 MRS集群安装Spark组件后，用户可以通过Spark WebUI界面查看Spark应用程序运行情况。 本章节指导用户在MRS集群中访问Spark WebUI界面。 前提条件 MRS集群已安装Spark组件，并且正常运行。 已创建具有Spar
完成JDK选择后，单击“OK”完成配置。 图5 完成JDK配置 在应用开发环境中，导入样例工程到IntelliJ IDEA开发环境。 配置IntelliJ IDEA maven工程环境 选择“File > Settings”，搜索“maven”，配置maven工程，选择“Apply
uce中，每个Reduce做聚合操作，并输出结果，这样的处理会使相同的Group By Key可能被分发到不同的Reduce中，从而达到负载均衡，第二个Job再根据预处理的结果按照Group By Key分发到Reduce中完成最终的聚合操作。 Count Distinct聚合问题
发挥MPP查询时并行计算能力，避免数据在shard间倾斜计算出现木桶效应，导致SQL查询性能较差。 可通过弹性负载均衡（Elastic Load Balance，简称ELB）访问ClickHouse，来实现数据均匀。 Shard内数据副本高可靠存储 数据写入单shard中的一个副
SSL功能需要配合API进行使用，可参考Kafka安全使用说明章节。 使用说明 Linux客户端使用SSL功能 修改“客户端安装目录/Kafka/kafka/config/producer.properties”和“客户端安装目录/Kafka/kafka/config/consumer.properties”中“security
应用开发操作步骤 确认Storm和HDFS组件已经安装，并正常运行。 将storm-examples导入到IntelliJ IDEA开发环境，请参见准备Storm应用开发环境。 下载并安装HDFS客户端。 获取相关配置文件。获取方法如下： 在安装好的HDFS客户端目录下找到目录“/opt
对查询时延要求较高的表进行首次查询预热。 工具使用 下载安装客户端，例如安装目录为“/opt/client”。进入 目录“/opt/client/Spark2x/spark/bin”, 执行start-prequery.sh。 参考表1，配置prequeryParams.properties。
madmin”或“storm”组。 前提条件 已刷新客户端。 操作步骤 根据业务情况，准备好客户端，登录安装客户端的节点。 请根据客户端所在位置，参考安装客户端章节，登录安装客户端的节点。 执行以下命令，设置拓扑的jar包权限。 例如修改“/opt/storm/topology.jar”的权限：
server内存泄露问题：HIVE-10970、HIVE-22275。 补丁兼容关系 无 安装补丁的影响 安装MRS 2.1.0.1补丁期间会重启MRS Manager和Hive服务，重启服务期间会引起服务暂时不可用。 MRS 2.1.0.1补丁安装完成后，需要先登录到MRS集群的Master1节点，删除HDFS上任务目录。
选择Windows开发环境下，安装Eclipse，安装JDK。 开发环境安装Eclipse程序，安装要求Eclipse使用4.2或以上版本。 开发环境安装JDK程序，安装要求JDK使用1.8版本。 若使用IBM JDK，请确保Eclipse中的JDK配置为IBM JDK。 若使用Oracle
应用开发操作步骤 确认Storm和HBase组件已经安装，并正常运行。 将storm-examples导入到IntelliJ IDEA开发环境，请参见准备Storm应用开发环境。 下载并安装HBase客户端。 获取相关配置文件。获取方法如下： 在安装好的HBase客户端目录下找到目录“/op
如何查看指定Yarn任务的日志？ 以root用户登录主Master节点。 执行如下命令初始化环境变量。 source 客户端安装目录/bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。
” HBase启动后原生页面显示RegionServer个数多于实际个数 RegionServer实例异常，处于Restoring状态 新安装的集群HBase启动失败 acl表目录丢失导致HBase启动失败 集群上下电之后HBase启动失败 文件块过大导致HBase数据导入失败
beros.domain.name配置为正确的服务端域名。 使用Kafka客户端 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 执行以下命令，进行用户认证。（普通模式跳过此步骤）
gz 在“/home/omm/MRS_Log4j_Patch/bin/ips.ini”文件中配置需要打补丁的节点IP（当前集群所有节点IP）。 每行配置一个IP，中间不能有空行。 执行脚本安装补丁。 cd /home/omm/MRS_Log4j_Patch/bin nohup sh
eaver、Navicat for MySQL等。 本操作以安装MySQL 8.0.22客户端连接Doris为例进行演示。 前提条件 待安装MySQL客户端的节点与MRS集群网络互通。 操作步骤 以root用户登录待安装MySQL客户端的节点。 执行以下命令查看MySQL客户端依赖库ncurses-libs的版本：
配置Yarn通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在集群客户端执行Yarn任务访问OBS。 Yarn对接OBS 以客户端安装用户登录安装了Yarn客户端的节点。 执行以下命令，切换到客户端安装目录。 cd 客户端安装目录
配置HDFS通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在HDFS客户端查看和创建OBS文件目录。 HDFS对接OBS 以客户端安装用户登录安装了HDFS客户端的节点。 执行以下命令，切换到客户端安装目录。 cd 客户端安装目录
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
