检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
KafkaWordCount）任务时，日志中报Kafka相关的类不存在的错误。KafkaWordCount样例为Spark开源社区提供的。 回答 Spark部署时，如下jar包存放在客户端的“${SPARK_HOME}/jars/streamingClient010”目录以及服务端的“${BIGDATA_HOM
EL Hue的访问日志级别。 DEBUG ERROR WARN INFO DEBUG HANDLER_AUDITSLOG_LEVEL Hue的审计日志级别。 DEBUG ERROR WARN INFO DEBUG HANDLER_ERRORLOG_LEVEL Hue的错误日志级别。
Spark用户权限管理 SparkSQL用户权限介绍 创建SparkSQL角色 配置Spark表、列和数据库的用户权限 配置SparkSQL业务用户权限 配置Spark Web UI ACL Spark客户端和服务端权限参数配置说明 父主题： 使用Spark/Spark2x
OpenTSDB应用开发环境简介 在进行二次开发时，要准备的开发环境如表1所示。同时需要准备运行调测的Linux环境，用于验证应用程序运行正常。 表1 开发环境 准备 说明 操作系统 Windows系统，推荐Windows 7及以上版本。 安装JDK 开发环境的基本配置。版本要求：1.8及以上。 安装和配置Eclipse
个线程循环的从该队列中依次拿出一个事件，然后发送给各个Listener，每个Listener感知到事件后就会做各自的处理。 因此当队列存放的速度大于获取的速度时，就会导致队列溢出，从而丢失了溢出的事件，影响了UI、EventLog、动态资源调度等功能。所以为了更灵活的使用，在这边
IDEA中的JDK配置为Open JDK。 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 准备开发用户 参考准备MRS应用开发用户进行操作，准备用于应用开发的集群用户并授予相应权限。
个线程循环的从该队列中依次拿出一个事件，然后发送给各个Listener，每个Listener感知到事件后就会做各自的处理。 因此当队列存放的速度大于获取的速度时，就会导致队列溢出，从而丢失了溢出的事件，影响了UI、EventLog、动态资源调度等功能。所以为了更灵活的使用，在这边
blocksize”，将其设置为268435456，上传数据，block大小还是原来的大小。 原因分析 HDFS客户端的“hdfs-site.xml”文件中的dfs.blocksize大小没有更改，以客户端配置为准。 解决办法 确保“dfs.blocksize”为512的倍数。 重新下载安装客户端或者更改客户端配置。
JDK，请确保IntelliJ IDEA中的JDK配置为Open JDK。 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境基本配置。用于项目管理，贯穿软件开发生命周期。 安装JDK 开发和运行环境的基本配置，版本要求如下： 服
通过公网IP连接使用HDFS客户端报错 使用Python远程连接HDFS的端口失败 HDFS容量达到100%导致上层服务HBase、Spark等不可用 启动HDFS和Yarn服务报错“Permission denied” HDFS用户可在其他用户目录下创建或删除文件 HDFS的DataNode一直显示退服中 内存不足导致HDFS
MRS普通版本集群无法实现低版本到高版本的平滑升级。如需体验新版本集群相关能力，建议重新创建一个新版本的集群，然后将老版本集群的数据迁移到新的集群。 MRS LTS版本集群 MRS LTS版本集群支持版本升级能力，可从历史版本升级至目标LTS版本。如果需要使用版本升级能力，需联系运维人员确认支持的升级路径并购买相关专业服务进行升级。
警产生。 使用客户端验证，通过hbase shell进入hbase命令行后，执行list验证需要运行多久。 开启HDFS的debug日志，然后查看下层目录很多的路径（hadoop fs -ls /XXX/XXX），验证需要运行多久。 打印HMaster进程jstack： su -
cache_cap_max_availabe_rate 每块盘的最大可用容量比率。 设置范围为0.01~1.0，间隔为0.01。本参数决定使用MemArtsCC磁盘最大容量百分比，默认值是30%，比如3TB的磁盘，MemArtsCC最大可使用的缓存空间为900GB，缓存超过900GB，MemArtsCC动态淘汰缓存。
JDBC驱动。获取JDBC连接，执行HQL，输出查询的列名和结果到控制台，关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下，您还可以设置客户端与JDBCServer连接的超时时间，可以避免客户
在进行应用开发时，要准备的本地开发环境如表1所示。同时需要准备运行调测的Linux环境，用于验证应用程序运行是否正常。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，推荐Windows7以上版本。 运行环境：Linux系统。 安装JDK和Maven 开发环境的基本配置：Java
Dependency（RDD的依赖） RDD的依赖分别为：窄依赖和宽依赖。 图1 RDD的依赖 窄依赖：指父RDD的每一个分区最多被一个子RDD的分区所用。 宽依赖：指子RDD的分区依赖于父RDD的所有分区。 窄依赖对优化很有利。逻辑上，每个RDD的算子都是一个fork/join
Manager界面，选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Presto”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。
Manager界面，选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Presto”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。
私有云的其他节点使用的客户端（即用户自行搭建的客户端）。如果集群之前安装了1.9.3.8补丁，不需要做此操作。 主Master节点的原始客户端全量更新，请参见全量更新主Master节点的原始客户端。 备Master节点的原始客户端全量更新，请参见全量更新备Master节点的原始客户端。
Spark用户权限管理 SparkSQL权限介绍 创建SparkSQL角色 配置Spark表、列和数据库的用户权限 配置SparkSQL业务用户权限 配置Spark2x Web UI ACL Spark客户端和服务端权限参数配置说明 父主题： 使用Spark2x（MRS 3.x及之后版本）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
