检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
说明： 用户绑定Hive管理员角色后，在每个维护操作会话中，还需要执行以下操作： 以客户端安装用户，登录安装Hive客户端的节点。 执行以下命令配置环境变量。
查询封装成另一个MapReduce任务并提交 // 所以不建议在MapReduce作业中调用Hive final String driver = "org.apache.hive.jdbc.HiveDriver"; // 集群zookeeper节点信息
容错性 Spark及其RDD允许无缝地处理集群中任何Worker节点的故障。鉴于Spark Streaming建立于Spark之上，因此其Worker节点也具备了同样的容错能力。
使用mysql-fastpath-connector时，要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令，并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容，如果没有这两个命令或版本不兼容，请参考http://dev.mysql.com
使用集群安装用户登录集群客户端节点。
图1 添加ClickHouse SQL防御规则 登录安装有ClickHouse客户端的节点，执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令，配置环境变量。
以root用户登录告警所在节点，用户密码为安装前用户自定义，请咨询系统管理员。 执行ll 路径名命令，其中路径名为2获取到的异常文件，获取到该文件或者目录在主机上的当前的用户，权限，用户组等信息。
如果节点中挂载多个磁盘，则在每个磁盘配置一个Spark的localDir，这将有效分散Shuffle文件的存放，提高磁盘I/O的效率。如果只有一个磁盘，配置了多个目录，性能提升效果不明显。 Collect小数据 大数据量不适用collect操作。
因此建议根据集群中的NodeManager节点的CPU核数适当调整Direct buffer Memory，例如在CPU核数为40时，将Direct buffer Memory配置为512M。
配置不合理可能出现节点OOM导致业务受损。 0.8 4u16G：0.6 8u32G：0.7 16u64G：0.8 32u128G及以上：0.9 是 父主题： ClickHouse数据库调优
/maven2/</url> </mirror> 在“settings.xml”配置文件的“profiles”节点中添加以下镜像仓地址： <profile> <id>huaweicloudsdk</id> <repositories> <repository
Distributed表引擎 Distributed表引擎本身不存储任何数据，而是作为数据分片的透明代理，能够自动路由数据到集群中的各个节点，分布式表需要和其他本地数据表一起协同工作。分布式表会将接收到的读写任务分发到各个本地表，而实际上数据的存储在各个节点的本地表中。
当参数“yarn.nodemanager.resource.percentage-physical-cpu-limit”配置过小，导致可使用的核不足1个时，例如4核节点，将此参数设置为20%，不足1个核，那么将会使用系统全部的核。
因此建议根据集群中的NodeManager节点的CPU核数适当调整Direct buffer Memory，例如在CPU核数为40时，将Direct buffer Memory配置为512M。
若要使用其他用户在节点上读取已提交的作业相关文件，需确保该用户与提交作业的用户具有相同的用户组和具有对应的FlinkServer应用管理权限角色，如参考创建FlinkServer权限角色勾选“应用查看”。 作业状态为“运行中”的作业可以查看作业详情。
如果加载数据语句中有关键字LOCAL，表明从本地加载数据，除要求对相应表的UPDATE权限外，还要求该数据在当前连接的HiveServer节点上，加载用户对数据路径“PATH”具有读权限，且以omm用户能够访问该数据文件。
处理步骤 登录Master节点，执行如下命令，配置华为云欧拉镜像源。 wget http://mirrors.myhuaweicloud.com/repo/mirrors_source.sh && sh mirrors_source.sh 执行如下命令，编译Python3.x。
在客户端安装节点下创建文件目录：“/home/data”。将上述文件上传到此“/home/data”目录下。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息，格式为IP:port。
以root用户登录告警所在节点，用户密码为安装前用户自定义，请咨询系统管理员。 查看日志文件“$BIGDATA_LOG_HOME/nodeagent/scriptlog/checkfileconfig.log”，根据错误日志分析原因。
在“服务”中勾选待操作集群的如下节点信息。 ZooKeeper HDFS 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
