检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
点给出优化，没有考虑数据本身的特点，也就是未考虑算子本身的执行代价。Spark在2.2中引入了基于代价的优化规则（CBO）。CBO会收集表和列的统计信息，结合算子的输入数据集来估计每个算子的输出条数以及字节大小，这些就是执行一个算子的代价。 CBO会调整执行计划，来最小化端到端的查询时间，中心思路2点：
Token认证机制是一种轻量级身份认证机制，无需访问Kerberos认证，可在API中使用。 代码样例 Token认证机制支持API，用户可在二次开发样例的Producer()和Consumer()中对其进行配置。 Producer()配置的样例代码如下： public static Properties initProperties()
如何处理集群内部OBS证书过期 MRS集群更换磁盘（适用于2.x及之前） MRS集群更换磁盘（适用于3.x） MRS备份任务执行失败 Core节点出现df显示的容量和du显示的容量不一致 如何解除网络ACL的关联子网 修改节点主机名后导致MRS集群状态异常 进程被终止如何定位原因 MRS配置跨集群互信失败
设置HDFS管理员权限需要重启HDFS服务才可生效。 设置用户执行HDFS检查和HDFS修复的权限 在“配置资源权限”的表格中选择“待操作集群的名称 > HDFS > 文件系统”。 定位到指定目录或文件在HDFS中保存的位置。 在指定目录或文件的“权限”列，勾选“读”和“执行”。 设置用户读取其他用户的目录或文件的权限
forName("org.apache.hive.jdbc.HiveDriver").newInstance(); 获取JDBC连接，执行HQL，输出查询的列名和结果到控制台，关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper
forName("org.apache.hive.jdbc.HiveDriver").newInstance(); 获取JDBC连接，执行HQL，输出查询的列名和结果到控制台，关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper
TimeStampsOfLastAppliedOp=Wed May 25 17:55:21 CST 2016 同时查看replication source和replication sink指标的命令。 hbase(main):018:0> status 'replication' 输出结果如下：（具体以实际节点输出结果为准）
log”，根据错误日志分析原因。在参考信息中查找该文件的检查标准，并对照检查标准对文件进行进一步的手动检查和修改。 执行vi 文件名命令进入编辑模式，按“Insert”键开始编辑。 修改完成后按“Esc”键退出编辑模式，并输入:wq保存退出。 例如： vi /etc/ssh/sshd_config
Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Kafka”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。
Executor注册shuffle service的超时时间是5秒，最多重试3次，该参数目前不可配。 建议适当调大task retry次数和Executor失败次数。 在客户端的“spark-defaults.conf”配置文件中配置如下参数。“spark.yarn.max.executor
为什么主NameNode重启后系统出现双备现象 问题 为什么主NameNode重启后系统出现双备现象？ 出现该问题时，查看ZooKeeper和ZKFC的日志，发现ZooKeeper服务端与客户端（ZKFC）通信时所使用的session不一致，ZooKeeper服务端的session
二次同步后用户的权限为IAM系统策略定义的权限和用户在Manager自行添加角色的权限的并集。对于自定义用户，二次同步后用户的权限以Manager配置的权限为准。 系统用户：如果IAM用户所在用户组全部都绑定系统策略（RABC策略和细粒度策略均属于系统策略），则该用户为系统用户。
为什么主NameNode重启后系统出现双备现象 问题 为什么主NameNode重启后系统出现双备现象？ 出现该问题时，查看ZooKeeper和ZKFC的日志，发现ZooKeeper服务端与客户端（ZKFC）通信时所使用的session不一致，ZooKeeper服务端的session
User”下选择框选择用户。 单击“Add Permissions”，勾选“Describe”和“Describe Configs”。 说明： 目前Kafka内核支持"--zookeeper"和"--bootstrap-server"两种方式查询Topic，社区将会在后续的版本中删掉
User”下选择框选择用户。 单击“Add Permissions”，勾选“Describe”和“Describe Configs”。 说明： 目前Kafka内核支持"--zookeeper"和"--bootstrap-server"两种方式查询Topic，社区将会在后续的版本中删掉
如遇到MetaException或者连接MetaStore失败，则需要查看MetaStore运行日志。 GC日志查看 HiveServer和MetaStore均有GC日志，当遇到GC问题可以查看GC日志以快速定位是否是GC导致。例如遇到HiveServer或MetaStore频繁重启就需要去看下对应的GC日志。
MRS集群租户资源最小值为0时只能同时运行一个任务吗？ 作业提交参数间用空格隔开导致参数信息不被识别如何处理？ Spark作业的Client模式和Cluster模式有什么区别？ 如何查看MRS作业的日志？ 提交作业时系统提示当前用户在Manager不存在如何处理？ LauncherJo
修改主机机架名称，将影响HDFS的副本存放策略、Yarn的任务分配及Kafka的Partition存储位置。修改后需重启HDFS、Yarn和Kafka，使配置信息生效。 不合理的机架配置会导致集群的节点之间的负载（包括CPU、内存、磁盘、网络）不平衡，降低集群的可靠性，影响集群的
登录Manager创建一个拥有“Hive Admin Privilege”权限的角色，例如prestorole，创建角色请参考管理MRS集群角色。 创建一个属于“Presto”和“Hive”组的用户，同时为该用户绑定1中创建的角色，例如presto001，创建用户请参考创建MRS集群用户。 认证当前用户。 kinit
已被占用。 Spark UI端口范围由配置文件spark-defaults.conf中的参数“spark.random.port.min”和“spark.random.port.max”决定，如果该范围端口都已被占用，则 导致无端口可用从而连接失败。 解决方法：调节重连次数spark
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
