检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark执行应用时上报“Connection to ip:port has been quiet for xxx ms while there are outstanding requests”并导致应用结束 问题 Spark执行应用时上报如下类似错误并导致应用结束。 2016-
HBase Region的多点分割 功能简介 一般通过org.apache.hadoop.hbase.client.HBaseAdmin进行多点分割。 分割操作只对空Region起作用。 可在创建表时对表进行预分区，或者对某些region直接进行split操作来替代。 本例使用multiSplit
MRS 3.3.1及之后版本，告警名称从“tomcat资源异常”变成“Manager tomcat资源异常”。 告警属性 告警ID 告警级别 是否自动清除 12067 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。
请在FusionInsight Manager的“租户资源 > 动态资源计划 > 资源分布策略”中调大队列的“最大资源”。
Kerberos认证服务的端口有哪些？ 问： Kerberos认证服务的端口有哪些？ 答： Kerberos认证服务的常用端口有21730（TCP）、21731（TCP/UDP）、21732（TCP/UDP）。 父主题： 用户认证及权限类
应用示例 创建MRS集群 扩容集群 缩容集群 新增作业 终止作业 删除集群
应用场景 大数据在人们的生活中无处不在，在IoT、电子商务、金融、制造、医疗、能源和政府部门等行业均可以使用华为云MRS服务进行大数据处理。 海量数据分析场景 海量数据分析是现代大数据系统中的主要场景。
HiveServer或者MetaStore实例的健康状态为unknown 问题现象 HiveServer或者MetaStore实例的健康状态为unknown。 可能原因 HiveServer或者MetaStore实例被停止。 解决方案 重启HiveServer或者MetaStore
HDFS Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作，例如读文件、写文件等操作。 执行HDFS Shell的方法： 初始化环境变量。 source /opt/client/bigdata_env 如果当前集群已启用Kerberos
Flink 在“配置资源权限”的表格中选择“待操作集群的名称 > HDFS > 文件系统 > hdfs://hacluster/ > flink ”，勾选“读”、“写”和“执行”，单击“配置资源权限”表格中“服务”返回。
为避免资源浪费，使用DataArts调度的话可以compaction作为一个任务，clean、archive作为一个任务分别配置不同的资源执行来节省资源使用。
JAVA开发时，申请资源须在finally释放 申请的HDFS资源需要在try/finally中释放，而不能只在try语句之外释放，否则会导致异常情况下的资源泄漏。
当一个长期运行的服务（比如JDBCServer），若分配给它多个Executor，可是却没有任何任务分配给它，而此时有其他的应用却资源紧张，这就造成了很大的资源浪费和资源不合理的调度。
分区表select * 必须带上分区键 分区表查询select * 不带分区键，会Impala触发全表，极大地占用计算资源，非必要场景下请按分区查询。 父主题： Impala应用开发规范
Presto多实例 MRS支持为大规格的集群默认安装Presto多实例，即一个Core/Task节点上安装多个Worker实例，分别为Worker1，Worker2，Worker3… ，多个Worker实例共同与Coordinator交互执行计算任务，相比较单实例，能够大大提高节点资源的利用率和计算效率
其主要包括以下方面的规范： 数据表设计 资源配置 性能调优 常见故障处理 常用参数配置 术语约定 本规范采用以下的术语描述： 规则：编程时必须遵守的原则。 建议：编程时必须加以考虑的原则。 说明：对此规则或建议进行的解释。 示例：对此规则或建议给出示例。
参数入口： 进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。
查询结果集ResultSet、SessionDataSet使用完成后注意关闭 查询结果集ResultSet、SessionDataSet使用完成后需要关闭，否则会造成服务资源浪费。 父主题： IoTDB应用开发规范
MRS集群处理的数据源来源于OBS或HDFS，HDFS是Hadoop分布式文件系统（Hadoop Distributed File System），OBS（Object Storage Service）即对象存储服务，是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力
解决办法 重新启动DBService服务。 启动完成之后在主DBServer节点执行netstat -anp | grep 20051命令检查是否绑定了dbservice.floatip。 父主题： 使用DBservice
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
