检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
定的周期内，一直尝试为同一个NM分配任务。 可以通过两种方式来避免上述问题： 使用其他的nodeSelectPolicy，如RANDOM。 参考修改集群服务配置参数，进入Yarn“全部配置”页面。在搜索框搜索以下参数，通过“yarn-site.xml”文件更改以下属性： “yarn
1048576 设置单个HDFS目录下最大可容纳的文件数目。保存修改的配置。保存完成后请重新启动配置过期的服务或实例以使配置生效。 用户尽量将数据做好存储规划，可以按时间、业务类型等分类，不要单个目录下直属的文件过多，建议使用默认值，单个目录下约100万条。 父主题： 使用HDFS
通过Hue管理HBase表 操作场景 用户需要使用图形化界面在集群中创建或查询HBase表时，可以通过Hue完成任务。 如需在Hue WebUI中操作HBase，当前MRS集群中必须部署HBase的Thrift1Server实例。 Thrift1Server实例默认不会安装，用户
1048576 设置单个HDFS目录下最大可容纳的文件数目。保存修改的配置。保存完成后请重新启动配置过期的服务或实例以使配置生效。 用户尽量将数据做好存储规划，可以按时间、业务类型等分类，不要单个目录下直属的文件过多，建议使用默认值，单个目录下约100万条。 父主题： 使用HDFS
ecurity”。 在安全模式下，获取“src\flink-examples”下的样例工程flink-examples-security。 在普通模式下，获取“src\flink-examples”下的样例工程flink-examples-normal。 在导入样例工程之前，IntelliJ
编译并运行MapReduce应用 在程序代码完成开发后，可以在Linux环境中运行应用。 MapReduce应用程序只支持在Linux环境下运行，不支持在Windows环境下运行。 操作步骤 生成MapReduce应用可执行包。 执行mvn package生成jar包，在工程目录target目
在Hue WebUI使用HBase 操作场景 用户需要使用图形化界面在集群中创建或查询HBase表时，可以通过Hue完成任务。 如需在Hue WebUI中操作HBase，当前MRS集群中必须部署HBase的Thrift1Server实例。 Thrift1Server实例默认不会安
开发流程中各阶段的说明如图1和表1所示。 图1 Opentsdb应用程序开发流程 表1 Opentsdb应用开发流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解OpenTSDB的基本概念，了解场景需求，设计表等。 OpenTSDB应用开发常用概念 准备开发环境和运行环境 Op
如果您需要修改日志级别，请执行如下操作： 参考修改集群服务配置参数进入Hue服务“全部配置”页面。 在左侧导航栏选择需修改的角色所对应的“日志”菜单。 在右侧选择所需修改的日志级别。 保存配置，在弹出窗口中单击“确定”使配置生效。 重新启动配置过期的服务或实例以使配置生效。 日志格式 Hue的日志格式如下所示：
使用omm用户执行gsql -p 20051 -U omm -W password -d hivemeta登录Hive元数据库。命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 执行select * from pg_locks;没有发现锁等待。
告警。在该告警的定位信息可查看产生该告警的主机名，该主机IP也是HiveServer节点IP。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Hive > 执行成功的HQL百分比”修改阈值。 当系统在一个检测周期检测到该指标高于阈值的110%时，恢复告警。 告警属性
可检查该Hudi表compaction是否正常。因为当长时间不做compaction时list性能会变差。 在事实表与维度表关联场景中可以按表设置TTL降低状态后端数据量 具体使用指导参考通过表级TTL进行状态后端优化。 合理设置并行度 任务运行的速度和并行度相关，一般来说提升
HiveServer日志 在如上报错信息中未发现重要信息，但从堆栈中发现metadata字样，怀疑报错是和MetaStore有关。 图3 堆栈中metadata字样 查看MetaStore日志，发现如下报错。 图4 MetaStore日志 查看如上错误的上下文，确定是本次执行SQL的报错，在报错信息里面发现如下内容：
lientConfig.tar 检查客户端网络连接。 在待安装客户端节点的“/etc/hosts”文件中设置集群所有节点主机名和IP地址映射，可执行以下步骤在hosts文件中导入集群的域名映射关系。 切换至root用户或者其他具有修改hosts文件权限的用户。 su - root
Superior 调度器抢占原理 在资源充足时，Superior Scheduler允许队列使用超出queue policy中配置（minimum, share）的资源，提高集群的资源利用率。但在资源不足时，为了保证公平，就需要抢占来保证在queue policy承诺的队列mi
手动续费 包年/包月MRS从购买到被自动删除之前，您可以随时在MRS控制台为集群续费，以延长集群的使用时间。 在MRS管理控制台续费 登录MRS管理控制台。 在现有集群列表中单击需要续费的集群所在行的“操作”列的“续费”即可进行续费。 图1 续费MRS集群 统一包年/包月资源的到期日
WebUI界面。 admin用户在Ranger中的用户类型为“User”，只能查看Access Manager和Security Zone页面。 如需查看所有管理页面，需要切换至rangeradmin用户或者其他具有Ranger管理员权限的用户： 在Ranger WebUI界面，单击右上角用户名，选择“Log
运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下： 服务端和客户端仅支持自带的OpenJDK，版本为1.8.0_272，不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。 X86客户端：Oracle
命令提交 * 2、远程方式提交，这种需要将应用程序的jar包打包好之后在Eclipse中运行main方法提交 * 3、本地提交 ，在本地执行应用程序，一般用来测试 * 命令行方式和远程方式安全和普通模式都支持
交 * 2、远程方式提交，这种需要将应用程序的jar包打包好之后在IntelliJ IDEA中运行main方法提交 * 3、本地提交 ，在本地执行应用程序，一般用来测试 * 命令行方式和远程方式安全和普通模式都支持
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
