检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在首页中单击“KAFKA”区域的组件插件名称,例如“Kafka”。 选择“Policy Name”为“all - topic”的策略,单击按钮编辑策略。 在“Allow Conditions”区域,单击“Select User”下选择框选择用户。 单击“Add Permissions
周三的4:00到7:00。 在“服务池配置”修改各服务资源配置,并单击页面空白处完成编辑,然后执行4。 用户可单击“服务池配置”右侧的编辑按钮重新修改参数。如果根据业务需要,在“详细配置”单击编辑按钮,手动更新由系统生成的参数值。 保存配置。 单击“保存”,在“保存配置”窗口勾选
避免出现以上错误。 使用root用户登录集群所有节点机器或者客户端机器的操作系统,并进入“/etc/security”目录。 执行如下命令编辑“limits.conf”文件。 vi limits.conf 新增如下内容: hdfs - nofile 32768 hbase
Manager,选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Doris > CPU和内存 > BE的内存使用率 (BE)”。 单击“平滑次数”后的编辑按钮,基于实际使用情况,修改平滑次数配置项,单击“确定”。 平滑次数为在告警检查阶段连续检查多少次超过阈值,则发送告警。 单击“操作”列的
> 告警 > 阈值设置 > 待操作集群的名称 > Doris > CPU和内存 > BE的CPU使用率 (BE)”。 单击“平滑次数”后的编辑按钮,基于实际使用情况,修改平滑次数配置项,单击“确定”。 平滑次数为在告警检查阶段连续检查多少次超过阈值,则发送告警。 单击“操作”列的
Manager,选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Doris > CPU和内存 > FE的内存使用率 (FE)”。 单击“平滑次数”后的编辑按钮,基于实际使用情况,修改平滑次数配置项,单击“确定”。 平滑次数为在告警检查阶段连续检查多少次超过阈值,则发送告警。 单击“操作”列的
阈值设置 > 待操作集群的名称 > Doris > 队列 > FE中和BE交互的线程池中正在排队的任务数 (FE)”。 单击“平滑次数”后的编辑按钮,根据实际使用情况,修改平滑次数配置项,单击“确定”。 单击“操作”列的“修改”,基于实际使用情况,更改告警阈值,单击“确定”。 等待两分钟,查看告警是否自动恢复。
在首页中单击“KAFKA”区域的组件插件名称,例如“Kafka”。 选择“Policy Name”为“all - topic”的策略,单击按钮编辑策略。 在“Allow Conditions”区域,单击“Select User”下选择框选择用户。 单击“Add Permissions
普通对象桶会对集群性能产生较大影响。 登录OBS控制台。 选择“并行文件系统 > 创建并行文件系统”。 填写文件系统名称,例如“mrs-word001”。 其他参数请根据需要填写。 图4 创建OBS并行文件系统 单击“立即创建”。 在OBS控制台并行文件系统列表中,单击文件系统名称进入详情页面。
> 告警 > 阈值设置 > 待操作集群的名称 > Doris > CPU和内存 > FE的CPU使用率 (FE)”。 单击“平滑次数”后的编辑按钮,基于实际使用情况,修改平滑次数配置项,单击“确定”。 平滑次数为在告警检查阶段连续检查多少次超过阈值,则发送告警。 单击“操作”列的
阈值设置 > 待操作集群的名称 > Doris > 异常 > 是否存在某种类型的任务的失败的次数有增长趋势 (BE)”。 单击“平滑次数”后的编辑按钮,基于实际使用情况,修改平滑次数配置项,单击“确定”。 单击“操作”列的“修改”,基于实际使用情况,更改告警阈值,单击“确定”。 等待两分钟,查看告警是否清除。
操作场景 该任务指导用户通过Hue界面提交Distcp类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“DistCp”按钮,将其拖到操作区中。 当前DistCp操作是否是跨集群操作。 是,执行4。 否,执行7。 对两个集群进行跨Manager集群互信。
操作场景 该任务指导用户通过Hue界面提交Distcp类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“DistCp”按钮,将其拖到操作区中。 当前DistCp操作是否是跨集群操作。 是,执行4。 否,执行7。 对两个集群进行跨Manager集群互信。
> 告警 > 阈值设置 > 待操作集群的名称 > Doris > 连接 > FE的MySQL端口连接数 (FE)”。 单击“平滑次数”后的编辑按钮,根据实际使用情况,修改平滑次数配置项,单击“确定”。 单击“操作”列的“修改”,根据实际使用情况,更改告警阈值,单击“确定”。 连接
操作场景 该任务指导用户通过Hue界面提交Spark2x类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“Spark 程序”按钮,将其拖到操作区中。 在弹出的“Spark”窗口配置“Files”,例如“hdfs://hacluste
终止。具体错误如下: 原因分析 客户端分配内存不足,导致提交命令报错。 处理步骤 以root用户登录HDFS客户端安装节点。 执行以下命令编辑文件。 vim /opt/client/HDFS/component_env 调大参数“ export GC_OPTS_HDFS”的值,例如修改为“Xmx512m”。
getAgeOfLastAppliedOp() 返回类型:long 返回:上次成功的应用wal编辑的持续毫秒数 getTimeStampsOfLastAppliedOp() 返回类型:long 返回:上次成功的应用wal编辑的时间戳 getAppliedBatches() 返回类型:long 返回:应用的数据总批数
权限,可参考添加HetuEngine的Ranger访问权限策略。 已创建计算实例并运行正常,可参考创建HetuEngine计算实例。 访问编辑器 访问Hue WebUI,请参考访问Hue WebUI界面。 在左侧导航栏单击,然后选择“HetuEngine”,进入“HetuEngine”。
操作场景 该任务指导用户通过Hue界面提交Spark2x类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“Spark 程序”按钮,将其拖到操作区中。 在弹出的“Spark”窗口配置“Files”,例如“hdfs://hacluste
Python开发环境可以搭建在Windows环境下,而运行环境(即客户端)只能部署在Linux环境下。 操作步骤 对于Python开发环境,直接使用Editra编辑器(或其他编写Python应用程序的IDE)即可。 下载客户端样例配置程序到本地开发环境。 使用FTP工具,将运行调测环境的客户端包文件“