检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
删除MRS集群 一般在数据完成分析和存储后或集群异常无法提供服务时才执行集群删除或退订操作。当MRS集群部署失败时,集群会被自动删除或退订。 对于按需收费模式集群,如果作业执行结束后不需要集群, 可以删除MRS集群。集群删除或退订后不再产生费用。 对于包年包月模式集群无法执行删除操作,如果作业执行结束后不需要集群,
在Linux环境中调测Kafka应用 操作场景 在程序代码完成开发后,可以在Linux环境中运行IoTDB-Kafka样例程序。 前提条件 已安装IoTDB和Kafka客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
网络问题导致运行应用程序时出现异常 问题 应用程序在Windows环境下运行时,发现连接不上MRS集群,而在Linux环境下(和安装了MRS集群的机器是同一个网络)却运行正常。 回答 由于Kerberos认证需要使用UDP协议,而防火墙做了特殊处理关掉了需要使用的UDP端口,导致
ata1.txt,input_data2.txt到此目录,操作如下: 执行以下命令进入HDFS客户端目录并认证用户。 cd HDFS客户端安装目录 source bigdata_env kinit 组件业务用户 (该用户需要具有操作HDFS的权限,首次认证需要修改密码) 执行以下命令创建“/tmp/input”目录。
ALM-12104 knox资源异常 告警解释 HA每70秒周期性检测Manager的knox资源。当HA连续3次检测到knox资源异常时,产生该告警。 当HA检测到knox资源正常后,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12104 重要 是 告警参数 参数名称
网络问题导致运行应用程序时出现异常 问题 应用程序在Windows环境下运行时,发现连接不上MRS集群,而在Linux环境下(和安装了MRS集群的机器是同一个网络)却运行正常。 回答 由于Kerberos认证需要使用UDP协议,而防火墙做了特殊处理关掉了需要使用的UDP端口,导致
组 表示作业所属组。 开始 表示作业开始时间。 持续时间 表示作业运行使用的时间。 Id 表示作业的编号,由系统自动生成。 如果MRS集群安装了Spark组件,则默认会启动一个作业“Spark-JDBCServer”,用于执行任务。 父主题: 使用Hue提交Oozie作业
String 参数解释: 真实作业编号。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 properties String 参数解释: 配置参数,用于传-d参数。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 app_id String 参数解释: 实际作业编号。
properties文件,单击“Copy Path/Reference > Absolute Path”。 事务样例工程无需执行此步骤。 图2 复制配置文件绝对路径 使用clickhouse-example.properties路径替换Demo.java中getProperties()方法中proPath的路径。
执行程序时引入的jackson相关包与集群自带的包版本不一致,导致报错,建议使用集群自带的jackson相关jar包。 集群jar包路径:“客户端安装目录/Spark2x/spark/jars”或者“客户端安装目录/Spark/spark/jars”。 父主题: MRS应用开发开源jar包冲突列表说明
使用MRS客户端 安装MRS客户端 更新MRS客户端 父主题: 附录
使用Impala 连接impala-shell失败 创建Kudu表报错 Impala客户端安装Python2
执行程序时引入的jackson相关包与集群自带的包版本不一致,导致报错,建议使用集群自带的jackson相关jar包。 集群jar包路径:客户端安装目录/Spark2x/spark/jars”或者“客户端安装目录/Spark/spark/jars”。 Spark jar包冲突也可以参考常见jar包冲突处理方式。 父主题:
ALM-50220 TCP包接收错误的次数的比率超过阈值 告警解释 系统每30秒周期性检查TCP包接收错误的次数的比率,当检查到该值超出阈值(默认值为5%)时产生该告警。 当TCP包接收错误的次数的比率低于阈值时,告警清除。 告警属性 告警ID 告警级别 是否可自动清除 50220
ALM-45438 ClickHouse磁盘使用率超过80% 告警解释 系统每隔1分钟检测ClickHouseServer节点磁盘容量,当检测到ClickHouse数据目录或元数据目录所在磁盘的使用率超过80%时,系统产生此告警。 当检测到ClickHouse数据目录或元数据目录
al、yarn-cluster、yarn-client等。 appName:构建的Application名称。 SparkHome:集群中安装Spark的目录。 jars:应用程序代码和依赖包。 主体程序:处理数据 提交Application的描述请参见:https://archive
ALM-14033 ZKFC进程状态异常 告警解释 ZKFC每20秒周期性检查进程状态,当进程状态异常,且长时间未转换为正常状态时触发该告警。 进程状态正常后告警清除。 告警属性 告警ID 告警级别 是否可自动清除 14033 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。
2/monitoring.html#rest-api。 准备运行环境 安装客户端。在节点上安装客户端,如安装到“/opt/client”目录。 确认服务端Spark组件已经安装,并正常运行。 客户端运行环境已安装1.7或1.8版本的JDK。 获取并解压缩安装包“MRS_Spark_Client.tar”。执行如下命令解压。
s.jar到本地,并将该Jar上传到所有的HiveServer所在节点。 以客户端安装用户,登录1上传了Jar包并且安装了Hive和HDFS客户端的节点。 执行以下命令认证用户。 cd 客户端安装目录 source bigdata_env kinit 具有Hive管理员权限的用户
ALM-14032 JournalNode进程状态异常 告警解释 JournalNode每20秒周期性检查进程状态,当进程状态异常,且长时间未转换为正常状态时触发该告警。 进程状态正常后告警清除。 告警属性 告警ID 告警级别 是否可自动清除 14032 重要 是 告警参数 参数名称