检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-12028 主机D状态进程数超过阈值(2.x及以前版本) 告警解释 系统每30秒周期性检测主机中omm用户D状态进程数,并把实际进程数和阈值相比较。主机D状态进程数默认提供一个阈值。当检测到进程数超出阈值时产生该告警。 当主机中omm用户D状态进程数小于或等于阈值时,告警恢复。
查看MRS集群节点资源监控指标 用户在日常使用中,可以实时查看MRS集群内各节点的状态及指标信息,及时了解节点运行状态及资源消耗情况。 查看MRS集群节点资源监控指标前提条件 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
SparkPi,opt/client/Spark/spark/examples/jars/spark-examples-<version>.jar:用户调试时需要换成自己的主类和jar包路径。 -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,add
is数据库。 export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 (若集群已启用Kerberos认证(安全模式)需执行该命令) mysql -u数据库登录用户 -p数据库登录用户密码 -P数据库连接端口 -hDoris FE实例IP地址 数据库连接端口为Doris
个函数用到的所有变量的独立复制。这些变量会被复制到每一台机器。通常看来,在任务之间中,读写共享变量显然不够高效。Spark为两种常见的使用模式,提供了两种有限的共享变量:广播变量、累加器。 在对性能要求比较高的场景下,可以使用Kryo优化序列化性能 Spark提供了两种序列化实现:
行所产生的日志。 sendAlarm.log HBase告警检查脚本上报告警信息日志。 hbase-haCheck.log HMaster主备状态检测日志。 stop.log HBase服务进程启停操作日志。 审计日志 hbase-audit-<process_name>.log
$3 * 100 / $2)}',查看系统当前内存使用率。 等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行6。 收集故障信息。 在主集群的FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选“OmmServer”,单击“确定”。
Hive日志列表 日志类型 日志文件名 描述 运行日志 /fe/fe.out 标准/错误输出的日志(stdout和stderr) /fe/fe.log 主日志,包括除fe.out外的所有内容 /fe/fe.warn.log “fe.log”的子集,仅记录级别为WARN和ERROR的日志 /fe
MRS集群Task节点弹性伸缩概述 在大数据应用,尤其是实时分析处理数据的场景中,常常需要根据数据量的变化动态调整集群节点数量以增减资源。MRS的弹性伸缩规则功能支持根据集群负载对集群的Task节点进行弹性伸缩。如果数据量是按照周期进行有规律的变化,用户可以按照固定时间段来自动调
查询作业exe对象列表(废弃) 功能介绍 查询所有作业的exe对象列表。该接口不兼容Sahara。 MRS 3.x版本镜像,不支持MRS V1.1作业管理接口,需要使用V2作业管理接口。 接口约束 无 调试 您可以在API Explorer中调试该接口。 URI GET /v1.
否,执行11。 参考ALM-18000 Yarn服务不可用的处理步骤处理故障后,检查本告警是否恢复。 是,处理完毕。 否,执行11。 收集故障信息。 在主集群的FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Mapreduce”。
Lambda表达式 Lambda表达式可以用->来表示: x->x+1 (x,y)->x+y x->regexp_like(x,'a+') x->x[1]/x[2] x->IF(x>0,x,-x) x->COALESCE(x,0) x->CAST(xASJSON) x->x+TRY(1/0)
如何在Flume配置文件中使用环境变量 以root用户登录安装Flume客户端所在节点。 切换到以下目录。 cd Flume客户端安装目录/fusioninsight-flume-Flume组件版本号/conf 在该目录下的“flume-env.sh”文件中添加环境变量。 格式:
在Linux中调测Hive JDBC应用 执行mvn package生成jar包,在工程目录target目录下获取,比如:hive-examples-1.0.jar。 在运行调测环境上创建一个目录作为运行目录,如“/opt/hive_examples”(Linux环境),并在该目录下创建子目录“conf”。
手动将CSV离线数据导入至IoTDB 应用场景 IoTDB(物联网数据库)是一体化收集、存储、管理与分析物联网时序数据的软件系统,采用轻量式架构,具有高性能和丰富的功能。 IoTDB支持以下方式批量导入或导出数据: 批量导入数据:通过import-csv.sh离线方式进行数据的导入。
ALTER VIEW 语法 ALTER VIEW view_name AS select_statement; ALTER VIEW view_name SET TBLPROPERTIES table_properties; 描述 “ALTER VIEW view_name AS
CDL日志介绍 日志描述 日志路径:CDL默认的日志存储路径为“/var/log/Bigdata/cdl/角色名简写”。 CDLService:“/var/log/Bigdata/cdl/service”(运行日志),“/var/log/Bigdata/audit/cdl/service”(审计日志)。
principal名(即开发用户名)。 security.kerberos.login.principal:flinkuser 对于HA模式,如果配置了ZooKeeper,还需要设置ZK kerberos认证相关的配置。配置如下: zookeeper.sasl.disable:
ive”和登录客户端的用户名,未开启Kerberos认证的集群配置用户名“omm”和登录客户端的用户名。 如需使用Hive在beeline模式下创建表时,配置内置用户“hive”。 单击“确定”。 勾选“我同意授权MRS用户(组)与IAM委托之间的信任关系。”,并单击“确定”,完成MRS用户与OBS权限的映射关系。
解决Yarn精细化监控部分指标没有数据的问题。 解决3AZ环境DataNode 5个节点,健康度阈值是80%,构造每个AZ下一个DataNode磁盘属主root:root,只有一个DataNode的AZ报了AZ不健康的问题。 解决AZ下缩容DataNode,副本未按照预期AZ策略补齐,导致退服失败的问题。