检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录FusionInsight Manager界面,选择“运维 > 告警 > 告警”,查看当前告警详细信息,记录定位信息中上报告警的DataNode实例主机名。 选择“集群 > 服务 > HDFS > 实例”,根据1中获取的主机名称,单击对应DataNode角色。 选择“图表 > 性能”,查看监控图表“每秒
CarbonData表操作并发语法说明 DDL和DML中的操作,执行前,需要获取对应的锁,各操作需要获取锁的情况见表1 操作获取锁一览表,√表示需要获取该锁,一个操作仅在获取到所有需要获取的锁后,才能继续执行。 任意两个操作是否可以并发执行,可以通过如下方法确定:表1两行代表两个
查看该告警“定位信息”中对应的“主机名”字段值,获取该告警产生的主机名,查看定位信息中对应的“路径名”字段值,获取异常的文件路径或者名称。 以root用户登录告警所在节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行ll 路径名命令,其中路径名为2获取到的异常文件,获取到该文件
调整Spark日志级别 配置场景 在某些场景下,当任务已经启动后,用户想要修改日志级别以定位问题或者查看想要的信息。 用户可以在进程启动前,在进程的JVM参数中增加参数“-Dlog4j.configuration.watch=true”来打开动态设置日志级别的功能。进程启动后,就
调整Spark日志级别 配置场景 在某些场景下,当任务已经启动后,用户想要修改日志级别以定位问题或者查看想要的信息。 用户可以在进程启动前,在进程的JVM参数中增加参数“-Dlog4j.configuration.watch=true”来打开动态设置日志级别的功能。进程启动后,就
Hudi自定义配置项样例程序 HoodieDeltaStreamer 自定义排序器 父主题: 开发Spark应用
e)及Reduce。在Copy过程中,Reducer尝试从NodeManagers获取Maps的输出并存储在内存或硬盘中。紧接着进行Shuffle过程(包含Sort及Reduce),这个过程将获取到的Maps输出进行存储并有序地合并然后提供给Reducer。当Job有大量的Map
metadata接口失败 本章节仅适用于MRS 3.1.5及之后版本。 告警解释 当Guardian调用IAM接口获取临时aksk时,需要先从ECS metadata接口获取相关元数据信息,如果调用该接口失败,则产生该告警。 告警属性 告警ID 告警级别 是否自动清除 45742 重要
批量迁移Loader作业 批量删除Loader作业 批量导入Loader作业 批量导出Loader作业 查看Loader作业历史信息 清理Loader作业残留历史数据 管理Loader数据连接 父主题: 使用Loader
读Alluxio文件 功能简介 获取Alluxio上某个指定文件的内容。 代码样例 用于获取Alluxio上某个指定文件的内容。 以下为部分代码片段: /** * read file * @throws java.io.IOException */ private void read()
MRS服务如何对接云日志服务? 前提条件 已获取账号AK和SK,详情请参考:如何获取访问密钥AK/SK。 操作步骤 在MRS主机上安装ICAgent,详情请参考:安装ICAgent(华为云主机)。 首次安装先安装一台服务器,然后按照继承批量安装的方式安装其他所有主机。 创建主机组
见如何调用API。 约束限制 集群已创建成功并处于“运行中”。 已获取待创建集群区域的项目ID,请参考获取项目ID获取。 已获取集群ID,即创建集群成功后返回结果中的“cluster_id” 或参考获取集群ID获取。 该示例以扩容Core节点为例。 操作步骤 接口相关信息 URI格式:PUT
见如何调用API。 约束限制 集群已创建成功并处于“运行中”。 已获取待创建集群区域的项目ID,请参考获取项目ID获取。 已获取集群ID,即创建集群成功后返回结果中的“cluster_id” 或参考获取集群ID获取。 该示例以缩容Core节点为例。 操作步骤 接口相关信息 URI格式:PUT
ALM-45743 请求IAM接口失败 本章节仅适用于MRS 3.1.5及之后版本。 告警解释 当Guardian调用IAM接口获取临时aksk时,如果调用该接口失败,则产生该告警。 告警属性 告警ID 告警级别 是否自动清除 45743 重要 是 告警参数 参数名称 参数含义 来源
awk '{sum+=$1} END {print "", sum}'命令,获取当前omm用户并发的所有进程数,在omm用户下,执行ulimit -u,获取omm用户可以同时打开的进程最大数。 结果相除,获取到对应的omm用户进程使用率。进程使用率默认提供一个阈值范围。当检测到进程使用率超出阈值范围时产生该告警。
Base,将要获取的数据的rowKey构造成rdd,然后通过HBaseContext的bulkGet接口获取对HBase表上这些rowKey对应的数据。 数据规划 基于BulkPut接口使用章节中创建的HBase表及其中的数据进行操作。 开发思路 创建包含了要获取的rowkey信息的RDD。
日志里进一步定位原因。 查看指定时间段的任务请求个数,可通过审计日志查看在指定时间段有多少个请求。 HiveServer运行日志 HiveServer负责接收客户端请求(SQL语句),然后编译、执行(提交到YARN或运行Local MR)、与MetaStore交互获取元数据信息等
提供了样例代码使HBase客户端访问FusionInsight ZooKeeper和客户应用访问第三方ZooKeeper。 前提条件 已获取样例工程运行所需的配置文件及认证文件,详细操作请参见准备连接HBase集群配置文件。 配置样例代码 以下为“src/main/resour
HBase,将要获取的数据的rowKey构造成rdd,然后通过HBaseContext的bulkGet接口获取对HBase表上这些rowKey对应的数据。 数据规划 基于BulkPut接口使用章节创建的HBase表及其中的数据进行操作。 开发思路 创建包含了要获取的rowkey信息的RDD。
HBase,将要获取的数据的rowKey构造成rdd,然后通过HBaseContext的bulkGet接口获取对HBase表上这些rowKey对应的数据。 数据规划 基于BulkPut接口使用章节创建的HBase表及其中的数据进行操作。 开发思路 创建包含了要获取的rowkey信息的RDD。