检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ava代码存在各种约束,比如方法长度,参数个数等,以及行式数据对内存带宽的利用率不足,因此存在性能提升空间。使用成熟的向量化的c++加速库后,数据采用向量化格式存在内存中,可以提高带宽利用率,并通过批量的列数处理获得加速效果。 通过开启Spark Native引擎特性,获得SparkSQL的性能加速。
reduce(function: ReduceFunction[T]): DataStream[T] 应用一个reduce函数到窗口上,返回reduce后的值。 reduceFunction指的是执行的reduce函数。 WindowFunction的function指的是在经过reduce操作之后再触发一次窗口操作。
的接口请参见API版本选择建议。 MRS版本演进过程中逐步废弃部分接口,具体请参见表3。 表1 V2接口 接口 功能 API URI 集群管理接口 创建集群 POST /v2/{project_id}/clusters 修改集群名称 PUT /v2/{project_id}/cl
所示。 表1 HBase接口提供的功能 功能 说明 CRUD数据读写功能 增查改删。 高级特性 过滤器、二级索引,协处理器。 管理功能 表管理、集群管理。 父主题: HBase应用开发概述
HBase通过接口调用,可提供的功能如表1所示。 表1 HBase接口提供的功能 功能 说明 CRUD数据读写功能 增查改删 高级特性 过滤器、二级索引,协处理器 管理功能 表管理、集群管理 父主题: HBase应用开发概述
FlinkServer支持上传、管理UDF。 Guardian 新增组件,支持存算分离场景下集群外客户端委托功能。 Hadoop 普通集群访问HDFS Web UI需要进行CAS认证。 Hudi 升级到0.9.0版本。 Impala 支持在MRS Manager页面上进行Impala SQL作业管理。 Spark2x
Oozie应用开发应用开发简介 Oozie简介 Oozie是一个用来管理Hadoop任务的工作流引擎,Oozie流程基于有向无环图(Directed Acyclical Graph)来定义和描述,支持多种工作流模式及流程定时触发机制。易扩展、易维护、可靠性高,与Hadoop生态系统各组件紧密结合。
ClickHouse设计规范概述 内容介绍 本文主要描述ClickHouse数据管理全生命周期过程中,数据库规划、建模设计、开发、调优、运维的规则建议和指导。 通过这些约束和建议,指导开发者在ClickHouse数据库开发使用过程中能够最大化发挥数据库的优势,保障ClickHou
产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 ommdba用户或密码过期,OMS数据库无法管理,数据不能访问。 可能原因 系统ommdba用户或密码即将过期。 处理步骤 检查系统中ommdba用户和密码是否正常。 登录故障节点。 执
可能原因 HDFS服务不可用。 LdapServer服务不可用。 处理步骤 检查HDFS的服务状态。 登录MRS集群详情页面,选择“告警管理”。 查看是否有“ALM-14000 HDFS服务不可用”告警产生。 是,参考ALM-14000 HDFS服务不可用(2.x及以前版本)的处理步骤处理该告警。
致使用量超过阈值。 处理步骤 检查堆内存使用率。 登录MRS集群详情页面,选择“告警管理”。 选中“告警ID”为“18009”的告警,查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > MapReduce > 实例 > JobHistoryServer(对应上报告警实例IP地址)
导致进程GC频繁。 处理步骤 检查GC时间。 登录MRS集群详情页面,选择“告警管理”。 选中“告警ID”为“44006”的告警,查看“定位信息”中的角色名并确定实例的IP地址。 单击“组件管理 > Presto > 实例 > Worker(对应上报告警实例IP地址) > 定制
Job Manager 管理Loader作业,包括创建作业、查询作业、更新作业、删除作业、激活作业、去激活作业、启动作业、停止作业。 Metadata Repository 元数据仓库,存储和管理Loader的连接器、转换步骤、作业等数据。 HA Manager 管理Loader Server进程的主备状态,Loader
执行MRS集群节点健康检查 如果某个主机节点的运行状态不是良好,用户可以执行主机健康检查,快速确认某些基本功能是否存在异常。在日常运维中,管理员也可以执行主机健康检查,以保证主机上各角色实例的配置参数以及监控没有异常、能够长时间稳定运行。 执行集群节点健康检查(3.x及之后版本)
type: SHUFFLE #分组方式为shuffle,无需传入参数 部署运行及结果查看 使用如下命令打包:“mvn package”。执行成功后,将会在target目录生成storm-examples-1.0.jar。 将打好的jar包,以及开发好的yaml文件及相关的propert
reduce(function: ReduceFunction[T]): DataStream[T] 应用一个reduce函数到窗口上,返回reduce后的值。 reduceFunction指的是执行的reduce函数。 WindowFunction的function指的是在经过reduce操作之后再触发一次窗口操作。
reduce(function: ReduceFunction[T]): DataStream[T] 应用一个reduce函数到窗口上,返回reduce后的值。 reduceFunction指的是执行的reduce函数。 WindowFunction的function指的是在经过reduce操作之后再触发一次窗口操作。
reduce(function: ReduceFunction[T]): DataStream[T] 应用一个reduce函数到窗口上,返回reduce后的值。 reduceFunction指的是执行的reduce函数。 WindowFunction的function指的是在经过reduce操作之后再触发一次窗口操作。
如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 通过管理控制台查看集群事件
导致文件所属服务功能不正常。 可能原因 用户手动修改了文件配置或者系统异常下电等原因。 处理步骤 检查异常文件配置。 登录MRS集群详情页面,选择“告警管理”。 查看该告警的详细信息,查看定位信息中对应的“HostName”字段值,获取该告警产生的主机名,查看定位信息中对应的“PathName”字段值,获取异常的文件路径或者名称。