-
Spark Scala API接口介绍 - MapReduce服务 MRS
Spark主要使用到如下这几个类: SparkContext:是Spark的对外接口,负责向调用该类的scala应用提供Spark的各种功能,如连接Spark集群,创建RDD等。 SparkConf:Spark应用配置类,如设置应用名称,执行模式,executor内存等。 RDD(Resilient
-
Spark Python API接口介绍 - MapReduce服务 MRS
pyspark.SparkContext:是Spark的对外接口。负责向调用该类的python应用提供Spark的各种功能,如连接Spark集群、创建RDD、广播变量等。 pyspark.SparkConf:Spark应用配置类。如设置应用名称,执行模式,executor内存等。 pyspark
-
FE启动失败 - MapReduce服务 MRS
network”参数导致FE启动时匹配了错误的IP地址。 集群内多数Follower FE节点未启动,例如有3个Follower FE,只启动了一个。 处理步骤 登录FusionInsight Manager,选择“集群 > 服务 > Doris > 配置”。 搜索“priori
-
位图函数 - 数据仓库服务 GaussDB(DWS)
位图函数 GaussDB(DWS)自8.1.3集群版本开始,支持高效的位图处理函数和操作符,可用于用户画像,精准营销等场景,极大的提高了查询性能。 rb_build(array) 描述:将int数组转成roaringbitmap类型。 返回值类型:roaringbitmap 示例:
-
PGXC - 数据仓库服务 GaussDB(DWS)
PGXC_OS_RUN_INFO PGXC_OS_RUN_INFO视图显示集群中各节点上操作系统运行的状态信息,除新增node_name(节点名称)字段外,其余字段内容和PV_OS_RUN_INFO视图相同。需要有系统管理员权限或预置角色gs_role_read_all_stats权限才可以访问此视图。
-
审计管理页面概述 - MapReduce服务 MRS
审计管理页面概述 操作场景 “审计”页面记录用户对集群Manager页面操作信息。管理员可通过该页面查看用户在Manager上的历史操作记录。审计管理包含的审计内容信息,请参考审计日志。 概述 登录FusionInsight Manager,单击“审计”,界面展示如图1所示FusionInsight
-
ALM-44006 Presto Worker进程垃圾收集时间超出阈值 - MapReduce服务 MRS
检测超过5s)时产生该告警。用户可在FusionInsight Manager中通过“运维 > 阈值配置 > 服务 > Presto > 集群状态 > Worker进程GC时间”修改阈值。当 Worker进程GC时间小于或等于告警阈值时,告警清除。 告警属性 告警ID 告警级别 可自动清除
-
ALM-45587 IoTDBServer垃圾回收(GC)时间超过阈值 - MapReduce服务 MRS
告警”,弹出告警页面,选中“告警ID”为“45587”的告警,在该页面的告警详情里查看“定位信息”中的角色名并确定实例的IP地址。 选择“集群 > 待操作集群的名称 > 服务 > IoTDB > 实例”,单击告警上报的IoTDBServer,进入实例“概览”页面。单击图表区域右上角的下拉菜单,选择“定制
-
ALM-45590 ConfigNode垃圾回收(GC)时间超过阈值 - MapReduce服务 MRS
> 待操作集群的名称 > IoTDB > GC > ConfigNode垃圾回收(GC)总时间 (ConfigNode)”来修改阈值,阈值每次增长20%。 告警属性 告警ID 告警级别 是否自动清除 45590 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名
-
修改LDAP管理员和LDAP用户密码 - MapReduce服务 MRS
修改LDAP管理员和LDAP用户密码 操作场景 该任务指导用户定期修改MRS集群的LDAP管理员用户“rootdn:cn=root,dc=hadoop,dc=com”和LDAP用户“pg_search_dn:cn=pg_search_dn,ou=Users,dc=hadoop,d
-
批量删除作业 - MapReduce服务 MRS
project_id 是 String 项目编号。获取方法,请参见获取项目ID。 cluster_id 是 String 集群ID。获取方法,请参见获取集群ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 job_id_list 否 Array of strings
-
新建发布环境 - 华为云UCS
新建发布环境 本节将指导您为应用建立新的代码仓库、并配置环境信息以及关联的UCS集群舰队信息。 创建代码仓库 在Scrum项目首页,搜索创建Scrum项目中创建的项目,单击项目名称,进入项目。 在左侧导航栏选择“代码>代码托管”,单击“新建普通仓库”。 图1 新建普通仓库 配置代
-
查询分片信息 - 分布式缓存服务 DCS
查询分片信息 功能介绍 查询读写分离实例和集群实例的分片和副本信息。其中,读写分离实例仅Redis4.0和Redis5.0的主备实例支持。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instance/{instance_id}/groups
-
同步服务配置 - MapReduce服务 MRS
同步服务配置 操作场景 当用户发现部分服务的“配置状态”为“过期”或“失败”时,您可以尝试使用同步配置功能,以恢复配置状态。或者集群中所有服务的配置状态为“失败”时,同步指定服务的配置数据与后台配置数据。 对系统的影响 同步服务配置后,需要重启配置过期的服务。重启时对应的服务不可用。
-
Spark Scala API接口介绍 - MapReduce服务 MRS
Spark主要使用到如下这几个类: SparkContext:是Spark的对外接口,负责向调用该类的scala应用提供Spark的各种功能,如连接Spark集群,创建RDD等。 SparkConf:Spark应用配置类,如设置应用名称,执行模式,executor内存等。 RDD(Resilient
-
HBase应用开发样例工程介绍 - MapReduce服务 MRS
MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下HBase相关样例工程: 表1 HBase相关样例工程
-
Spark Python API接口介绍 - MapReduce服务 MRS
pyspark.SparkContext:是Spark的对外接口。负责向调用该类的python应用提供Spark的各种功能,如连接Spark集群、创建RDD、广播变量等。 pyspark.SparkConf:Spark应用配置类。如设置应用名称,执行模式,executor内存等。 pyspark
-
Oozie应用开发样例工程介绍 - MapReduce服务 MRS
MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下Oozie相关样例工程: 表1 Oozie相关样例工程
-
HBase应用开发样例工程介绍 - MapReduce服务 MRS
MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下HBase相关样例工程: 表1 HBase相关样例工程
-
Hive应用开发样例工程介绍 - MapReduce服务 MRS
MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下Hive相关样例工程: 表1 Hive相关样例工程