-
Spark Structured Streaming状态操作样例程序(Scala) - MapReduce服务 MRS
kafkaSessionization。 当Streaming DataFrame/Dataset中有新的可用数据时,outputMode用于配置写入Streaming接收器的数据。 object kafkaSessionization { def main(args: Array[String]): Unit
-
新增并执行作业 - MapReduce服务 MRS
com/huaweicloud/huaweicloud-sdk-go-v3/core/auth/basic" mrs "github.com/huaweicloud/huaweicloud-sdk-go-v3/services/mrs/v2" "github.com/hua
-
创建HBase表二级索引 - MapReduce服务 MRS
-Dtablename.to.index=<table_name> -Dindexspecs.to.add='IDX1=>cf1:[q1->datatype];cf2:[q1->datatype],[q2->datatype],[q3->datatype]#IDX2=>cf1:[q5->datatype]'
-
创建HBase表二级索引 - MapReduce服务 MRS
-Dtablename.to.index=<table_name> -Dindexspecs.to.add='IDX1=>cf1:[q1->datatype];cf2:[q1->datatype],[q2->datatype],[q3->datatype]#IDX2=>cf1:[q5->datatype]'
-
创建HBase表二级索引 - MapReduce服务 MRS
-Dtablename.to.index=<table_name> -Dindexspecs.to.add='IDX1=>cf1:[q1->datatype];cf2:[q1->datatype],[q2->datatype],[q3->datatype]#IDX2=>cf1:[q5->datatype]'
-
创建HBase表二级索引 - MapReduce服务 MRS
-Dtablename.to.index=<table_name> -Dindexspecs.to.add='IDX1=>cf1:[q1->datatype];cf2:[q1->datatype],[q2->datatype],[q3->datatype]#IDX2=>cf1:[q5->datatype]'
-
ALM-12099 发生core dump - MapReduce服务 MRS
告警属性 告警ID 告警级别 是否自动清除 12099 次要 否 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 出现该告警说明某些进程发生了crash。如果是关键
-
修改DBService数据库compdbuser用户密码 - MapReduce服务 MRS
建议管理员定期修改OMS数据库管理员的密码,以提升系统运维安全性。 操作步骤 登录FusionInsight Manager界面,选择“集群 > 服务 > DBService > 实例”,查看DBService主节点IP地址信息。 以root用户登录DBService主节点。 compu
-
退服和入服务角色实例 - MapReduce服务 MRS
操作步骤 在MRS Manager,单击“服务管理”。 单击服务列表中相应服务。 单击“实例”页签。 勾选指定角色实例名称前的复选框。 选择“更多 > 退服”或“入服”执行相应的操作。 实例退服操作未完成时在其他浏览器窗口重启集群中相应服务,可能导致MRS Manager提示停止退
-
访问Hue WebUI界面 - MapReduce服务 MRS
UI。 Internet Explorer浏览器可能存在兼容性问题,建议更换兼容的浏览器访问Hue WebUI,例如Google Chrome浏览器50版本。 对系统的影响 第一次访问Manager和Hue WebUI,需要在浏览器中添加站点信任以继续打开Hue WebUI。 前提条件
-
集群(未启用Kerberos认证)安全配置建议 - MapReduce服务 MRS
peruser),集群资源管理接口和数据控制接口在服务端无认证和鉴权控制,很容易被黑客利用和攻击。 所以在普通模式下,必须通过严格限定网络访问权限来保障集群的安全。操作建议如下: 尽量将业务应用程序部署在同VPC和子网下的ECS中,避免通过外网访问MRS集群。 配置严格限制访问范
-
访问Spark Web UI界面 - MapReduce服务 MRS
“同步”进行IAM用户同步)。 MRS 3.x及后续版本,登录FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。然后选择“集群 > 待操作的集群名称 > 服务 ”。 选择“Spark”并在“Spark
-
批量导出Loader作业 - MapReduce服务 MRS
登录FusionInsight Manager系统,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1
-
更换CA证书 - MapReduce服务 MRS
击“上传文件”,系统将自动完成导入。 导入完成后提示同步集群配置并重启WEB服务使新证书生效,单击“确定”。 在弹出的确认窗口输入密码,单击“确定”自动同步集群配置并重启WEB服务。 重启完成后在浏览器地址栏中,输入并访问FusionInsight Manager的网络地址,验证能否正常打开页面。
-
更新客户端(3.x及之后版本) - MapReduce服务 MRS
更新客户端(3.x及之后版本) 集群提供了客户端,可以在连接服务端、查看任务结果或管理数据的场景中使用。用户如果在Manager修改了服务配置参数并重启了服务,已安装的客户端需要重新下载并安装,或者使用配置文件更新客户端。 更新客户端配置 方法一: 访问FusionInsight
-
【Hue WebUI】Hue WebUI页面无法访问 - MapReduce服务 MRS
选择“集群 > 待操作集群的名称 > 服务 > Hue > 实例”,查看Hue服务主备是否正常。 是,执行7。 否,执行3。 单击“配置”,检查Hue配置项“HUE_FLOAT_IP”和“HTTP_PORT”是否正确。 是,执行4。 否,修改正确的Hue服务浮动IP地址与端口。 在业务网络执行telnet
-
JDBCServer长时间运行导致磁盘空间不足 - MapReduce服务 MRS
后台查看磁盘使用情况,主要是JDBCServer服务的APP临时文件(shuffle生成的文件)太多,并且没有进行清理占用了大量内存。 原因分析 查询Core节点有大量文件的目录,发现大部分都是类似“blockmgr-033707b6-fbbb-45b4-8e3a-128c9bcfa4bf”的目录,里
-
更新客户端(3.x及之后版本) - MapReduce服务 MRS
更新客户端(3.x及之后版本) 集群提供了客户端,可以在连接服务端、查看任务结果或管理数据的场景中使用。用户如果在Manager修改了服务配置参数并重启了服务,已安装的客户端需要重新下载并安装,或者使用配置文件更新客户端。 更新客户端配置 方法一: 访问FusionInsight
-
NameNode节点存在ALM-12027主机PID使用率超过阈值告警 - MapReduce服务 MRS
NameNode节点存在ALM-12027主机PID使用率超过阈值告警 问题背景与现象 3.1.2及之前的3.x版本集群,NameNode节点存在ALM-12027主机PID使用率超过阈值告警,节点Java进程可能出现“unable to create new native thread”报错。
-
HDFS HTTP REST API接口介绍 - MapReduce服务 MRS
testFileAppend Welcome back to webhdfs! MRS集群默认只支持HTTPS服务访问,若使用HTTPS服务访问,执行3;若使用HTTP服务访问,执行4。 与HTTP服务访问相比,以HTTPS方式访问HDFS时,由于使用了SSL安全加密,需要确保Curl命令所支持