检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Projects”,进行maven项目依赖import。 图1 reimport projects 编译运行程序。 放置好配置文件,并修改代码匹配登录用户后,文件列表如图2所示。 图2 hbase-example待编译目录列表 编译方式有以下两种: 方法一 选择“Maven > 样例工程名称
创建“/udf/hetuserver”文件夹,将UDF函数包放在“/udf /hetuserver”。 使用HDFS的页面上传。 使用HetuEngine用户登录FusionInsight Manager,选择“集群 > 服务 > HDFS”,进入HDFS服务页面。 在概览页签下的“基本信息”区域,单击“NameNode
LoginClient.getInstance().login(); // 先使用flinkserver管理员用户登录 String proxyUrl = "https://"+hostName+":28943/flink/v1/proxyUserLogin";
变慢或者失败重试。 可能原因 业务访问HBase服务时单Region请求过高。 处理步骤 检查HBase是否存在单Region请求过高。 登录FusionInsight Manager,选择“运维 > 告警 > 告警”。 在“HBase Region限流”的“附加信息”中查看上报的表名及Region信息。
不可用。 可能原因 该节点Coordinator进程堆内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查GC时间。 登录MRS集群详情页面,选择“告警管理”。 选中“告警ID”为“44005”的告警,查看“定位信息”中的角色名并确定实例的IP地址。 单击“组件管理
上层计算服务(Spark/Hive/HetuEngine等)对MemArtsCC组件的并发请求数激增,或者业务突增服务负载增加,或者磁盘负载增加乃至故障等。 处理步骤 登录FusionInsight Manager,选择“运维 > 告警 > 告警”,查找告警“ALM-47004 MemArtsCC Worke
可能原因 该节点JDBCServer进程非堆内存使用率过大,或配置的非堆内存不合理,导致使用率超过阈值。 处理步骤 检查非堆内存使用率。 登录MRS集群详情页面,选择“告警管理”。 选中“告警ID”为“43011”的告警,查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理
对系统的影响 业务性能下降或者个别业务出现超时问题。 可能原因 告警阈值配置不合理。 网络环境异常。 处理步骤 检查阈值设置是否合理。 登录MRS Manager,查看该告警阈值是否合理(默认0.5%为合理值,用户可以根据自己的实际需求调节)。 是,执行4。 否,执行2。 根据实际服务的使用情况在“系统设置
found”参数为true,具体操作如下: 登录FusionInsight Manager系统,选择“集群 > 服务 > Kafka > 配置 > 全部配置”,搜索“allow.everyone.if.no.acl.found”配置,修改参数值为true,保存配置即可。 系统域名:可登录FusionInsight
admin用户默认不具备其他组件的管理权限,如果访问组件原生界面时出现因权限不足而打不开页面或内容显示不全时,可手动创建具备对应组件管理权限的用户进行登录。 在HDFS WebUI,单击“Datanodes”页签,在“In operation”区域,打开“Filter”下拉菜单,查看是否有“down”选项。
息),保存并重启Storm服务。 MRS Manager界面操作入口:登录MRS Manager,依次选择 “服务管理 > Storm> 配置”。 FusionInsight Manager界面操作入口:登录FusionInsight Manager,选择“集群 > 服务 > Storm
sk,如果机器内存不够,就会导致启动localtask失败。 解决办法 进入Hive服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 如果集群详情页面没有“组件管理”
以Hive客户端安装用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录,配置环境变量并认证用户。 cd 客户端安装目录 source bigdata_env kinit Hive业务用户(如果集群未开启Kerberos认证,请跳过该操作) 执行以下命令登录Hive客户端。 beeline
ple样例工程,请参考使用Oozie调度Spark访问HBase以及Hive。 使用客户端上传Oozie的example文件到HDFS。 登录客户端所在节点,切换到客户端所在目录,例如“/opt/client”。 cd /opt/client 执行以下命令配置环境变量。 source
参考准备本地应用开发环境将准备好的Python虚拟环境打包,获取“venv.zip”文件。 zip -q -r venv.zip venv/ 以root用户登录主管理节点,将1和2获取的“venv.zip”、“pyflink-kafka.py”和“insertData2kafka.sql”文件上传至客户端环境。
Manager首页,选择“运维 > 告警 > 告警 > Kafka默认用户状态异常 > 定位信息”。查看告警上报的实例的主机名。 根据告警提示的主机信息,登录到该节点上。 执行id -Gn kafka,查看返回结果是否报"No such user"。 是,记录当前节点主机名,并执行4。 否,执行6。
告警消除后,查看“Ranger服务不可用”告警是否清除。 是,处理完毕。 否,执行3。 检查所有RangerAdmin实例。 以omm用户登录RangerAdmin实例所在节点,执行ps -ef|grep "proc_rangeradmin"命令查看当前节点是否存在RangerAdmin进程。
interval”设置成较大的值,或者不对参数进行设置。查看MapReduce任务是否能成功执行。 是,执行2.e。 否,执行2.b。 检查Yarn服务状态。 登录MRS集群详情页面,选择“告警管理”。 在告警列表中,查看是否有“ALM-18000 Yarn服务不可用”产生。 是,执行2.c。 否,执行3。
xml”,如果包含“<hadataprotocol value="ssl"></hadataprotocol>”,则已开启SSL。 操作步骤 以omm用户登录到需要还原的DBService节点。 执行以下命令恢复DBService的“hacom_local.xml”配置文件: cd $BIGDA
如果用户场景需要同时访问50个以上的Spark应用时,需要调大“spark.history.retainedApplications”参数的值。 请登录FusionInsight Manager管理界面,单击“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”,单击“全部