检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
> 阈值配置 > 服务 > Yarn”修改阈值。当Yarn ResourceManager堆内存使用率小于或等于阈值时,告警恢复。 告警属性 告警ID 告警级别 可自动清除 18008 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName
Flink开启Checkpoint样例程序开发思路 场景说明 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量,并做到状态严格一致性,即:当应用出现异常并恢复后,各个算子的状态能够处于统一的状态。 数据规划 使用自定义算子每秒钟产生大约10000条数据。 产生的数据为一个四元组
配置HBase应用输出运行日志 功能介绍 将HBase客户端的日志单独输出到指定日志文件,与业务日志分开,方便分析定位HBase的问题。 如果进程中已经有log4j的配置,需要将“hbase-example\src\main\resources\log4j.properties”
运行HBase应用开发程序产生ServerRpcControllerFactory异常 检查应用开发工程的配置文件hbase-site.xml中是否包含配置项hbase.rpc.controllerfactory.class。 <name>hbase.rpc.controllerfactory
使用REST接口操作Namespace 功能简介 使用REST服务,传入对应host与port组成的url以及指定的Namespace,通过HTTPS协议,对Namespace进行创建、查询、删除,获取指定Namespace中表的操作。 HBase表以“命名空间:表名”格式进行存
使用REST接口操作HBase表 功能简介 使用REST服务,传入对应host与port组成的url以及指定的tableName和jsonHTD,通过HTTPS协议,进行查询表信息,修改表,创建表以及删除表的操作。 代码样例 方法调用 // Add a table with specified
zk.quorum:为访问ZooKeeper quorumpeer的地址,请修改为集群部署有FusionInsight ZooKeeper服务的IP地址。 访问开源 ZooKeeper 使用“testConnectApacheZk”连接开源ZooKeeper的代码,只需要将以下代码中的“xxx
为什么在启动spark-beeline的命令中指定“--hivevar”选项无效 问题 为什么在启动spark-beeline的命令中指定“--hivevar”选项无效? 在MRS集群启动spark-beeline的命令中如果使用了“--hivevar <VAR_NAME>=<v
MapReduce任务运行失败,ApplicationMaster出现物理内存溢出异常 问题 HBase bulkload任务有210000个map和10000个reduce,MapReduce任务运行失败,ApplicationMaster出现物理内存溢出异常。 For more
nf/”下。 配置Flume角色的服务端参数,并将配置文件上传到集群。 使用FusionInsight Manager界面中的Flume配置工具来配置服务端参数并生成配置文件。 登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置工具”。
程中的一个辅助服务。通过该服务来抓取shuffle数据,减少了Executor的压力,在Executor GC的时候也不会影响其他Executor的任务运行。 操作步骤 登录FusionInsight Manager系统。 选择“集群 > 待操作集群的名称 > 服务 > Spark2x
server2_zk。 单击“保存”,在弹出对话框单击“确定”。 选择“集群 > 待操作集群的名称 > 服务 > Hive”,选择“更多 > 重启服务”,输入密码开始重启服务。 使用beeline -u 的方式登录客户端,执行以下命令: beeline -u "jdbc:hive2://10
Spark从Hive读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序开发思路 Spark从Hive读取数据再写入HBase样例程序(Java) Spark从Hive读取数据再写入HBase样例程序(Scala) Spark从Hive读取数据再写入HBase样例程序(Python)
”,单击“保存”,单击“确定”,重启HDFS服务。 “HTTP_ONLY”默认是勾选的。 操作步骤 登录FusionInsight Manager页面,单击“集群 > 待操作集群的名称 > 服务”,选择“HDFS”,单击进入HDFS服务状态页面。 由于webhdfs是http访问
Structured Streaming 任务提交方式变更 问题 用户提交结构流任务时,通常需要通过--jars命令指定kafka相关jar包的路径,例如--jars /kafkadir/kafka-clients-x.x.x.jar,/kafkadir/kafka_2.11-x
zk.quorum:为访问ZooKeeper quorumpeer的地址,请修改为集群部署有FusionInsight ZooKeeper服务的IP地址。 访问开源 ZooKeeper 使用“testConnectApacheZk”连接开源ZooKeeper的代码,只需要将以下代码中的“xxx
获取ZooKeeper的IP列表和端口、集群的认证模式、HiveServer的SASL配置、HiveServer在ZooKeeper中节点名称、客户端对服务端的发现模式、以及服务端进程认证的principal。这些配置样例代码会自动从“hiveclient.properties中”读取。 //zkQuorum获取后的格式为"xxx
如果不包含,将上述内容添加到配置项末尾处。 查看调测结果 通过MapReduce服务的WebUI进行查看 使用具有任务查看权限的用户登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > Mapreduce > JobHistoryServer”进入Web界面后查看任务执行状态。
Spark Core样例程序(Java) 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection类:
Spark SQL样例程序(Scala) 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection: object