检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检查Broker状态。 选择“组件管理 > Kafka > Broker”,进入Kafka实例页面。 查看“角色”中所有实例是否正常。 是,执行3.d。 否,执行3.c。 勾选Broker所有实例,选择“更多 > 重启实例”,查看是否重启成功。 是,执行3.d。 否,执行4。 选择“组件管理 >
的数据进行计算。同时在计算完成后,也可以将数据存储到HDFS。 HDFS和Spark的关系 通常,Spark中计算的数据可以来自多个数据源,如Local File、HDFS等。最常用的是HDFS,用户可以一次读取大规模的数据进行并行计算。在计算完成后,也可以将数据存储到HDFS。
客户端,根据指导完成客户端的安装和配置。 准备HBase应用开发和运行环境 准备工程 HBase提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。 导入并配置HBase样例工程 准备安全认证 如果您使用的是安全集群,需要进行安全认证。 配置HBase应用安全认证 根据场景开发工程
集群操作默认标签 功能介绍 对已有集群启用或关闭集群默认标签。开启后,集群内节点会打上集群默认标签。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/tags/switch 表1 路径参数 参数 是否必选
检查弹性伸缩是否关闭 登录华为云MRS管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如果可以请关闭弹性伸缩,否则请另择时间进行补丁升级。 是,弹性伸缩关闭,检查结束。 检查是否有正在运行的任务 登录FusionInsight
删除CarbonData表 操作场景 用户根据业务使用情况,可以删除不再使用的CarbonData表。删除表后,其所有的元数据以及表中已加载的数据都会被删除。 操作步骤 运行如下命令删除表。 DROP TABLE [IF EXISTS] [db_name.]table_name;
在IDEA中提交Storm拓扑 操作场景 Storm支持IntelliJ IDEA远程提交拓扑,目前样例代码中仅WordCountTopology支持远程提交,其他拓扑想实现远程提交,请参考WordCountTopology实现远程提交函数。 前提条件 已执行打包Strom样例工程应用。 调整IntelliJ
full GC的时间过长,超出了RM与ZK之间定期交互时长的阈值,就会出现主备倒换。 登录FusionInsight Manager,选择“集群 > 服务 > Yarn > 配置 > 全部配置”,在左侧选择“Yarn > 自定义”,在“yarn.yarn-site.customized
现告警节点与其他节点存在不同步的情况。 解决办法 登录FusionInsight Manager,选择“集群 > 服务 > HDFS > 实例”,勾选告警发生节点对应的Journalnode实例,选择“更多 > 停止实例”。 登录告警节点,将“/srv/BigData/journ
ResourceManager IP地址:可登录FusionInsight Manager界面,选择“集群 > 服务 > Yarn > 实例”查看任一ResourceManager的业务IP获取。 端口:ResourceManager的HTTP端口。可登录FusionInsight Manager界面,选择“集群
数据目录中数据块的数量会显示为Metric。用户可以通过以下URL对该值进行监视http://<datanode-ip>:<http-port>/jmx,如果该值超过4倍的限定值(4*1M),建议用户配置多个驱动器并重新启动HDFS。 恢复步骤: 在DataNode上配置多个数据目录。 示例:在原先只配置了/data1/datadir的位置
1-hw-ei-311001-SNAPSHOT.jar 用户自己开发的应用程序以及样例工程都可使用上述命令提交。 但是Spark开源社区提供的KafkaWordCount等样例程序,不仅需要添加--jars参数,还需要配置其他,否则会报“ClassNotFoundExceptio
检查弹性伸缩是否关闭 登录华为云MRS管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如果可以请关闭弹性伸缩,否则请另择时间进行补丁升级。 是,弹性伸缩关闭,检查结束。 检查是否有正在运行的任务 登录FusionInsight
选择“Libraries”页签,然后在如下页面,单击“+”,添加本地的依赖包。 图1 添加依赖包 单击“Apply”加载依赖包,然后单击“OK”完成配置。 由于运行环境不存在用户自定义的依赖包,您还需要在编包时添加此依赖包。以便生成的jar包已包含自定义的依赖包,确保Spark程序能正常运行。 在“Project
获取已经同步的IAM用户和用户组 功能介绍 获取已经同步的IAM用户和用户组 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/iam-sync-user 表1 路径参数 参数 是否必选 参数类型 描述
HiveServer或者MetaStore实例的健康状态为unknown 问题现象 HiveServer或者MetaStore实例的健康状态为unknown。 可能原因 HiveServer或者MetaStore实例被停止。 解决方案 重启HiveServer或者MetaStore实例。 父主题: 使用Hive
选择“Libraries”页签,然后在如下页面,单击“+”,添加本地的依赖包。 图1 添加依赖包 单击“Apply”加载依赖包,然后单击“OK”完成配置。 由于运行环境不存在用户自定义的依赖包,您还需要在编包时添加此依赖包。以便生成的jar包已包含自定义的依赖包,确保Spark程序能正常运行。 在“Project
选择“Libraries”页签,然后在如下页面,单击“+”,添加本地的依赖包。 图1 添加依赖包 单击“Apply”加载依赖包,然后单击“OK”完成配置。 由于运行环境不存在用户自定义的依赖包,您还需要在编包时添加此依赖包。以便生成的jar包已包含自定义的依赖包,确保Spark程序能正常运行。 在“Project
1-hw-ei-311001-SNAPSHOT.jar 用户自己开发的应用程序以及样例工程都可使用上述命令提交。 但是Spark开源社区提供的KafkaWordCount等样例程序,不仅需要添加--jars参数,还需要配置其他,否则会报“ClassNotFoundExceptio
1-hw-ei-311001-SNAPSHOT.jar 用户自己开发的应用程序以及样例工程都可使用上述命令提交。 但是Spark开源社区提供的KafkaWordCount等样例程序,不仅需要添加--jars参数,还需要配置其他,否则会报“ClassNotFoundExceptio