检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
<Kafka集群IP:21007> --consumer.config config/consumer.properties Shell命令需要在目录“客户端安装目录/Kafka/kafka/bin”下执行。 凡可指定“ * ”值以代表all value,且格式为“--参数 参数值”, 例如: --group
main()'”运行应用工程。 在HDFS任务运行过程中禁止重启HDFS服务,否则可能会导致任务失败。 在运行Colocation工程时,HDFS的配置项fs.defaultFS不能配置为viewfs://ClusterX。 查看调测结果 查看运行结果获取应用运行情况 HdfsExample Windows样例程序运行结果如下所示。
如果任务失败,选择“重试卸载”,只有当“状态”显示为“可用”时,才能进入下一步操作。 卸载失败或者重试后仍然失败,不能直接再点安装,请联系运维人员。 回退升级补丁时增加的配置 不涉及。 重启相关组件 补丁卸载完成后,需要手动重启相关大数据组件服务,使补丁生效。 提供两种重启方式,请根据业务自行选择重启方式:
下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection类: //创建一个配置类SparkConf,然后创建一个SparkContext SparkSession spark = SparkSession
下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection类: //创建一个配置类SparkConf,然后创建一个SparkContext SparkSession spark = SparkSession
下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection类: //创建一个配置类SparkConf,然后创建一个SparkContext SparkSession spark = SparkSession
查看MRS集群主备管理节点 部分运维操作的脚本与命令需要或只支持在主管理节点上运行。用户可以通过登录Master节点或登录Manager(仅适用于MRS 3.x及之后版本)确认集群的主备管理节点(即主备OMS节点)。 在主备模式下,由于Master1和Master2之间会进行主备
务进程运行处理缓慢、业务延迟。 业务失败:主机平均负载过高时,可能会导致业务处理缓慢、超时、失败,可能会导致作业运行失败。 可能原因 主机配置无法满足业务需求,平均负载达到上限。或业务处于高峰期,导致短期内平均负载达到上限。 处理步骤 检查主机CPU负载使用情况。 在FusionInsight
组 表示作业所属组。 开始 表示作业开始时间。 持续时间 表示作业运行使用的时间。 Id 表示作业的编号,由系统自动生成。 如果MRS集群安装了Spark组件,则默认会启动一个作业“Spark-JDBCServer”,用于执行任务。 搜索作业 在“作业浏览器”的搜索栏,输入指定的
调测程序。 在Linux环境调测程序 编译并生成Jar包,并将Jar包复制到与依赖库文件夹同级的目录“src/main/resources”下,具体步骤请参考在Linux调测程序。 使用root用户登录安装了集群客户端的节点。 cd /opt/client source bigdata_env
Guardian TokenServer实例RPC处理平均时间超过阈值可能导致业务访问OBS变慢,严重时会导致无法正常访问OBS。 可能原因 告警阈值配置不合理。 Guardian TokenServer实例设置的内存太小,频繁Full GC造成JVM卡顿。 处理步骤 检查告警阈值设置是否合理。
tablename命令查询时,不会显示被删除的Segment的内容。 下一次加载数据且达到最大查询执行时间(由“max.query.execution.time”配置,默认为“60分钟”)后,Segment才会从文件系统中真正删除。 如果用户想要强制删除物理Segment文件,那么可以使用CLEAN FILES命令。
Logging$class.logInfo(Logging.scala:59) Spark-client模式任务Driver运行在客户端节点上(通常是集群外的某个节点),启动时先在集群中启动AppMaster进程,进程启动后要向Driver进程注册信息,注册成功后,任务才能继续。从
tablename命令查询时,不会显示被删除的Segment的内容。 下一次加载数据且达到最大查询执行时间(由“max.query.execution.time”配置,默认为“60分钟”)后,Segment才会从文件系统中真正删除。 如果用户想要强制删除物理Segment文件,那么可以使用CLEAN FILES命令。
调测程序。 在Linux环境调测程序 编译并生成Jar包,并将Jar包复制到与依赖库文件夹同级的目录“src/main/resources”下,具体步骤请参考在Linux调测程序。 使用root用户登录安装了集群客户端的节点。 cd /opt/client source bigdata_env
下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection类: //创建一个配置类SparkConf,然后创建一个SparkContext SparkSession spark = SparkSession
Guardian TokenServer实例RPC队列平均时间超过阈值可能导致业务访问OBS变慢,严重时会导致无法正常访问OBS。 可能原因 告警阈值配置不合理。 或Guardian TokenServer实例设置的内存太小,频繁Full GC造成JVM卡顿。 处理步骤 检查告警阈值设置是否合理。
examples.FemaleInfoCollection类。 样例代码获取方式请参考获取MRS应用开发样例工程。 代码样例: //创建一个配置类SparkConf,然后创建一个SparkContext SparkConf conf = new SparkConf().se
ws中调测程序。 在Linux环境调测程序 编译并生成Jar包,并将Jar包复制到与依赖库文件夹同级的目录“src/main/resources”下,具体步骤请参考在Linux调测程序。 使用集群安装用户登录集群客户端节点。 cd /opt/client source bigdata_env
ws中调测程序。 在Linux环境调测程序 编译并生成Jar包,并将Jar包复制到与依赖库文件夹同级的目录“src/main/resources”下,具体步骤请参考在Linux调测程序。 使用集群安装用户登录集群客户端节点。 cd /opt/client source bigdata_env