检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
statistics; analyze table table_name compute statistics for columns; 配置Hive自动收集统计信息。开启配置后,执行insert overwrite/into命令插入数据时才自动统计新数据的信息。 在Hive客户端执行以下命令临时开启收集:
不能同时启动两个或两个以上的集群来共享一个namespace。 用户在启动集群或提交作业时如果使用了-z配置项,则在删除、停止及查询作业、触发savepoint时也要使用-z配置项指明namespace。 父主题: Flink常用API介绍
ZooKeeper > 配置 > 全部配置 > quorumpeer > 系统”。查看“GC_OPTS”参数中是否存在“-XX:MaxDirectMemorySize”。 是,在“GC_OPTS”中把参数“-XX:MaxDirectMemorySize”删除。执行5。 否,执行6。 保存配置,并重启ZooKeeper服务。
是,执行4。 否,执行7。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置 > DataNode > 系统”。将“GC_OPTS”参数值根据实际情况调大。 单个DataNode实例平均Block数量和DataNode内存的对应关系参考值如下:
否,执行9。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > MapReduce > 配置 > 全部配置 > JobHistoryServer > 系统”。查看“GC_OPTS”参数中是否存在“-XX:MaxDirectMemorySize”。
服务 > Guardian > 实例 > TokenServer > 实例配置”,单击“全部配置”,选择“TokenServer> 系统”。将“GC_OPTS”参数中“-Xmx”的值根据实际情况调大,并保存配置。 出现此告警时,说明当前TokenServer设置的堆内存无法满足当前
否,执行7。 连接OBS失败。 检查集群和OBS网络是否连通,初始化配置。 是,执行8。 否,执行12。 登录MRS云服务管理控制台,在服务列表选择“统一身份认证服务 IAM > 委托”,在委托列表中单击MRS集群配置的委托名称。 单击“授权记录”,单击权限列表中各个策略的名称。 在
Manager首页,选择“集群 > 服务 > Ranger > 实例 > UserSync > 实例配置”,单击“全部配置”,选择“UserSync > 系统”。将“GC_OPTS”参数中“-Xmx”的值根据实际情况调大,并保存配置。 出现此告警时,说明当前UserSync设置的堆内存无法满足当前User
Ranger > 实例 > UserSync > 实例配置”,单击“全部配置”,选择“UserSync > 系统”。将“GC_OPTS”参数中“-XX: MaxPermSize”的值根据实际情况调大,并单击“保存”,并保存配置。 出现此告警时,说明当前UserSync实例设置非堆
Manager首页,选择“集群 > 服务 > Ranger > 实例 > TagSync > 实例配置”,选择“全部配置”,选择“TagSync > 系统”。将“GC_OPTS”参数中“-Xmx”的值根据实际情况调大,并保存配置。 出现此告警时,说明当前TagSync设置的堆内存无法满足当前TagSyn
> 服务 > Ranger > 实例 > PolicySync > 实例配置”,选择“全部配置”,选择“PolicySync > 系统”。将“GC_OPTS”参数中“-Xmx”的值根据实际情况调大,并保存配置。 出现此告警时,说明当前PolicySync设置的堆内存无法满足当前P
服务> Ranger > 实例 > PolicySync > 实例配置”,单击“全部配置”,选择“PolicySync > 系统”。将“GC_OPTS”参数中“-XX: MaxPermSize”的值根据实际情况调大,并保存配置。 出现此告警时,说明当前PolicySync实例设置非堆内
否,执行6。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Flume > 配置”,选择“全部配置”,选择“Flume > 系统”。将“GC_OPTS”参数中“-Xmx”的值根据实际情况调大,并单击“保存”,单击“确定”。 出现此告警时,说明当前flume
否,执行6。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Flume > 配置”,选择“全部配置”,选择“Flume > 系统”。将“GC_OPTS”参数中“-XX: MaxPermSize”的值根据实际情况调大,并单击“保存”,单击“确定”。
main()'”运行应用工程。 在HDFS任务运行过程中禁止重启HDFS服务,否则可能会导致任务失败。 在运行Colocation工程时,HDFS的配置项fs.defaultFS不能配置为viewfs://ClusterX。 查看调测结果 查看运行结果获取应用运行情况 HdfsExample Windows样例程序运行结果如下所示。
加载flume-ng-sdk-{version}.jar依赖包。 同时修改“spark-default.conf”中两个配置项。 spark.driver.extraClassPath=$PWD/*:{加上原来配置的值} spark.executor.extraClassPath =$PWD/* 作业运行成
程序”按钮,将其拖到操作区中。 在弹出的“Java program”窗口中配置“Jar name”的值,例如“/user/admin/examples/apps/java-main/lib/oozie-examples-5.1.0.jar”。配置“Main class”的值,例如“org.apache
检查omm用户同时打开的线程最大数的配置是否合理。 登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,单击此告警所在行的,在定位信息中查看发生该告警的主机名称。单击主机名称,查看对应的IP地址。 以omm用户登录告警所在主机IP节点。 执行以下命令,获取到当前配置的omm
000,000 *3/5,000,000 = 60 内存参数设置 以下相关参数可以参考修改集群服务配置参数进入HDFS服务全部配置页面,搜索对应参数查看。 NameNode JVM参数配置规则 NameNode JVM参数“GC_OPTS”默认值为: -Xms2G -Xmx4G -XX:NewSize=128M
FlinkSQL Kafka表开发规则 Kafka作为sink表时必须指定“topic”配置项 【示例】向Kafka的“test_sink”主题插入一条消息: CREATE TABLE KafkaSink( `user_id` VARCHAR, `user_name`