检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Spark中设置公平调度,具体请参考http://archive.apache.org/dist/spark/docs/3.1.1/job-scheduling.html#scheduling-within-an-application。 在JDBC客户端中设置公平调度。
可能导致Kafka Topic监控不显示,请按以下步骤恢复: 登录到集群的主OMS节点,执行以下切换到omm用户: su - omm 重启cep服务: restart_app cep 重启后等待3分钟,再次查看kafka Topic监控。
2 -ynm 自定义Yarn上应用程序名称。 test -c 设置程序入口点的类名(如“main”或“getPlan()”方法)。该参数仅在jar程序未指定其清单的类时需要。 com.bigdata.mrs.test 确认作业配置信息,单击“确定”,完成作业的新增。
场景说明: 用户需要让不同的应用数据运行在不同的节点,分开管理,就可以通过标签表达式,来实现不同业务的分离,指定业务存放到对应的节点上。 通过配置NodeLabel特性使得: /HBase下的数据存储在DN1、DN2、DN3、DN4节点上。
keytab文件 获取该数据源对应用户的认证凭据。 (可选)配置“HetuEngine-Hive用户映射配置”,参数配置请参考表5。 表5 HetuEngine-Hive用户映射配置 参数 描述 HetuEngine User HetuEngine用户信息。
of consumers) 勾选 - Enable Active OffsetCache (Not recommended for large # of consumers) 勾选 - Display Broker and Topic Size (only works after applying
2019-05-13 10:53:09,975 ERROR [localhost-startStop-1] xxxConfig.LoginUtil: login failed with hbaseuser and /usr/local/linoseyc/hbase-tomcat/webapps
如果当前集群不是安装最新的版本包,需要从“$BIGDATA_HOME/FusionInsight_Porter_x.x.x/install/FusionInsight-Oozie-x.x.x/oozie-x.x.x/embedded-oozie-server/webapp/WEB-INF
_1564622673393_0006", "app_id" : "application_1564622673393_0007", "properties" : "{}" } } 状态码: 400 查询单个作业信息失败 { "error_msg" : "查询作业失败
在弹出的“Spark”窗口配置“Files”,例如“hdfs://hacluster/user/admin/examples/apps/spark2x/lib/oozie-examples.jar”。
“Application Type” 表示作业的类型。 “Status” 表示作业的状态,包含“RUNNING”、“SUCCEEDED”、“FAILED”和“KILLED”。 “User” 表示启动该作业的用户。 “Maps” 表示作业执行Map过程的进度。
包保存在Loader服务主备节点的lib路径:“${BIGDATA_HOME}/FusionInsight_Porter_8.1.0.1/install/FusionInsight-Sqoop-1.99.3/FusionInsight-Sqoop-1.99.3/server/webapps
包保存在Loader服务主备节点的lib路径:“${BIGDATA_HOME}/FusionInsight_Porter_8.1.0.1/install/FusionInsight-Sqoop-1.99.3/FusionInsight-Sqoop-1.99.3/server/webapps
jar包保存在Loader服务主备节点的lib路径:“${BIGDATA_HOME}/FusionInsight_Porter_xxx/install/FusionInsight-Sqoop-1.99.3/FusionInsight-Sqoop-1.99.3/server/webapps
HBase 表级别操作请求次数 所有RegionServer上的所有表中put、delete、get、scan、increment、append操作请求次数。
merge_type 数据的合并类型,支持APPEND、DELETE和MERGE三种类型,默认为APPEND。 APPEND表示这批数据需要全部追加到现有数据中。 DELETE表示删除与这批数据Key相同的所有行。
使用YARN内部的认证机制:Yarn Resource Manager与Application Master(简称AM)。 如果用户安装安全集群需要使用kerberos认证和security cookie认证。
例如: yarn application -list 客户端常见使用问题 当执行Yarn客户端命令时,客户端程序异常退出,报“java.lang.OutOfMemoryError”的错误。
在弹出的“Spark”窗口配置“Files”,例如“hdfs://hacluster/user/admin/examples/apps/spark2x/lib/oozie-examples.jar”。
修改密码期间可能影响跨系统业务应用的连接。 MRS 3.x及之后版本,如果修改了系统域名,且集群有运行中的HetuEngine计算实例,需要重启HetuEngine的计算实例。 MRS 3.x及之后版本,配置跨集群互信后,各个集群都需要重新下载并安装客户端。