正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
properties”文件,控制的是JobManager和TaskManager的算子内的日志输出,输出的日志会打印到对应的yarn contain中,可以在Yarn WebUI查看对应日志。 MRS 3.1.0及之后版本的Flink 1.12.0版本开始默认的日志框架是log4j2,配置的方式跟之前log4j
解决措施: 建议用户使用FusionInsight代理去访问Spark JobHistory页面,即单击如图2中蓝框所示的Spark WebUI的链接。 图2 FusionInsight Manager的Spark2x页面 如果用户需要不通过FusionInsight Manager访问Spark
} ... 以上安全认证代码中的hdfsDeveloper用户及该用户的user.keytab、krb5.conf为示例,实际操作时请联系管理员获取相应权限的账号以及对应账号的keytab文件和krb5文件。 用户可登录FusionInsight Manager,选择“系统 > 权限
9998(ficommon),10003(kafka) 解决办法 MRS Manager界面操作: 登录MRS Manager。 选择“系统设置 > 用户管理”。 在操作用户对应的“操作”列,单击“修改”。 为用户加入kafkaadmin组。 图1 修改用户组 通过命令id查询用户组信息。 [root@host1
如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建ClickHouse表的权限,具体请参见ClickHouse用户及权限管理章节,为用户绑定对应角色。如果当前集群未启用Kerberos认证,则无需执行本步骤。 如果是MRS 3.1.0版本集群,则需要先执行:export
1所示。 表1 splitlog参数说明 参数 描述 默认值 hbase.splitlog.manager.timeout 分布式日志分裂管理程序接收worker回应的超时时间 600000 父主题: HBase故障排除
待操作集群名称 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“新建作业”,进入“基本信息”界面,创建作业基本信息。 图2 “基本信息”界面 在“名称”中输入作业的名称。
待操作集群名称 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“新建作业”,进入“基本信息”界面,创建作业基本信息。 图2 基本信息界面 在“名称”中输入作业的名称。
/conf”。 例如客户端软件包为“FusionInsight_Cluster_1_Services_Client.tar”,下载路径为主管理节点的“/tmp/FusionInsight-Client”: cd /tmp/FusionInsight-Client tar -xvf
哪些服务。 MRS Manager查看HBase集群运行状态时,增加集群维度的监控项。 MRS大数据组件 MRS hue支持Yarn任务的管理功能,如停止应用。 MRS解支持HBase压缩队列告警。 MRS 1.7.1.5 修复问题列表: MRS Manager MRS Manager
Spark2x JobHistory2x Spark2x SparkResource2x Spark2x MetaStore Hive WebHCat Hive HiveServer Hive MonitorServer Flume Flume Flume oozie Oozie
通过IntelliJ IDEA运行结果查看应用程序运行情况。 通过HBase日志获取应用程序运行情况。 登录HBase WebUI查看应用程序运行情况。可参见“更多信息 > 对外接口 > Web UI ”。 通过HBase shell命令查看应用程序运行情况。可参见“更多信息 > 对外接口 > Shell
e(可以登录FusionInsight Manager,选择“集群 > 服务 > HBase”,单击“HMaster WebUI”后的超链接进入HBase WebUI界面,在“Region Servers”区域的“Base Stats”页签的“ServerName”获取所有的Re
} ... 以上安全认证代码中的hdfsDeveloper用户及该用户的user.keytab、krb5.conf为示例,实际操作时请联系管理员获取相应权限的账号以及对应该账号的keytab文件和krb5文件。 用户可登录FusionInsight Manager,单击“系统 >
nService把产生的日志收集到HDFS上,并从本地文件系统中删除。日志收集到HDFS上以后由HistoryServer来进行统一的日志管理。LogAggregationService在收集日志时会把container产生的本地日志合并成一个日志文件上传到HDFS,在一定程度上
ger进行升级,这些NodeManager会获得新版本的软件。这导致了行为的不一致,并可能发生运行时错误。 同时存在多个Yarn版本 集群管理员可能会在一个集群内运行使用多个版本Yarn及Hadoop jars的任务。这在当前很难实现,因为jars已被本地化且只有一个版本。 Ma
keytab”文件就是用户的凭据文件。 使用HetuEngine管理员用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。 在概览页签下的“基本信息”区域,单击“HSConsole WebUI”后的链接,进入HSConsole界面。
--deploy-mode cluster:driver进程在Yarn的ApplicationMaster(AM)中运行,运行结果和日志在Yarn的WebUI界面输出。 进入Spark客户端目录,调用bin/spark-submit脚本运行代码。 其中,<inputPath>指HDFS文件系统中input的路径。
default, test1, rand()); 登录Manager,选择“集群 > 服务 > Flink”,在“Flink WebUI”右侧,单击链接,访问Flink的WebUI。 参考如何创建FlinkServer作业,新建Flink SQL作业,作业类型选择“流作业”。在作业开发界面进
一个表可以拥有一个或者多个分区,每个分区以文件夹的形式单独存在表文件夹的目录下。对分区内数据进行查询,可缩小查询范围,加快数据的检索速度和可对数据按照一定的条件进行管理。 分区是在创建表的时候用PARTITIONED BY子句定义的。 CREATE EXTERNAL TABLE IF NOT EXISTS