检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
master上;tablet server会定期向master发送心跳。 kudu kudu的管理工具,可以用来检查集群的健康状况、日常运维等操作。 keytab文件 存放用户信息的密钥文件,应用程序采用此密钥文件在组件中进行API方式认证。 Schema 表信息,用来表示表中列的信息。
用SparkSQL权限管理功能需要使用Hive的MetaStore服务和页面上的赋权功能。 图1展示了SparkSQL权限管理的基本架构。主要包含了两部分:页面赋权和服务获权并判断。 页面赋权:SparkSQL仅支持页面赋权的方式。在FusionInsight Manager的“系统
单击“样本”可浏览数据。 管理Hive元数据表 单击左侧列表中的可在数据库中根据上传的文件创建一个新表,也可手动创建一个新表。 Hue界面主要用于文件、表等数据的查看与分析,禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作,建议在确认对业务没有影响后通过各组件的相应操
节点。 执行su - yarn_user命令切换到yarn_user用户。 如果当前集群已启用Kerberos认证,请执行 su - 提交作业的用户命令切换用户。 执行如下命令查看用户权限,文件所在路径请使用该文件的绝对路径。 ll <文件所在路径> 建议与总结 当用户提交的任务
是,浮动IP已被使用,请重新配置其他IP地址。 否,执行7。 检查是否一次性查询了大量的数据。 是,优化Hue查询,避免一次性查询大量数据。 否,执行8。 联系运维人员。 父主题: 访问MRS组件Web UI界面常见异常问题
-XX:MaxNewSize=2G 保存配置,并重启该ResourceManager实例。 重新访问Yarn WebUI界面,如果依旧无法访问,请联系运维人员进行处理。 父主题: 访问MRS组件Web UI界面常见异常问题
Flink/config/* root@客户端节点IP地址:/opt/client/conf 准备集群认证用户信息获取的keytab文件也放置于该目录下,主要配置文件说明如表1所示。 表1 配置文件 文件名称 作用 core-site.xml 配置Flink详细参数。 hdfs-site.xml
本实践使用华为云CDM服务将HBase集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。HBase会把数据存储在HDFS上,主要包括HFile文件和WAL文件,由配置项“hbase.rootdir”指定在HDFS上的路径,华为云MRS的默认存储位置是“/hbase”文件夹下。
jar,该jar包可在Kafka客户端目录下获取。 下面列出producer和consumer,以及Flink Stream SQL Join使用主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink.examples.WriteIntoKafka和com.huawei
该分组的权重,见schedulingPolicy,默认为1。 jmxExport 可选 如果为true,则组统计信息将被导出到JMX中进行监控,默认为false。 subGroups 可选 子分组列表。 killPolicy 可选 当查询提交给Worker后,如果总内存使用量超过
Pipeline 配置表 结构 Flink结构如图2所示。 图2 Flink结构 Flink整个系统包含三个部分: Client Flink Client主要给用户提供向Flink系统提交用户任务(流式作业)的能力。 TaskManager Flink系统的业务执行节点,执行具体的用户任务。Ta
Pipeline 配置表 架构 Flink架构如图2所示。 图2 Flink架构 Flink整个系统包含三个部分: Client Flink Client主要给用户提供向Flink系统提交用户任务(流式作业)的能力。 TaskManager Flink系统的业务执行节点,执行具体的用户任务。Ta
定的locator所对应的数据节点上面,所以如果不对locator进行规划,会造成数据节点容量不均衡。下面总结了保证数据节点容量均衡的两个主要的使用原则,如表2所示。 表2 使用原则 编号 使用原则 说明 1 所有的数据节点在locators中出现的频率一样。 如何保证频率一样:
ices_ClientConfig scp Flink/config/* root@客户端节点IP地址:/opt/client/conf 主要配置文件说明如表2所示。 表2 配置文件 文件名称 作用 core-site.xml 配置Flink详细参数。 hdfs-site.xml
jar,该jar包可在Kafka客户端目录下获取。 下面列出producer和consumer,以及Flink Stream SQL Join使用主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink.examples.WriteIntoKafka和com.huawei
HBase时,建议使用的版本为2.1.X、1.3.X,请执行搬迁前务必确认是否支持搬迁。 方案架构 HBase会把数据存储在HDFS上,主要包括HFile文件和WAL文件,由配置项“hbase.rootdir”指定在HDFS上的路径,华为云MRS集群的默认存储位置是“/hbase”文件夹下。
当升级Manager所在的节点时,可能出现Manager无法登录问题,是Manager所在的节点在进行主备倒换的正常现象,请稍后重新登录即可。若长时间无法登录,请联系运维人员处理。 停止所有角色后,可能出现如下告警,Master节点规格升级完成并启动所有角色后,告警将自动恢复。 ALM-12006 节点故障
”、“@”等)可能导致同步IAM用户失败。 设置“用户类型”,可选值包括“人机”和“机机”。 “人机”用户:用于在FusionInsight Manager的操作运维场景,以及在组件客户端操作的场景。选择该值需同时选择“密码策略”并填写“密码”和“确认密码”。 “机机”用户:用于组件应用开发的场景。选择该值则用户密码随机生成,无需填写。
据的分析与处理,可以将云服务和应用程序的可用性和性能最大化,为您提供实时、高效、安全的日志处理能力,帮助您快速高效地进行实时决策分析、设备运维管理、用户业务趋势分析等。具体对接指导请参见MRS服务如何对接云日志服务。 同时FusionInsight Manager支持在线检索并显
执行以下命令,查看协议是否全部变更为TCP: netstat -nap | grep pid | grep -v unix 是,结束操作。 否,请联系运维人员。 [omm@host03]\>netstat -nap | grep 49989 (Not all processes could be