检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
5及之后版本。 前提条件 已获取“admin”账号密码。“admin”密码在创建MRS集群时由用户指定。 操作步骤 进入Impala服务页面:登录FusionInsight Manager,然后选择“集群 > 待操作的集群名称 > 服务 > Impala”。 单击“查询管理”,列表默认显示所有正在进行的查询。
再扩展学习。 本代码样例讲解顺序为: 文件系统初始化 写文件 读文件 开发思路 调用FileSystem中的create接口获取文件系统客户端 调用FileSystem中的crteateFile接口创建文件 调用FileOutStream中的wirte接口写文件 调用FileSy
查看告警信息。 登录FusionInsight Manager首页,选择“运维 > 告警 > 告警 > ALM-24011 Flume证书文件即将过期 > 定位信息”。查看告警上报的实例的IP地址。 检查系统中合法证书文件的有效期,重新生成证书文件。 以root用户登录告警所在节点主机,并执行su
sh geneJKS.sh -m 服务端的自定义MonitorServer证书密码 -n 客户端的自定义MonitorServer证书密码 是,执行9。 否,执行8。 服务端、客户端的自定义MonitorServer证书密码需满足以下复杂度要求: 至少包含大写字母、小写字母、数字、特殊符号4种类型字符。
JournalNode实例运行状态异常。 JournalNode节点的网络不可达。 处理步骤 查看JournalNode实例是否启动。 登录MRS集群详情页面,单击“告警管理”,在告警列表中单击此告警。 在“告警详情”区域,查看“定位信息”,获取告警产生的JournalNode节点IP地址。
在集群节点使用客户端,执行hdfs dfsadmin -safemode get命令:“Safe mode is ON.”。 “Safe mode is ON.”表示安全模式已打开,后面的提示信息为告警信息,根据实际情况展现。 是,执行4.b。 否,执行5。 在集群节点使用客户端,执行hdfs
该场景下MRS的优势如下所示。 低成本:利用OBS实现低成本存储。 海量数据分析:利用Hive实现TB/PB级的数据分析。 可视化的导入导出工具:通过可视化导入导出工具Loader,将数据导出到DWS,完成BI分析。 海量数据存储场景 用户拥有大量结构化数据后,通常需要提供基于索引的准实时查询
sourceTable2 where column1 = 'xxx'); 示例5: delete from h0; 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Hudi DML语法说明
avro格式表schema被缓存,执行refresh table命令,清除缓存后再设置参数进行查询,会将avro表格式强转指定数据类型,客户端临时修改schema。 父主题: Spark故障排除
表时,可以通过Hue完成任务。 如需在Hue WebUI中操作HBase,当前MRS集群中必须部署HBase的Thrift1Server实例。 Thrift1Server实例默认不会安装,用户可在创建自定义类型的MRS集群时,选择HBase组件并通过调整集群自定义拓扑,添加Thr
否,执行4。 检查备集群HBase服务状态。 登录主集群FusionInsight Manager界面,选择“运维 > 告警 > 告警”。 在告警列表中单击该告警,从完整的告警信息中的“定位信息”处获得“主机名”。 以omm用户进入主集群HBase客户端所在节点。 如果集群采用了安全版本,
灵活的数据存储格式,支持JSON,CSV,TEXTFILE,RCFILE,ORCFILE,SEQUENCEFILE等存储格式,并支持自定义扩展。 多种客户端连接方式,支持JDBC接口。 Hive的主要应用于海量数据的离线分析(如日志分析,集群状态分析)、大规模的数据挖掘(用户行为分析,兴趣分区,区域展示)等场景下。
表时,可以通过Hue完成任务。 如需在Hue WebUI中操作HBase,当前MRS集群中必须部署HBase的Thrift1Server实例。 Thrift1Server实例默认不会安装,用户可在创建自定义类型的MRS集群时,选择HBase组件并通过调整集群自定义拓扑,添加Thr
使用Hue WebUI操作Hive表 Hue提供了文件浏览器功能,使用户可以通过界面图形化的方式查看Hive上文件及目录功能。 前提条件 已安装Hive以及Hue组件,且状态为运行中的Kerberos认证的集群。 操作步骤 访问Hue WebUI,请参考访问Hue WebUI界面。
数据的能力。支持多种计算引擎,提供IUD接口,在HDFS的数据集上提供了插入更新和增量拉取的功能。 如需使用Hudi,请确保MRS集群内已安装Spark/Spark2x服务。 图1 Hudi基本架构 Hudi特性 ACID事务能力,支持实时入湖和批量入湖。 多种视图能力(读优化视
问题现象 执行Spark任务,任务无法运行。 原因分析 执行Spark任务时,引入的jar包不正确,导致Spark任务运行失败。 处理步骤 登录任意Master节点。 执行cd /opt/Bigdata/MRS_*/install/FusionInsight-Spark-*/spark/examples/jars命令,
加参数hoodie.payload.ordering.field为preCombineField的值。 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Hudi DML语法说明
可能原因 Broker的分区分布不均衡,或Kafka集群超规格使用。 无用的Topic较多。 处理步骤 检查Broker上分区分布是否均衡。 登录FusionInsight Manager,选择“运维 > 告警 > 告警”,在当前告警详情查看“定位信息”中产生该告警的服务实例和主机。
lback savepoint -> delete savepoint -> rollback下一个savepoint。 系统响应 可在客户端中查看查询结果。 父主题: Hudi CALL COMMAND语法说明
op => 'run', timestamp => 'xxx'); 注意事项 compaction操作仅支持MOR表。 系统响应 可在客户端中查看查询结果。 父主题: Hudi CALL COMMAND语法说明