检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Hive命令行执行drop表只删除了外部表的表结构,并没有删除该表存储在HDFS上的表数据。 处理步骤 使用root用户登录安装客户端的节点,并认证用户。 cd 客户端安装目录 source bigdata_env kinit 组件业务用户(未开启Kerberos认证的集群跳过此操作) 执行以下命令删除存储在HDFS上的表。
0-LTS和MRS 3.3.0-LTS.1版本。 操作场景 MRS 3.3.0-LTS及MRS 3.3.0-LTS.1版本中JobServer实例默认部署在Core节点上,由于JobServer主要用于提交作业,默认2个实例即可,建议迁移到Master节点。 本操作指导只针对集群类型是自定义
表时,可以通过Hue完成任务。 如需在Hue WebUI中操作HBase,当前MRS集群中必须部署HBase的Thrift1Server实例。 Thrift1Server实例默认不会安装,用户可在创建自定义类型的MRS集群时,选择HBase组件并通过调整集群自定义拓扑,添加Thr
否,删除原有的Sqoop和HBase客户端文件,从FusionInsight Manager上下载完整的客户端安装在同一路径下,执行2。 以root用户登录Sqoop客户端安装节点。 下载以下HBase 1.6.0版本的jar包上传到Sqoop客户端的“lib”目录下。 hbase-client-1
集群中服务运行状态为“亚健康”表示服务部分增强功能无法正常工作。 在本示例场景中,登录Manager查看集群其它服务状态,发现HBase服务被停止。当HBase已安装且状态不正常时,Hive、Spark和Loader服务将处于“亚健康”状态。 此时并不会影响基于Hive服务的上层业务,手动重启HBase服务后,Hive服务运行状态恢复正常。
访问FlinkServer WebUI界面 操作场景 MRS集群安装Flink组件后,用户可以通过Flink的WebUI,在图形化界面进行集群连接、数据连接、流表管理和作业管理等。 该任务指导用户在MRS集群中访问Flink WebUI。第一次访问Manager和Flink We
处理步骤 检查Hive默认数据仓库权限情况。 以root用户登录客户端所在节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行以下命令进入HDFS客户端安装目录。 cd 客户端安装目录 source bigdata_env kinit 具有supergroup组权限的用户(普通集群跳过该步骤)
查询数据连接列表 功能介绍 查询数据连接列表 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/data-connectors 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。
登录FusionInsight Manager。 选择“运维 > 日志 > 下载”。 选择日志下载范围。 “服务”:单击勾选所需服务。 “主机”:填写服务所部署主机的IP,也可单击勾选所需主机。 最大并发数:根据界面要求设置日志收集时的最大节点并发数量。(MRS 3.3.0及之后版本支持该参数)
表时,可以通过Hue完成任务。 如需在Hue WebUI中操作HBase,当前MRS集群中必须部署HBase的Thrift1Server实例。 Thrift1Server实例默认不会安装,用户可在创建自定义类型的MRS集群时,选择HBase组件并通过调整集群自定义拓扑,添加Thr
使用Hue WebUI操作Hive表 Hue提供了文件浏览器功能,使用户可以通过界面图形化的方式查看Hive上文件及目录功能。 前提条件 已安装Hive以及Hue组件,且状态为运行中的Kerberos认证的集群。 操作步骤 访问Hue WebUI,请参考访问Hue WebUI界面。
登录CDLService WebUI界面 操作场景 MRS集群安装CDL组件后,用户可以通过CDL的图形化界面进行数据连接管理和可视化作业编排等。 本任务指导用户在MRS集群中访问CDL WebUI。 Internet Explorer浏览器可能存在兼容性问题,建议使用Google
数据的能力。支持多种计算引擎,提供IUD接口,在HDFS的数据集上提供了插入更新和增量拉取的功能。 如需使用Hudi,请确保MRS集群内已安装Spark/Spark2x服务。 图1 Hudi基本架构 Hudi特性 ACID事务能力,支持实时入湖和批量入湖。 多种视图能力(读优化视
SparkConf sparkConf = new SparkConf().setAppName("KafkaWriter"); // 配置Kafka Properties kafkaParams = new Properties(); kafkaParams.put("metadata
单击“Activate”,转化当前拓扑为激活状态。 去激活拓扑 单击“Deactivate”,转化当前拓扑为去激活状态。 重部署拓扑 单击“Rebalance”,将当前拓扑重新部署执行,需要输入执行重部署的等待时间,单位为秒。一般在集群中节点数发生变化时进行,以更好利用集群资源。 删除拓扑 单击“Kil
在Linux环境中调测Kafka应用 操作场景 在程序代码完成开发后,可以在Linux环境中运行IoTDB-Kafka样例程序。 前提条件 已安装IoTDB和Kafka客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
Manager页面,选择“运维 > 告警 > 告警”,查看当前告警“定位信息”中的角色名以及确认主机名所在的IP地址。 登录客户端的节点,执行如下命令: cd {客户端安装路径} source bigdata_env 安全模式(开启Kerberos): kinit 组件业务用户 clickhouse client
组 表示作业所属组。 开始 表示作业开始时间。 持续时间 表示作业运行使用的时间。 Id 表示作业的编号,由系统自动生成。 如果MRS集群安装了Spark组件,则默认会启动一个作业“Spark-JDBCServer”,用于执行任务。 父主题: 使用Hue提交Oozie作业
表示作业运行时的优先级。 “Duration” 表示作业运行使用的时间。 “Submitted” 表示作业提交到MRS集群的时间。 如果MRS集群安装了Spark组件,则默认会启动一个作业“Spark-JDBCServer”,用于执行任务。 搜索作业 在“Job Browser”的“Us
preduce-client-hs/HistoryServerRest.html 准备运行环境 在节点上安装客户端,例如安装到“/opt/client”目录。 进入客户端安装目录“/opt/client”,执行下列命令初始化环境变量。 source bigdata_env 操作步骤