检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
载目录名”。 确认“主机名”节点的“设备分区名”对应的磁盘是否在对应服务器的插槽上。 是,执行4。 否,执行5。 联系硬件工程师将故障磁盘在线拔出。 以root用户登录发生告警的“主机名”节点,检查“/etc/fstab”文件中是否包含“挂载目录名”的行,用户密码为安装前用户自定义,请咨询系统管理员。
eper”。 业务数据目录映射规则规则如下: 对于HDFS、KafKa、ClickHouse、IoTDB组件,根据当前节点磁盘挂载数量自动识别符合“/srv/BigData/dataN”的挂载点作为数据目录。 例如当前“/srv/BigData/data1”~“/srv/BigD
区移出存储池;如果硬盘恢复正常(通常是因为用户更换了新硬盘),也会将新硬盘重新加入业务运作。这样极大简化了维护人员的工作,更换故障硬盘可以在线完成;同时用户可以设置热备盘,从而极大缩减了故障硬盘的修复时间,有利于提高系统的可靠性。 节点磁盘LVM配置 MRS支持将多个磁盘配置成LVM(Logic
Project。若"pom.xml"图标如所示,可直接进行下一步骤操作。 图9 Add as Maven Project 此时IDEA可将该项目识别为Maven项目。 图10 样例项目作为Maven项目在IDEA中显示 设置项目使用的Maven版本。 在IntelliJ IDEA的菜单栏中,选择“File
命周期规则。 表2 生命周期规则创建参数 参数名称 描述 示例 状态 是否启用本条生命周期规则。 启用 规则名称 规则名称,可自定义,用于识别不同的生命周期配置。 rule-test 前缀 满足指定前缀的对象将受生命周期规则管理,输入的对象前缀不能包括\:*?"<>|特殊字符,不
MRS应用开发认证失败常见问题 现象描述 MRS样例工程调试运行过程发现认证失败。 处理流程 出现认证失败的原因很多,在不同场景中建议参考以下步骤来排查: 确认本应用所运行设备和集群网络上是否通畅,Kerberos认证所需的各类端口(TCP/UDP)是否可正常访问。 确认各个配置
使用Hue WebUI操作Hive表 Hue汇聚了与大多数Apache Hadoop组件交互的接口,致力让用户通过界面图形化的方式轻松使用Hadoop组件。目前Hue支持HDFS、Hive、HBase、Yarn、MapReduce、Oozie和SparkSQL等组件的可视化操作。
使用Hue WebUI操作Hive表 Hue提供了文件浏览器功能,使用户可以通过界面图形化的方式查看Hive上文件及目录功能。 前提条件 已安装Hive以及Hue组件,且状态为运行中的Kerberos认证的集群。 操作步骤 访问Hue WebUI,请参考访问Hue WebUI界面。
开启物化视图能力,提高查询的响应效率 配置HetuEngine物化视图改写能力 配置物化视图推荐能力 自动学习并推荐对业务最有价值的物化视图SQL,使在线查询效率获得倍数提升,同时有效降低系统负载压力 配置HetuEngine物化视图推荐能力 配置物化视图缓存能力 可将多次执行并改写后的SQ
Doris命名规范 该章节主要介绍创建Doris数据库或表时,数据库名或表名需遵循的规则和建议。 Doris命名规则 数据库字符集需指定UTF-8,并且只支持UTF-8。 Doris命名建议 数据库名称统一使用小写方式,中间使用下划线(_)分隔,长度为62字节以内。 Doris表
Project。若"pom.xml"图标如所示,可直接进行下一步骤操作。 图9 Add as Maven Project 此时IDEA可将该项目识别为Maven项目。 图10 样例项目作为maven项目在IDEA中显示 设置项目使用的Maven版本。 在IntelliJ IDEA的菜单栏中,选择“File
HTML输入 概述 “HTML输入”算子,导入有规则的HTML文件,并将HTML文件中的元素转换成输入字段。 输入与输出 输入:HTML文件 输出:多个字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 父标签 所有字段的上层HTML标签,用于限定搜索范围。 string
加载数据到Hive表中 功能介绍 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 在启用了安全服务的集群中执行如下操作,需要在数据库中具有UPDATE
在Hue WebUI使用HiveQL编辑器 操作场景 用户需要使用图形化界面在集群中执行HiveQL语句时,可以通过Hue完成任务。 访问编辑器 访问Hue WebUI,请参考访问Hue WebUI界面。 在左侧导航栏单击,然后选择“Hive”,进入“Hive”。 “Hive”支持以下功能:
HTML输入 概述 “HTML输入”算子,导入有规则的HTML文件,并将HTML文件中的元素转换成输入字段。 输入与输出 输入:HTML文件 输出:多个字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 父标签 所有字段的上层HTML标签,用于限定搜索范围 string
息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景。 生产者(Pr
算子输入、输出参数设置 输入类型 输出类型 MySQL输入 ClickHouse输出 在输入中把“表输入”拖拽到网格中,双击“表输入”,选择“自动识别”如图3所示。 图3 算子输入 在输出中把“ClickHouse输出”拖拽到网格中,双击“表输出”,选择“关联”或者手动编辑表格,与输入的表格对应,如图4所示。
算子输入、输出参数设置 输入类型 输出类型 MySQL输入 ClickHouse输出 在输入中把“表输入”拖拽到网格中,双击“表输入”,选择“自动识别”如图3所示。 图3 算子输入 在输出中把“ClickHouse输出”拖拽到网格中,双击“表输出”,选择“关联”或者手动编辑表格,与输入的表格对应,如图4所示。
"hbase.master.kerberos.principal" => "备集群HMaster principal"} 备集群ID表示主集群识别备集群使用的id,请重新指定id值。可以任意指定,建议使用数字。 备集群ZooKeeper地址信息包含ZooKeeper业务IP地址、侦听
使用Flink 1.15.0及以前版本对接Kafka,在扩容Kafka Topic分区后,需要重启相关的Flink作业,否则会导致新分区识别不及时漏消费数据。或在开发作业时,配置Flink动态发现Kafka Topic新分区功能。 可在作业SQL Kafka source表的WITH属性中,添加“scan