检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
升级补丁类 MRS集群版本如何进行升级? MRS是否支持升级集群内组件的内核版本?
s”目录下。 安装IntelliJ IDEA和JDK工具后,需要在IntelliJ IDEA配置JDK。 不同的IDEA版本的操作步骤可能存在差异,以实际版本的界面操作为准。 打开IntelliJ IDEA,选择“Configure”。 图1 Quick Start 在下拉框中选择“Project
OVERWRITE:如果使用了这个关键字,目标表(或分区)的数据将被删除,并使用文件中读取的数据来替代。 限制 如果要加载数据到指定分区,用户必须在partition子句中列出表的所有字段。 不支持复杂类型数据,比如Array,Map等。 不支持外部表(external)。 数据文件的格式应当与目标表的文件格式一样。
Impala常见问题 Impala服务是否支持磁盘热插拔 父主题: 使用Impala
配置ClickHouse连接属性 建立ClickHouse连接 创建ClickHouse库 创建ClickHouse表 插入ClickHouse数据 查询ClickHouse数据 删除ClickHouse表 父主题: ClickHouse开发指南(普通模式)
Home Directory for JDK 完成JDK选择后,单击“OK”完成配置。 图6 完成JDK配置 不同的IDEA版本的操作步骤可能存在差异,以实际版本的界面操作为准。 导入样例工程到IntelliJ IDEA开发环境。 打开IntelliJ IDEA,在“Quick Start”页面选择“Open
MRS中Kafka服务端默认可以接收的消息最大为1000012 bytes =977 KB。 解决办法 与用户确认,当前Flume发送数据确实存在超过1M的消息。因此,为了确保当前这些消息能够写入Kafka,需要调整Kafka服务端相关参数。 修改message.max.bytes,使得message
待操作集群的名称 > HDFS”修改阈值。 当HDFS DataNode非堆内存使用率小于或等于阈值时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 14019 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。
当用户提交的任务中要访问自定义的配置文件时,特别是挂载NFS盘时,除了确认文件的权限之外,还要确认文件所在父目录的权限是否正确。NFS盘挂载到MRS集群节点上,一般会新建软连接到NFS目录,这个时候需要查看NFS上的目录权限是否正确。 父主题: 使用Flink
租户。 操作步骤 登录FusionInsight Manager,单击“租户资源”。 在左侧租户列表,选择父租户节点然后单击,打开添加子租户的配置页面,参见表1为子租户配置属性。 表1 子租户参数一览 参数名 描述 集群 显示上级父租户所在集群。 父租户资源 显示上级父租户的名称。
该Topic的Partition均匀分布到各个磁盘。 观察一段时间,检查告警是否清除。 告警清除,操作结束。 告警没有清除,重复执行5~6三次。重复执行次数达到上限,执行8。 观察一段时间,检查告警是否清除。 是,操作结束。 否,执行9。 收集故障信息。 在FusionInsight
全部配置”进入HDFS全部配置页面。 搜索并修改“dfs.namenode.fgl.enable”参数,配置项详细说明如下表。 参数 参数说明 备注 dfs.namenode.fgl.enable 是否开启细粒度锁特性。开启之后可以有效提升HDFS读写性能。 默认为:false 参数修改后保存配置。
准备本地应用开发环境 准备开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下:
待操作的服务名称”,单击右上角的“更多”,选择“重启服务”或“滚动重启服务”。 升级路径不一样重启的服务不一样,详情见如下表格。 如果是跨补丁版本升级,需要重启的组件为各版本重启组件的合集。 表1 重启组件 集群当前补丁版本 目标补丁版本 重启的组件 MRS 3.3.1-LTS.1 MRS 3.3
Doris常见SQL语法说明 CREATE DATABASE CREATE TABLE INSERT INTO ALTER TABLE DROP TABLE 父主题: 使用Doris
DML LOAD DATA UPDATE CARBON TABLE DELETE RECORDS from CARBON TABLE INSERT INTO CARBON TABLE DELETE SEGMENT by ID DELETE SEGMENT by DATE SHOW
dir”可获取,例如/srv/BigData/journalnode/hacluster/current),查看序号从第一步获取到的序号开始的edits文件,看是否有不连续的情况(即前一个edits文件的最后一个序号和后一个edits文件的第一个序号不是连续的,如下图中的edits_000000000
apache.org/24/documentation.html。 Producer重要接口 表1 Producer重要参数 参数 描述 备注 bootstrap.servers Broker地址列表。 生产者通过此参数值,创建与Broker之间的连接。 sasl.kerberos.service
ResourceManager(对应上报告警实例主机名)”,单击图表区域右上角的下拉菜单,选择“定制 > 资源”,勾选“ResourceManager内存使用率”。查看堆内存使用情况。 图1 定制ResourceManager内存使用率 查看ResourceManager使用的堆内存是否已达到ResourceManager设定的最大堆内存的95%。
topic:数据写入的topic。如果kafka中该topic不存在,默认情况下会自动创建该topic。 client.sinks.kafka_sink.kafka.bootstrap.servers:Kafkabrokers列表,多个用英文逗号分隔。默认情况下,安全集群端口21007,普通集群对应端口9092。