检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在“连接”区域,单击“添加”新建一个的连接,在“连接器”中选择“sftp-connector”,单击“添加”,输入配置连接参数,单击“测试”验证连接是否可用,待提示“测试成功”后单击“确定”。Loader支持配置多个SFTP服务器操作数据,单击“添加”可增加多行SFTP服务器的配置信息。 表1
内容说明请参考表1,条目较多时,单击搜索框可根据关键字字段进行筛选。 表1 Audit信息 页签 内容描述 Access 当前MRS不支持在线查看组件资源的审计日志信息,可登录组件安装节点,进入“/var/log/Bigdata/audit”目录下查看各组件的审计日志。 Admin
HetuEngine支持配置IoTDB数据源。 Hudi 升级到0.11.0版本。 IoTDB 新增组件,一体化收集、存储、管理与分析物联网时序数据的服务。 集群管理 支持补丁在线推送及更新。 组件版本信息 表1 MRS组件版本信息 组件 版本 CarbonData 2.2.0 ClickHouse 22.3.2.2
进行配置。 在这种情况下,磁盘的IO是主要瓶颈。所以可以选择一种压缩率非常高的压缩算法。 编解码器可配置为Snappy,Benchmark测试结果显示Snappy是非常平衡以及高效的编码器。 mapreduce.map.output.compress.codec 参数解释:指定用于压缩的编解码器。
Client 在这种情况下,磁盘的IO是主要瓶颈。所以可以选择一种压缩率非常高的压缩算法。 编解码器可配置为Snappy,Benchmark测试结果显示Snappy是非常平衡以及高效的编码器。 mapreduce.map.output.compress.codec 说明: 需要在客
ser_libs/cdluser.keytab Principal cdluser Description xxx 参数配置完成后,单击“测试连接”,检查数据连通是否正常。 连接校验通过后,单击“确定”完成数据连接创建。 (可选)选择“ENV管理 > 新建ENV”,进入“新建EN
在“连接”区域,单击“添加”新建一个的连接,在“连接器”中选择“sftp-connector”,单击“添加”,输入配置连接参数,单击“测试”验证连接是否可用,待提示“测试成功”后单击“确定”。Loader支持配置多个SFTP服务器操作数据,单击“添加”可增加多行SFTP服务器的配置信息。 表1
le-partition-connector、mysql-fastpath-connector),输入配置连接参数,单击“测试”验证连接是否可用,待提示“测试成功”后单击“确定”。 与关系数据库连接时,可以选择通用数据库连接器(generic-jdbc-connector)或者专
--producer.config ../../../Kafka/kafka/config/producer.properties 向input中写入测试数据,可以观察到output中有对应的数据产生,则说明Storm-Kafka拓扑运行成功。 父主题: Storm应用开发常见问题
/user_libs/cdluser.keytab Principal cdluser Description - 参数配置完成后,单击“测试连接”,检查数据连通是否正常。 连接校验通过后,单击“确定”完成数据连接创建。 (可选)选择“ENV管理 > 新建ENV”,进入“新建EN
stName”为故障告警的节点,“PartitionName”为故障磁盘的分区。 联系硬件工程师确认为磁盘硬件故障之后,将服务器上故障磁盘在线拔出。 拔出磁盘后系统会上报“ALM-12014 分区丢失”告警,参考ALM-12014 设备分区丢失(2.x及以前版本)进行处理,处理完成后,本告警即可自动消除。
签内容说明请参考表1,条目较多时,单击搜索框可根据关键字段进行筛选。 表1 Audit信息 页签 内容描述 Access 当前MRS不支持在线查看组件资源的审计日志信息,可登录组件安装节点,进入“/var/log/Bigdata/audit”目录下查看各组件的审计日志,日志中主要字段含义如下:
/user_libs/cdluser.keytab Principal cdluser Description - 参数配置完成后,单击“测试连接”,检查数据连通是否正常。 连接校验通过后,单击“确定”完成数据连接创建。 (可选)选择“ENV管理 > 新建ENV”,进入“新建EN
/user_libs/cdluser.keytab Principal cdluser Description - 参数配置完成后,单击“测试连接”,检查数据连通是否正常。 连接校验通过后,单击“确定”完成数据连接创建。 (可选)选择“ENV管理 > 新建ENV”,进入“新建EN
性能降低: 需要所有的ISR列表副本,且满足最小成功的副本数确认写入成功。这样会导致单条消息时延增加,客户端处理能力下降,具体性能以现场实际测试数据为准。 可用性降低: 不允许不在ISR中的副本被选举为Leader。如果Leader下线时,其他副本均不在ISR列表中,那么该分区将保持不可用,直到Leader节点恢复。
SDK概述 本文介绍了MRS服务提供的SDK语言版本,列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 您可以在API Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码,如图1所示。
Manager页面上进行Impala SQL作业管理。 Spark2x 升级到3.1.1版本。 ZooKeeper 升级到3.6.3版本。 管理控制台 支持补丁在线推送及更新。 支持包周期集群中的部分节点退订。 作业提交API新增支持FlinkSQL作业类型。 支持指定资源池的弹性伸缩能力。 Mast
int compaction.async.enabled 否 true 是否开启在线压缩 compaction.schedule.enabled 否 true 是否阶段性生成压缩plan,即使关闭在线压缩的情况下也建议开启 compaction.tasks 否 10 压缩Hudi表task并行度
从“定位信息”中获取“主机名”和“设备分区名”,其中“主机名”为故障告警的节点,“设备分区名”为故障磁盘的分区。 联系硬件工程师确认为磁盘硬件故障之后,将服务器上故障磁盘在线拔出。 拔出磁盘后系统会上报“ALM-12014 分区丢失”告警,参考ALM-12014 设备分区丢失进行处理,处理完成后,本告警即可自动消除。
admin用户的主组,在关闭Kerberos认证的集群中没有额外的权限。 check_sec_ldap 用于内部测试主LDAP是否工作正常。用户组随机存在,每次测试时创建,测试完成后自动删除。系统内部组,仅限组件间内部使用。 Manager_tenant 租户系统用户组。系统内部组,