检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Multicast功能 当前仅支持IPv4 Linux/Unix环境下HBase客户端配置开启Multicast功能,客户端与HMaster节点业务IP的网络通信需正常。请根据业务实际情况执行以下操作开启Multicast功能: (可选)服务端HMaster默认已开启并配置该特性,当节点上生效网
下的容灾。 本章节适用于MRS 3.x及之后版本。 前提条件 主备集群都已经安装并启动成功,且获取集群的管理员权限。 必须保证主备集群间的网络畅通和端口的使用。 如果主集群部署为安全模式且不由一个FusionInsight Manager管理,主备集群必须已配置跨集群互信。如果主
kafka-clients-*.jar由Kafka组件发布提供,可在Kafka组件客户端或者服务端安装路径下的lib目录下获取。 异步Checkpoint机制程序样例工程(Java/Scala) flink-dist_*.jar pipeline程序样例工程(Java/Scala) flink-connector-netty_*
rt overwrite,该操作并不会立刻删除全表做overwrite,会逻辑上重写hudi表的元数据,无用数据后续由hudi的clean机制清理。效率比bulk_insert + overwrite 高 upsert hoodie.datasource.write.table.type
对云服务进行操作。 权限根据授权的精细程度,分为角色和策略。角色以服务为粒度,是IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。策略以API接口为粒度进行权限拆分,授权更加精细,可以精确到某个操作、资源和条件,能够满足企业对权限最小化的安全管控要求。 如果您要允许
Hive表格式仅支持Parquet、ORC、TextFile。 前提条件 已创建包含Doris服务的集群,集群内各服务运行正常。 待连接Doris数据库的节点与MRS集群网络互通。 创建具有Doris管理权限的用户。 集群已启用Kerberos认证(安全模式) 在FusionInsight Manager中创建
景下,都会存在一些很难解决的问题: 如果把海量小文件直接保存在HDFS中,会给NameNode带来极大的压力。 由于HBase接口以及内部机制的原因,一些较大的文件也不适合直接保存到HBase中。 HFS的出现,就是为了解决需要在Hadoop中存储海量小文件,同时也要存储一些大文
output.compress”和“mapreduce.map.output.compress.codec”项。当map的输出数据大,减少网络压力,使用压缩传输中间数据。 setPriority(JobPriority priority) 指定MapReduce作业的优先级,共有5个优先级别,VERY_HIGH
说明 默认值 影响分析 request.timeout.ms 指定发送消息请求的请求超时时间。单位:毫秒。 30000 请求超时时间,出现网络问题时,需调大此参数;配置过小,则容易出现Batch Expire异常。 表4 Consumer相关超时参数 配置名称 说明 默认值 影响分析
ord=true参数启用记录。 前提条件 已创建包含Doris服务的集群,集群内各服务运行正常。 待连接Doris数据库的节点与MRS集群网络互通。 创建具有Doris管理权限的用户。 集群已启用Kerberos认证(安全模式) 在FusionInsight Manager中创建
r/ActiveStandbyElectorLock。但是NameNode备节点通过客户端(ZKFC)与ZooKeeper建立连接时,由于网络问题、CPU使用率高、集群压力大等原因,出现了客户端(ZKFC)的session(0x144cb2b3e4b36ae4)与ZooKeepe
主机出现异常,会存在数据丢失风险; 对于数据写分布式表和数据写本地表相比,分布式表数据写入性能也会变慢,单批次分布式表写,写入节点的磁盘和网络IO会成为性能瓶颈点。 分布式表转发给各个shard成功与否,插入数据的客户端无法感知,转发失败的数据会不断重试转发,消耗CPU。 大批量数据导入要分时、分节点、扩容
output.compress”和“mapreduce.map.output.compress.codec”项。当map的输出数据大,减少网络压力,使用压缩传输中间数据。 setPriority(JobPriority priority) 指定MapReduce作业的优先级,共有
按照MRS集群实际使用时长计费。 区域 华北-北京四 选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 集群名称 mrs_demo 待创建的MRS集群名称。 集群类型 自定义 根据业务实际需要选择待创建的MRS集群类型。
implicit_transaction='true';,可以使用会话级别的隐式事务。ClickHouse目前没有alter queries中断机制,所以alter queries(如:lightweight delete)执行过程中被中断之后,即便开启隐式事务能力,也无法回滚,与开源保持一致。
应用任务结束时间变长。 新应用提交后长时间无法运行。 可能原因 告警上报机制需要调整。(仅适用于MRS 3.3.1及之后版本 ) NodeManager节点资源过小。 队列最大资源容量设置过小。 AM最大资源百分比设置过小。 处理步骤 调整告警上报机制(仅适用于MRS 3.3.1及之后版本 ) 请根据
client与Job Manager、JobManager与TaskManager、TaskManager与TaskManager。 使用YARN内部的认证机制:Yarn Resource Manager与Application Master(简称AM)。 Flink的JobManager与YARN的AM是在同一个进程下。
output.compress”和“mapreduce.map.output.compress.codec”项。当map的输出数据大,减少网络压力,使用压缩传输中间数据。 setPriority(JobPriority priority) 指定MapReduce作业的优先级,共有
r/ActiveStandbyElectorLock。但是NameNode备节点通过客户端(ZKFC)与ZooKeeper建立连接时,由于网络问题、CPU使用率高、集群压力大等原因,出现了客户端(ZKFC)的session(0x144cb2b3e4b36ae4)与ZooKeepe
output.compress”和“mapreduce.map.output.compress.codec”项。当map的输出数据大,减少网络压力,使用压缩传输中间数据。 setPriority(JobPriority priority) 指定MapReduce作业的优先级,共有