检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
到右侧的操作界面中并将其连接。 采用SpoolDir Source、Memory Channel和HDFS Sink，如图3所示。 图3 Flume配置工具示例 双击对应的source、channel以及sink，根据实际环境并参考表1设置对应的配置参数。 如果想在之前的“properties
解决备NameNode处于安全模式没有告警的问题。 解决重启Router或者NameNode时延高时作业有概率卡在new状态的问题。 解决主备容灾场景备集群MR临时任务日志无法进行定期删除导致的日志目录会堆满导致容灾任务失败的问题。 解决集群周期性备份失败的问题。 解决ZooKeeper中的漏洞修复的问题。 解决运行Flink
13 以上表格中加粗的版本为现网全网开放的主力版本，其他版本为受限白名单方式开放，需联系技术支持申请白名单开通。 补充说明： 由于历史版本的EOS时间较早， 已经EOS的版本将提供过渡期服务支持截止至2024年8月30日，即在2024年8月30日之后EOS的版本停止提供服务。 版本EOX后的建议策略
appsSubmitted 已经提交的任务数。 appsCompleted 已经完成的任务数。 appsPending 正在挂起的任务数。 appsRunning 正在运行的任务数。 appsFailed 已经失败的任务数。 appsKilled 已经被kill的任务数。 totalMB Yarn资源总的内存。
参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 网口名 产生告警的网口名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务延迟：主机网络读吞
开发和运行环境的基本配置。版本要求如下： MRS集群的服务端和客户端仅支持自带的Oracle JDK（版本为1.8），不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的，支持Oracle JDK和IBM JDK。 Oracle JDK：支持1.7和1.8版本。 IBM JDK：推荐1
心的大数据平台向以多租户为核心的大数据平台转变，更好的适应现代企业多租户应用环境，如图2所示。 图2 以用户为核心的平台和以多租户为核心的平台 对于以用户为核心的大数据平台，用户直接访问并使用全部的资源和服务。 用户的应用可能只用到集群的部分资源，资源利用效率低。 不同用户的数据可能存放在一起，难以保证数据安全。
导入配置文件时，建议配置Source/Channel/Sink的各自的个数都不要超过40个，否则可能导致界面响应时间过长。 表1 Flume角色服务端所需修改的参数列表 参数名称 参数值填写规则 参数样例 名称 不能为空，必须唯一 test spoolDir 待采集的文件所在的目录路径，此参数不能为空。该路径
拖到右侧的操作界面中并将其连接。 例如采用Kafka Source、Memory Channel和HDFS Sink，如图3所示。 图3 Flume配置工具示例 双击对应的source、channel以及sink，根据实际环境并参考表1设置对应的配置参数。 如果想在之前的“properties
其拖到右侧的操作界面中并将其连接。 例如采用Kafka Source、File Channel和HDFS Sink，如图3所示。 图3 Flume配置工具示例 双击对应的source、channel以及sink，根据实际环境并参考表1设置对应的配置参数。 如果想在之前的“properties
RS集群，需要在删除组件或者集群后，手工将OBS上相关的业务数据进行删除。 删除MRS按需集群 登录MRS管理控制台。 在左侧导航栏中选择“现有集群”。 在需要删除的集群对应的“操作”列中，单击“删除”。如果确认删除，在弹出的“删除集群”窗口中输入“DELETE ”，单击“确定”。
复集群，就需要将节点切回到原来的VPC，并且IP和hosts文件中的IP主机映射一一对应。 处理步骤 登录集群Master1节点，执行ifconfig查看到切换后的VPC。 执行命令cat /etc/hosts，查看host文件中记录切换VPC之前的IP。 登录MRS管理控制台，
参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 网口名 产生告警的网口名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务延迟：主机网络写吞
拖到右侧的操作界面中并将其连接。 采用Taildir Source、Memory Channel和HDFS Sink，如图3所示。 图3 Flume配置工具示例 双击对应的Source、Channel以及Sink，根据实际环境并参考表1设置对应的配置参数。 如果想在之前的“properties
持开启CBO（Cost Based Optimization），系统会自动根据表的统计信息，例如数据量、文件数等，选出合适计划提高多表Join的效率。Hive需要先收集表的统计信息后才能使CBO正确的优化。 CBO优化器会基于统计信息和查询条件，尽可能地使Join顺序达到更优。但
JDK，请确保IntelliJ IDEA中的JDK配置为Open JDK。 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 准备开发用户 准备用于应用开发的ClickHouse集群用户并授予相应权限。
合理使用数据表的分区字段和索引字段。 MergeTree引擎，数据是以分区目录的形式进行组织存储的，在进行的数据查询时，使用分区可以有效跳过无用的数据文件，减少数据的读取。 MergeTree引擎会根据索引字段进行数据排序，并且根据index_granularity的配置生成稀疏索
设备上。但在逻辑上，一列数据可以看成是由相同类型的元素构成的一个数组， 一行数据的所有列值在各自的数组中按照列顺序排列，即拥有相同的数组下标。数组下标是隐式的，不需要存储。表中所有的行按照维度列，做多重排序，排序后的位置就是该行的行号。 索引 StarRocks通过前缀索引 (Prefix
持开启CBO（Cost Based Optimization），系统会自动根据表的统计信息，例如数据量、文件数等，选出合适计划提高多表Join的效率。Hive需要先收集表的统计信息后才能使CBO正确的优化。 CBO优化器会基于统计信息和查询条件，尽可能地使join顺序达到合适。但
HDFS不适用于存储大量小文件 HDFS不适用于存储大量的小文件，因为大量小文件的元数据会占用NameNode的大量内存。 HDFS中数据的备份数量3份即可 DataNode数据备份数量3份即可，增加备份数量不能提升系统效率，只会提升系统数据的安全系数；在某个节点损坏时，该节点上的数据会被均衡到其他节点上。 HDFS定期镜像备份
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
