检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
location功能的Hive表格式只有TextFile和RCFile。 操作步骤 使用客户端安装用户登录客户端所在节点。 执行以下命令，切换到客户端安装目录，如：/opt/client。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env
hoodie.datasource.hive_sync.partition_extractor_class 用于提取Hudi分区列值，将其转换成Hive分区列。 org.apache.hudi.hive.SlashEncodedDayPartitionValueExtractor
始时间之后提交的所有数据。 非增量查询：不设置。 Hudi表查询操作如下： 以Hive客户端安装用户登录安装客户端的节点。 执行以下命令，切换到客户端安装目录，配置环境变量并认证用户。 cd 客户端安装目录 source bigdata_env kinit Hive业务用户（如果
会依赖用户写入数据的时间戳（毫秒）和时间分界点来判断数据的冷热。数据开始存储在热存储上，随着时间的推移慢慢往冷存储上迁移。同时用户可以任意变更数据的冷热分界点，数据可以从热存储到冷存储，也可以从冷存储到热存储。 图1 HBase冷热分离原理图 配置HBase冷热数据分离存储 通过
如何在Flume配置文件中使用环境变量 以root用户登录安装Flume客户端所在节点。 切换到以下目录。 cd Flume客户端安装目录/fusioninsight-flume-Flume组件版本号/conf 在该目录下的“flume-env.sh”文件中添加环境变量。 格式：
可能原因 磁盘老化。 处理步骤 更换磁盘。 在FusionInsight Manager界面，选择“运维 > 告警 > 告警”。 查看该告警的详细信息，查看定位信息中对应的“主机名”字段和“磁盘名”字段的值，获取该告警上报的故障磁盘信息。 更换硬盘。 检查告警是否清除。 是，操作结束。
Flume角色服务端所需修改的参数列表 参数名称 参数值填写规则 参数样例 名称 不能为空，必须唯一。 test bind avro source绑定的ip地址，此参数不能为空。须配置为服务端配置文件即将要上传的主机IP。 192.168.108.11 port avro source监测的端口，
Flume角色服务端所需修改的参数列表 参数名称 参数值填写规则 参数样例 名称 不能为空，必须唯一。 test bind avro source绑定的ip地址，此参数不能为空。须配置为服务端配置文件即将要上传的主机IP。 192.168.108.11 port avro source监测的端口，
属性设置为false。 如果为文件集配置删除操作，则在删除操作后不能再配置其他规则。 支持使用"-fs"选项，用于指定客户端默认的文件系统地址。 审计日志 冷热数据迁移工具支持以下操作的审计日志。 工具启动状态 行为类型及参数详细信息和状态 工具完成状态 对于启用审计日志工具，在
根据集群版本选择对应的分支，下载并获取MRS相关样例工程。 例如本章节场景对应示例为“hdfs-example-security”样例，获取地址：https://github.com/huaweicloud/huaweicloud-mrs-example/tree/mrs-3.2.0
x及之前版本，操作步骤如下： 使用admin用户登录MRS Manager界面，选择“服务管理 > HBase > 服务配置”，将“参数类别”的“基础配置”切换为“全部配置”，选择“HMaster > 自定义”，给参数“hbase.hmaster.config.expandor”新增名称为“hbase
ClickHouse业务量一直比较大，可以适当在ClickHouse配置界面调大ZNODE_GROWTH_LIMIT阈值； ClickHouse存在业务大的变更或者迁移、导数据的动作。 处理步骤 选择“集群 > ClickHouse > 实例 > 全部配置”，搜索“ZNODE_GROWTH_LIM
执行以下命令获取HA进程的“pid”： ps -ef |grep "ha.bin" |grep DBSERVICE 执行以下命令，查看协议是否全部变更为TCP： netstat -nap | grep pid | grep -v unix 是，结束操作。 否，请联系运维人员。 [omm@host03]\>netstat
查看log4j 修改后可以正常提交作业。 图4 提交作业正常 处理步骤 判断用户是在集群外还是集群内使用客户端提交作业。 若在集群内使用客户端，切换到omm用户提交作业。 若在集群外使用客户端，则要使用root用户提交作业。 检查“flink-conf.yaml”文件各参数是否配置正确。
每个SQL引擎在进行SQL业务响应、执行过程中，基于SQL防御策略进行主动防御行为。 管理员可将SQL防御行为在“提示”、“拦截”、“熔断”选项之间进行灵活切换，系统会将发生的SQL防御事件实时写入到防御审计日志中。运维人员可进行日志分析，评估现网SQL质量，提前感知潜在SQL风险，并做出有效预防措施。
当分区的一个副本所在节点故障时，无法满足最小写入成功的副本数，那么将会导致业务写入失败。 参数配置项为服务级配置需要重启Kafka，建议在变更窗口做服务级配置修改。 参数描述 如果业务需要保证高可用和高性能。 参考修改集群服务配置参数进入Kafka服务全部配置页面，在服务端配置如表1中参数。
TextFile和RCFile。 本章节适用于MRS 3.x及后续版本。 操作步骤 使用客户端安装用户登录客户端所在节点。 执行以下命令，切换到客户端安装目录，如：/opt/client。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env
S后，即可在HDFS客户端查看和创建OBS文件目录。 HDFS对接OBS 以客户端安装用户登录安装了HDFS客户端的节点。 执行以下命令，切换到客户端安装目录。 cd 客户端安装目录 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式，执行以下命
件及修改密码操作。 使用Yarn客户端 安装客户端，具体请参考安装MRS客户端。 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式，执
检查数据目录所在磁盘是否故障。 使用omm用户，在所提示的数据目录的上一级目录下，进行创建、删除文件测试，看能够正常读写磁盘。 是，执行6。 否，执行5。 更换或者修复数据目录所在磁盘，保证其可以正常读写。 在FusionInsight Manager首页，选择“集群 > 服务 > Kafka >
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
