检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置NameNode内存参数 配置场景 在HDFS中,每个文件对象都需要在NameNode中注册相应的信息,并占用一定的存储空间。随着文件数的增加,当原有的内存空间无法存储相应的信息时,需要修改内存大小的设置。 配置描述 参数入口: 请参考修改集群服务配置参数,进入HDFS“全部配置”页面。
Projects into Workspace > Next >Browse”。 显示“浏览文件夹”对话框。 选择文件夹“hive-examples”,如图1所示。Windows下要求该文件夹的完整路径不包含空格。 图1 导入样例工程到Eclipse中 单击“Finish”。 导入成功后,com
lickhouse-example.properties”配置文件中“sslUsed”参数配置为“true”时,则需要在ClickhouseJDBCHaDemo、Demo、NativeJDBCHaDemo和Util文件创建connection的样例中设置如下连接属性: clickHouseProperties
gBoot接口样例代码,需要完成下面的操作。 该章节内容适用于MRS 3.3.0及之后版本。 前提条件 已获取样例工程运行所需的配置文件及认证文件,详细操作请参见准备HBase应用开发和运行环境。 配置样例代码 在开发环境IntelliJ IDEA中,单击“src/springb
选择准备上传配置文件的节点行的“Flume”角色,单击“实例配置”页面“flume.config.file”参数后的“上传文件”,选择“properties.properties”文件完成操作。 图4 上传文件 每个Flume实例均可以上传单独的服务端配置文件。 更新配置文件需要按照此
Split阶段访问的文件数 统计Hive周期内Split阶段访问底层文件存储系统(默认:HDFS)的文件数。 Hive基本操作时间 Hive周期内统计底层创建目录(mkdirTime)、创建文件(touchTime)、写文件(writeFileTime)、重命名文件(renameTi
靠收到的数据中恢复的优势。建议缓存RDD时不采取多备份选项,因为用于预写日志的容错文件系统很可能也复制了数据。 在启用了预写日志以后,数据接收吞吐率会有降低。由于所有数据都被写入容错文件系统,文件系统的写入吞吐率和用于数据复制的网络带宽,可能就是潜在的瓶颈了。在此情况下,建议创建
配置矢量化读取ORC数据 配置场景 ORC文件格式是一种Hadoop生态圈中的列式存储格式,它最初产生自Apache Hive,用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet文件格式类似,它并不是一个单纯的列式存储格式,仍然是首先根据行组分割整个表,在每
配置矢量化读取ORC数据 配置场景 ORC文件格式是一种Hadoop生态圈中的列式存储格式,它最初产生自Apache Hive,用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet文件格式类似,它并不是一个单纯的列式存储格式,仍然是首先根据行组分割整个表,在每
ALM-12063 磁盘不可用 告警解释 系统每一个小时,整点检查一次当前主机的磁盘是否可用,只检查数据盘,在磁盘对应的挂载目录下执行创建文件,写文件和删文件等操作,如果能够成功则认为磁盘可用,发送恢复告警,如果不能成功,则发送故障告警。 告警属性 告警ID 告警级别 是否自动清除 12063
执行如下命令,检查发出告警的目录下的文件或目录是否是可以删除的无用文件。 hdfs dfs -ls 产生告警的目录路径 是,执行3。 否,执行5。 执行如下命令。删除无用的文件。 hdfs dfs -rm -r -f 文件或目录路径 删除文件为高危操作,在执行操作前请务必确认对应文件是否不再需要。 等待1个小时,检查该告警是否清除。
omm cd 客户端安装目录 source bigdata_env 在客户端节点执行如下命令,增大单副本文件的副本数。 hdfs dfs -setrep -w 文件副本数 文件名或文件路径 等待下个检测周期,查看告警是否消除。 是,结束。 否,执行7。 收集故障信息。 在FusionInsight
“是否安全版本”选择“是”时存在此参数。 客户端配置文件 集群客户端配置文件,格式为tar。 用户凭据 FusionInsight Manager中用户的认证凭据,格式为tar。 “是否安全版本”选择“是”时存在此参数。 输入访问用户名后才可上传文件。 集群客户端配置文件获取方法: 登录FusionInsight
配置数据写入ClickHouse对应的表名。 string 是 无 数据处理规则 将字段值输出到ClickHouse表中。 样例 通过“CSV文件输入”算子,生成十二个字段。 源文件如下: 创建ClickHouse表的语句如下: CREATE TABLE IF NOT EXISTS testck4 ON
r日志文件大小和文件数目的调整。 登录FusionInsight Manager界面,访问“集群 > 服务 > ClickHouse > 配置 > 全部配置 > ClickHouseBalancer > 日志”,可修改ClickHouseBalancer日志文件的大小和文件数目。
致。 检查Jaas文件和Keytab文件,发现Jaas文件中配置使用的pricipal为stream。 图4 检查Jaas文件 查看user.keytab文件,发现principal为zmk_kafka。 图5 查看user.keytab文件 发现jaas文件和user.keytab文件中principal不对应。
“是否安全版本”选择“是”时存在此参数。 客户端配置文件 集群客户端配置文件,格式为tar。 用户凭据 FusionInsight Manager中用户的认证凭据,格式为tar。 “是否安全版本”选择“是”时存在此参数。 输入访问用户名后才可上传文件。 集群客户端配置文件获取方法: 登录FusionInsight
的样例工程文件夹“doris-jdbc-example”。 导入样例工程到IntelliJ IDEA开发环境中。 在IntelliJ IDEA的菜单栏中,选择“File > Open...”,显示“Open File or Project”对话框。 在弹出窗口选择文件夹“dori
statementSet.execute(); } } 需将当前样例需要的依赖包,即编译之后lib文件下面的jar包复制到客户端的lib文件夹内。 以对接普通模式Kafka提交SQL为例: create table kafka_sink ( uuid varchar(20)
sh 回退手动的操作 不涉及。 补丁卸载完成后重新打开弹性伸缩 如果卸载补丁前关闭了弹性伸缩,请卸载完成后重新打开。 登录华为云MRS管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”页签。 请开启卸载前关闭的弹性策略。 父主题: 回滚补丁