检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
apache.hadoop.hbase.mapreduce.RowCounter等,且后续还会增加。部分命令的输出为INFO打印,如果直接把INFO关闭会导致部分命令输出结果丢失。例如:RowCounter输出结果为INFO类型: 处理步骤 使用root用户登录安装HBase客户端的节点。
r节点,并执行su - omm命令切换到omm用户。 执行如下命令登录数据库。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 gsql -p 20051 -d hivemeta -U username -W password
Manager页面无法访问,预计持续10-20分钟。 安装补丁过程中会影响弹性伸缩以及MRS Manager上正在运行的任务,升级前请确认已经关闭弹性伸缩,并且MRS Manager上没有正在运行的任务。 安装补丁过程中,不允许在作业管理页面提交作业。 安装补丁过程包括组件重启,支持
采用Hcatalog的方式,参数指定对应的Hive库和表,需要修改SQL语句指定到具体字段(需要修改脚本)。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 原来的脚本: sqoop import --connect 'jdbc:mysql://10
<passwd>:hive用户的密码。 <export_from>:元数据在目的集群的HDFS地址。 命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 HBase表重建 重启目的集群的HBase服务,使数据迁移生效。在启动过程中,HBase
启Hive组件+Spark组件。 开启组件Spark的“Ranger鉴权”的功能,重启Spark组件。 关闭组件Hive的“Ranger鉴权”的功能,重启Hive组件。 关闭组件Spark的“Ranger鉴权”的功能,重启Spark组件。 登录Ranger WebUI界面,如果“HADOOP
用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 将user
这一点,可以应用在各类与HBase操作相关的接口方法的容错处理过程中。 不用Admin时,要及时关闭,Admin实例不应常驻内存 Admin的实例应尽量遵循 “用时创建,用完关闭”的原则。不应该长时间缓存同一个Admin实例。 父主题: HBase应用开发规范
租户等待执行的查询任务最大的等待时长 如果查询等待时间超过该值,那么查询会被拒绝,时间单位为毫秒。 开启内存软隔离 开启 关闭 租户是否可以超量占用内存资源 如果关闭内存软隔离,系统检测到租户内存使用超出限制后将立即取消租户组内内存占用最大的若干个任务。 如果开启内存软隔离,若该系统
滚动安装补丁功能开启:补丁安装前不会停止服务,补丁安装后滚动重启服务来完成补丁安装,可以减少对集群业务的影响,但相比普通方式安装耗时更久。 滚动安装补丁功能关闭:补丁安装前会停止服务,补丁安装后再重新启动服务来完成补丁安装,会造成集群和服务暂时中断,但相比滚动方式安装补丁耗时更短。 少于2个Mas
IE浏览器访问Spark2x原生UI界面失败,无法显示此页或者页面显示错误 问题 通过IE 9、IE 10和IE 11浏览器访问Spark2x的原生UI界面,出现访问失败情况或者页面显示错误问题。 现象 访问页面失败,浏览器无法显示此页,如下图所示: 原因 IE 9、IE 10、IE
IE浏览器访问Spark2x原生UI界面失败,无法显示此页或者页面显示错误 问题 通过IE 9、IE 10和IE 11浏览器访问Spark2x的原生UI界面,出现访问失败情况或者页面显示错误问题。 现象 访问页面失败,浏览器无法显示此页,如下图所示: 原因 IE 9、IE 10、IE
Table(默认开启的设置方法为spark.sql.statistics.fallBackToHdfs=true,可通过配置为false关闭)。开启后,SQL执行过程中会扫描表的分区统计信息,并作为执行计划中的代价估算,例如对于代价评估中识别的小表,会广播小表放在内存中广播到各
源文件导入成功后对输入文件增加的后缀值。该值为空,表示不加后缀。 压缩 使用SFTP协议导数据时,是否开启压缩传输功能以减小带宽使用。“true”为开启压缩,“false”为关闭压缩。 hdfs-connector 输入路径 HDFS中源文件的输入路径。 路径过滤器 配置通配符对源文件的输入路径包含的目录进行过滤。
'\\N' --input-null-non-string '\\N' -m 1 命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 样例: sqoop export --connect jdbc:mysql://192.168
这控制着批量读取并一起归档的提交即时的数量。 10 hoodie.parquet.small.file.limit 该值应小于maxFileSize,如果将其设置为0,会关闭此功能。由于批处理中分区中插入记录的数量众多,总会出现小文件。Hudi提供了一个选项,可以通过将对该分区中的插入作为对现有小文件的更新来解
参数说明 取值示例 table.exec.state.cold.enabled 是否开启冷热分离的RocksDB。 false(默认值):关闭。 true:开启。 false state.backend.rocksdb.cold.localdir 冷数据的存储目录。 - state
源文件导入成功后对输入文件增加的后缀值。该值为空,表示不加后缀。 压缩 使用SFTP协议导数据时,是否开启压缩传输功能以减小带宽使用。“true”为开启压缩,“false”为关闭压缩。 hdfs-connector 输入路径 HDFS中源文件的输入路径。 路径过滤器 配置通配符对源文件的输入路径包含的目录进行过滤。
1之前版本) 准备一个用于安装MRS集群客户端的Linux弹性云服务器。 云服务器操作系统及版本建议如下: 表2 操作系统参考列表 CPU架构 操作系统 支持的版本号 x86计算 Euler EulerOS 2.5 SUSE SUSE Linux Enterprise Server 12
xml”中的“dfs.support.append”参数值设置为true。 “dfs.support.append”参数在开源社区版本中默认值是关闭,在FusionInsight版本默认值是开启。 该参数为服务器端参数。建议开启,开启后才能使用Append功能。 不适用HDFS场景可以