检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager界面操作入口:登录FusionInsight Manager,选择“集群 > 服务 >HDFS > 配置”。 选择“全部配置”,在搜索框中搜索“dfs.datanode.du.reserved.percentage”。 修改此参数的取值为“10”。 修改完成后,扩容Core节点的磁盘个数。
14:50 /user 当前路径下不存在“huawei”目录。 执行图1中的命令创建以“huawei”为名的目录。其中,用1中查找到的主机名或IP和端口分别替代命令中的<HOST>和<PORT>,在<PATH>中输入想要创建的目录“huawei”。 用主机名或IP代替<HOST>都
NodeManager只会按照APP的运行周期来管理这些文件,并不会关注单个executor所在的container是否存在。因此,只有在APP结束的时候才会清理这些临时文件。任务运行时间较长时导致临时文件过多占用了大量磁盘空间。 处理步骤 启动一个定时任务来清理超过一定时间的
--company=company --organize=organize --common-name=commonname --email=集群用户邮箱命令在主管理节点“${OMS_RUN_PATH}/workspace0/ha/local/cert”目录生成“root-ca.crt”和“root-ca
14:50 /user 当前路径下不存在“huawei”目录。 执行图1中的命令创建以“huawei”为名的目录。其中,用1中查找到的主机名或IP和端口分别替代命令中的<HOST>和<PORT>,在<PATH>中输入想要创建的目录“huawei”。 用主机名或IP代替<HOST>都
(普通集群无需执行kinit命令) hdfs dfs -ls /user/hive/warehouse/hrdb.db/car01/Metadata 上图中,当前批次文件tablestatus_1669028899548损坏,需要使用tablestatus_1669028852132文件。 进入spark
server.blockmanagement.AvailableSpaceBlockPlacementPolicy)”,经过测试验证,在该测试结果中,修改前后,HDFS写文件性能影响范围在3%以内。 NameNode默认的副本存储策略为: 第一副本:存放到客户端所在节点。 第二副本:远端机架的数据节点。
server.blockmanagement.AvailableSpaceBlockPlacementPolicy)”,经过测试验证,在该测试结果中,修改前后,HDFS写文件性能影响范围在3%以内。 NameNode默认的副本存储策略为: 第一副本:存放到客户端所在节点。 第二副本:远端机架的数据节点。
service的超时时间是5秒,最多重试3次,该参数目前不可配。 建议适当调大task retry次数和Executor失败次数。 在客户端的“spark-defaults.conf”配置文件中配置如下参数。“spark.yarn.max.executor.failures”如果不存在,则手动添加该参数项。
service的超时时间是5秒,最多重试3次,该参数目前不可配。 建议适当调大task retry次数和Executor失败次数。 在客户端的“spark-defaults.conf”配置文件中配置如下参数。“spark.yarn.max.executor.failures”若不存在,则手动添加该参数项。
停止服务(EOS) 指停止云服务版本的使用,现网版本需要升级到新的云服务版本。 MRS新版本发布后,EOM时间为版本发布后2年,EOFS在EOM后1年,EOS在EOFS后0.5年。 例如2024-03-30发布MRS 3.3.1-LTS版本,则该版本EOM时间为2026-03-30,EO
压缩算法,因此执行compaction时会使用大量CPU导致CPU较高。 定位办法 使用top命令查看CPU使用率高的进程号。 查看此进程中占用CPU高的线程。 使用命令top -H -p <PID>即可打印出某进程<PID>下的线程的CPU耗时信息。 一般某个进程如果出现问题,
P4HyperLogLog)。在当前数据引擎的实现中,hll的数据草图是通过一组32位的桶来存储对应的最大hash。 序列化 数据草图可以通过varbinary进行序列化和反序列化。这使得可以被方便地存储,以备后用。通过合并多个草图,可以在查询分区中所有元素的approx_distin
模板文件。 Loader客户端安装后,系统自动在“Loader客户端安装目录/loader-tools-1.99.3/loader-tool/job-config/”目录生成各种场景对应的作业模板,不同模板中配置项存在差异。作业模板中包含作业信息以及关联的连接器信息。 作业模板为
模板文件。 Loader客户端安装后,系统自动在“Loader客户端安装目录/loader-tools-1.99.3/loader-tool/job-config/”目录生成各种场景对应的作业模板,不同模板中配置项存在差异。作业模板中包含作业信息以及关联的连接器信息。 作业模板为
业务用户密码 -td <directory> [-tf <time-format> -s <sqlfile>]”命令。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 运行示例: ./export-csv.sh -h x
约束限制: 不涉及 取值范围: User:表示该映射关系为针对用户的映射,identifiers中填写用户名称列表。 Group:表示该映射关系为针对用户组的映射,identifiers中填写用户组名称列表。 默认取值: 不涉及 identifiers Array of strings
bulk.output=</path/for/output>:表示执行结果输出路径,需指定一个不存在的路径。 <columns>:表示导入数据在表中的对应关系,例如,-Dimporttsv.columns=HBASE_ROW_KEY,info:name,info:gender,info:age
约束限制: 不涉及 取值范围: User:表示该映射关系为针对用户的映射,identifiers中填写用户名称列表。 Group:表示该映射关系为针对用户组的映射,identifiers中填写用户组名称列表。 默认取值: 不涉及 identifiers 是 Array of strings
bulk.output=</path/for/output>:表示执行结果输出路径,需指定一个不存在的路径。 <columns>:表示导入数据在表中的对应关系,例如,-Dimporttsv.columns=HBASE_ROW_KEY,info:name,info:gender,info:age