检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
cleaner.policy 要使用的清理策略。Hudi将删除旧版本的parquet文件以回收空间。 任何引用此版本文件的查询和计算都将失败。需要确保数据保留的时间超过最大查询执行时间。 KEEP_LATEST_COMMITS hoodie.cleaner.commits.retained
及时了解各自的成本情况。 华为云成本中心支持通过多种不同的方式对成本进行归集和重新分配,您可以根据需要选择合适的分配工具。 通过关联账号进行成本分配 企业主客户可以使用关联账号对子客户的成本进行归集,从而对子账号进行财务管理。详细介绍请参见通过关联账号维度查看成本分配。 通过企业项目进行成本分配
RegionServer的GC时间” ,单击“确定”,查看该图表中“GC中回收old区所花时长”监控项的值是否连续3个检测周期大于阈值(默认阈值为5秒)。 是,执行4。 否,执行6。 图2 RegionServer的GC时间 查看JVM的当前配置 在FusionInsight Manager界面,选择“集群
率达到上限。 处理步骤 检查告警阈值配置或者平滑次数配置是否合理。 基于实际CPU使用情况,修改告警阈值和平滑次数配置项。 登录FusionInsight Manager,根据实际服务的使用情况在“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > CPU > 主机
MaxPermSize”的值根据实际情况调大,并保存配置。 出现此告警时,说明当前TokenServer实例设置非堆内存大小无法满足当前TokenServer进程所需的非堆内存,建议调整“GC_OPTS”参数中“-XX:MaxPermSize”的值为当前非堆内存使用量的两倍(或根据实际情况进行调整)。
在Yarn原生页面显示ApplicationMaster启动两次均失败,任务退出,如图1信息: 图1 ApplicationMaster启动失败 查看ApplicationMaster日志看到如下异常信息: Exception in thread "main" java.lang.Exc
offset.rang.limit=10000 指定HoodieDeltaStreamer执行参数(具体参数配置,请查看官网https://hudi.apache.org/ )执行如下命令: spark-submit --master yarn --jars /opt/hudi-java-examples-1
HDFS应用开发常见问题 HDFS Java API接口介绍 HDFS C API接口介绍 HDFS HTTP REST API接口介绍 HDFS Shell命令介绍 登录MRS Manager 下载MRS客户端 父主题: HDFS开发指南
在执行批量加载时需要通过“Dimporttsv.bulk.output”参数指定文件的输出路径。 操作步骤 参数入口:执行批量加载任务时,在BulkLoad命令行中加入如下参数。 表1 增强BulkLoad效率的配置项 参数 描述 配置的值 -Dimporttsv.mapper.class 用户自
值,默认值为“Admin@123”。 user_name为可选参数,默认取值为“admin”。 命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 例如: sh ${BIGDATA_HOME}/om-server/om/sbin/get_reset_pwd
编译并生成Jar包,并将Jar包复制到与依赖库文件夹同级的目录“src/main/resources”下,具体步骤请参考在Linux调测程序。 运行Consumer样例工程的命令如下。 java -cp /opt/client/lib/*:/opt/client/src/main/resources com.huawei
在程序代码完成开发后,您可以在Windows开发环境中运行应用。 操作步骤 在Windows上配置集群的IP与主机名映射关系。登录集群后台,执行命令cat /etc/hosts后,把hosts文件中的IP与主机名映射关系拷贝到“C:\Windows\System32\drivers\etc\hosts”中。
单击“平滑次数”后的编辑按钮,基于实际使用情况,修改平滑次数配置项,单击“确定”。 平滑次数为在告警检查阶段连续检查多少次超过阈值,则发送告警。 单击“操作”列的“修改”,基于实际使用情况,更改告警阈值,单击“确定”。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行5。
持进行扩容: 弹性云服务器 裸金属服务器 虚拟私有云 云硬盘 镜像服务 对象存储服务 弹性公网IP 消息通知服务 统一身份认证服务 其配额查看及修改请参见关于配额。
编译并生成Jar包,并将Jar包复制到与依赖库文件夹同级的目录“src/main/resources”下,具体步骤请参考在Linux调测程序。 运行Consumer样例工程的命令如下。 java -cp /opt/client/lib/*:/opt/client/src/main/resources com.huawei
创建FlinkServer作业前准备 创建FlinkServer作业 管理FlinkServer作业 Flink运维管理 Flink性能调优 Flink客户端常见命令说明 Flink常见问题 签发Flink证书样例
规划HDFS容量 更改DataNode的存储目录 调整DataNode磁盘坏卷信息 配置HDFS token的最大存活时间 使用distcp命令跨集群复制HDFS数据 配置NFS服务器存储NameNode元数据 父主题: 使用HDFS
Kafka依赖包路径为“$SPARK_HOME/jars/streamingClient010”。所以在运行应用程序时,需要在spark-submit命令中添加配置项,指定Spark Streaming Kafka的依赖包路径,如--jars $(files=($SPARK_HOME/jar
在FusionInsight Manager首页,选择“运维 > 告警 > 告警 > Loader直接内存使用率超过阈值”,检查该告警的“定位信息”。查看告警上报的实例主机名。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Loader >
根据使用的非堆内存情况,会在初始非堆内存和最大非堆内存之间波动变化。 使用非堆内存(Used Non Heap Memory):当前程序运行时已经使用的非堆内存,这个值小于分配的非堆内存。 Hadoop 一个分布式系统框架。用户可以在不了解分布式底层细节的情况下,开发分布式程序,