检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
LABEL like "%example%"; 前提条件 已创建包含Doris服务的集群,集群内各服务运行正常。 待连接Doris数据库的节点与MRS集群网络互通。 创建具有Doris管理权限的用户。 集群已启用Kerberos认证(安全模式) 在FusionInsight Mana
直接重启耗时约5分钟。 滚动重启 滚动重启不影响业务。 滚动重启耗时约10分钟。 HDFS 直接重启 重启期间无法进行HDFS读写,影响上层组件与作业。 直接重启耗时约10分钟。 滚动重启 滚动重启不影响业务。 滚动重启10节点耗时约40分钟。 HBase 直接重启 重启期间无法进行HBase数据读写。
直接重启耗时约5分钟 滚动重启 滚动重启不影响业务 滚动重启耗时约10分钟 HDFS 直接重启 重启期间无法进行HDFS读写,影响上层组件与作业 直接重启耗时约10分钟 滚动重启 滚动重启不影响业务 滚动重启10节点耗时约40分钟 HBase 直接重启 重启期间无法进行HBase数据读写
MRS样例工程下载地址为https://github.com/huaweicloud/huaweicloud-mrs-example。 切换分支为与MRS集群相匹配的版本分支,例如“mrs-3.2.0.1”,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 图1 MRS样例工程代码下载
HDFS提供了一个容量均衡程序Balancer。通过运行这个程序,可以使得HDFS集群达到一个平衡的状态,使各DataNode磁盘使用率与HDFS集群磁盘使用率的偏差不超过阈值。图1和图2分别是Balance前后DataNode的磁盘使用率变化。 图1 执行均衡操作前DataNode的磁盘使用率
ffix”参数还需要在Yarn的客户端进行配置,且在ResourceManager、NodeManager和JobHistory节点的配置与在Yarn的客户端的配置必须一致。 周期性收集日志功能目前仅支持MapReduce应用,且MapReduce应用必须进行相应的日志文件滚动输
HDFS客户端写文件close失败 问题背景与现象 HDFS客户端写文件close失败,客户端提示数据块没有足够副本数。 客户端日志: 2015-05-27 19:00:52.811 [pool-2-thread-3] ERROR: /tsp/nedata/collect/UGW
HDFS提供了一个容量均衡程序Balancer。通过运行这个程序,可以使得HDFS集群达到一个平衡的状态,使各DataNode磁盘使用率与HDFS集群磁盘使用率的偏差不超过阈值。图1和图2分别是Balance前后DataNode的磁盘使用率变化。 图1 执行均衡操作前DataNode的磁盘使用率
直接重启耗时约5分钟 滚动重启 滚动重启不影响业务 滚动重启耗时约10分钟 HDFS 直接重启 重启期间无法进行HDFS读写,影响上层组件与作业 直接重启耗时约10分钟 滚动重启 滚动重启不影响业务 滚动重启10节点耗时约40分钟 HBase 直接重启 重启期间无法进行HBase数据读写
MRS样例工程下载地址为https://github.com/huaweicloud/huaweicloud-mrs-example。 切换分支为与MRS集群相匹配的版本分支,例如“mrs-3.2.0.1”,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 图1 MRS样例工程代码下载
在Flink任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例,否则可能会导致任务失败,并可能导致应用部分临时数据无法清空。 请确保Jar包和配置文件的用户权限与Flink客户端一致,例如都是omm用户,且权限为755。 运行DataStream(Scala和Java)样例程序。 在终端另开一个窗口,
keyBy尽量不要使用String。 设置并行度 并行度控制任务的数量,影响操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到最优。 查看CPU使用情况和内存占用情况,当任务和数据不是平均分布在各节点,而是集中在个别节点时,可以增大并行度使任务和数
<type> 定义了action类型。当前支持的action类型是MOVE和MARK。 No (在action标签内) <params> 定义与每个action相关的参数。 No (在action标签内) <param> 定义单个使用<name>和<value>标签的name-value格式参数。
<tablename>:表示要操作的表名。 <inputdir>:表示要批量导入的数据目录。 -Dindexspecs.to.add=<indexspecs>:表示索引名与列的映射,例如-Dindexspecs.to.add='index_bulk=>info:[age->String]'。 其构成如下所示: indexNameN=>familyN
<type> 定义了action类型。当前支持的action类型是MOVE和MARK。 No (在action标签内) <params> 定义与每个action相关的参数。 No (在action标签内) <param> 定义单个使用<name>和<value>标签的name-value格式参数。
<tablename>:表示要操作的表名。 <inputdir>:表示要批量导入的数据目录。 -Dindexspecs.to.add=<indexspecs>:表示索引名与列的映射,例如-Dindexspecs.to.add='index_bulk=>info:[age->String]'。 其构成如下所示: indexNameN=>familyN
发、停止、编辑、删除、查看作业详情和Checkpoint故障恢复等操作。 如果要使用其他用户在节点上读取已提交的作业相关文件,需确保该用户与提交作业的用户具有相同的用户组和具有对应的FlinkServer应用管理权限角色,如参考创建FlinkServer权限角色勾选“应用查看”。
使用root用户登录安装了集群客户端的节点。 cd /opt/client source bigdata_env 创建输入Topic和输出Topic,与样例代码中指定的Topic名称保持一致,输出Topic的清理策略设置为compact。 kafka-topics.sh --create --zookeeper
系统管理员可以通过FusionInsight Manager创建恢复HBase任务并恢复数据。只支持创建任务手动恢复数据。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据,建议手动备份最新管理数据后,再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HBase数据。
排序规范,它确定窗口函数将处理输入行的顺序。 窗口框架,指定给定行该功能要处理的行的滑动窗口。如果未指定帧,则默认为“RANGE UNBOUNDED PRECEDING”,与“UNBOUNDEEN PREBODING AND CURRENT ROWGE”相同。该帧包含从分区的开始到当前行的最后一个对等方的所有行。在没有ORDER