检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
-setLabelExpression -expression 'LabelB[fallback=NONE]' -path /Spark命令,给Spark目录设置表达式。在“/Spark”目录下文件对应的数据块副本只能放置到LabelB标签上的节点,如DN5、DN6、DN7、DN8。 设置数据节点的标签参考配置描述。
bigdata_env source Hive/component_env kinit 组件业务用户(集群未启用Kerberos认证(普通模式)请跳过该操作) 登录Hive客户端,并执行以下命令创建Hive表: beeline create table hivetest(a int
female info <in> <out>"); System.exit(2); } // 判断是否为安全模式 if("kerberos".equalsIgnoreCase(conf.get("hadoop.security.authentication"))){
Node”,如MapReduce、Java等。 所有的“Action Node”以有向无环图DAG(Direct Acyclic Graph)的模式部署运行。所以在“Action Node”的运行步骤上是有方向的,当上一个“Action Node”运行完成后才能运行下一个“Action
清除。 是,处理完毕。 否,执行6。 重启服务期间服务不可用,Flume业务中断。 重启实例期间若配置SinkGroup的failover模式且至少保持一个实例正常运行时Flume业务不中断,否则Flume业务会中断。 收集故障信息。 在FusionInsight Manager界面,选择“运维
n对接OBS文件系统功能是正常的。 OBS并行文件系统名称/文件名称:OBS文件路径需写至目录层级。 集群已启用Kerberos认证(安全模式)需参考Ranger权限配置在Ranger中为组件操作用户赋予OBS路径的“Read”和“Write”权限。 Ranger权限配置 登录FusionInsight
以客户端安装用户登录安装了HBase客户端的节点,并配置环境变量。 cd HBase客户端安装目录 source bigdata_env 若集群已启用Kerberos认证(安全模式),需执行以下命令认证用户。 kinit 组件业务用户 执行以下命令登录HBase客户端并修改表描述: hbase shell alter
> 重启实例”,重启所有FE实例。 登录安装了MySQL的节点,执行以下命令,连接Doris数据库。 若集群已启用Kerberos认证(安全模式),需先执行以下命令再连接Doris数据库: export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 mysql
ALM-38013 Produce请求在请求队列的时延超过阈值 告警解释 系统每30秒周期性检测Broker实例的Produce请求在请求队列的时延,当检测到某个Broker上的Produce请求在请求队列的时延连续10次超出阈值时产生该告警。 当Produce请求在请求队列的时延小于或等于阈值时,告警消除。
HDFS Colocation 功能简介 同分布(Colocation)功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性,将那些需进行关联操作的文件存放在相同数据节点上,在进行关联操作计算时避免了到别的数据节点上获取数据,大大降低网络带宽的占用。
JobManager Flink系统的管理节点,管理所有的TaskManager,并决策用户任务在哪些Taskmanager执行。JobManager在HA模式下可以有多个,但只有一个主JobManager。 MRS对外提供了多个Flink组件的应用开发样例工程,本实践用于指导您创建MRS集群后,
-setLabelExpression -expression 'LabelB[fallback=NONE]' -path /Spark命令,给Spark目录设置表达式。在“/Spark”目录下文件对应的数据块副本只能放置到LabelB标签上的节点,如DN5、DN6、DN7、DN8。 设置数据节点的标签参考配置描述。
使用SparkSql编辑器之前需要先修改Spark2x配置。 进入Spark2x的全部配置页面,具体操作请参考修改集群服务配置参数。 设置Spark2x多实例模式,搜索并修改Spark2x服务的以下参数: 参数名称 值 spark.thriftserver.proxy.enabled false spark
enabled String类型,是否开启TTL 否,false或者true,默认是false strategy String类型,TTL的触发模式 否,NUM_COMMITS或者TIME_ELAPSED,默认是NUM_COMMITS value String类型,TTL的触发间隔时间
请确保客户端用户具备对应目录权限。 principal名。 security.kerberos.login.principal: abc222 对于HA模式,如果配置了ZooKeeper,还需要设置ZooKeeper Kerberos认证相关的配置。 zookeeper.sasl.disable:
k写hudi,则至少提交的checkpoint要超过这个阈值;如果是批写Hudi,则批写次数要超过这个阈值。 建议 MOR表下游采用批量读模式,采用clean的版本数为compaction版本数+1。 MOR表一定要保证Compaction Plan能够被成功执行,Compaction
protection”需使用相同的数据传输方式。默认设置为“privacy”表示加密,“authentication”表示不加密。 对于开启了Kerberos认证的集群(安全模式),集群之间需要配置系统互信。 每个集群的两个安全组,需分别添加对端集群的两个安全组入方向规则,允许安全组中所有弹性云服务器全部协议全部端口的访问请求。
压缩格式的数据。 目前MRS集群支持在线创建如下几种类型的作业: MapReduce:提供快速并行处理大量数据的能力,是一种分布式数据处理模式和执行环境,MRS支持提交MapReduce Jar程序。 Spark:基于内存进行计算的分布式计算框架,MRS支持提交SparkSubmit、Spark
目录并认证用户。 cd /opt/client source bigdata_env kinit HetuEngine组件操作用户 (普通模式集群跳过) 执行以下命令,登录数据源的catalog。 hetu-cli --catalog 数据源名称 --schema 数据库名 例如执行以下命令:
ALM-12192 主机负载超过阈值 告警解释 系统每30秒周期性检测平均负载,并把实际平均负载和阈值相比较。当检测到平均负载连续多次(默认值为10)超出阈值范围时产生该告警。 平滑次数为1,平均负载小于或等于阈值时,告警恢复;平滑次数大于1,平均负载小于或等于阈值的90%时,告警恢复。