检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Group”、“Select User”列选择已创建好的需要授予权限的Role、用户组或用户,单击“Add Conditions”,添加策略适用的IP地址范围,单击“Add Permissions”,添加对应权限。 Read:读权限 Write:写权限 Execute:执行权限 Select/Deselect
<topic> <batchTime>,其中<checkPointDir>指应用程序结果备份到HDFS的路径,<brokers>指获取元数据的Kafka地址,<topic>指读取Kafka上的topic名称,<batchTime>指Streaming分批的处理间隔。 由于Spark Streaming
节点故障”告警产生。 是,执行3。 否,执行4。 按“ALM-12006 节点故障”提供的步骤处理该告警。 以root用户登录该告警的主机地址,用户密码为安装前用户自定义,请咨询系统管理员。查看告警角色所在安装目录用户、用户组、权限等是否正常。正常用户和用户组的权限为“omm:ficommon
进入Spark客户端目录,调用bin/spark-submit脚本运行代码。 其中,在运行样例程序时需要指定<zkQuorum>,<zkQuorum>指ZooKeeper的IP地址。 bin/spark-submit --class com.huawei.bigdata.spark.examples.SparkHbasetoHbase
密的字符,Flume客户端中提供了加密工具。 安装Flume客户端。 登录安装Flume客户端的节点,并切换到客户端安装目录。例如“/opt/FlumeClient”。 切换到以下目录 cd fusioninsight-flume-Flume组件版本号/bin 执行以下命令,加密原始信息:
使用bitmap计算预估,耗时在3秒以内。 使用GLOBAL JOIN/IN替换普通的JOIN。 ClickHouse基于分布式表的查询会转换成所有分片的本地表的操作,再汇总结果。实际使用中,join和global join的执行逻辑差别很大,建议使用global join做分布式表查询。
hadoop 0 2016-04-22 16:10 /user 创建请求上传命令,获取集群分配的可写入DataNode节点地址的信息Location。 执行如下命令访问HTTP: linux1:/opt/client # curl -i -X PUT --negotiate
Hudi表分区设计规范 规则 分区键不可以被更新: Hudi具有主键唯一性机制,但在分区表的场景下通常只能保证分区内主键唯一,因此如果分区键的值发生变更后,会导致相同主键的行记录出现多条的情况。在以日期分区的场景,可采用数据的创建时间为分区字段,切记不要采用数据更新时间做分区。 当指定Hu
er2之间会切换,Master1节点不一定是MRS Manager的主管理节点,需要在Master1节点中执行命令,确认MRS Manager的主管理节点。命令请参考2.d。 以root用户使用密码方式登录Master1节点。操作方法,请参见登录集群节点章节。 切换至omm用户。
hadoop 0 2016-04-22 16:10 /user 创建请求上传命令,获取集群分配的可写入DataNode节点地址的信息Location。 执行如下命令访问HTTP: linux1:/opt/client # curl -i -X PUT --negotiate
component client is installed successfully 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 执行如下命令初始化环境变量。 source /opt/hadoopclient/bigdata_env
ommdba用户密码不支持在备管理节点修改,否则集群无法正常工作。只需在主管理节点执行修改操作,无需在备管理节点操作。 执行以下命令,切换用户。 sudo su - omm 执行以下命令,切换目录。 cd $OMS_RUN_PATH/tools 执行以下命令,修改ommdba用户密码。 mod_db_passwd
--jobManagerMemory <arg>:为JobManager设置内存。 -m,--jobmanager <arg>:要连接的JobManager的地址,使用该参数可以连接特定的JobManager。 -nl,--nodeLabel <arg>: 指定YARN application的nodeLabel
FusionInsight_Cluster_1_Services_ClientConfig scp Flink/config/* root@客户端节点IP地址:/opt/client/conf 主要配置文件说明如表2所示。 表2 配置文件 文件名称 作用 core-site.xml 配置Flink详细参数。
<topic> <protocol> <service> <domain><checkpointDir>,其中<brokers>指获取元数据的Kafka地址(需使用21007端口),<subscribe-type>指Kafka订阅类型(如subscribe),<topic>指读取Kafka上的
--jobManagerMemory <arg>:为JobManager设置内存。 -m,--jobmanager <arg>:要连接的JobManager的地址,使用该参数可以连接特定的JobManager。 -nl,--nodeLabel <arg>: 指定YARN application的nodeLabel
istory首页面上不显示该part对应的app。 回答 JobHistory服务更新页面上的app时,会根据HDFS上的part文件大小变更与否判断是否刷新首页面的app显示信息。若文件为第一次查看,则将当前文件大小与0作比较,如果大于0则读取该文件。 分组的情况下,如果执行的
修改前确认操作的必要性,修改时确保同一时间无其它管理维护操作。 更换LdapServer所在节点 该操作会导致部署在该节点上的服务中断,且当该节点为管理节点时,更换节点会导致重启OMS各进程,影响集群的管理维护。 更换前确认操作的必要性,更换时确保同一时间无其它管理维护操作。 修改LdapServer密码
Group”、“Select User”列选择已创建好的需要授予权限的Role、用户组或用户,单击“Add Conditions”,添加策略适用的IP地址范围,单击“Add Permissions”,添加对应权限。 Read:读权限 Write:写权限 Create:创建权限 Admin:管理权限
Group”、“Select User”列选择已创建好的需要授予权限的Role、用户组或用户,单击“Add Conditions”,添加策略适用的IP地址范围,单击“Add Permissions”,添加对应权限。 Read:读权限 Write:写权限 Create:创建权限 Admin:管理权限