正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
omm:wheel ${BIGDATA_DATA_HOME}/data2 -R。 在Manager管理界面,单击指定的NodeManager实例并切换到“实例配置”。 将配置项“yarn.nodemanager.local-dirs”或“yarn.nodemanager.log-dirs”修改为新的目标目录。
a。 如果告警原因为“DataNode数据目录中多个目录使用同一磁盘”,执行5.a。 检查DataNode数据目录是否创建失败。 执行以下命令切换用户: sudo su - root su - omm 使用ls命令查看DataNode数据目录中的每个目录是否存在。 是,执行7。 否,执行3
升级,应用程序仍然可以运行旧版本的Hadoop。 配置描述 进入HDFS客户端。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装路径 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命
distinct出现次数超过2就进行“提示”的规则。 图1 添加Spark SQL防御规则 登录安装有Spark客户端的节点,执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令,配置环境变量。 source bigdata_env source
CoGroupedStreams:在窗口上对数据进行coGroup操作,可以实现流的各种join类型。 图1 Flink Stream的各种流类型转换 流数据输入 表1 流数据输入的相关接口 API 说明 def fromElements[T: TypeInformation](data:
CoGroupedStreams:在窗口上对数据进行coGroup操作,可以实现流的各种join类型。 图1 Flink Stream的各种流类型转换 流数据输入 表1 流数据输入的相关接口 API 说明 def fromElements[T: TypeInformation](data:
CoGroupedStreams:在窗口上对数据进行coGroup操作,可以实现流的各种join类型。 图1 Flink Stream的各种流类型转换 流数据输入 表1 流数据输入的相关接口 API 说明 def fromElements[T: TypeInformation](data:
登录FusionInsight Manager页面,选择“系统 > 权限 > 域和互信 > 本端域”,即可查看系统域名,系统域名所有字母需转换为小写。 如果配置了SSL,则必须配置ssl.truststore.location和ssl.truststore.password,前者
HA方案和设置ThriftServer连接的超时时间。 ThriftServer HA方案,当ThriftServer主节点发生故障时,备节点能够主动切换为主节点,为集群提供服务。Beeline和JDBC客户端代码两种连接方式的操作相同。 连接HA模式下的ThriftServer,连接字符串
9.2.3补丁安装完成之后,需要重启OMS服务。如果集群之前安装了1.9.2.2补丁,不需要做此操作。 使用root用户登录主备OMS节点,切换至omm用户,执行命令sh ${BIGDATA_HOME}/om-0.0.1/sbin/restart-oms.sh重启OMS服务。 主备OMS节点都需要重启。
erver”。 进入“/udf/hetuserver”,单击上传UDF函数包。 使用HDFS命令行上传。 登录HDFS服务客户端所在节点,切换到客户端安装目录,例如“/opt/client”。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env
对磁盘健康状态进行检查,建议使用专门的磁盘检查工具。 统计存储 分批次排查集群节点磁盘数据是否均匀存储,筛选出明显数据增加或不足的硬盘,并确认硬盘是否正常。 记录变更 安排并记录对集群配置参数和文件实施的操作,为故障分析处理场景提供依据。 每月 分析日志 收集集群节点服务器的硬件日志,例如BMC系统日志,并进行分析。
CoGroupedStreams:在窗口上对数据进行coGroup操作,可以实现流的各种join类型。 图1 Flink Stream的各种流类型转换 流数据输入 表1 流数据输入的相关接口 API 说明 public final <OUT> DataStreamSource<OUT> fromElements(OUT
CoGroupedStreams:在窗口上对数据进行coGroup操作,可以实现流的各种join类型。 图1 Flink Stream的各种流类型转换 流数据输入 表1 流数据输入的相关接口 API 说明 public final <OUT> DataStreamSource<OUT> fromElements(OUT
CoGroupedStreams:在窗口上对数据进行coGroup操作,可以实现流的各种join类型。 图1 Flink Stream的各种流类型转换 流数据输入 表1 流数据输入的相关接口 API 说明 public final <OUT> DataStreamSource<OUT> fromElements(OUT
Availability,用于解决NameNode单点故障问题,该特性通过主备的方式为主NameNode提供一个备用者,一旦主NameNode出现故障,可以迅速切换至备NameNode,从而不间断对外提供服务。 在一个典型HDFS HA场景中,通常由两个NameNode组成,一个处于Active状态,另一个处于Standby状态。
proxyuser.test.groups”值为“*”:表示test用户连接后,可以使用任意代理用户,不限制代理用户所在的用户组。 修改如下参数值,切换JDBCServer实例至多实例模式: 参数名称 值 spark.scheduler.allocation.file #{conf_dir}/fairscheduler
如果告警原因为“DataNode数据目录中多个目录使用同一磁盘”,执行21。 检查DataNode数据目录是否创建失败。 执行su - omm命令,切换到omm用户。 使用ls命令查看DataNode数据目录中的每个目录是否存在。 是,执行26。 否,执行12。 使用mkdir 数据目录命令创建该目录,查看是否可以创建成功。
CoGroupedStreams:在窗口上对数据进行coGroup操作,可以实现流的各种join类型。 图1 Flink Stream的各种流类型转换 流数据输入 表1 流数据输入的相关接口 API 说明 public final <OUT> DataStreamSource<OUT> fromElements(OUT
不涉及 app_id String 参数解释: 实际作业编号。 取值范围: 不涉及 tracking_url String 参数解释: 日志链接地址。当前仅SparkSubmit作业支持该参数。该参数基于集群的EIP访问集群中的YARN WebUI页面,用户如果在VPC界面解绑EIP,