检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
jar,该jar包可在Kafka客户端目录下获取。 下面列出producer和consumer,以及Flink Stream SQL Join使用主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink.examples.WriteIntoKafka和com.huawei
当升级Manager所在的节点时,可能出现Manager无法登录问题,是Manager所在的节点在进行主备倒换的正常现象,请稍后重新登录即可。若长时间无法登录,请联系运维人员处理。 停止所有角色后,可能出现如下告警,Master节点规格升级完成并启动所有角色后,告警将自动恢复。 ALM-12006 节点故障
该分组的权重,见schedulingPolicy,默认为1。 jmxExport 可选 如果为true,则组统计信息将被导出到JMX中进行监控,默认为false。 subGroups 可选 子分组列表。 killPolicy 可选 当查询提交给Worker后,如果总内存使用量超过
行为。 管理员可将SQL防御行为在“提示”、“拦截”、“熔断”选项之间进行灵活切换,系统会将发生的SQL防御事件实时写入到防御审计日志中。运维人员可进行日志分析,评估现网SQL质量,提前感知潜在SQL风险,并做出有效预防措施。 SQL防御规则包含以下类型: 静态拦截规则:基于纯粹的SQL语法规则进行拦截或提示。
对于开启了跨资源池调度的队列,在作业运行过程中不能删除已有资源池,否则可能会导致运行中的作业申请不到资源而持续阻塞。同样如果在作业运行过程中为队列配置新的资源池,那么此时已经处于运行状态的队列可能不能立即使用到新资源池的资源,新增的资源仅对修改后提交的作业有效。 使用Superior调度器集群请参考下表为子租户配置属性。
据的分析与处理,可以将云服务和应用程序的可用性和性能最大化,为您提供实时、高效、安全的日志处理能力,帮助您快速高效地进行实时决策分析、设备运维管理、用户业务趋势分析等。具体对接指导请参见MRS服务如何对接云日志服务。 同时FusionInsight Manager支持在线检索并显
执行以下命令,查看协议是否全部变更为TCP: netstat -nap | grep pid | grep -v unix 是,结束操作。 否,请联系运维人员。 [omm@host03]\>netstat -nap | grep 49989 (Not all processes could be
ine服务页面。 在概览页签下的“基本信息”区域单击“HSConsole WebUI”后的链接,进入HSConsole界面。 选择“SQL运维 > 物化视图推荐”,可根据“租户”、“状态”、“推荐周期”、“物化视图名称”进行搜索,支持模糊搜索,支持导出指定物化视图推荐结果信息。 物化视图任务的“状态”包括如下:
”、“@”等)可能导致同步IAM用户失败。 设置“用户类型”,可选值包括“人机”和“机机”。 “人机”用户:用于在FusionInsight Manager的操作运维场景,以及在组件客户端操作的场景。选择该值需同时选择“密码策略”并填写“密码”和“确认密码”。 “机机”用户:用于组件应用开发的场景。选择该值则用户密码随机生成,无需填写。
定的locator所对应的数据节点上面,所以如果不对locator进行规划,会造成数据节点容量不均衡。下面总结了保证数据节点容量均衡的两个主要的使用原则,如表2所示。 表2 使用原则 编号 使用原则 说明 1 所有的数据节点在locators中出现的频率一样。 如何保证频率一样:
HBase时,建议使用的版本为2.1.X、1.3.X,请执行搬迁前务必确认是否支持搬迁。 方案架构 HBase会把数据存储在HDFS上,主要包括HFile文件和WAL文件,由配置项“hbase.rootdir”指定在HDFS上的路径,华为云MRS集群的默认存储位置是“/hbase”文件夹下。
ices_ClientConfig scp Flink/config/* root@客户端节点IP地址:/opt/client/conf 主要配置文件说明如表2所示。 表2 配置文件 文件名称 作用 core-site.xml 配置Flink详细参数。 hdfs-site.xml
jar,该jar包可在Kafka客户端目录下获取。 下面列出producer和consumer,以及Flink Stream SQL Join使用主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink.examples.WriteIntoKafka和com.huawei
Pipeline 配置表 架构 Flink架构如图2所示。 图2 Flink架构 Flink整个系统包含三个部分: Client Flink Client主要给用户提供向Flink系统提交用户任务(流式作业)的能力。 TaskManager Flink系统的业务执行节点,执行具体的用户任务。Ta
Pipeline 配置表 结构 Flink结构如图2所示。 图2 Flink结构 Flink整个系统包含三个部分: Client Flink Client主要给用户提供向Flink系统提交用户任务(流式作业)的能力。 TaskManager Flink系统的业务执行节点,执行具体的用户任务。Ta
obs://并行文件系统名称/tmp/flinkjob/test -output obs://并行文件系统名称/tmp/flinkjob/output 由于Flink作业是On Yarn运行,在配置Flink对接OBS文件系统之前需要确保Yarn对接OBS文件系统功能是正常的。 OBS并行文件系统名称/文件名称:OBS文件路径需写至目录层级。
径。 daemonlog 获取或者设置服务LOG级别。 CLASSNAME 运行一个名字为CLASSNAME的类。 top 运行集群利用率监控工具。 -Dmapreduce.job.hdfs-servers 如果对接了OBS,而服务端依然使用HDFS,那么需要显式在命令行使用该参
径。 daemonlog 获取或者设置服务LOG级别。 CLASSNAME 运行一个名字为CLASSNAME的类。 top 运行集群利用率监控工具。 -Dmapreduce.job.hdfs-servers 如果对接了OBS,而服务端依然使用HDFS,那么需要显式在命令行使用该参
径。 daemonlog 获取或者设置服务LOG级别。 CLASSNAME 运行一个名字为CLASSNAME的类。 top 运行集群利用率监控工具。 -Dmapreduce.job.hdfs-servers 如果对接了OBS,而服务端依然使用HDFS,那么需要显式在命令行使用该参
点数据:一个点具有一个空间范围,仅通过其位置描述。它不占用空间,没有相关的边界。点数据由二维空间中的点的集合组成。点可以存储为一对经纬度。 区域数据:一个区域有空间范围,有位置和边界。位置可以看作是一个定点在区域内的位置,例如它的质心。在二维中,边界可以可视化为一条线(有限区域,闭环)。区域数据包含一系列区域。