检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
$BIGDATA_HOME/components/current/服务名/configurations.xml 查询“healthMonitor.properties”关键字,找到该告警上报实例对应的健康检查配置项,记录“monitor.info”参数配置的接口或者脚本路径,如下图所示
图1 执行Hive SQL CREATE DATABASE test; CREATE TABLE IF NOT EXISTS `test`.
例如当前用户访问集群的地址为10.x.x.x,则添加的安全组规则为: 图1 配置安全组 关于安全组的具体配置可参考:配置安全组规则。 安全组中需要放开的IP地址为用户访问MRS集群的公网IP地址,如果当前网络为内部局域网环境,请务必确认安全组中配置的IP地址是否为公网出口IP。
HDFS文件数可以通单击“集群 > 待操作集群的名称 > 服务 > HDFS”,单击图表区域右上角的下拉菜单,选择“定制 > 文件和块”,勾选“HDFS文件”和“HDFS块数”监控项查看。
执行以下命令登录spark-sql客户端: cd Spark客户端安装目录 source bigdata_env kinit 组件业务用户(如果集群未启用Kerberos认证(普通模式)请跳过该操作) spark-sql --master yarn 执行以下命令创建临时视图: CREATE
图1 创建Hive SQL防御规则 登录安装有Hive客户端的节点,执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令,配置环境变量。
表结构包括:表名、列、分区、物化视图等。 在“保持原数据表的所有配置”选择“true”,表示将沿用备份数据的配置,如表副本数。选择“false”表示使用默认配置创建表。 单击“确定”保存。 在恢复任务列表已创建任务的“操作”列,单击“执行”,开始执行恢复任务。
Hadoop分析集群:Hadoop分析集群完全使用开源Hadoop生态,采用YARN管理集群资源,提供Hive、Spark离线大规模分布式数据存储和计算,SparkStreaming、Flink流式数据计算,Presto交互式查询,Tez有向无环图的分布式计算框等Hadoop生态圈的组件
图1 下载客户端 选择“Flume”服务,单击“实例”,查看任意一个Flume实例和两个MonitorServer实例的“业务IP”。 使用VNC方式,登录弹性云服务器。参见远程登录(VNC方式)。 所有镜像均支持Cloud-init特性。
// 设置并发度 env.setParallelism(1); // 解析运行参数 ParameterTool paraTool = ParameterTool.fromArgs(args); // 构造流图,
图1 样例代码下载 下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 MRS服务3.1.2-LTS版本获取样例工程请参考通过开源镜像站获取样例工程。
图1 同步配置(以MRS 1.9.2版本为例) 在弹出窗口勾选“重启配置过期的服务或实例。”,并单击“确定”,重启配置过期的服务。 界面提示“操作成功”,单击“完成”,集群成功启动。 同步组件配置: 登录MRS管理控制台,单击待操作的集群名称。 在集群详情页,单击“组件管理”。
则上图中svctm值为: (19571460 - 19569526) / (1101553 + 28747977 - 1101553 - 28744856) = 0.6197 父主题: MRS集群告警处理参考
图1 reload projects 导出jar包 选择“Maven > clickhouse-examples > Lifecycle > clean”,双击“clean”运行maven的clean命令。
图1 示例 创建一个从SFTP服务器导入数据到HDFS的Loader作业,具体操作请参见典型场景:从SFTP服务器导入数据到HDFS/OBS。 使用安装客户端的用户登录客户端所在节点。 执行以下命令,进入schedule-tool工具的conf目录。
图1 示例 创建一个从SFTP服务器导入数据到HDFS的Loader作业,具体操作请参见使用Loader从SFTP服务器导入数据到HDFS/OBS。 使用安装客户端的用户登录客户端所在节点。 执行以下命令,进入schedule-tool工具的conf目录。
Doris已执行的慢查询语句: select * from __internal_schema.query_history; 在FusionInsight Manager界面,选择“集群 > 服务 > Doris > 查询管理”,即可查看正在进行的慢查询和已经结束的查询,还可以根据图表查看前
// 设置并发度 env.setParallelism(1); // 解析运行参数 ParameterTool paraTool = ParameterTool.fromArgs(args); // 构造流图,
// 设置并发度 env.setParallelism(1); // 解析运行参数 ParameterTool paraTool = ParameterTool.fromArgs(args); // 构造流图,
add(MyAverageAggregationFunction.class) .build(); } } 打包Maven项目,获取target目录下的myfunctions-0.0.1-SNAPSHOT目录,最终项目整体结构如下图所示