检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1498921200L; query.queries = ImmutableList.of(new SubQuery("city.temp", "sum"), new SubQuery("city.hum", "sum")); Gson gson = new Gson(); return
自研超级调度器Superior Scheduler原理 Superior Scheduler是一个专门为Hadoop YARN分布式资源管理系统设计的调度引擎,是针对企业客户融合资源池,多租户的业务诉求而设计的高性能企业级调度器。
以root用户登录HDFS客户端,用户密码为安装前用户自定义,请咨询系统管理员。执行cd命令进入客户端安装目录,然后执行source bigdata_env。 如果集群采用安全版本,要进行安全认证。 执行kinit hdfs命令,按提示输入密码。向MRS集群管理员获取密码。
图3 单击“Attempt ID”列的ID 图4 单击“Logs” 使用具有FlinkServer管理操作权限的用户登录Manager,选择“集群 > 服务 > Flink”,单击“Flink WebUI”后的链接,单击“作业管理”,在作业的“操作”列选择“更多 > 作业详情”也可查看
(可选)选择“ENV管理 > 新建ENV”,进入“新建ENV”参数配置窗口,参考下表进行参数配置。
登录MRS集群详情页面,选择“告警管理”。 选中“告警ID”为“43012”的告警,查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > Spark > 实例 > JDBCServer(对应上报告警实例IP地址) > 定制 >JDBCServer直接内存”。
可在备集群HDFS服务的“管理NameService”页面获取,例如“hacluster”。 “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。
图3 单击“Attempt ID”列的ID 图4 单击“Logs” 使用具有当前Flink作业的管理操作权限的用户登录Manager,选择“集群 > 服务 > Flink”,单击“Flink WebUI”后的链接,单击“作业管理”,在作业的“操作”列选择“更多 > 作业详情”也可查看
联系网络管理员恢复网络。 等待一段时间后,在告警列表中,查看告警是否清除。 是,处理完毕。 否,执行4。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Doris”。
表1 V2接口 接口 功能 API URI 集群管理接口 创建集群 POST /v2/{project_id}/clusters 修改集群名称 PUT /v2/{project_id}/clusters/{cluster_id}/cluster-name 创建集群并提交作业 POST
MRS 3.2.0-LTS.1 组件选择 基于系统预置的集群模板选择要购买的集群组件。 ClickHouse集群 可用区 选择集群工作区域下关联的可用区。 可用区1 虚拟私有云 选择需要创建集群的VPC,单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。
Topic名称> shkafka-topics.sh --delete --bootstrap-server <Kafka集群IP:21007>--command-config config/client.properties --topic <Topic名称> 创建Topic,由管理员用户操作
Topic名称> shkafka-topics.sh --delete --bootstrap-server <Kafka集群IP:21007>--command-config config/client.properties --topic <Topic名称> 创建Topic,由管理员用户操作
处理步骤 旧Consumer API 前提条件 系统管理员已明确业务需求,并准备一个Kafka管理员用户(属于kafkaadmin组)。 已安装Kafka客户端。 操作步骤 以客户端安装用户,登录安装Kafka客户端的节点。
true:启用Metastore分区管理,即数据源表存储分区在Hive中,并在查询语句中使用Metastore修剪分区。 false:不启用Metastore分区管理。
true:启用Metastore分区管理,即数据源表存储分区在Hive中,并在查询语句中使用Metastore修剪分区。 false:不启用Metastore分区管理。
登录MapReduce服务管理控制台。 选择“现有集群”,单击集群名称,进入集群概览页面,在运维管理区域,查看集群是否绑定委托。 是,执行4。 否,执行3。 单击“委托管理”,重新绑定委托,等待几分钟后查看告警是否恢复。 是,操作结束。 否,执行4。 收集故障信息。
推荐的历史数据同步方式: -- create MV с where date >= in_the_future CREATE MATERIALIZED VIEW mv1 ON CLUSTER default_cluster TO dest AS SELECT a, d, count
命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 登录MRS管理控制台。 选择“现有集群”,单击集群名称进入集群详情页面。 选择“组件管理 > Ranger > 服务配置”,修改RangerAdmin配置。
表1 模块说明 名称 描述 HA 高可用性管理模块,主备DBServer通过HA进行管理。 Database 数据库模块,存储Client模块的元数据。