检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink支持的所有REST API的URL中的Path信息如表1所示。 表1 Path介绍 Path 说明 /config 有关监控API和服务器设置的一些信息。 /logout 注销的重要信息。 /overview Flink集群状态的简单概要。 /jobs Job的ID,按运行,完成,失败和取消等状态进行分组。
SavePoint Savepoint是指允许用户在持久化存储中保存某个checkpoint,以便用户可以暂停自己的任务进行升级。升级完后将任务状态设置为savepoint存储的状态开始恢复运行,保证数据处理的延续性。 样例工程介绍 MRS样例工程获取地址为https://github.c
SavePoint Savepoint是指允许用户在持久化存储中保存某个checkpoint,以便用户可以暂停自己的任务进行升级。升级完后将任务状态设置为savepoint存储的状态开始恢复运行,保证数据处理的延续性。 样例工程介绍 MRS样例工程获取地址为https://github.c
Flink支持的所有REST API的URL中的Path信息如表1所示。 表1 Path介绍 Path 说明 /config 有关监控API和服务器设置的一些信息。 /logout 注销的重要信息。 /overview Flink集群状态的简单概要。 /jobs Job的ID,按运行,完成,失败和取消等状态进行分组。
xml文件,替换到cluster1中的Spark2x客户端下“conf”目录hbase-site.xml文件。 访问Kafka,仅需将应用访问的Kafka Broker地址设置为cluster2中的Kafka Broker地址即可。 同时访问两个集群的HDFS: 无法同时获取两个相同nameservice的tok
hive."default".t1; SELECT查询 SELECT id FROM hive."default".t1; 在Session级别设置相应的catalog和schema,而不是在查询中传递完全限定的名称 以指定catalogname为“hive”,schemaname为“default”为例:
在“恢复配置”,勾选“元数据和其他数据”下的“Flink”。 在“Flink”的“路径类型”,选择一个恢复目录的类型。 选择不同的备份目录时,对应设置如下: “LocalDir”:表示从主管理节点的本地磁盘上恢复数据。 选择此参数值,还需要配置“源端路径”,表示要恢复的备份文件。例如,“备份任务名_数据源_任务执行时间
登录FusionInsight Manager。 单击“主机”,查看主机列表信息。 主机列表展示了集群中所有主机及主机基本信息,并支持对主机进行相关运维操作以及设置条件筛选和搜索主机;还可单击“导出全部”,在“保存类型”选择“TXT”或“CSV”,单击“确定”导出所有主机的信息。系统默认为“主机视图”
在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选“OMS”,单击“确定”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除
env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置并发度 env.setParallelism(1); // 解析运行参数 ParameterTool
Flink支持的所有REST API的URL中的Path信息如表1所示。 表1 Path介绍 Path 说明 /config 有关监控API和服务器设置的一些信息。 /logout 注销的重要信息。 /overview Flink集群状态的简单概要。 /jobs Job的ID,按运行,完成,失败和取消等状态进行分组。
通过以下命令可跳过REST接口过滤器获取相应的应用信息。 安全模式下,JobHistory仅支持https协议,故在如下命令的url中请使用https协议。 安全模式下,需要设置spark.ui.customErrorPage=false并重启spark2x服务 (JobHistory2x、JDBCServer2x
OBS”管理控制台,单击“并行文件系统”,单击Hive表所在的OBS并行文件系统名称,在概览界面查看“Endpoint”参数值,该值为创建Catalog时设置AWS_ENDPOINT(MRS 3.3.1及之后版本变更为obs.endpoint)参数的值。 登录安装了MySQL的节点,执行以下命令,连接Doris数据库。
percentage)→array<[same as x]> 描述:按照百分比percentage,返回所有x输入值的近似百分位数。每一项的权重值为w且必须为正数。x设置有效的百分位。percentage的值必须在0到1之间,并且所有输入行必须为常量。 select approx_percentile(x,
步骤四:Hive访问OBS文件系统 步骤一:创建ECS委托 登录华为云管理控制台。 在服务列表中选择“管理与监管 > 统一身份认证服务”。 选择“委托 > 创建委托”。 设置“委托名称”。例如:mrs_ecs_obs。 “委托类型”选择“云服务”,在“云服务”中选择“ECS BMS”,授权ECS或BMS调用OBS服务,如图2所示。
rmats/。 kafka_row_delimiter 每个消息体(记录)之间的分隔符。 kafka_handle_error_mode 设置为stream,会把每条消息处理的异常打印出来。需要创建视图,通过视图查询异常数据的具体处理异常。 创建视图语句,示例如下: CREATE
env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置并发度 env.setParallelism(1); // 解析运行参数 ParameterTool
search 7.6.2”集群为例进行相关操作,具体请以实际情况为准。 若有额外的自定义模块,也单独打包成一份Jar包。 步骤二:在MRS设置对接云搜索服务 将在Past Releases下载的对应的Jar包分别上传到所有的HiveServer所在节点的“/opt/Bigdata
fault用户登录。 --password 密码。 默认值:空字符串。该参数和--user参数配套使用,可以在Manager上创建用户名时设置该密码。 --query 使用非交互模式查询。 --database 默认当前操作的数据库。默认值:服务端默认的配置(默认是default)。
env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置并发度 env.setParallelism(1); // 解析运行参数 ParameterTool