检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
0及以后版本。 使用场景 内置JSON_VALUE函数解析一个JSON item的多个字段时,复用上次JSON item的解析结果,提升算子性能。 使用方法 配置Flink作业时,可通过在FlinkServer WebUI的Flink作业开发界面添加自定义参数“table.optimizing
数组 ARRAY_ELEM 通过下标访问数组。 ARRAY_ELEM(ARRAY[1,2,3], 1) ARRAY_PREPEND 指定位置插入数据到数组。 ARRAY_APPEND(ARRAY[1,2,3], 4) ARRAY_CAT 连接数组。 ARRAY_CAT(ARRAY[1
以根据接收到的元素生成不同的Watermark。 提供迭代的能力 表9 提供迭代的能力的相关接口 API 说明 public IterativeStream<T> iterate() 在流(flow)中创建一个带反馈的循环,通过重定向一个operator的输出到之前的operator。
以根据接收到的元素生成不同的Watermark。 提供迭代的能力 表9 提供迭代的能力的相关接口 API 说明 public IterativeStream<T> iterate() 在流(flow)中创建一个带反馈的循环,通过重定向一个operator的输出到之前的operator。
以根据接收到的元素生成不同的Watermark。 提供迭代的能力 表9 提供迭代的能力的相关接口 API 说明 public IterativeStream<T> iterate() 在流(flow)中创建一个带反馈的循环,通过重定向一个operator的输出到之前的operator。
告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务失败:主机文件句柄使用率超过阈值
模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “服务器IP地址”:填写备份数据的服务器IP地址。 “端口号”:填写SFTP协议连接备份服务器使用的端口号,默认值为“22”。 “用户名”:填写使用SFTP协议连接服务器时的用户名。 “
用户可以使用Spark调用HBase接口来操作HBase table1表,然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 由于pyspark不提供Hbase相关api,本样例使用Python调用Java的方式实现。 下面代码片段仅为演示,具体代码参见SparkHbaset
Manager(首次登录需要修改密码),选择“集群 > 服务 > CDL”,单击“CDLService UI”右侧的超链接,进入CDLService WebUI界面。 选择“连接管理 > 新增连接”,进入“新增连接”参数配置窗口,参考下表,分别新增“thirdparty-kaf
获取SQL结果 功能介绍 在MRS集群中查询SparkSql和SparkScript两种类型作业的SQL语句运行完成后返回的查询结果。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/j
该任务指导用户在运维场景或业务场景中使用Kafka客户端。 本章节适用于MRS 3.x及后续版本。 前提条件 已安装客户端,例如安装目录为“/opt/client”。 各组件业务用户由MRS集群管理员根据业务需要创建。“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。(普通模式不涉及)
topo1 执行以下命令,查看Storm中的拓扑。启用Kerberos认证的集群,只有属于“stormadmin”或“storm”的用户可以查看所有拓扑。 storm list 执行以下命令,删除Storm中的拓扑。 storm kill 拓扑名称 父主题: 使用Storm
当平均CPU使用率小于或等于阈值的90%时,告警恢复。 告警属性 告警ID 告警级别 可自动清除 12016 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Trigger
假定某个Flink业务1每秒就会收到1条消息记录,消息记录某个用户的基本信息,包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录,消息记录该用户的名字、职业信息。 基于某些业务要求,开发的Flink应用程序实现功能:实时的以根据业务2中消息记录的用户名字作为关键字,对两个业务数据进行联合查询。
假定某个Flink业务1每秒就会收到1条消息记录,消息记录某个用户的基本信息,包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录,消息记录该用户的名字、职业信息。 基于某些业务要求,开发的Flink应用程序实现功能:实时的以根据业务2中消息记录的用户名字作为关键字,对两个业务数据进行联合查询。
假定某个Flink业务1每秒就会收到1条消息记录,消息记录某个用户的基本信息,包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录,消息记录该用户的名字、职业信息。 基于某些业务要求,开发的Flink应用程序实现功能:实时的以根据业务2中消息记录的用户名字作为关键字,对两个业务数据进行联合查询。
管理MRS集群用户 创建MRS集群用户 修改MRS集群用户信息 锁定MRS集群用户 删除MRS集群用户 初始化MRS集群用户密码 下载MRS集群用户认证凭据文件 父主题: 管理MRS集群用户
删除作业执行对象(废弃) 功能介绍 删除指定的作业执行对象。该接口兼容Sahara。 MRS 3.x版本镜像,不支持MRS V1.1作业管理接口,需要使用V2作业管理接口。 接口约束 无 调试 您可以在API Explorer中调试该接口。 URI DELETE /v1.1/{p
priority=<priority> [path1] [path2] 命令行中参数含义为: <jar>:指定需要运行的jar包名称。 [mainClass]:指jar包应用工程中的类的main方法。 <priority>:指定任务的优先级,其取值可为:VERY_HIGH、HIGH、NORMAL、LOW、VERY_LOW。
priority=<priority> [path1] [path2] 命令行中参数含义为: <jar>:指定需要运行的jar包名称。 [mainClass]:指jar包应用工程中的类的main方法。 <priority>:指定任务的优先级,其取值可为:VERY_HIGH、HIGH、NORMAL、LOW、VERY_LOW。