检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询集群详情 功能介绍 查看指定集群的详细信息。该接口不兼容Sahara。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/cluster_infos/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 cluster_id
Storm-JDBC开发指引 操作场景 本文档主要说明如何使用开源Storm-JDBC工具包,完成Storm和JDBC之间的交互。Storm-JDBC中包含两类Bolt:JdbcInsertBolt和JdbcLookupBolt。其中,JdbcLookupBolt主要负责从数据库
户体验不佳,也会提高运维成本。为了解决上述问题,HetuEngine提供了自适应查询执行的功能,该功能会自适应地调度执行查询。 本章节介绍如何开启自适应查询执行功能。 开启HetuEngine自适应查询执行步骤 使用HetuEngine管理员用户登录Manager,选择“集群 >
Storm-JDBC开发指引 操作场景 本文档主要说明如何使用开源Storm-JDBC工具包,完成Storm和JDBC之间的交互。Storm-JDBC中包含两类Bolt:JdbcInsertBolt和JdbcLookupBolt。其中,JdbcLookupBolt主要负责从数据库
KEYTAB, KRB, config); } // 添加Hive配置文件 config.addResource("hive-site.xml"); // 添加HBase配置文件 Configuration conf = HBaseConfiguration
Kafka”,查看当前Kafka状态,发现状态为良好,且监控指标内容显示正确。 FusionInsight Manager界面操作:登录FusionInsight Manager,选择“集群 > 服务 > Kafka”,查看当前Kafka状态,发现状态为良好,且监控指标内容显示正确。 通过Kafka
查询集群列表 功能介绍 查看用户创建的集群列表信息。该接口不兼容Sahara。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/cluster_infos 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
情况。 当前IAM用户名中存在空格时(例如admin 01),不支持添加作业。 单击“作业管理”,在作业列表界面单击“添加”。 “作业类型”选择“HiveSql”并参考表1配置HiveSql作业信息。 图1 添加HiveSql作业 表1 作业配置信息 参数 描述 示例 作业名称
败的情况。 当前IAM用户名中存在空格时(例如admin 01),不支持添加作业。 单击“作业管理”,在作业列表界面单击“添加”。 “作业类型”选择“SparkSubmit”,并配置其他作业信息。 图1 添加Spark作业 表1 作业配置信息 参数 描述 示例 作业名称 作业名称
况。 当前IAM用户名中存在空格时(例如admin 01),不支持添加作业。 单击“作业管理”,在作业列表界面单击“添加”。 “作业类型”选择“SparkSql”并参考表1配置SparkSql作业信息。 图1 添加SparkSql作业 表1 作业配置信息 参数 描述 示例 作业名称
失败的情况。 当前IAM用户名中存在空格时(例如admin 01),不支持添加作业。 单击“作业管理”,在作业列表界面单击“添加”。 “作业类型”选择“MapReduce”,并配置其他作业信息。 图1 添加MapReduce作业 表1 作业配置信息 参数 描述 示例 作业名称 作
blacklist”中。 等待10分钟,查看故障磁盘使用率是否有减少。 是,继续等待直到告警消除。 否,执行12。 进入“Kafka Topic监控”页面,查看Kafka配置的数据保存时间配置,根据业务需求和业务量权衡,考虑是否需要调小数据保存时间。 是,执行13。 否,执行14。 根
2及之后的版本。 操作场景 本章节介绍Kafka作为source表或者sink表的DDL定义,以及创建表时使用的WITH参数和代码示例,并指导如何在FlinkServer作业管理页面操作。 本示例以安全模式Kafka为例。 前提条件 集群中已安装HDFS、Yarn、Kafka和Flink服务。
Manager,选择“系统 > 权限 > 角色 > 添加角色”,填写角色名称,如“dorisrole”,在“配置资源权限”选择“待操作的集群 > Doris”,勾选“Doris管理员权限”,单击“确定”。 选择“用户 > 添加用户”,填写用户名称,如“dorisuser”,“用户
在该样例中可以掌握如何编写和使用UDF。 一个普通UDF必须继承自“org.apache.hadoop.hive.ql.exec.UDF”。 一个普通UDF必须至少实现一个evaluate()方法,evaluate函数支持重载。 开发自定义函数需要在工程中添加“hive-exec-*
败的情况。 当前IAM用户名中存在空格时(例如admin 01),不支持添加作业。 单击“作业管理”,在作业列表界面单击“添加”。 “作业类型”选择“Flink”并参考表1配置Flink作业信息。 图1 添加Flink作业 表1 作业配置信息 参数 描述 示例 作业名称 作业名称
查询集群节点列表 功能介绍 查询集群节点列表。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/nodes 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释:
支持基于Event Time的聚合计算,支持对迟到数据的处理。 支持对流式数据的去除重复数据操作。 支持状态计算。 支持对流处理任务的监控。 支持批流join,流流join。 当前JOIN操作支持列表如下: 左表 右表 支持的Join类型 说明 Static Static 全部类型
创建Hive表 功能介绍 本小节介绍了如何使用HQL创建内部表、外部表的基本操作。创建表主要有以下三种方式: 自定义表结构,以关键字EXTERNAL区分创建内部表和外部表。 内部表,如果对数据的处理都由Hive完成,则应该使用内部表。在删除内部表时,元数据和数据一起被删除。 外部
MRS Hive对接外部LDAP配置说明 应用场景 本章节介绍Hive如何对接外部LDAP并访问HiveServer。 为了管理集群中数据与资源的访问控制权限,在安全模式下,客户端应用程序在访问集群中的任意资源之前均需要通过身份认证,建立安全会话链接。 MRS通过KrbServe