检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
添加Hudi数据源 HetuEngine支持查询COW/MOR类型表数据。本章节指导用户在HSConsole界面配置Hudi类型数据源。 HetuEngine不支持Hudi的bootstrap表的读取。 添加Hudi数据源前提条件 创建Hudi数据源的代理用户,该代理用户为人机用户且需拥有hive组。
准备Storm应用开发和运行环境 开发环境准备分为应用开发客户端和应用提交客户端;应用开发一般在Windows环境下进行;应用提交一般在Linux环境下进行。 准备开发环境 在进行二次开发时,要准备的开发和运行环境如表1所示: 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows
准备HDFS应用开发和运行环境 准备开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Windows或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
准备本地应用开发环境 准备开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK
查询标签配额 功能介绍 查询标签配额信息。支持查看配额总大小及可用配额大小。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/tags/quota 表1 路径参数 参数 是否必选 参数类型 描述 project_id
添加MRS组件自定义参数 MRS集群内各个大数据组件通常支持开源社区的所有参数,其中部分常用场景的配置参数支持在MRS管理控制台或者Manager中进行修改,且部分组件的客户端可能不包含开源特性的所有参数。 如果需要修改或者添加界面中未包含的配置参数,用户可以通过自定义配置项功能
HBase本地二级索引介绍 场景介绍 HBase是基于Key-Value的分布式存储数据库,基于rowkeys对表中的数据按照字典进行排序。如果您根据指定的rowkey查询数据,或者扫描指定rowkey范围内的数据,HBase可以快速查找到需要读取的数据,从而提高效率。在大多数实
缩容集群 功能介绍 对MRS集群进行缩容。 用户可以根据业务需求量,通过缩减指定节点组内节点,对集群进行缩容,以使MRS拥有更优的存储、计算能力,降低运维成本。 当集群正在进行主备同步操作时,不允许进行缩容操作。 调用方法 请参见如何调用API。 URI POST /v2/{pr
导入并配置ClickHouse样例工程 背景信息 获取ClickHouse开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地环境的时间与MRS集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。
准备HDFS应用开发和运行环境 准备开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Windows或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
导入并配置ClickHouse样例工程 背景信息 获取ClickHouse开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地环境的时间与MRS集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。
准备HBase应用开发和运行环境 准备开发环境 在进行二次开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
获取已经同步的IAM用户和用户组 功能介绍 获取已经同步的IAM用户和用户组。 用户可以使用同步之后的IAM用户名登录Manager管理集群。也可以在开启Kerberos认证的集群中,通过界面方式提交作业。 调用方法 请参见如何调用API。 URI GET /v2/{projec
LOAD DATA 命令功能 LOAD DATA命令以CarbonData特定的数据存储类型加载原始的用户数据,这样,CarbonData可以在查询数据时提供良好的性能。 仅支持加载位于HDFS上的原始数据。 命令格式 LOAD DATA INPATH 'folder_path'
终止作业 功能介绍 在MRS集群中终止指定作业。 接口约束 无 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/job-executions/{job_execution_id}/kill 表1 路径参数
HBase本地二级索引介绍 场景介绍 HBase是基于Key-Value的分布式存储数据库,基于rowkeys对表中的数据按照字典进行排序。如果您根据指定的rowkey查询数据,或者扫描指定rowkey范围内的数据,HBase可以快速查找到需要读取的数据,从而提高效率。在大多数实
修改集群名称 功能介绍 修改集群名称。 接口约束 无 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/clusters/{cluster_id}/cluster-name 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
Flume业务配置指南 本章节适用于MRS 3.x及之后版本。 该操作指导用户完成Flume常用业务的配置。其他一些不太常用的Source、Channel、Sink的配置请参考Flume社区提供的用户手册(http://flume.apache.org/releases/1.9.0
准备连接HBase集群配置文件 准备集群认证用户信息 对于开启Kerberos认证的MRS集群,需提前准备具有相关组件操作权限的用户用于程序认证。 以下HBase权限配置示例供参考,在实际业务场景中可根据业务需求灵活调整。 登录FusionInsight Manager。 选择“集群
Flume常用配置参数 部分参数可在Manager界面配置。 使用Flume需要配置Source、Channel和Sink,各模块配置参数说明可通过本节内容了解。 MRS 3.x及之后版本部分参数可通过Manager界面配置,选择“集群 > 服务 > Flume > 配置工具”,