检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
它能够让您快速深入了解大数据,并让您在Hadoop生态系统中更好地开展工作。 方案架构 Hive是建立在Hadoop上的数据仓库框架,提供大数据平台批处理计算能力,能够对结构化/半结构化数据进行批量分析汇总完成数据计算。提供类似SQL的Hive Query Language语言操作结构
'false' -- 关闭Archive操作 Spark离线完成Compaction计划的执行,以及Clean和Archive操作 在调度平台(可以使用华为的DataArts)运行一个定时调度的离线任务来让Spark完成Hudi表的Compaction计划执行以及Clean和Archive操作。
选择“集群 > 服务 > HDFS”,选择“更多 > 下载客户端”。“选择客户端类型”设置为“仅配置文件”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”。 等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例
ALM-14004 损坏的HDFS块数量超过阈值(2.x及以前版本) 告警解释 系统每30秒周期性检测损坏的块数量,并把损坏的块数量和阈值相比较。损坏的块数量指标默认提供一个阈值范围。当检测到损坏的块数量超出阈值范围时产生该告警。 当损坏的块数量小于或等于阈值时,告警恢复。建议使用命令(hdfs
修改集群名称 功能介绍 修改集群名称 接口约束 无 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/clusters/{cluster_id}/cluster-name 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
更新数据连接 功能介绍 更新数据连接 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/data-connectors/{connector_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释:
有些是需要用户自行配置的安全特性,如认证、SSL传输加密等,这些特性可能对性能和使用方便性造成一定影响。 Flink作为大数据计算和分析平台,对客户输入的数据是否包含敏感信息无法感知,因此需要客户保证输入数据是脱敏的。 客户可以根据应用环境,权衡配置安全与否。 任何与安全有关的问题,请联系运维人员。
che Doris能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景,用户可以在此之上构建用户行为分析、AB实验平台、日志检索分析、用户画像分析、订单分析等应用。 Doris采用MPP的模型,节点间和节点内都是并行执行,适用于多个大表的分布式Join。支持向量化的查询引擎、AQE(
查询标签配额 功能介绍 查询标签配额信息 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/tags/quota 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释:
准备本地应用开发环境 在进行二次开发时,要准备的开发环境如表1所示。同时需要准备运行调测的Linux环境,用于验证应用程序运行正常。 表1 开发环境 准备项 说明 操作系统 Windows系统,推荐Windows 7及以上版本。 安装JDK 开发环境的基本配置。版本要求:1.8及以上。
查询用户(组)与IAM委托的映射关系 功能介绍 获取用户(组)与IAM委托之间的映射关系的详细信息。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/agency-mapping 表1 路径参数
更新用户(组)与IAM委托的映射关系 功能介绍 更新用户(组)与IAM委托之间的映射关系。 接口约束 无 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/clusters/{cluster_id}/agency-mapping 表1 路径参数 参数
准备Impala开发和运行环境 准备开发环境 在进行应用开发时,需要准备的本地开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,推荐Windows7以上版本。 运行环境:Windows或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
如果集群启用了安全服务,按登录方式分为以下两种: keytab方式:需要从管理员处获取一个“人机”用户,用于登录FusionInsight Manager平台并通过认证,并且获取到该用户的keytab文件。 票据方式:从管理员处获取一个“人机”用户,用于后续的安全登录,开启Kerberos服务的
che Doris能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景,用户可以在此之上构建用户行为分析、AB实验平台、日志检索分析、用户画像分析、订单分析等应用。 Doris采用MPP的模型,节点间和节点内都是并行执行,适用于多个大表的分布式Join。支持向量化的查询引擎、AQE(
有些是需要用户自行配置的安全特性,如认证、SSL传输加密等,这些特性可能对性能和使用方便性造成一定影响。 Flink作为大数据计算和分析平台,对客户输入的数据是否包含敏感信息无法感知,因此需要客户保证输入数据是脱敏的。 客户可以根据应用环境,权衡配置安全与否。 任何与安全有关的问题,请联系运维人员。
查看弹性伸缩策略 功能介绍 查看指定集群的所有的弹性伸缩策略信息。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/autoscaling-policy/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
查询默认标签状态 功能介绍 查询集群默认标签状态 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/tags/status 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
准备本地应用开发环境 准备开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK
default_cluster_1为查看ClickHouse服务cluster等环境参数信息中查询到的cluster集群标识符。 ReplicatedMergeTree引擎族接收两个参数: ZooKeeper中该表相关数据的存储路径。 该路径必须在/clickhouse目录下,否则后续可能因为ZooKeeper配额不够导致数据插入失败。