检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive应用开发常见问题 Hive对外接口介绍 配置Windows通过EIP访问普通模式集群Hive 使用IBM JDK产生异常“Problem performing GSS wrap”如何处理 父主题: Hive开发指南(普通模式)
Hive JDBC访问样例程序 Hive JDBC样例程序开发思路 创建Hive表 加载数据到Hive表中 查询Hive表数据 实现Hive进程访问多ZooKeeper 使用JDBC接口提交数据分析任务 父主题: 开发Hive应用
Hive JDBC访问样例程序 Hive JDBC样例程序开发思路 创建Hive表 加载数据到Hive表中 查询Hive表数据 实现Hive进程访问多ZooKeeper 使用JDBC接口提交数据分析任务 父主题: 开发Hive应用
DML LOAD DATA UPDATE CARBON TABLE DELETE RECORDS from CARBON TABLE INSERT INTO CARBON TABLE DELETE SEGMENT by ID DELETE SEGMENT by DATE SHOW
Hive JDBC访问样例程序 Hive JDBC样例程序开发思路 创建Hive表 加载数据到Hive表中 查询Hive表数据 实现Hive进程访问多ZooKeeper 使用JDBC提交数据分析任务 父主题: 开发Hive应用
MRS对接LakeFormation云服务 LakeFormation服务概述 配置LakeFormation数据连接前准备 创建集群时配置LakeFormation数据连接 通过Ranger为MRS集群内用户绑定LakeFormation角色 父主题: 周边云服务对接
使用Yarn客户端提交任务 操作场景 该任务指导用户在运维场景或业务场景中使用Yarn客户端。 前提条件 已安装客户端。 例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下
CarbonData调优思路 查询性能调优 CarbonData可以通过调整各种参数来提高查询性能。大部分参数聚焦于增加并行性处理和更好地使用系统资源。 Spark Executor数量:Executor是Spark并行性的基础实体。通过增加Executor数量,集群中的并行数量
常见操作 修改集群服务配置参数 访问集群Manager 使用MRS客户端
访问Spark应用的聚合日志页面报“DNS查找失败”错误 问题 采用http(s)://<spark ip>:<spark port>的方式直接访问Spark JobHistory页面时,如果当前跳转的Spark JobHistory页面不是FusionInsight代理的页面(
计费说明 MRS服务计费简单、易于预测。MRS支持按需计费,同时您也可以选择更经济的包年、包月的包周期计费方式。为了便于您便捷的下单购买,在控制台购买界面中已经为您计算好了整个MRS集群的价格,您可一键完成购买。 计费项 购买MRS集群的费用包含两个部分: MRS服务管理费用 您可以在“费用中心
HetuEngine DML SQL语法说明 INSERT DELETE UPDATE LOAD 父主题: HetuEngine常见SQL语法说明
在Linux环境中调测JDBC或Session应用 操作场景 IoTDB应用程序支持在安装IoTDB客户端的Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至准备好的Linux运行环境中运行。操作以Session程序为例,JDBC程序操作与Session程序一样。 前提条件
在Linux环境中调测Kafka应用 操作场景 在程序代码完成开发后,可以在Linux环境中运行IoTDB-Kafka样例程序。 前提条件 已安装IoTDB和Kafka客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
集群创建类 如何使用自定义安全组创建MRS集群? 购买MRS集群时,找不到HDFS、Yarn、MapReduce组件如何处理? 购买MRS集群时,找不到ZooKeeper组件如何处理? 购买MRS集群,提交订单时,报无效认证如何处理?
CarbonData调优思路 查询性能调优 CarbonData可以通过调整各种参数来提高查询性能。大部分参数聚焦于增加并行性处理和更好地使用系统资源。 Spark Executor数量:Executor是Spark并行性的基础实体。通过增加Executor数量,集群中的并行数量
附录 修改集群服务配置参数 访问集群Manager 使用MRS客户端
HetuEngine性能调优 调整Yarn资源分配 调整HetuEngine集群节点资源配置 调整HetuEngine INSERT写入优化 调整HetuEngine元数据缓存 调整HetuEngine动态过滤 开启HetuEngine自适应查询执行 调整Hive元数据超时 调整Hudi数据源性能
index相关配置 参数 描述 默认值 hoodie.index.class 用户自定义索引的全路径名,索引类必须为HoodieIndex的子类,当指定该配置时,其会优先于hoodie.index.type配置。 "" hoodie.index.type 使用的索引类型,默认为布隆过滤器。可能的选项是[BLOOM
Spark应用开发环境简介 在进行应用开发时,要准备的开发环境如表1所示。同时需要准备运行调测的Linux环境,用于验证应用程序运行正常。 表1 开发环境 准备项 说明 安装JDK 开发环境的基本配置。版本要求:1.7或者1.8。 说明: 基于安全考虑,MRS 服务端只支持TLS