检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Kudu 从零开始使用Kudu 访问Kudu的WebUI
使用Sqoop Sqoop客户端使用实践 Sqoop1.4.7适配MRS 3.x集群 Sqoop常用命令及参数介绍 Sqoop常见问题
始数据,因为保留一张未加密的表存在安全风险。 创建Hive列加密表 以Hive客户端安装用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录,配置环境变量并认证用户。 cd 客户端安装目录 source bigdata_env kinit Hive业务用户(如果集群未开启Kerberos认证,请跳过该操作)
Impala常见配置参数 本章节适用于MRS 3.x及后续版本。 参数入口 在Manager系统中,选择“集群 > 服务 > Impala > 配置”,选择“全部配置”。在搜索框中输入参数名称。 参数说明 下表仅列举了部分常用参数,实际参数以Manager页面为准,参数详情请参见官网https://docs
配置Hive列加密功能 操作场景 Hive支持对表的某一列或者多列进行加密;在创建Hive表时,可以指定要加密的列和加密算法。当使用insert语句向表中插入数据时,即可实现将对应列加密。列加密只支持存储在HDFS上的TextFile和SequenceFile文件格式的表。Hive列加密不支持视图以及Hive
Tez常用配置参数 参数入口 在Manager系统中,选择“集群 > 服务 > Tez > 配置”,选择“全部配置”。 在搜索框中输入参数名称。 参数说明 表1 参数说明 配置参数 说明 缺省值 property.tez.log.dir Tez日志目录。 /var/log/Bigdata/tez/tezui
jars,而无需使用本地版本。因此在滚动升级中,即使NodeManager已经升级,应用程序仍然可以运行旧版本的Hadoop。 配置描述 进入HDFS客户端。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装路径 执行以下命令配置环境变量。
Hudi常见配置参数 写入操作配置 同步Hive表配置 index相关配置 存储配置 compaction&cleaning配置 单表并发控制配置 父主题: 使用Hudi
Hue常用配置参数 参数入口 参数入口,请参考修改集群服务配置参数进入Hue服务“全部配置”页面。 参数说明 Hue常用参数请参见表1。 表1 Hue常用参数 配置参数 说明 缺省值 范围 HANDLER_ACCESSLOG_LEVEL Hue的访问日志级别。 DEBUG ERROR
录只是举例,请根据实际安装目录修改。在使用客户端前,需要先下载并更新客户端配置文件,确认Manager的主管理节点后才能使用客户端。 操作步骤 安装客户端,具体请参考安装客户端章节。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client
配置HDFS冷热数据迁移 配置场景 冷热数据迁移工具根据配置的策略移动HDFS文件。配置策略是条件或非条件规则的集合。如果规则匹配文件集,则该工具将对该文件执行一组行为操作。 冷热数据迁移工具支持以下规则和行为。 迁移规则: 根据文件的最后访问时间迁移数据 根据年龄时间迁移数据(修改时间)
行的container进度。 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。 ResourceManager Restart特性配置如下。 表1 ResourceManager Restart参数配置 参数 描述 默认值 yarn
Storm业务拓扑配置GC参数不生效 问题背景与现象 业务拓扑代码中配置参数topology.worker.childopts不生效,关键日志如下: [main] INFO b.s.StormSubmitter - Uploading topology jar /opt/jar/example
运用中,HetuEngine管理员可选择通过配置“维护实例”等,开启物化视图的自动创建与自动刷新功能。业务用户可以通过配置客户端Session来获得基于自动创建的物化视图的自动改写与提速。 该能力可以极大降低用户使用物化视图功能的使用难度,带来业务无感知的分析加速效果。HetuE
使用Hive Hive常见日志说明 Hive服务启动失败 安全集群执行set命令的时候报错“Cannot modify xxx at runtime” 提交Hive任务时如何指定队列? 怎么通过客户端设置Map/Reduce内存? 如何在导入Hive表时指定输出的文件压缩格式?
使用Hue Hue界面中查看到未知Job在运行 使用IE浏览器在Hue中执行HQL失败 Hue WebUI界面访问失败 Hue界面无法加载HBase表 Hue中的输入框输入中文会出现混乱 Hue上执行Impala SQL查询中文报错
使用Sqoop Sqoop如何连接MySQL Sqoop读取MySQL数据到HBase时报HBaseAdmin.<init>方法找不到异常 通过Hue创建Sqoop任务将数据从HBase导入HDFS时报错 通过Sqoop从Hive导出数据到MySQL 8.0时报数据格式错误 通过sqoop
使用Oozie 使用Oozie客户端提交作业 使用Hue提交Oozie作业 Oozie企业级能力增强 Oozie日志介绍 Oozie常见问题
使用Doris Doris数据模型概述 Doris用户权限管理 使用MySQL客户端连接Doris 快速使用Doris Doris数据导入 Doris数据分析 Doris企业级能力增强 Doris运维管理 Doris常见SQL语法说明 Doris常见问题 Doirs故障排除
使用Kafka Kafka用户权限管理 Kafka客户端使用实践 使用Kafka生产消费数据 创建Kafka Topic 在Kafka Topic中接入消息 管理Kafka Topic Kafka企业级能力增强 Kafka性能调优 Kafka运维管理 Kafka常见问题