检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置ClickHouse对接Kafka 配置ClickHouse通过用户密码对接Kafka 配置ClickHouse通过Kerberos认证对接Kafka 配置ClickHouse对接普通模式Kafka 父主题: ClickHouse数据导入
配置HetuEngine使用代理用户鉴权 适用于MRS 3.3.0及以后版本。 HetuEngine支持使用FusionInsight Manager用户认证时通过客户自有用户(代理用户)使用Ranger鉴权的能力。即在使用HetuEngine客户端时,通过--session-user
MRS 2.1.0版本集群对Storm日志的大小有什么限制? 问: MRS 2.1.0版本的集群对Storm日志的大小有什么限制? 答: MRS 2.1.0版本的集群对Storm日志有不超过20G的限制,超出后会循环删除。 因为日志是保存在系统盘上,有空间限制。如需长期保存,则需要将日志挂载出来
DataArts Studio调度Spark作业偶现失败如何处理? 问题现象 DataArts Studio调度spark作业,偶现失败,重跑失败,作业报错: Caused by: org.apache.spark.SparkException: Application application
提交Flink作业时报错slot request timeout如何处理? 问题现象 Flink作业提交时,jobmanager启动成功,但taskmanager一直是启动中直到超时,报错如下: org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException
集群内用户密码的过期时间如何查询和修改? 查询密码有效期 查询组件运行用户(人机用户、机机用户)密码有效期: 以客户端安装用户,登录安装了客户端的节点。 执行以下命令,切换到客户端目录,例如“/opt/Bigdata/client”。 cd /opt/Bigdata/client
MRS组件jar包版本与集群对应关系说明 MRS 3.1.5 表1 MRS 3.1.5版本集群jar版本 组件 组件版本 jar版本 Flink 1.12.2 1.12.2-hw-ei-315008 Hive 3.1.0 3.1.0-hw-ei- 315008 Tez 0.9.2
开发Flink应用 Flink DataStream样例程序 Flink Kafka样例程序 Flink开启Checkpoint样例程序 Flink Job Pipeline样例程序 Flink Join样例程序 父主题: Flink开发指南(安全模式)
开发HDFS应用 HDFS样例程序开发思路 初始化HDFS 创建HDFS目录 创建HDFS文件并写入内容 追加信息到HDFS指定文件 读取HDFS指定文件内容 删除HDFS指定文件 删除HDFS指定目录 创建HDFS多线程任务 配置HDFS存储策略 配置HDFS同分布策略(Colocation
Hive是否支持向量化查询 问题 当设置向量化参数hive.vectorized.execution.enabled=true时,为什么执行hive on Tez/Mapreduce/Spark时会偶现一些空指针或类型转化异常? 回答 当前MRS Hive不支持向量化执行。 向量化执行有很多社区问题引入目前没有稳定修复
对系统的影响 更改Broker角色的存储目录需要重新启动服务,服务重启时无法访问。 更改Broker单个实例的存储目录需要重新启动实例,该节点Broker实例重启时无法提供服务。 服务参数配置如果使用旧的存储目录,需要更新为新目录。
已开启Token认证机制,详细操作请参考Kafka服务端配置。 已安装Kafka客户端。 操作步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录,例如“/opt/client”。 cd /opt/client 执行以下命令,配置环境变量。
Hue常用配置参数 参数入口 参数入口,请参考修改集群服务配置参数进入Hue服务“全部配置”页面。 参数说明 Hue常用参数请参见表1。 表1 Hue常用参数 配置参数 说明 缺省值 范围 HANDLER_ACCESSLOG_LEVEL Hue的访问日志级别。
YARN接口介绍 YARN Command介绍 YARN Java API接口介绍 YARN REST API接口介绍 Superior Scheduler REST API接口介绍 父主题: YARN开发指南(普通模式)
开发Oozie应用 开发Oozie配置文件 Oozie样例代码说明 通过Java API提交Oozie作业 使用Oozie调度Spark2x访问HBase以及Hive 父主题: Oozie开发指南(普通模式)
单表并发控制配置 参数 描述 默认值 hoodie.write.lock.provider 指定lock provider,不建议使用默认值,使用org.apache.hudi.hive.HiveMetastoreBasedLockProvider org.apache.hudi.client.transaction.lock.ZookeeperBasedLockProvider
ClickHouse数据导入导出 使用ClickHouse客户端导入导出数据 本章节主要介绍使用ClickHouse客户端导入导出文件数据的基本语法和使用说明。 CSV格式数据导入 clickhouse client --host 主机名/ClickHouse实例IP地址 --database
ClickHouse集群管理 ClickHouse集群配置说明 ClickHouse增加磁盘容量 父主题: ClickHouse运维管理
选择“集群 > 服务 > Hive > 配置 > 全部配置”进入Hive服务配置页面,修改HiveServer角色的hive-site.xml自定义配置文件,增加HBase配置文件的如下配置项。
迁移Kafka节点内数据 操作场景 用户可以根据业务需求,通过Kafka客户端命令,在不停止服务的情况下,进行节点内磁盘间的分区数据迁移。也可以通过KafkaUI进行分区迁移。