检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Hudi Hudi表概述 使用Spark Shell创建Hudi表 使用spark-sql操作Hudi表 使用Hudi-Cli.sh操作Hudi表 Hudi写操作 Hudi读操作 Hudi数据管理维护 Hudi SQL语法参考 Hudi Schema演进 配置Hudi数据列默认值
Hudi读操作 读取Hudi数据概述 读取Hudi cow表视图 读取Hudi mor表视图 父主题: 使用Hudi
Hudi DML语法说明 INSERT INTO MERGE INTO UPDATE DELETE COMPACTION SET/RESET ARCHIVELOG CLEAN CLEANARCHIVE Drop Partition 父主题: Hudi SQL语法参考
使用CDL CDL数据集成概述 CDL用户权限管理 快速使用CDL创建数据同步作业 创建CDL作业前准备 创建CDL作业 CDL作业数据DDL变更说明 CDL日志介绍 CDL常见问题 CDL故障排除
使用ZooKeeper 通过MRS客户端连接ZooKeeper报错 由于主备Master节点时间未同步导致ZooKeeper服务不可用
账号密码类 如何重置或修改Manager(admin)密码? 用户名过长导致下载认证凭据失败
使用Impala 连接impala-shell失败 创建Kudu表报错 Impala客户端安装Python2
使用Alluixo Alluixo在HA模式下出现Does not contain a valid host:port authority报错
使用ClickHouse ZooKeeper上数据错乱导致ClickHouse启动失败问题 ClickHouse消费Kafka数据异常
备集群认证用户信息时得到的keytab文件“user.keytab”和“krb5.conf”文件以及准备运行环境配置文件时获取的所有配置文件放置在样例工程的“kafka-examples\src\main\resources”目录下。 安装IntelliJ IDEA和JDK工具后,需要在IntelliJ
File Encodings”,分别在右侧的“Global Encoding”和“Project Encoding”的下拉框中,选择“UTF-8”。 图15 File Encodings 然后单击“Apply”和“OK”,完成编码配置。 父主题: 准备HBase应用开发环境
的情况下想手动停止任务,需要如何操作? 回答 登录FusionInsight Manager。 选择“集群 > 待操作的集群名称 > 服务 > Yarn”。 单击左侧页面的“ResourceManager(主机名称,主)”按钮,登录Yarn界面。 单击对应任务ID的按钮进入任务页面,单击界面左上角的“Kill
在Hive执行MapReduce任务长时间卡住的情况下想手动停止任务,需要如何操作? 回答 登录FusionInsight Manager。 选择“集群 > 服务 > Yarn”。 单击左侧页面的“ResourceManager(主机名称,主)”按钮,登录Yarn界面。 单击对应任务ID的按钮进入任务页面,单击界面左上角的“Kill
从Hive中导出数据到关系数据库 从同一集群内HBase导出数据到HDFS/OBS Loader作业流程 用户通过Loader界面进行数据导入导出作业,操作流程如图1所示。 图1 导入流程示意 用户也可以通过shell脚本来更新与运行Loader作业,该方式需要对已安装的Loader客户端进行配置。
apache.hadoop.mapreduce.Job:用户提交MR作业的接口,用于设置作业参数、提交作业、控制作业执行以及查询作业状态。 org.apache.hadoop.mapred.JobConf:MapReduce作业的配置类,是用户向Hadoop提交作业的主要配置接口。 表1 类org
apache.hadoop.mapreduce.Job:用户提交MR作业的接口,用于设置作业参数、提交作业、控制作业执行以及查询作业状态。 org.apache.hadoop.mapred.JobConf:MapReduce作业的配置类,是用户向Hadoop提交作业的主要配置接口。 表1 类org
避免写入单条记录超大的数据 单条记录超大的数据在影响处理效率的同时还可能写入失败,此时需要在初始化Kafka生产者实例时根据情况调整“max.request.size ”值,在初始化消费者实例时调整“max.partition.fetch.bytes”值。 例如,参考本例,可以将max.request
“迁入节点主机名”与“迁出节点主机名”只能各填写一个主机名,不支持多节点迁移。 具体的参数值可以在ClickHouse服务界面单击“实例”页签,查看当前ClickHouseServer实例所在“主机名称”列获取。 “带宽上限”为可选参数,如果不填写则为无上限,最大可设置为10000MB/s。 在选择
是十分明显。如果用户十分确定某个算子是无状态的,该算子可以不调用uid()方法分配ID。 如果用户在升级作业时新添加一个有状态的算子有什么影响? 当用户在作业中新添加一个有状态的算子时,由于该算子是新添加的,无保存的旧状态,因此无状态恢复,从0开始运行。 如果用户在升级作业时从作业中删除一个有状态的算子有什么影响?
read.threadpool.size”参数,修改该参数值为“0”。 单击“保存”保存配置。 单击“实例”,勾选所有RegionServer实例,选择“更多 > 滚动重启实例”,滚动重启RegionServer使配置生效。 父主题: HBase常见问题