正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过Sqoop读取MySQL数据并写parquet文件到OBS时失败 用户问题 通过Sqoop读取MySQL数据,然后直接写到OBS,指定parquet格式时写入报错,不指定parquet时不报错。 问题现象 原因分析 parquet格式不支持hive3,用Hcatalog方式写入。
ClosureCleaner::clean(Object func, boolean checkSerializable) 首先使用KafkaPartitioner对象去构造一个FlinkKafkaDelegatePartitioner对象,然后再检查该对象是否可序列化。由于ClosureC
ClosureCleaner::clean(Object func, boolean checkSerializable) 首先使用KafkaPartitioner对象去构造一个FlinkKafkaDelegatePartitioner对象,然后再检查该对象是否可序列化。由于ClosureC
导出Doris数据至HDFS 数据导出(Export)功能可以将用户指定的表或分区的数据,以文本的格式通过Broker进程导出到远端存储上,如HDFS/对象存储(支持S3协议) 等。 不建议一次性导出大量数据。一个Export作业建议的导出数据量最大在几十GB。过大的导出会导致更多的垃圾文件和更高的重试成本。
s.blocksize”参数值)时(对应参数值可登录Manager,选择“集群 > 服务 > HDFS > 配置 > 全部配置”搜索该参数获取),则会写入客户端所在的DataNode节点的DISK磁盘,其余副本会写入其他节点的DISK磁盘。 父主题: HDFS常见问题
使用CDM服务迁移Hive数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云Hive集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 使用华为云CDM服务“场景迁移功能”可以一键式便捷地完成Hive数据的迁移。 本章节以通过华为云CDM服务
ClosureCleaner::clean(Object func, boolean checkSerializable) 首先使用KafkaPartitioner对象去构造一个FlinkKafkaDelegatePartitioner对象,然后再检查该对象是否可序列化。由于ClosureC
功能介绍 HBase通过加载配置文件来获取配置项,包括用户登录信息配置项。 代码样例 下面代码片段在com.huawei.bigdata.hbase.examples包中。 调用类TestMain下的init()方法会初始化Configuration对象: private static
选择“集群 > 待操作集群的名称 > 服务 > meta > 实例 > meta(对应上报告警实例IP地址)”。单击图表区域右上角的下拉菜单,选择“定制”,在“OBS数据读操作”中勾选“OBS数据读操作接口调用成功率”,单击“确定”,查看OBS数据读操作接口调用成功率,确定是否有接口调用成功率低于阈值。
Spark客户端设置回收站version不生效 问题 Spark客户端设置fs.obs.hdfs.trash.version=1不生效,drop table后文件在回收站的存放路径不改变。 通常,默认情况: 当fs.obs.hdfs.trash.version=2时,回收站路径为:/user/
如何准备MRS的数据源? MRS既可以处理OBS中的数据,也可以处理HDFS中的数据。在使用MRS分析数据前,需要先准备数据。 将本地数据上传OBS。 登录OBS管理控制台。 在OBS上创建userdata并行文件系统,然后在userdata文件系统下创建program、input、output和log文件夹。
执行8。 “上传到OBS”:表示将日志保存到OBS中。默认值。然后执行5。 在“OBS路径”填写服务日志在OBS保存的路径。 需要填写完整路径且不能以“/”开头,路径可以不存在,系统将自动创建。OBS的完整路径最大支持900个字节。 在“桶名”输入已创建的OBS文件系统名称。 在
任务,也可以通过集群客户端后台方式提交作业。 MRS作业处理的数据通常来源于OBS或HDFS,用户创建作业前需要将待分析数据上传至OBS系统,MRS使用OBS中的数据进行计算分析。 MRS也支持将OBS中的数据导入至HDFS中,使用HDFS中的数据进行计算分析。数据完成处理和分析
xml”中设置如下参数。 <name>dfs.storage.policy.enabled</name> <value>true</value> 重启HDFS,如图1 所示。 图1 重启hdfs 登录MRSManager,选择“服务管理 > HDFS > 服务配置”,将“参数类别”设置为“全部配置”。
classes”中增加一个值:“org.apache.hadoop.hbase.filestream.coprocessor.FileStreamMasterObserver”。 如果只有小文件,确定不会有大文件的场景下,建议使用HBase的原始接口进行操作。 HFS接口需要同时对HBase和HDFS
由于MRS集群节点的NTP时间不同步导致集群访问OBS时鉴权失败 问题现象 集群访问OBS上报403异常。 原因分析 集群Master节点NTP时间与集群外节点的NTP服务器时间不同步,时间相差超过15min,导致集群访问OBS时鉴权失败,上报403异常。 处理步骤 以root用户登录集群主Master节点。
Hive ORC数据存储优化 操作场景 “ORC”是一种高效的列存储格式,在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端,具体操作请参见Hive客户端使用实践。 操作步骤 推荐:使用“SNAPPY”压缩,适用于压缩比和读取效率要求均衡场景。
打开Kudu表 功能简介 通过KuduClient.openTable(final String name)方法打开表对象。 代码样例 如下是打开表的代码片段: // 打开Kudu表 KuduTable table = client.openTable(tableName); 示
为什么在Hive自定义配置中添加OBS快删目录后不生效 问题 在配置MRS多用户访问OBS细粒度权限的场景中,在Hive自定义配置中添加OBS快删目录的配置后,删除Hive表,执行结果为成功,但是OBS目录没有删掉。 回答 由于没有给用户配置快删目录的权限,导致数据不能被删除。需
为什么在Hive自定义配置中添加OBS快删目录后不生效 问题 在配置MRS多用户访问OBS细粒度权限的场景中,在Hive自定义配置中添加OBS快删目录的配置后,删除Hive表,执行结果为成功,但是OBS目录没有删掉。 回答 由于没有给用户配置快删目录的权限,导致数据不能被删除。需