正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
switch.mapping.impl配置项不是hadoop的默认值,需要使用Spark的jar包,因此MapReduce会报类找不到。 处理步骤 方案一: 如果文件较小,则可以将默认长度设置得大于文件最大长度,例如最大的文件是95 MB,则设置: hive.exec.copyfile
加载数据到Hive表中 功能介绍 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 在启用了安全服务的集群中执行如下操作,需要在数据库中具有UPDATE
在大部分场景下,有大表两表join以及多表join的场景,且多个join的表数据变化更新频率较低,这种情况,建议对多个表join查询逻辑提前进行加工处理,将处理后的数据写入到一个宽表中,宽表中包含所有要查询的数据字段,以供后续应用完全自助OLAP的高性能查询。 表命名规范 数据库表名称命名规则:
上传应用数据至MRS集群 MRS集群处理的数据源通常来源于OBS文件系统或集群内的HDFS文件系统,OBS为客户提供海量、安全、高可靠、低成本的数据存储能力。 用户可以基于MRS管理控制台和OBS客户端对OBS数据进行浏览、管理和使用,也可以将OBS的数据导入集群的HDFS系统后进行处理,上传文件速率
DataNode写失败的日志 短时间内写入大量文件导致这种情况,因此DataNode内存不足。 图3 写入大量文件导致DataNode内存不足 解决办法 检查DataNode内存配置,以及机器剩余内存是否充足。 增加DataNode内存,并重启DataNode。 父主题: 使用HDFS
fs”,其他盘的数据比较均衡。 原因分析 磁盘为卸载重装,有一个目录在上次卸载时未卸载干净,即添加的磁盘,未格式化,残留历史垃圾数据。 解决办法 手动清理未卸载干净的数据。 父主题: 使用HDFS
先后顺序对其进行拼接。必须配置一个主键列。 map 是 无 数据处理规则 将字段值输出到HBase表中。 原始数据包含NULL值,如果“NULL值处理方式”选中单选框时,将转换为空字符串并保存。如果“NULL值处理方式”不选中单选框时,不保存数据。 样例 以表输入为例,生成字段后
先后顺序对其进行拼接。必须配置一个主键列。 map 是 无 数据处理规则 将字段值输出到HBase表中。 原始数据包含NULL值,如果“NULL值处理方式”选中单选框时,将转换为空字符串并保存。如果“NULL值处理方式”不选中单选框时,不保存数据。 样例 以表输入为例,生成字段后
区移出存储池;如果硬盘恢复正常(通常是因为用户更换了新硬盘),也会将新硬盘重新加入业务运作。这样极大简化了维护人员的工作,更换故障硬盘可以在线完成;同时用户可以设置热备盘,从而极大缩减了故障硬盘的修复时间,有利于提高系统的可靠性。 节点磁盘LVM配置 MRS支持将多个磁盘配置成LVM(Logic
Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败 问题 Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,执行应用时显示如下异常。
/kylin-coprocessor-1.6.0-SNAPSHOT-0.jar HBase在配置协处理器时,一定要保证对应的jar包路径没有问题,否则HBase会无法启动。 解决办法 使用Kylin对接MRS,确保Kylin相关jar包存在。 父主题: 使用HBase
java:467) 解决办法 若Flume数据写入的组件未启动,启动对应组件;若组件异常,请联系服务技术支持。 Sink未启动,检查配置文件是否配置正确,若配置错误,则正确修改配置文件后重启Flume进程,如果配置正确,则查看日志错误信息,根据具体错误信息指定解决办法。 父主题: 使用Flume
集群添加组件 功能介绍 集群添加组件, 仅MRS 3.0.1以后的版本的自定义集群支持添加组件功能 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/components 表1 路径参数 参数 是否必选
Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败 问题 Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,执行应用时显示如下异常。
java.lang.Thread.run(Thread.java:745) DataNode的磁盘空间不足。 DataNode的心跳有延迟。 解决办法 如果DataNode的数据接收器不可用,通过在Manager页面,增加HDFS参数“dfs.datanode.max.transfer
件或目录不会立即被清除,它们将被移动到回收站Current目录(/user/${username}/.Trash/current)中。 解决办法 使用skipTrash命令可以跳过HDFS回收站,直接删除。使用前先设置HDFS客户端配置项“dfs.client.skipTrash
Spark Spark jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的Spark包运行样例代码,但是不同版本的spark-core包在使用的时候可能导致互相序列化ID不一样,因此建议使用集群自带jar包。
| grep 20051,发现DBService的Gauss进程在启动时并未绑定floatip,只监测了127.0.0.1的本地IP。 解决办法 重新启动DBService服务。 启动完成之后在主DBServer节点执行netstat -anp | grep 20051命令检查是否绑定了dbservice
ionInsight-Flume-1.9.0/flume/bin/flume-manage.sh: Permission denied 解决办法 与运行正常的Flume节点进行文件和文件夹权限对比,更改错误文件或文件夹权限。 父主题: 使用Flume
iotdb-jdbc-example IoTDB JDBC处理数据Java示例程序。 本示例演示了如何使用JDBC接口连接IoTDB,并执行IoTDB SQL语句。 iotdb-kafka-example 通过Kafka访问IoTDB数据的示例程序。 本示例演示了如何先将时序数据发送到Kafka,再使用多线程将数据写入到IoTDB中。