检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过HSBroker的用户名密码认证实现查询HetuEngine SQL任务 功能简介 通过HSBroker方式连接到HetuEngine,组装对应的SQL发送到HetuEngine执行,完成对Hive数据源的增删改查操作。 public class JDBCExampleBroker
Hive任务执行中报栈内存溢出导致任务执行失败 问题背景与现象 Hive执行查询操作时报错Error running child : java.lang.StackOverflowError,具体报错信息如下: FATAL [main] org.apache.hadoop.mapred
Spark输出 概述 “Spark输出”算子,用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入:需要输出的字段 输出:SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储
多CPU内核下的MapReduce调优配置 操作场景 当CPU内核数很多时,如CPU内核为磁盘数的3倍时的调优配置。 操作步骤 以下参数有如下两个配置入口: 服务器端配置 进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 客户端配置
多CPU内核下MapReduce调优配置 操作场景 当CPU内核数很多时,如CPU内核为磁盘数的3倍时的调优配置。 操作步骤 以下参数有如下两个配置入口: 服务器端配置 进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 客户端配置
系统性能下降:卡IO会导致系统I/O性能下降,从而影响系统的响应速度和吞吐量。这可能会导致客户的业务运行变慢(例如:作业提交运行变慢、页面响应迟钝、接口响应超时等),甚至出现崩溃或错误。 系统故障:卡IO可能会导致系统故障,从而导致客户的业务受到影响。如果慢盘上存储的数据包含关键信息,可能会导致系统崩溃或数据丢失。
警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 不涉及。 父主题: MRS集群告警处理参考
警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 不涉及。 父主题: MRS集群告警处理参考
否恢复。 是,处理完毕。 否,执行18。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
加载数据到Hive表中 功能介绍 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 样例代码 -- 从本地文件系统/opt/hive_examples_
使用Hive Hive常见日志说明 Hive服务启动失败 安全集群执行set命令的时候报错“Cannot modify xxx at runtime” 提交Hive任务时如何指定队列? 怎么通过客户端设置Map/Reduce内存? 如何在导入Hive表时指定输出的文件压缩格式?
使用Oozie客户端提交Spark2x任务 操作场景 该任务指导用户在使用Oozie客户端提交Spark2x任务。 请下载使用最新版本的客户端。 前提条件 Spark2x和Oozie组件安装完成且运行正常,客户端安装成功。 如果当前客户端为旧版本,需要重新下载和安装客户端。 已创
`default`; 查询指定表: select * from `hive_catalog`.`default`.`test_table`; 执行以下命令查看表的Schema: DESC test_table; 新建或操作Hive表后,需要在Doris中执行刷新: refresh catalog
HTML输入 概述 “HTML输入”算子,导入有规则的HTML文件,并将HTML文件中的元素转换成输入字段。 输入与输出 输入:HTML文件 输出:多个字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 父标签 所有字段的上层HTML标签,用于限定搜索范围。 string
使用Oozie客户端提交Spark2x任务 操作场景 该任务指导用户在使用Oozie客户端提交Spark2x任务。 请下载使用最新版本的客户端。 前提条件 Spark2x和Oozie组件安装完成且运行正常,客户端安装成功。 如果当前客户端为旧版本,需要重新下载和安装客户端。 已创
创建Hive表 功能介绍 本小节介绍了如何使用HQL创建内部表、外部表的基本操作。创建表主要有以下三种方式: 自定义表结构,以关键字EXTERNAL区分创建内部表和外部表。 内部表,如果对数据的处理都由Hive完成,则应该使用内部表。在删除内部表时,元数据和数据一起被删除。 外部
IoTDB JDBC样例程序 功能简介 通过JDBC连接方式,执行IoTDB SQL语句。 代码样例 下面代码片段仅为演示,具体代码参见“com.huawei.bigdata.iotdb.JDBCExample”类。 其中,在jdbc url里设置待连接的IoTDBServer所
创建Hive表 功能介绍 本小节介绍了如何使用HQL创建内部表、外部表的基本操作。创建表主要有以下三种方式: 自定义表结构,以关键字EXTERNAL区分创建内部表和外部表。 内部表,如果对数据的处理都由Hive完成,则应该使用内部表。在删除内部表时,元数据和数据一起被删除。 外部
HBase数据读写样例程序开发思路 场景说明 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户信息,如表1所示,A业务操作流程如下: 创建用户信息表。 在用户信息中新增用户的学历、职称等信息。 根据用户编号查询用户姓名和地址。 根据用户姓名进行查询。 查询年龄段在[20-29]之间的用户信息。
HBase数据读写样例程序开发思路 场景说明 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户信息,如表1所示,A业务操作流程如下: 创建用户信息表。 在用户信息中新增用户的学历、职称等信息。 根据用户编号查询用户姓名和地址。 根据用户姓名进行查询。 查询年龄段在[20-29]之间的用户信息。