检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
///tmp/ojdbc6.jar; CREATE EXTERNAL TABLE ora_test -- hive表的列需比数据库返回结果多一列用于分页查询 (id STRING,rownum string) STORED BY 'com.qubitproducts.hive.storage.jdbc.JdbcStorageHandler
选择“集群 > 待操作集群名称 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 查看Loader作业的历史记录。 选择待查看的作业所在行。
固定宽度文件输入 概述 “固定宽度文件输入”算子,将文件的每一行,按可配置长度的字符或字节,转换成多个输入字段。 输入与输出 输入:文本文件。 输出:多个字段。 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 换行符 用户根据数据实际情况,填写字符串作为换行符。支持任何字符串
EL操作转换 概述 “EL操作转换”算子,对字段值进行运算后生成新的字段,目前支持的算子有:md5sum、sha1sum、sha256sum和sha512sum等。 输入与输出 输入:需要转换的字段 输出:经过EL表达式转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型
过滤行转换 概述 “过滤行转换”算子,用于配置逻辑条件过滤掉含触发条件的行。 输入与输出 输入:用来做过滤条件的字段 输出:无 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 条件逻辑连接符 配置条件逻辑连接符,可配置“AND”或“OR”。 enum 是 AND
CarbonData故障处理 当在Filter中使用Big Double类型数值时,过滤结果与Hive不一致 executor内存不足导致查询性能下降 父主题: 使用CarbonData(MRS 3.x及之后版本)
blob.service.ssl.enabled true 打开blob通道SSL开关。 taskmanager.data.ssl.enabled true 打开taskmanager之间通信的SSL开关。
完整迁移Storm业务 操作场景 该任务指导用户通过Storm业务完整迁移的方式转换并运行完整的由Storm API开发的Storm拓扑。 操作步骤 打开Storm业务工程,修改工程的pom文件,增加“flink-storm” 、“flink-core”和“flink-streaming-java
调测Storm应用 生成Storm应用Jar包 在Linux环境中调测Storm应用 查看Storm应用调测结果 父主题: Storm开发指南
Kafka应用开发概述 Kafka应用开发简介 Kafka应用开发常用概念 Kafka应用开发流程介绍 父主题: Kafka开发指南
Flink应用开发概述 Flink应用开发简介 Flink应用开发常用概念 Flink应用开发流程介绍 父主题: Flink开发指南
调测Flink应用 编译并运行Flink应用 查看Flink应用运行结果 父主题: Flink开发指南
Impala应用开发概述 Impala应用开发简介 Impala应用开发常用概念 Impala应用开发流程介绍 父主题: Impala开发指南
HBase应用开发概述 HBase应用开发简介 HBase应用开发常用概念 HBase应用开发流程介绍 父主题: HBase开发指南
HDFS应用开发概述 HDFS应用开发简介 HDFS应用开发常用概念 HDFS应用开发流程介绍 父主题: HDFS开发指南
Spark应用开发概述 Spark应用开发简介 Spark应用开发常用概念 Spark应用开发流程介绍 父主题: Spark开发指南
Kafka应用开发流程介绍 Kafka客户端角色包括Producer和Consumer两个角色,其应用开发流程是相同的。 开发流程中各个阶段的说明如图1和表1所示。 图1 Kafka客户端程序开发流程 表1 Kafka客户端开发的流程说明 阶段 说明 参考文档 准备开发环境 Kafka
删除作业执行对象(废弃) 功能介绍 删除指定的作业执行对象。该接口兼容Sahara。 MRS 3.x版本镜像,不支持MRS V1.1作业管理接口,需要使用V2作业管理接口。 接口约束 无 调试 您可以在API Explorer中调试该接口。 URI DELETE /v1.1/{project_id
查询作业exe对象详情(废弃) 功能介绍 查询指定作业的exe对象详细信息。该接口不兼容Sahara。 MRS 3.x版本镜像,不支持MRS V1.1作业管理接口,需要使用V2作业管理接口。 接口约束 无 调试 您可以在API Explorer中调试该接口。 URI GET /v1.1
Flink客户端执行命令报错“Could not connect to the leading JobManager” 问题背景与现象 创建Fllink集群,执行yarn-session.sh命令卡住一段时间后报错: 2018-09-20 22:51:16,842 | WARN