检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HCatalog访问Hive样例程序 功能介绍 本章节介绍如何在MapReduce任务中使用HCatalog分析Hive表数据,读取输入表第一列int类型数据执行count(distinct XX)操作,将结果写入输出表。 样例代码 该样例程序在“hive-examples/hc
metastore.server.min.threads MetaStore启动的用于处理连接的线程数,如果超过设置的值之后,MetaStore就会一直维护不低于设定值的线程数,即常驻MetaStore线程池的线程会维护在指定值之上。 200 hive.server2.enable.doAs
访问HBase ThriftServer安全认证 操作场景 HBase把Thrift结合起来可以向外部应用提供HBase服务。在HBase服务安装时可选部署ThriftServer实例,ThriftServer系统可访问HBase的用户,拥有HBase所有NameSpace和表的
在MRS Manager中无法查看“用户管理”相关内容。 请使用admin用户或者其他具有Manager管理权限的用户重新登录Manager。 父主题: Web页面访问类
每个消息体(记录)之间的分隔符。 kafka_schema 否 如果解析格式需要一个schema时,此参数必填。 kafka_num_consumers 否 单个表的消费者数量。默认值是:1,如果一个消费者的吞吐量不足,则指定更多的消费者。消费者的总数不应该超过topic中分区的数量,因为每个分区只能分配一个消费者。
"tags":{"key":"value"}}' https://<tsd_ip>:4242/api/put?sync <tsd_ip>表示所需写入数据的Opentsdb服务的TSD实例的IP地址。 HTTP/1.1 204 No Content Content-Type: application/json;
Flink应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解Flink的基本概念。 Flink基本概念 准备开发和运行环境 Flink的应用程序支持使用Scala、Java两种语言进行开发。推荐使用IDEA工具,请根据指导完成不同语言的开发环境配置。F
Flink应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解Flink的基本概念。 基本概念 准备开发和运行环境 Flink的应用程序支持使用Scala、Java两种语言进行开发。推荐使用IDEA工具,请根据指导完成不同语言的开发环境配置。Flink的运行环境
提供了Scala、Java两种不同语言的样例工程,帮助用户快速了解Flink各部件的编程接口。 Flink DataStream应用开发思路 编译并运行程序 指导用户将开发好的程序编译并提交运行。 编译并运行Flink应用 查看程序运行结果 程序运行结果会写在用户指定的路径下,用户还可以通过UI查看应用运行情况。
ss for hiveserver2” 问题现象 使用MRS 1.8集群的Hive 1.2.1通过Hive的JDBC接口连接MRS集群成功,但是使用MRS 1.9.0集群的Hive 2.3.2,通过Hive的JDBC接口连接MRS集群进行计算任务报错。 报错信息如下: Caused
数据流,是指Flink系统处理的最小数据单元。该数据单元最初由外部系统导入,可以通过socket、Kafka和文件等形式导入,在Flink系统处理后,通过Socket、Kafka和文件等输出到外部系统,这是Flink的核心概念。 Data Transformation 数据处理单元,会将一或
FlinkServer REST API样例程序 FlinkServer REST API样例程序开发思路 FlinkServer REST API样例程序(Java) 使用代理用户访问FlinkServer REST API样例程序(Java) 父主题: 开发Flink应用
来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 空间内合并任务超时,会阻塞写数据,导致写操作的性能下降。 可能原因 该节点IoTDB空间内合并任务较慢,需要进一步分析日志查看。 处理步骤 收集故障信息。
是否自动清除 12035 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 任务名 任务名称。 对系统的影响 执行恢复任务失败后,系统会自动回滚,如果回滚失败,可能会导致数据丢
FlinkServer REST API样例程序开发思路 场景说明 本样例调用FlinkServer的RestAPI创建租户。 数据规划 准备用户认证文件:登录Manager下载用户凭证,获取“user.keytab”和“krb5.conf”文件。 准备待创建的租户信息,如“tenant
除临时表的逻辑,建议将删除临时表的逻辑放到脚本的最后。假定删除临时表子任务的后续子任务执行失败,并且删除临时表的子任务之前的子任务用到了该临时表;当下一次以相同batchid执行该SQL脚本时,因为临时表在上一次执行时已被删除,则会导致删除临时表的子任务之前用到该临时表的子任务(
除临时表的逻辑,建议将删除临时表的逻辑放到脚本的最后。假定删除临时表子任务的后续子任务执行失败,并且删除临时表的子任务之前的子任务用到了该临时表;当下一次以相同batchid执行该SQL脚本时,因为临时表在上一次执行时已被删除,则会导致删除临时表的子任务之前用到该临时表的子任务(
切换Hive执行引擎为Tez 操作场景 Hive支持使用Tez引擎处理数据计算任务,用户在执行任务前可手动切换执行引擎为Tez。 前提条件 集群已安装Yarn服务的TimelineServer角色,且角色运行正常。 客户端切换执行引擎为Tez 安装并登录Hive客户端,具体操作请参考Hive客户端使用实践。
项目ID。 图1 查看项目ID 调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目信息API获取。 获取项目ID的接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,具体请参考终端节点。 响应示
Streaming提交作业,提交到集群后报类找不到的错误。 问题现象 Spark Streaming代码打成jar包提交到集群后报类找不到错误,通过以下两种方式依然不生效。 在提交Spark作业的时候使用--jars 命令引用类所在的jar包。 将类所在的jar包引入Spark Streaming的jar包。 原因分析