检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
saveAsTextFile(path, compressionCodecClass) 把dataset写到一个text file、HDFS或者HDFS支持的文件系统中,spark把每条记录都转换为一行记录,然后写到file中。 saveAsSequenceFile(path
用户可以通过JDBC/Session将来自设备传感器上采集的时序数据和服务器负载、CPU内存等系统状态数据、消息队列中的时序数据、应用程序的时序数据或者其他数据库中的时序数据导入到本地或者远程的IoTDB中。用户还可以将上述数据直接写成本地(或位于HDFS上)的TsFile文件。 用户可以将TsFile文件写入到H
saveAsTextFile(path, compressionCodecClass) 把dataset写到一个text file、HDFS或者HDFS支持的文件系统中,spark把每条记录都转换为一行记录,然后写到file中。 saveAsSequenceFile(path
mapreduce/jar(POST) mapreduce/streaming(POST) hive(POST) jobs(GET) jobs/:jobid(GET) jobs/:jobid(DELETE) Hive授权说明 Hive授权(数据库、表或者视图)推荐通过Manager授权
Include:策略适用于当前输入的对象。 Exclude:策略适用于除去当前输入内容之外的其他对象。 Schema 适用该策略的schema名称,填写*时表示所有schema。 Include:策略适用于当前输入的对象。 Exclude:策略适用于除去当前输入内容之外的其他对象。 table 适
视频介绍 配置MRS集群弹性伸缩操作案例可参考配置MRS集群弹性伸缩操作视频,该视频以MRS 3.1.0版本集群为例,介绍如何在购买集群时配置弹性伸缩、如何为已有集群新增弹性伸缩策略。 因不同版本操作界面可能存在差异,相关视频供参考,具体以实际环境为准。 添加Task节点 MRS
demand array demand对象数组。 priority int 请求的优先级。 ismaster boolean 判断是否为application master需求。 capability object Capability对象。 vcores, memory, ..
1/{project_id}/jobs/submit-job mrs:job:submit √ √ 新增并执行作业(V2) POST /v2/{project_id}/clusters/{cluster_id}/job-executions √ √ 查询作业exe对象列表(V1) GET /v1
Storm应用开发常用概念 Topology 拓扑是一个计算流图。其中每个节点包含处理逻辑,而节点间的连线则表明了节点间的数据是如何流动的。 Spout 在一个Topology中产生源数据流的组件。通常情况下Spout会从外部数据源中读取数据,然后转换为Topology内部的源数据。
Storm应用开发常用概念 Topology 拓扑是一个计算流图。其中每个节点包含处理逻辑,而节点间的连线则表明了节点间的数据是如何流动的。 Spout 在一个Topology中产生源数据流的组件。通常情况下Spout会从外部数据源中读取数据,然后转换为Topology内部的源数据。
创建Hive表 功能介绍 本小节介绍了如何使用HQL创建内部表、外部表的基本操作。创建表主要有以下三种方式: 自定义表结构,以关键字EXTERNAL区分创建内部表和外部表。 内部表,如果对数据的处理都由Hive完成,则应该使用内部表。在删除内部表时,元数据和数据一起被删除。 外部
配置Kafka高可用和高可靠 操作场景 Kafka消息传输保障机制,可以通过配置不同的参数来保障消息传输,进而满足不同的性能和可靠性要求。本章节介绍如何配置Kafka高可用和高可靠参数。 本章节内容适用于MRS 3.x及后续版本。 对系统的影响 配置高可用、高性能的影响: 配置高可用、高性
户体验不佳,也会提高运维成本。为了解决上述问题,HetuEngine提供了自适应查询执行的功能,该功能会自适应地调度执行查询。 本章节介绍如何开启自适应查询执行功能。 开启HetuEngine自适应查询执行步骤 使用HetuEngine管理员用户登录Manager,选择“集群 >
到许多存储系统。 Alluxio主要特点如下: 提供内存级I/O 吞吐率,同时降低具有弹性扩张特性的数据驱动型应用的成本开销 简化云存储和对象存储接入 简化数据管理,提供对多数据源的单点访问 应用程序部署简易 Alluxio 接口开发简介 Alluxio支持使用Java进行程序开
ID生成。 查看Yarn界面,无launcher-job队列: 查看Manager界面接口返回,显示有launcher-job信息: 查看所有的JobServer日志,均有“Create and modify launcher-job tenant failed.”打印。 回答 以omm用
Policy Name 策略名称,可自定义,不能与本服务内其他策略名称重复。 “include”策略适用于当前输入的对象,“exclude”表示策略适用于除去当前输入内容之外的其他对象。 Policy Label 为当前策略指定一个标签,您可以根据这些标签搜索报告和筛选策略。 Storm Topology
JDBC处理数据Java示例程序。 本示例演示了如何使用JDBC接口连接IoTDB,并执行IoTDB SQL语句。 iotdb-examples/iotdb-kafka-example 通过Kafka访问IoTDB数据的示例程序。 本示例演示了如何先将时序数据发送到Kafka,再使用多线程将数据写入到IoTDB中。
NameNode文件数量和NameNode使用的内存大小成比例关系,文件对象变化时请修改默认值中的“-Xms2G -Xmx4G -XX:NewSize=128M -XX:MaxNewSize=256M”。参考值如下表所示。 表1 NameNode JVM配置 文件对象数量 参考值 10,000,000 -Xms6G
ete等。综上基本可以得出操作文件的程序库框架: operator() { 得到Configuration对象 得到FileSystem对象 进行文件操作 } HDFS初始化方法 HDFS初始化是指在使用HDFS提供的API之前,需要做的必要工作。
检查集群情况并恢复。 严重 指集群部分功能不可用的告警,包括进程故障、周期备份任务失败、关键文件权限异常等,需要根据告警及时检查报告告警的对象并恢复。 一般 指不影响当前集群主要功能的告警,包括证书文件即将过期、审计日志转储失败、License文件即将过期等告警。 提示 指级别最