检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该API有助于通过使用远程迭代的多个请求获取子文件和文件夹信息,从而避免在获取大量子文件和文件夹信息时,用户界面变慢。 基于API的Glob路径模式以获取LocatedFileStatus和从FileStatus打开文件 在DistributedFileSystem中添加了以下API,以
该API有助于通过使用远程迭代的多个请求获取子文件和文件夹信息,从而避免在获取大量子文件和文件夹信息时,用户界面变慢。 基于API的Glob路径模式以获取LocatedFileStatus和从FileStatus打开文件 在DistributedFileSystem中添加了以下API,以
该API有助于通过使用远程迭代的多个请求获取子文件和文件夹信息,从而避免在获取大量子文件和文件夹信息时,用户界面变慢。 基于API的Glob路径模式以获取LocatedFileStatus和从FileStatus打开文件 在DistributedFileSystem中添加了以下API,以
该API有助于通过使用远程迭代的多个请求获取子文件和文件夹信息,从而避免在获取大量子文件和文件夹信息时,用户界面变慢。 基于API的Glob路径模式以获取LocatedFileStatus和从FileStatus打开文件 在DistributedFileSystem中添加了以下API,以
在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 单击“作业管理”,进入“作业管理”页签。 单击“添加”,添加一个Flink作业。 作业类型:Flink 作业名称:自定义,例如flink_obs_test。 执行程序路径:本示例使用Flink客户端的WordCount程序为例。
access-control-allow-origin”中添加访问主机的IP地址,可使用逗号分隔。 Flink支持的所有REST API的URL中的Path信息如表1所示。 表1 Path介绍 Path 说明 /config 有关监控API和服务器设置的一些信息。 /logout 注销的重要信息。
FlinkServer HA脚本相关运行日志(MRS 3.2.0及以后版本) ha.log HA运行日志。 ha_monitor.log HA进程监控日志。 floatip_ha.log FloatIP资源脚本日志。 rcommflinkserver.log FlinkServer资源脚本日志。
Cluster类的集群对象,通过调用集群类的add方法和REST server的集群IP和端口来添加集群。 Cluster cluster = new Cluster(); cluster.add("10.10.10.10:21309"); 使用在步骤2中添加的集群初始化类“org.apache.hadoop.hbase
否,执行11。 检查Kafka数据规划。 选择上报告警实例主机名对应的角色“Broker”。单击图表区域右上角的下拉菜单,选择“定制”,来自定义监控项。 在弹出的“定制”对话框中,选择“磁盘 > Broker磁盘使用率”,并单击“确定”。 关于Kafka磁盘使用情况信息会被显示。 图1
下图清晰地描述了MapReduce算法的整个流程。 图3 算法流程 概念上shuffle就是一个沟通数据连接的桥梁,实际上shuffle这一部分是如何实现的呢,下面就以Spark为例讲一下shuffle在Spark中的实现。 Shuffle操作将一个Spark的Job分成多个Stage,
填写“密码”和“确认新密码”。 用户组:单击“添加”,为该用户添加“hive”、“hetuadmin”、“iotdbgroup”“hadoop”、“hetuuser”、“yarnviewgroup”用户组。 主组:在下拉列表中选择“hive”作为主组。 角色:单击“添加”,为该用户绑定“defau
提高整体性能。 15 否 akka.log.lifecycle.events Akka远程时间日志开关,当需要调试时可打开此开关。 false 否 akka.startup-timeout 远程组件启动失败前的超时时间。该值需带一个时间单位(ms/s/min/h/d) 与akka
BY子句之前运行。调用窗口函数需要使用OVER子句来指定窗口的特殊语法。窗口具有三个组成部分: 分区规范,它将输入行分为不同的分区。这类似于GROUP BY子句如何将行分为聚合函数的不同组。 排序规范,它确定窗口函数将处理输入行的顺序。 窗口框架,指定给定行该功能要处理的行的滑动窗口。如果未指定帧,则默认为“RANGE
IoTDB JDBC处理数据Java示例程序。 本示例演示了如何使用JDBC接口连接IoTDB,并执行IoTDB SQL语句。 iotdb-kafka-example 通过Kafka访问IoTDB数据的示例程序。 本示例演示了如何先将时序数据发送到Kafka,再使用多线程将数据写入到IoTDB中。
使用HBase客户端创建表操作案例可参考使用HBase客户端创建表,该视频以关闭Kerberos认证的MRS 3.1.0版本集群为例,介绍MRS集群创建成功后,如何使用HBase客户端创建表,往表中插入数据及修改表数据等操作。 因不同版本操作界面可能存在差异,相关视频供参考,具体以实际环境为准。 步骤一:创建MRS集群
集群版本:请根据实际需求选择集群版本,例如:MRS 3.2.0-LTS.1。 组件选择:请根据业务需求合理选择需要的组件,部分类型集群创建后不支持添加服务。 元数据:选择“本地元数据”。 网络配置: 可用区:默认即可。 虚拟私有云:默认即可。 子网:默认即可。 安全组:默认即可。 弹性公网IP:默认即可。
描述 注意事项 添加索引 addIndices() 将索引添加到没有数据的表中。调用此接口会将用户指定的索引添加到表中,但会跳过生成索引数据。因此,在此操作之后,索引不能用于scan/filter操作。该接口使用场景为用户想要在具有大量预先存在用户数据的表上批量添加索引,其具体操作
实例”,查看FlinkServer所在的“业务IP”。 若FlinkServer实例所在节点与包含HBase服务客户端的安装节点相同,则该节点不执行此步骤。 添加FlinkServer本地访问HBase集群路径。 登录Manager,选择“集群 > 服务 > Flink > 配置 > 全部配置”,搜
提高整体性能。 15 否 akka.log.lifecycle.events Akka远程时间日志开关,当需要调试时可打开此开关。 false 否 akka.startup-timeout 远程组件启动失败前的超时时间。该值需带一个时间单位(ms/s/min/h/d) 与akka
默认没有已创建的转换步骤,可拖动左侧样例到编辑框,添加一个新的转换步骤。 完整的转换流程包含以下类型,每个类型请根据业务需要进行选择。 输入类型,第一个转换步骤,仅添加一种,任务涉及HBase或关系型数据库必须添加。 转换类型,中间转换步骤,可添加一种以上或不添加。 输出类型,最后一个转换步骤,仅添加一种,任务涉及HBase或关系型数据库必须添加。