检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
22260 -td ./ -tf yyyy-MM-dd\ HH:mm:ss -s sql.txt IoTDBServer实例节点的业务IP地址可登录FusionInsight Manager后选择“集群 > 服务 > IoTDB > 实例”查看。 RPC端口可通过“集群 > 服务
FusionInsight_Cluster_1_Services_ClientConfig scp HDFS/config/* root@客户端节点IP地址:/opt/client/conf 表2 配置文件 文件名称 作用 core-site.xml 配置HDFS详细参数。 hdfs-site
iveExample样例工程的“\src\main\resources”路径。 修改样例工程中的如下参数,请参考表1。 表1 文件参数修改列表 文件名 参数名 值 取值样例 src\main\resources\application.properties submit_user
FusionInsight_Cluster_1_Services_ClientConfig scp Storm/config/* root@客户端节点IP地址:/opt/client/conf 主要配置文件说明如表3所示。 表3 配置文件 文件名称 作用 storm.yaml 配置Storm集群信息。
已安装MRS客户端的节点,且已安装 jdk环境。 Sqoop1.4.7适配步骤 下载开源sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz包(下载地址http://archive.apache.org/dist/sqoop/1.4.7/)。 将下载的sqoop-1.4.7.bin__hadoop-2
Deactived 如果当前登录的Master1节点是备管理节点,且需要登录到主管理节点时,请执行以下命令: ssh Master2节点IP地址 在Manager查看主备管理节点 当前操作仅适用于MRS 3.x及之后版本。 登录Manager页面,具体操作请参考访问MRS集群Manager。
使用Spark执行Hudi样例程序开发思路 场景说明 本章节介绍如何使用Spark操作Hudi执行插入数据、查询数据、更新数据、增量查询、特定时间点查询、删除数据等操作。 详细代码请参考样例代码。 打包项目 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后,客户端提示如下信息后长时间无响应。 16/03/03 16:44:56 INFO hdfs.DFSClient: Created HDFS_DELEGATION_TOKEN token
使用Spark执行Hudi样例程序开发思路 场景说明 本章节介绍如何使用Spark操作Hudi执行插入数据、查询数据、更新数据、增量查询、特定时间点查询、删除数据等操作。 详细代码请参考样例代码。 打包项目 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。
SDK”为“SDKs”中添加的JDK。 单击“Apply”,单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,在IntelliJ IDEA选择“File > Settings
JAR包路径下都存在相应的Jar包。您可以通过修改IoTDB配置“udf_root_dir”来指定UDF加载Jar的根路径。 IoTDBServer所在节点的IP地址可在MRS集群管理控制台的“组件管理”界面,单击“IoTDB”,选择“实例”页签查看。 使用SQL语句注册该UDF,语法如下: CREATE
archiveNums=> 'archive_commits_retained') 参数描述 表2 参数描述 参数 描述 是否必填 tables 待执行表服务的表名列表。 多个表名以“;”分隔。 是 cleanNums clean保留commits次数。 否 archiveNums archive保留commits次数。
reservations:id String 预留container的ID。 reservations:resource String container的分配地址。 reservations:reserveAmount Object 预留项的总数。 containers array 分配container对象的数组。
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后,客户端提示如下信息后长时间无响应。 16/03/03 16:44:56 INFO hdfs.DFSClient: Created HDFS_DELEGATION_TOKEN token
自定义排序器 编写自定义排序类继承BulkInsertPartitioner,在写入Hudi时加入配置: .option(BULKINSERT_USER_DEFINED_PARTITIONER_CLASS, <自定义排序类的包名加类名>) 自定义分区排序器样例: public class
自定义排序器 编写自定义排序类继承BulkInsertPartitioner,在写入Hudi时加入配置: .option(BULKINSERT_USER_DEFINED_PARTITIONER_CLASS, <自定义排序类的包名加类名>) 自定义分区排序器样例: public class
否,执行3。 检查每个写操作平均所需时间是否达到上限。 在FusionInsight Manager页面,选择“运维 > 告警 > 告警”,在告警列表中展开此告警的详细信息,在定位信息中单击产生该告警的主机名称。 在主机的概览界面观察“每个写操作平均所需时间”的实时数据5分钟左右,若磁盘
使用REST接口获取所有HBase表 功能简介 使用REST服务,传入对应host与port组成的URL,通过HTTPS协议,获取得到所有table。 代码样例 以下代码片段在“hbase-rest-example\src\main\java\com\huawei\hadoop\
使用Filter过滤器读取HBase表数据 功能简介 HBase Filter主要在Scan和Get过程中进行数据过滤,通过设置一些过滤条件来实现,如设置RowKey、列名或者列值的过滤条件。 代码样例 以下代码片段在com.huawei.bigdata.hbase.exampl
基于全局二级索引查询HBase表数据 功能简介 添加了全局二级索引的用户表,在使用索引条件进行查询时,可以转换为对索引表的范围查询,性能高于针对无二级索引用户表的数据查询。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“Globa