检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HBase全局二级索引样例程序 HBase全局二级索引样例程序开发思路 创建HBase全局二级索引 查询HBase全局二级索引信息 基于全局二级索引查询HBase表数据 禁用HBase全局二级索引 删除HBase全局二级索引 父主题: 开发HBase应用
开发HDFS应用 HDFS样例程序开发思路 初始化HDFS 创建HDFS目录 创建HDFS文件并写入内容 追加信息到HDFS指定文件 读取HDFS指定文件内容 删除HDFS指定文件 删除HDFS指定目录 创建HDFS多线程任务 配置HDFS存储策略 配置HDFS同分布策略(Colocation)
开发HDFS应用 HDFS样例程序开发思路 初始化HDFS 创建HDFS目录 创建HDFS文件并写入内容 追加信息到HDFS指定文件 读取HDFS指定文件内容 删除HDFS指定文件 删除HDFS指定目录 创建HDFS多线程任务 配置HDFS存储策略 配置HDFS同分布策略(Colocation)
开发HDFS应用 HDFS样例程序开发思路 初始化HDFS 创建HDFS目录 创建HDFS文件并写入内容 追加信息到HDFS指定文件 读取HDFS指定文件内容 删除HDFS指定文件 删除HDFS指定目录 创建HDFS多线程任务 配置HDFS存储策略 配置HDFS同分布策略(Colocation)
配置MRS集群告警屏蔽状态 配置MRS集群对接SNMP网管平台上报告警 配置MRS集群对接Syslog服务器上报告警 配置定时备份告警与审计信息 开启MRS集群维护模式停止上报告警 配置MRS集群告警事件消息通知 父主题: MRS集群运维
导入并配置HBase样例工程 背景信息 获取HBase开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。
群间拷贝功能。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 检查备集群HDFS是否有充足的空间,备份文件保存的目录建议使用用户自定义的目录。 根据业务需要,规划备份任务的类型、周期、备份对象、备份目录和备份任务需要使用的Yarn队列等策略规格。 使
输入为一个key和value值集合迭代器。 * 由各个map汇总相同的key而来。reduce方法汇总相同key的个数。 * 并调用context.write(key, value)输出到指定目录。 * 其reduce的输出的key,value由Outputformat写入文件系统。 *
使用OpenTSDB的接口(/api/put)写入数据。 函数genWeatherData()模拟生成的气象数据,函数putData()发送气象数据到OpenTSDB服务端。 样例代码 以下代码片段在com.huawei.bigdata.opentsdb.examples包的"Opent
“资源”:在界面左边可用主机列表中,勾选指定的主机,单击“>>”,将选中的主机加入已选主机列表。只支持选择本集群中的主机。资源池中的主机列表可以为空。 根据业务需求,可以通过主机名称 、核数、内存、操作系统、平台类型,筛选需要选取的资源主机。 MRS 2.x及之前版本: “名称”:填写资源池的名称。不支持创建名称为“Default”的资源池。
用程序结果备份到HDFS的路径,<brokers>指获取元数据的Kafka地址,<topic>指读取Kafka上的topic名称,<batchTime>指Streaming分批的处理间隔。 由于Spark Streaming Kafka的依赖包在客户端的存放路径与其他依赖包不同,
您可以在命令行运行模式中运行help命令获取HBase的命令参数的帮助信息。 注意事项 count命令不支持条件统计,仅支持全表统计。 获取HBase replication指标的命令 通过Shell命令“status”可以获取到所有需要的指标。 查看replication source指标的命令。
e>参数指定的name创建一个新的密钥,provider是由-provider参数指定。用户可以使用参数-cipher定义一个密码。目前默认的密码为“AES/CTR/NoPadding”。 默认密钥的长度为128。用户可以使用参数-size定义需要的密钥的长度。任意的attrib
<checkpointLocation> 。 <brokers>指获取元数据的Kafka地址。 <subscribe-type> 指定kakfa的消费方式。 <topic>指要消费的kafka topic。 <checkpointLocation> 指spark任务的checkpoint保存HDFS路径下。 由于Spark
HDFS时,建议使用的版本为2.8.X、3.1.X,请执行搬迁前务必确认是否支持搬迁。 方案架构 CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。 CDM服务
[1]userdir获取的是编译后资源目录的路径。将初始化需要的配置文件“core-site.xml”、“hdfs-site.xml”、“hbase-site.xml”和用于安全认证的用户凭证文件放置到“src/main/resources”的目录下。 “login”方法中的参数“java
<Kafka集群IP:21007> --command-config config/client.properties 查看单个Topic详细信息。 bin/kafka-topics.sh --describe --zookeeper <ZooKeeper集群IP:2181/kafka>
<Kafka集群IP:21007> --command-config config/client.properties 查看单个Topic详细信息。 bin/kafka-topics.sh --describe --zookeeper <ZooKeeper集群IP:2181/kafka>
[1]userdir获取的是编译后资源目录的路径。将初始化需要的配置文件“core-site.xml”、“hdfs-site.xml”、“hbase-site.xml”和用于安全认证的用户凭证文件放置到“src/main/resources”的目录下。 “login”方法中的参数“java
在任务列表指定任务的“操作”列,选择“更多 > 查询历史”,打开备份任务执行历史记录。 在弹出的窗口中,在指定一次执行成功记录的“备份路径”列,单击“查看”,打开此次任务执行的备份路径信息,查找以下信息: “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。 选择