检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
基于二级索引查询HBase表数据 功能介绍 针对添加了二级索引的用户表,您可以通过Filter来查询数据。其数据查询性能高于针对无二级索引用户表的数据查询。 HIndex支持的Filter类型为“SingleColumnValueFilter”,“SingleColumnValu
jar之前,请确保已经进行kerberos安全登录,并且keytab方式下,登录用户和所上传keytab所属用户必须是同一个用户。 因为示例中的HBaseBolt并没有建表功能,在提交之前确保hbase中存在相应的表,若不存在需要手动建表,hbase shell建表语句如下create 'WordCount', 'cf'。
基于二级索引查询HBase表数据 功能介绍 针对添加了二级索引的用户表,您可以通过Filter来查询数据。其数据查询性能高于针对无二级索引用户表的数据查询。 HIndex支持的Filter类型为“SingleColumnValueFilter”,“SingleColumnValu
DBroker:“/var/log/Bigdata/doris/dbroker”(运行日志)。 日志归档规则:Doris的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过指定大小的时候(此日志文件大小可进行配置),会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>
若设置为true,可能会造成数据丢失。 auto.leader.rebalance.enable true 是否使用Leader自动均衡功能。 如果设为true,Controller会周期性的为所有节点的每个分区均衡Leader,将Leader分配给更优先的副本。 min.insync
g/Bigdata/audit/hbase/ts2”(审计日志,ts2为具体实例名称)。 日志归档规则:HBase的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过30MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>
Java样例代码 功能介绍 在Spark应用中,通过使用Streaming调用kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数,或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例 下面代码片段仅为演示,具体代码参见:com.huawei
Flink Hudi样例程序(Java) 功能介绍 通过调用Flink API读写Hudi数据。 代码样例 下面列出WriteIntoHudi和ReadFromHudi主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink.examples.WriteIntoHudi和com
Flink Join样例程序(Scala) 本章节适用于MRS 3.3.0及以后版本。 功能介绍 在Flink应用中,调用flink-connector-kafka模块的接口,生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka,则需要引入FusionInsight的kafka-clients-*
识别在迁移过程中不能中断的业务、可短时中断的业务、整体业务迁移可接受的迁移时长,梳理业务迁移顺序。 客户端部署要求。 业务执行时间段和高峰时间段。 大数据集群的数量和大数据集群功能划分,分析平台业务模型。 各个集群或各个组件分别负责什么业务,处理什么类型的数据。比如实时/离线数据分别使用什么组件处理、数据格式类型、压缩算法等。
Flink Join样例程序(Java) 功能介绍 在Flink应用中,调用flink-connector-kafka模块的接口,生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka,则需要引入FusionInsight的kafka-clients-*.jar
分析Hive数据 功能介绍 本小节介绍了如何使用样例程序完成分析任务。样例程序主要有以下方式。 使用JDBC接口提交数据分析任务。 使用HCatalog接口提交数据分析任务。 样例代码 使用Hive JDBC接口提交数据分析任务,参考样例程序中的JDBCExample.java。
收了Hive的DDL命令。为Mapreduce提供读写接口,提供Hive命令行接口来进行数据定义和元数据查询。基于MRS的HCatalog功能,Hive、Mapreduce开发人员能够共享元数据信息,避免中间转换和调整,能够提升数据处理的效率。 WebHCat WebHCat运行用户通过Rest
Flink Join样例程序(Java) 功能介绍 在Flink应用中,调用flink-connector-kafka模块的接口,生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka,则需要引入kafka-clients-*.jar,该jar包可在client目录下获取。
查询所有标签 功能介绍 查询租户在指定Region下的所有标签集合 。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/tags 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
MRS安全认证原理和认证机制 功能 开启了Kerberos认证的安全模式集群,进行应用开发时需要进行安全认证。 使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术,并且能够进行相互认证(即客户端和服务器端均可对对方进行身份认证)。可以用于防止窃听、防止
Flink Join样例程序(Java) 功能介绍 在Flink应用中,调用flink-connector-kafka模块的接口,生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka,则需要引入FusionInsight的kafka-clients-*.jar
Flink Join样例程序(Java) 功能介绍 在Flink应用中,调用flink-connector-kafka模块的接口,生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka,则需要引入kafka-clients-*.jar,该jar包可在client目录下获取。
展示MRS版本列表 功能介绍 展示MRS版本列表 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/metadata/versions 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。
Elasticsearch-Hadoop (ES-Hadoop) 连接器将Hadoop海量的数据存储和深度加工能力与Elasticsearch实时搜索和分析功能结合在一起。 它能够让您快速深入了解大数据,并让您在Hadoop生态系统中更好地开展工作。 方案架构 Hive是建立在Hadoop上的数据