检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS样例工程构建流程包括三个主要步骤: 下载样例工程的Maven工程源码和配置文件,请参见样例工程获取地址。 配置华为镜像站中SDK的Maven镜像仓库,请参见配置华为开源镜像仓。 根据用户自身需求,构建完整的Maven工程并进行编译开发。 样例工程获取地址 MRS服务1.8之前版本的样例工程下载地址为:ht
a角色实例的IP地址。 kafka_topic_list 消费Kafka的Topic。 kafka_group_name Kafka消费组。 kafka_format 消费数据的格式化类型,JSONEachRow表示每行一条数据的json格式,CSV格式表示逗号分隔的一行数据。 kafka_row_delimiter
enabled 是否开启客户端的授权,需设为“true”。 true hive.security.authorization.createtable.owner.grants 将哪些权限赋给创建表的owner,建议设置为“ALL”。 ALL MetaStore服务的core-site.xml配置文件
rors.huaweicloud.com/),各服务样例工程依赖的jar包都可在华为开源镜像站下载,剩余所依赖的开源jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载。 本地环境使用开发工具下载依赖的jar包前,需要确认以下信息。 确认本地环境网络正常。 打开浏览器
pic”配置项 topic-pattern:主题模式,用于source表,可使用正则表达式的主题名称。 【示例】以下source表将订阅所有以“test-topic-”开头,单个数字结尾的主题消息: CREATE TABLE payments ( payment_id INT
描述一个完整业务的基本流程。 Coordinator Coordinator流程构建在Workflow流程之上,实现了对Workflow流程的定时触发、按条件触发功能。 Bundle Bundle流程构建在coordinator流程之上,提供对多个Coordinator流程的统一调度、控制和管理功能。
DataStream样例程序(Java) 功能介绍 统计连续网购时间超过2个小时的女性网民信息,将统计结果直接打印。 代码样例 下面代码片段仅为演示,完整代码参见FlinkStreamJavaExample样例工程下的com.huawei.bigdata.flink.examples.Fl
enabled 是否开启客户端的授权,需设为“true”。 true hive.security.authorization.createtable.owner.grants 将哪些权限赋给创建表的owner,建议设置为“ALL”。 ALL MetaStore服务的core-site.xml配置文件
批量加载功能采用了MapReduce jobs直接生成符合HBase内部数据格式的文件,然后把生成的StoreFiles文件加载到正在运行的集群。使用批量加载相比直接使用HBase的API会节约更多的CPU和网络资源。 ImportTSV是一个HBase的表数据加载工具。 本章节适用于MRS 3.x及之后版本。
描述一个完整业务的基本流程。 Coordinator Coordinator流程构建在Workflow流程之上,实现了对Workflow流程的定时触发、按条件触发功能。 Bundle Bundle流程构建在Coordinator流程之上,提供对多个Coordinator流程的统一调度、控制和管理功能。
参数keyTab和principal根据实际情况修改。 问题:一旦提交配置文件后,flume agent即在占用资源运行,如何恢复到没有上传配置文件的状态? 解决方法:提交一个内容为空的properties.properties文件。 父主题: Flume常见问题
参数keyTab和principal根据实际情况修改。 问题:一旦提交配置文件后,flume agent即在占用资源运行,如何恢复到没有上传配置文件的状态? 解决方法:提交一个内容为空的properties.properties文件。 父主题: Flume常见问题
Flink DataStream Java样例代码 功能简介 统计连续网购时间超过2个小时的女性网民信息,将统计结果直接打印。 代码样例 下面代码片段仅为演示,具体代码参见com.huawei.flink.example.stream.FlinkStreamJavaExample:
kinit 组件业务用户 该方式仅适用于Linux操作系统,且安装了HDFS的客户端。 代码认证: 通过获取客户端的principal和keytab文件进行认证。 注意修改代码中的PRINCIPAL_NAME变量为实际使用的值。 private static final String PRNCIPAL_NAME
2.2-准备开发用户中下载的user.keytab和krb5.conf文件拷贝到Linux环境的“/opt/conf”目录下,可参考5.4.1-编译并运行程序。 在二次开发过程中,PRINCIPAL需要用到的用户名,应该填写为带域名的用户名,例如创建的用户为test,域名为HADOOP
Presto Presto是一个开源的用户交互式分析查询的SQL查询引擎,用于针对各种大小的数据源进行交互式分析查询。其主要应用于海量结构化数据/半结构化数据分析、海量多维数据聚合/报表、ETL、Ad-Hoc查询等场景。 Presto允许查询的数据源包括Hadoop分布式文件系统
kinit 组件业务用户 该方式仅适用于Linux操作系统,且安装了HDFS的客户端。 代码认证: 通过获取客户端的principal和keytab文件进行认证。 注意修改代码中的PRINCIPAL_NAME变量为实际使用的值。 private static final String PRNCIPAL_NAME
数据库连接端口为Doris FE的查询连接端口,可通过登录MRS Doris集群的Manager界面,选择“集群 > 服务 > Doris > 实例”,查看任一FE实例的业务IP地址获取。 Doris FE实例IP地址可通过登录MRS Doris集群的Manager界面,选择“集群
假定用户有某个网站网民周末网购停留时间的日志文本,基于某些业务要求,要求开发Flink的DataStream应用程序实现如下功能: DataStream应用程序可以在Windows环境和Linux环境中运行。 实时统计总计网购时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名,第
* from KafkaSource; Kafka端口号: 集群的“认证模式”为“安全模式”时为“sasl.port”的值,默认为“21007”。 集群的“认证模式”为“普通模式”时为“port”的值,默认为“9092”。如果配置端口号为9092,则需要配置“allow.everyone