检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
因不同版本操作界面可能存在差异,相关视频供参考,具体以实际环境为准。 步骤一:创建MRS集群 进入购买MRS集群页面。 在服务列表中搜索“MapReduce服务 MRS”,进入MRS服务管理控制台。 单击“购买集群”,进入“购买集群”页面,选择“快速购买”页签。 根据实际业务规划情况填写集群配
载,其他社区开源jar包可从各Maven公共仓库下载。 开发者能力要求 您已经对大数据领域各组件具备一定的认识。 您已经对弹性云服务器的使用方式和MRS服务开发组件有一定的了解。 您已经对Maven构建方式具备一定的认识和使用方法有一定了解。 您已经对Java语法具备一定的认识。
max_memory_usage_for_all_queries 单台服务器上所有查询的内存使用量,默认没有限制。建议根据机器的总内存,预留一部分空间,防止内存不够导致服务或者机器异常。 0 机器总内存的80% 否 max_memory_usage 单个查询在单台服务器的能使用的最大内存。 10G 50GB 否(新版本可通过多租户方式配置)
载,其他社区开源jar包可从各Maven公共仓库下载。 开发者能力要求 您已经对大数据领域各组件具备一定的认识。 您已经对弹性云服务器的使用方式和MRS服务开发组件有一定的了解。 您已经对Maven构建方式具备一定的认识和使用方法有一定了解。 您已经对Java语法具备一定的认识。
sparknormal-examples/SparkStreamingKafka010JavaExample Spark Streaming从Kafka接收数据并进行统计分析的Java/Scala示例程序。 本工程应用程序实时累加计算Kafka中的流数据,统计每个单词的记录总数。 sparkn
安装Flink客户端。 确认服务端Flink组件已经安装。 下载Flink客户端程序。 登录MRS Manager。 单击“服务管理 > Flink > 下载客户端”,在“客户端类型”勾选“完整客户端”,“下载路径”选择“服务器端”,单击“确定”下载客户端到服务器端。 执行如下命令解压
conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 编译打包前,样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如:“/opt/female/user
Kafka等)。Maxwell可部署在MySQL机器上,也可独立部署在其他与MySQL网络可通的机器上。 Maxwell运行在Linux服务器上,常见的有EulerOS、Ubuntu、Debian、CentOS、OpenSUSE等,且需要Java 1.8+支持。 同步数据具体内容如下。
Bolt 在一个Topology中接受数据然后执行处理的组件。Bolt可以执行过滤、函数操作、合并、写数据库等任何操作。 Tuple 一次消息传递的基本单元。 Stream 流是一组(无穷)元素的集合,流上的每个元素都属于同一个schema;每个元素都和逻辑时间有关;即流包含了元
操作步骤 登录Kafka服务所在Manager页面,选择“系统 > 权限 > 用户 > 添加用户”,创建一个具有Kafka权限的人机用户,例如创建人机用户ck_user1,首次使用需要修改初始密码。Kafka用户权限介绍请参考Kafka用户权限说明。 选择“集群 > 服务 > Kafka
Bolt 在一个Topology中接受数据然后执行处理的组件。Bolt可以执行过滤、函数操作、合并、写数据库等任何操作。 Tuple 一次消息传递的基本单元。 Stream 流是一组(无穷)元素的集合,流上的每个元素都属于同一个schema;每个元素都和逻辑时间有关;即流包含了元
步骤二:获取JDBC jar包 下载HetuEngine客户端获取JDBC jar包。 登录FusionInsight Manager。 选择“集群 > 服务 > HetuEngine > 概览”。 在页面右上角,选择“更多 > 下载客户端”,根据界面提示下载“完整客户端”文件到本地。 解压He
ouse集群和Kafka集群网络可以互通,并安装ClickHouse客户端。 操作步骤 登录ClickHouse服务所在集群的Manager页面,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置 > ClickHouseServer(角色) > 引擎”,修改如下参数:
conf”文件。将“user.keytab”文件重命名为“clickhouse_to_kafka.keytab”。 登录ClickHouse服务所在集群的Manager页面,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置 > ClickHouseServer(角色) > 引擎”,修改如下参数:
sparksecurity-examples/SparkStreamingKafka010JavaExample Spark Streaming从Kafka接收数据并进行统计分析的Java/Scala示例程序。 本工程应用程序实时累加计算Kafka中的流数据,统计每个单词的记录总数。 sparks
在SFTP服务器的“/opt/houjt/test03”路径中,创建多个以“table1”为前缀,“.txt”为后缀,中间为yyyyMMdd的日期格式的文件。 图1 示例 创建一个从SFTP服务器导入数据到HDFS的Loader作业,具体操作请参见典型场景:从SFTP服务器导入数据到HDFS/OBS。
端运行Loader作业。 操作步骤 在SFTP服务器的“/opt/houjt/test03”路径中,创建多个以“table1”为前缀,“.txt”为后缀,中间为yyyyMMdd的日期格式的文件。 图1 示例 创建一个从SFTP服务器导入数据到HDFS的Loader作业,具体操作请
ftp-connector或sftp-connector数据源连接属性 参数 说明 源目录或文件 源数据实际存储的形态,可能是文件服务器包含一个目录中的全部数据文件,或者是单个数据文件。 文件格式 Loader支持文件服务器中存储数据的文件格式,默认支持以下两种: CSV_FILE:表示文本格式文件。目的连接为数据库型连接时,只支持文本格式。
datagen; 查看并修改CompiledPlan文件中算子并行度。 登录FusionInsight Manager,选择“集群 > 服务 > HDFS”,单击“NameNode Web UI”后的链接,选择“Utilities > Browse the file syste
用户同时还需要至少有manager_viewer权限的角色。 已获取运行状态的Oozie服务器(任意实例)URL,如“https://10.1.130.10:21003/oozie”。 已获取运行状态的Oozie服务器主机名,如“10-1-130-10”。 已获取Yarn ResourceManager主节点IP,如“10