检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark常用命令介绍 Spark命令详细的使用方法参考官方网站的描述：http://spark.apache.org/docs/latest/quick-start.html。 常用命令 Shell命令执行方法： 进入Spark客户端目录。 初始化环境变量。 source /o
批量写入Hudi表 操作场景 Hudi提供多种写入方式，具体见hoodie.datasource.write.operation配置项，这里主要介绍UPSERT、INSERT和BULK_INSERT。 INSERT（插入）： 该操作流程和UPSERT基本一致，但是不需要通过索引去
批量写入Hudi表 操作场景 Hudi提供多种写入方式，具体见hoodie.datasource.write.operation配置项，这里主要介绍UPSERT、INSERT和BULK_INSERT。 INSERT（插入）： 该操作流程和UPSERT基本一致，但是不需要通过索引去
配置Sqoop通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成Sqoop客户端对接OBS文件系统的配置后，可在Sqoop客户端导入关系型数据库的表到OBS中，或导出OBS中的表到关系型数据库中。 前提条件 需在MySQL官网https://downloads
> Web UI ”。 通过HBase shell命令查看应用程序运行情况。可参见“更多信息 > 对外接口 > Shell ”。 各样例程序运结果如下： HBase数据读写样例运行成功会有如下信息： 2016-07-13 14:36:12,736 INFO [main] basic
hdfsDisconnect(fs); 准备运行环境 在节点上安装客户端，例如安装到“/opt/client”目录，安装方法可参考《MapReduce服务用户指南》的“客户端管理”章节。 确认服务端HDFS组件已经安装，并正常运行。 客户端运行环境已安装1.7或1.8版本的JDK。 获取并解压缩安装“MRS_HDFS_Client
com/apiexplorer/#/endpoint/OBS 。 配置文件中包含认证密码信息可能存在安全风险，建议当前场景执行完毕后删除相关配置文件或加强安全管理。 修改HDFS客户端“core-site.xml”文件中的“fs.defaultFS”参数值： 例如：修改前“fs.defaultFS”
在主集群手动将索引列族（默认是d）的REPLICATION_SCOPE值设置为1。 配置HBase本地二级索引 登录MRS控制台，在现有集群列表中单击集群名称，选择“组件管理”。 在组件列表中选择“HBase > 服务配置”，在下拉列表中将“基础配置”切换为“全部配置”，进入HBase服务参数“全部配置”界面。
同步Kafka数据至ClickHouse 本章节指导用户通过创建Kafka引擎表将Kafka数据自动同步至ClickHouse集群。 前提条件 已创建Kafka集群。已安装Kafka客户端，详细可以参考安装客户端。 已创建ClickHouse集群，并且ClickHouse集群和K
Sqoop客户端使用实践 Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(MySQL、PostgreSQL...)间进行数据的传递，可以将一个关系型数据库（例如：MySQL、Oracle、PostgreSQL等）中的数据导进到Hadoop的HDFS中
Storm-JDBC开发指引 操作场景 本文档主要说明如何使用开源Storm-JDBC工具包，完成Storm和JDBC之间的交互。Storm-JDBC中包含两类Bolt：JdbcInsertBolt和JdbcLookupBolt。其中，JdbcLookupBolt主要负责从数据库
从零开始使用Sqoop Sqoop是一款开源的工具，主要用于在Hadoop（Hive）与传统的数据库（MySQL、PostgreSQL等）间进行数据的传递，可以将一个关系型数据库（例如：MySQL、Oracle、PostgreSQL等）中的数据导进到Hadoop的HDFS中，也可
> Web UI ”。 通过HBase shell命令查看应用程序运行情况。可参见“更多信息 > 对外接口 > Shell ”。 各样例程序运结果如下： HBase数据读写样例运行成功会有如下信息： 2016-07-13 14:36:12,736 INFO [main] basic
Storm-JDBC开发指引 操作场景 本文档主要说明如何使用开源Storm-JDBC工具包，完成Storm和JDBC之间的交互。Storm-JDBC中包含两类Bolt：JdbcInsertBolt和JdbcLookupBolt。其中，JdbcLookupBolt主要负责从数据库
Spark同步HBase数据到CarbonData样例程序开发思路 场景说明 数据实时写入HBase，用于点查业务，数据每隔一段时间批量同步到CarbonData表中，用于分析型查询业务。 数据规划 创建HBase表，构造数据，列需要包含key，modify_time，valid
HDFS Colocation 功能简介 同分布（Colocation）功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性，将那些需进行关联操作的文件存放在相同数据节点上，在进行关联操作计算时避免了到别的数据节点上获取数据，大大降低网络带宽的占用。
配置外网客户端访问Kafka Broker 本章节适用于MRS 3.2.0及之后版本。 操作场景 外网环境Kafka客户端访问部署在内网的Kafka Broker，需开启Kafka内外网分流访问。 前提条件 Broker所在节点同时具有内网IP和外网IP，Broker绑定在内网I
取“user.keytab”、“krb5.conf”，并在Linux环境上创建文件夹保存这些配置文件，例如“/opt/conf”。 请联系管理员获取相应账号对应权限的“user.keytab”和“krb5.conf”文件，“hbase-site.xml”从HBase客户端获取，例
Flink客户端常见命令说明 本章节适用于MRS 3.x及之后版本。 在使用Flink的Shell脚本前，首先需要执行以下操作，详细使用场景可参考Flink客户端使用实践运行wordcount作业： 安装Flink客户端，例如安装目录为“/opt/client”。 初始化环境变量。
Flink客户端常见命令说明 在使用Flink的Shell脚本前，首先需要执行以下操作，详细使用场景可参考Flink客户端使用实践运行wordcount作业： 安装Flink客户端，例如安装目录为“/opt/client”。 初始化环境变量。 source /opt/client/bigdata_env
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
