检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark Streaming对接Kafka0-10样例程序开发思路 场景说明 假定某个业务Kafka每1秒就会收到1个单词记录。 基于某些业务要求，开发的Spark应用程序实现如下功能： 实时累加计算每个单词的记录总数。 “log1.txt”示例文件： LiuYang YuanJing
v2.*; import com.huaweicloud.sdk.mrs.v2.model.*; public class StopJobSolution { public static void main(String[] args) { // The
使用客户端运行Loader作业 操作场景 一般情况下，用户可以手工在Loader界面管理数据导入导出作业。当用户需要通过shell脚本来更新与运行Loader作业时，必须对已安装的Loader客户端进行配置。 Loader不兼容旧版本客户端，如果重新安装集群或Loader服务，请
er_id}/files mrs:file:list √ √ 新增作业并执行（V1） POST /v1.1/{project_id}/jobs/submit-job mrs:job:submit √ √ 新增并执行作业（V2） POST /v2/{project_id}/clus
com.huaweicloud.sdk.mrs.v2.model.*; public class ShowSqlResultWithJobSolution { public static void main(String[] args) { // The
实时OLAP场景介绍 传统数据集市场景实时数据和离线数据分离，集市层指标通过预聚合进行定制化开发，时效性低，复杂性高，灵活性差。 基于Doris的实时OLAP场景离线和实时数据归一，无需离线预加工，基于海量明细数据直接进行多维秒级聚合/关联查询分析，具备实时、高效、灵活的特点。
快速开发HBase应用 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是用来解决关系型数据库在处理海量数据时的局限性。 HBase使用场景有如下几个特点： 处理海量数据（TB或PB级别以上）。 具有高吞吐量。 在海量数据中实现高效的随机读取。
将编译后的jar包上传到客户端节点，例如上传到“/opt/client/lib”目录下。 如果本地网络无法直接连接客户端节点上传文件，可先将jar文件或者源数据上传至OBS文件系统中，然后通过MRS管理控制台集群内的“文件管理”页面导入HDFS中，再通过HDFS客户端使用hdfs dfs -get命令下载到客户端节点本地。
基于binlog的MySQL数据同步到MRS集群中 本章节为您介绍使用Maxwell同步工具将线下基于binlog的数据迁移到MRS Kafka集群中的指导。 Maxwell是一个开源程序（https://maxwells-daemon.io），通过读取MySQL的binlog日
基于binlog的MySQL数据同步到MRS集群中 本章节为您介绍使用Maxwell同步工具将线下基于binlog的数据迁移到MRS Kafka集群中的指导。 Maxwell是一个开源程序（https://maxwells-daemon.io），通过读取MySQL的binlog日
创建CDL数据同步任务作业 操作场景 CDLService WebUI提供可视化的作业编排页面，用户可快速创建CDL作业，实现实时数据入湖。 前提条件 开启Kerberos认证的集群需已创建具有CDL管理操作权限的用户。 操作步骤 使用具有CDL管理操作权限的用户或admin用户
时，增大如上服务端参数配置值即可。 滚动重启3个节点耗时约15分钟 Guardian 直接重启 请求Guardian失败，任务拿不到访问OBS的aksk 直接重启耗时约5分钟 滚动重启 滚动重启无影响 滚动重启10个节点耗时约10分钟 IoTDB 直接重启 重启期间无法进行数据的写入
表中涉及端口的协议类型均为：TCP和HTTP。 配置参数 开源默认端口 定制默认端口 端口说明 ranger.obs.service.rpc.address.port 26901 26901 Guardian OBS客户端对应服务的RPC侦听端口。 token.server.http-server.port
增大如上服务端参数配置值即可。 滚动重启3个节点耗时约15分钟。 Guardian 直接重启 请求Guardian失败，任务拿不到访问OBS的aksk 直接重启耗时约5分钟 滚动重启 滚动重启无影响 滚动重启10个节点耗时约10分钟 IoTDB 直接重启 重启期间无法进行数据的写入
传到“/opt/client/sparkdemo”目录下。 如果本地网络无法直接连接客户端节点上传文件，可先将jar文件或者源数据上传至OBS文件系统中，然后通过MRS管理控制台集群内的“文件管理”页面导入HDFS中，再通过HDFS客户端使用hdfs dfs -get命令下载到客户端节点本地。
将编译后的jar包上传到客户端节点，例如上传到“/opt/client/lib”目录下。 如果本地网络无法直接连接客户端节点上传文件，可先将jar文件或者源数据上传至OBS文件系统中，然后通过MRS管理控制台集群内的“文件管理”页面导入HDFS中，再通过HDFS客户端使用hdfs dfs -get命令下载到客户端节点本地。
如果您无需继续使用该MRS集群，请及时释放资源，避免产生额外的费用。详细操作步骤请参见删除MRS集群。 相关信息 更多ClickHouse权限管理、导入RDS MySQL/OBS/HDFS/DWS等数据至ClickHouse表中、ClickHouse多租户管理、通过ELB访问ClickHouse等操作请参见使用ClickHouse。
提升HBase实时写数据效率 操作场景 需要把数据实时写入到HBase中或者对于大批量、连续put的场景。 本章节适用于MRS 3.x及之后版本。 前提条件 调用HBase的put或delete接口，把数据保存到HBase中。 操作步骤 写数据服务端调优 参数入口：登录FusionInsight
安装客户端（3.x版本） MRS集群创建成功后，用户可自行安装集群客户端，用于连接集群内组件服务端，进行组件连接、作业提交等任务。集群客户端可以安装在集群内的节点上，也可以安装在集群外的节点上。 集群内组件的服务端配置修改后，也建议重新安装客户端，否则客户端与服务端版本将不一致，可能影响部分功能的正常使用。
时，增大如上服务端参数配置值即可。 滚动重启3个节点耗时约15分钟 Guardian 直接重启 请求Guardian失败，任务拿不到访问OBS的aksk 直接重启耗时约5分钟 滚动重启 滚动重启无影响 滚动重启10个节点耗时约10分钟 IoTDB 直接重启 重启期间无法进行数据的写入
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
