检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
公共环境变量： cd/opt/client sourcebigdata_env 在该目录下用hdfs用户进行命令行认证，用户密码请咨询集群管理员。 kinithdfs kinit一次票据时效24小时。24小时后再次运行样例，需要重新kinit命令。 进入“/opt/client/
单击“导出”，将配置文件“properties.properties”保存到本地。配置文件中包含认证密码信息可能存在安全风险，建议当前场景执行完毕后删除相关配置文件或加强安全管理。 表1 Flume角色服务端所需修改的参数列表 参数名称 参数值填写规则 参数样例 ssl 是否启用SSL认证（基于安全要求，建议启用此功能）。
- password 是 连接MySQL的密码。配置文件中包含认证密码信息可能存在安全风险，建议当前场景执行完毕后删除相关配置文件或加强安全管理。 - host 否 MySQL地址 localhost port 否 MySQL端口 3306 log_level 否 日志打印级别，可选值为
Spark Streaming对接Kafka0-10样例程序开发思路 场景说明 假定某个业务Kafka每1秒就会收到1个单词记录。 基于某些业务要求，开发的Spark应用程序实现如下功能： 实时累加计算每个单词的记录总数。 “log1.txt”示例文件： LiuYang YuanJing
CDL服务包含了两个重要的角色：CDLConnector和CDLService。CDLConnector是具体执行数据抓取任务的实例，CDLService是负责管理和创建任务的实例。 CDL支持在CDLService WebUI界面创建数据同步任务和数据比较任务，使用流程如图1所示。 图1 CDL使用流程
Transfer-Encoding: chunked {"boolean":true}linux1:/opt/client # 密钥管理系统通过HTTP REST API对外提供密钥管理服务，接口请参考官网： http://hadoop.apache.org/docs/r3.1.1/hadoop-kms/index
Storm-Kafka开发指引 操作场景 本文档主要说明如何使用Storm-Kafka工具包，完成Storm和Kafka之间的交互。包含KafkaSpout和KafkaBolt两部分。KafkaSpout主要完成Storm从Kafka中读取数据的功能；KafkaBolt主要完成Storm向Kafka中写入数据的功能。
Transfer-Encoding: chunked {"boolean":true}linux1:/opt/client # 密钥管理系统通过HTTP REST API对外提供密钥管理服务，接口请参考官网： http://hadoop.apache.org/docs/r3.1.1/hadoop-kms/index
从下载的文件中解压获取“user.keytab”和“krb5.conf”文件。 数据源的代理用户需要具有对HBase的相关操作权限。 使用HetuEngine管理员用户登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。
MRS 3.1.5补丁说明 MRS 3.1.5.0.3补丁基本信息 表1 补丁基本信息 补丁号 MRS 3.1.5.0.3 发布时间 2023-11-27 安装前处理 如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。 安装MRS 3.1.5.0.3补丁前，需要先安装MRS
导入并配置Flink样例工程 操作场景 Flink针对多个场景提供样例工程，包含Java样例工程和Scala样例工程等，帮助客户快速学习Flink工程。 针对Java和Scala不同语言的工程，其导入方式相同。 以下操作步骤以导入Java样例代码为例。操作流程如图1所示。 图1 导入样例工程流程
Group来将指定的Channel和多个Sink对接，从而满足相应的使用场景。目前Flume提供了两种Sink Processor用于对Sink Group中的Sink进行管理：Load Balancing和Failover。 Failover：表示在Sink Group中同一时间只有一个Sink处于活跃状态，其
本章节适用于MRS 3.x及后续版本。 场景1 DataNodes分区场景。 场景说明： 用户需要让不同的应用数据运行在不同的节点，分开管理，就可以通过标签表达式，来实现不同业务的分离，指定业务存放到对应的节点上。 通过配置NodeLabel特性使得： /HBase下的数据存储
sftp-to-hdfs.xml -a delete lt-ctl使用说明 lt-ctl：loader-tool controller作业管理工具，用于启停作业，查询作业状态与进度，查询作业是否运行中。 表3 lt-ctl脚本的“参数选项”配置说明 参数选项 说明 参数值示例 -help
sftp-to-hdfs.xml -a delete lt-ctl使用说明 lt-ctl：loader-tool controller作业管理工具，用于启停作业，查询作业状态与进度，查询作业是否运行中。 表3 lt-ctl脚本的“参数选项”配置说明 参数选项 说明 参数值示例 -help
Storm-JDBC开发指引 操作场景 本文档主要说明如何使用开源Storm-JDBC工具包，完成Storm和JDBC之间的交互。Storm-JDBC中包含两类Bolt：JdbcInsertBolt和JdbcLookupBolt。其中，JdbcLookupBolt主要负责从数据库
导入并配置Flink样例工程 操作场景 Flink针对多个场景提供样例工程，包含Java样例工程和Scala样例工程等，帮助客户快速学习Flink工程。 针对Java和Scala不同语言的工程，其导入方式相同。 以下操作步骤以导入Java样例代码为例。操作流程如图1所示。 图1 导入样例工程流程
导入并配置Flink样例工程 操作场景 Flink针对多个场景提供样例工程，包含Java样例工程和Scala样例工程等，帮助客户快速学习Flink工程。 针对Java和Scala不同语言的工程，其导入方式相同。 以下操作步骤以导入Java样例代码为例。操作流程如图1所示。 图1 导入样例工程流程
hdfsDisconnect(fs); 准备运行环境 在节点上安装客户端，例如安装到“/opt/client”目录，安装方法可参考《MapReduce服务用户指南》的“客户端管理”章节。 确认服务端HDFS组件已经安装，并正常运行。 客户端运行环境已安装1.7或1.8版本的JDK。 获取并解压缩安装“MRS_HDFS_Client
authentication.kerberos.principal”，其对应的值即为服务端Principal的值。 使用HetuEngine管理员用户登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
