检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
sh命令重启knox进程。单Master节点集群无需执行该操作。 可通过执行ps -ef |grep knox命令查询knox进程是否启动，当显示knox进程号时表示启动成功。 （可选）MRS 2.1.0.11补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节
if.no.acl.found”的值修改为“true”。 启动Kafka的Producer，向Kafka发送数据。 {ClassPath}表示工程jar包的存放路径，详细路径由用户指定，可参考在Linux环境中调测Spark应用章节中导出jar包的操作步骤。 命令举例： java
确保集群安装完成，包括HDFS、Yarn、Spark2x和Kafka。 启动Kafka的Producer，向Kafka发送数据。 {ClassPath}表示工程jar包的存放路径，详细路径由用户指定，可参考在Linux环境中编包并运行Spark程序章节中导出jar包的操作步骤。 命令举例： java
查看客户端连接的HiveServer。例如，Hive客户端显示“0: jdbc:hive2://10.172.0.43:21066/>”，表示当前连接的HiveServer节点IP地址为“10.172.0.43”。 创建函数、删除函数或者修改任意数据库。 需要授予“Hive管理员权限”。
takeSample(withReplacement，num，seed)对dataset随机抽样，返回由num个元素组成的数组。withReplacement表示是否使用replacement。 saveAsTextFile(path, compressionCodecClass) 把dataset写到一个text
takeSample(withReplacement，num，seed)对dataset随机抽样，返回由num个元素组成的数组。withReplacement表示是否使用replacement。 saveAsTextFile(path, compressionCodecClass) 把dataset写到一个text
MapReduce应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 MapReduce应用程序开发流程 表1 MapReduce应用开发的流程说明 阶段 说明 参考文档 准备开发环境 在进行应用开发前，需首先准备开发环境，推荐使用Java语言进行开发，使用IntelliJ
导入并配置Spark样例工程 操作场景 Spark针对多个场景提供样例工程，包含Java样例工程和Scala样例工程等，帮助客户快速学习Spark工程。 针对Java和Scala不同语言的工程，其导入方式相同。使用Python开发的样例工程不需要导入，直接打开Python文件（*
将Kafka的Broker配置参数“allow.everyone.if.no.acl.found”的值修改为“true”。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息，格式为IP:port。 $KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper
takeSample(withReplacement，num，seed)对dataset随机抽样，返回由num个元素组成的数组。withReplacement表示是否使用replacement。 saveAsTextFile(path, compressionCodecClass) 把dataset写到一个text
takeSample(withReplacement，num，seed)对dataset随机抽样，返回由num个元素组成的数组。withReplacement表示是否使用replacement。 saveAsTextFile(path, compressionCodecClass) 把dataset写到一个text
takeSample(withReplacement，num，seed)对dataset随机抽样，返回由num个元素组成的数组。withReplacement表示是否使用replacement。 saveAsTextFile(path, compressionCodecClass) 把dataset写到一个text
认值为,。 OPTIONS('DELIMITER'=',' , 'QUOTECHAR'='"') 可使用'DELIMITER'='\t'来表示用制表符tab对CSV数据进行分隔。 OPTIONS('DELIMITER'='\t') CarbonData也支持\001和\017作为分隔符。
hbase org.apache.hbase.hbck1.OfflineMetaRepair -details 命令执行后，打印“Success”表示执行成功，继续执行6.g；如果命令执行失败，需执行8。 执行以下命令创建一个HDFS中不存在的备份目录，例如“/tmp/hbase_bak”：
la、Storm、Kafka组件。 在服务“概览”页面右上角单击“更多 > 停用Ranger鉴权”，如果“停用Ranger鉴权”是灰色，则表示未开启Ranger鉴权无需停用Ranger鉴权，如图1所示。 图1 停用Ranger鉴权 （可选）如需使用已有鉴权策略请执行该步骤在Ranger
000（最多对应150,000,000个小文件）。“dfs.namenode.max.objects”规定当前系统可生成的文件对象数，默认值为“0”表示不限制。 DataNode容量规格 在HDFS中，Block以副本的形式存储在DataNode中，默认副本数为“3”，对应参数为“dfs.replication”。
导入并配置Spark样例工程 操作场景 Spark针对多个场景提供样例工程，包含Java样例工程和Scala样例工程等，帮助客户快速学习Spark工程。 针对Java和Scala不同语言的工程，其导入方式相同。使用Python开发的样例工程不需要导入，直接打开Python文件（*
ytab路径，执行21。 执行步骤18查看Flume Agent运行用户是否有访问keytab认证文件的权限，若返回为keytab路径，则表示有权限，否则无权限。 是，执行22。 否，执行21。 执行“chmod 755 ketab文件”赋予步骤19中所指定的keytab文件的可读权限
Kafka应用开发流程介绍 Kafka客户端角色包括Producer和Consumer两个角色，其应用开发流程是相同的。 开发流程中各个阶段的说明如图1和表1所示。 图1 Kafka客户端程序开发流程 表1 Kafka客户端开发的流程说明 阶段 说明 参考文档 准备开发环境 Ka
Kafka应用开发流程介绍 Kafka客户端角色包括Producer和Consumer两个角色，其应用开发流程是相同的。 开发流程中各个阶段的说明如图1和表1所示。 图1 Kafka客户端程序开发流程 表1 Kafka客户端开发的流程说明 阶段 说明 参考文档 准备开发环境 在进
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
