检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
--master：Spark用于所连接的master，如yarn-client，yarn-cluster等。 application-jar：Spark应用的jar包的路径。 application-arguments：提交Spark应用的所需要的参数（可以为空）。 Spark JobHistory Server
Storm WebUI页面中events超链接地址无效 用户问题 Storm组件的Storm UI页面中events超链接地址无效。 问题现象 用户提交拓扑后无法查看拓扑数据处理日志，按钮events地址无效。 原因分析 MRS集群提交拓扑时默认不开启拓扑数据处理日志查看功能。 处理步骤
hetu-updateKrb5.log 部署Hive集群更换域后，Hive数据源配置自动刷新时打印的日志。 hetu_utils.log 启动时预处理脚本调用工具类上传文件到HDFS时打印的日志。 日志级别 HetuEngine中提供了如表2所示的日志级别。日志级别优先级从高到低分别是OFF、ERR
重置后的密码为Admin@123Test#$%@123。 重置后的密码必需满足当前用户密码策略，使用omm用户登录主OMS节点后，执行如下工具脚本可以获取到修改域名后的“人机”用户密码。 sh ${BIGDATA_HOME}/om-server/om/sbin/get_reset_pwd
class); job.setOutputValueClass(Text.class); // HBase提供工具类添加HBase的运行依赖 TableMapReduceUtil.addDependencyJars(job);
运行SparkSql作业 用户可将自己开发的程序提交到MRS中，执行程序并获取结果，本章节指导您如何在MRS集群中提交一个SparkSql作业。 SparkSql作业用于查询和分析数据，包括SQL语句和Script脚本两种形式，如果SQL语句涉及敏感信息，也可使用脚本文件方式提交。
联网的网络攻击风险可能性。 请确认绑定的弹性公网IP为可信任的公网访问IP。 开放集群22端口安全组规则 该操作会增大用户利用22端口进行漏洞攻击的风险。 针对开放的22端口进行设置安全组规则，只允许可信的IP可以访问该端口，入方向规则不推荐设置允许0.0.0.0可以访问。 删除集群或删除集群数据
class); job.setOutputValueClass(Text.class); // HBase提供工具类添加HBase的运行依赖 TableMapReduceUtil.addDependencyJars(job);
快速创建和使用Hadoop离线数据分析集群 操作场景 本入门提供从零开始创建Hadoop离线数据分析集群并通过集群客户端提交一个wordcount作业的操作指导。wordcount是最经典的Hadoop作业，用于统计海量文本的单词数量。 Hadoop集群完全使用开源Hadoop生
参数说明可通过本节内容了解。 MRS 3.x及之后版本部分参数可通过Manager界面配置，选择“集群 > 服务 > Flume > 配置工具”，选择要使用的Source、Channel以及Sink，将其拖到右侧的操作界面中，双击对应的Source、Channel以及Sink，根
0-LTS，MRS 3.2.0-LTS支持升级到MRS 3.3.0-LTS。 集群补丁升级 现网存量运行的MRS集群，如果有大数据组件社区重大问题或者漏洞，MRS将提供对集群打补丁能力，详情请参见MRS集群补丁说明。 版本约束 集群升级到新版本后，不支持回退到老版本。 普通版集群不支持升级。
Sqoop常用命令及参数介绍 更多Sqoop命令参数请参考Sqoop官方文档：https://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html Sqoop常用命令介绍 表1 Sqoop常用命令介绍 命令 说明 import 数据导入到集群
> 样例工程名称 > Lifecycle > compile”，双击“compile”运行maven的compile命令。 图2 maven工具 clean和compile 方法二 在IDEA的下方Terminal窗口进入“pom.xml”所在目录，手动输入mvn clean compile命令进行编译。
Sqoop常用命令及参数介绍 Sqoop常用命令介绍 表1 Sqoop常用命令介绍 命令 说明 import 数据导入到集群 export 集群数据导出 codegen 获取数据库中某张表数据生成Java并打包jar create-hive-table 创建Hive表 eval 执行sql并查看结果
选择“保存 > 确定”后等待操作成功。 滚动重启Yarn服务，输入密码并单击“确定”后等待操作成功。 进入主管理节点重启AOS服务。 使用PuTTY工具以omm用户登录主OMS服务器。 执行以下命令，防止“PuTTY”超时退出。 TMOUT=0 执行完本章节操作后，请及时恢复超时退出时间，
Flink应用开发简介 组件介绍 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：
Flink应用开发简介 简介 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并
cipher.list”配置项的值，否则以HTTPS访问不了Yarn。单击“保存”，单击“确定”，保存完成后重启该服务。 TLSv1协议存在安全漏洞，请谨慎使用。 操作步骤 获取运行在Yarn上的任务的具体信息。 命令： curl -k -i --negotiate -u : "htt
kryoserializer.buffer配置。 64KB Broadcast Broadcast用于Spark进程间数据块的传输。Spark中无论Jar包、文件还是闭包以及返回的结果都会使用Broadcast。目前的Broadcast支持两种方式，Torrent与HTTP。前者将会把数据切
快速创建和使用启用安全认证的MRS集群 操作场景 本入门提供从零开始创建开启Kerberos认证的Hadoop分析集群并通过集群客户端提交一个wordcount作业的操作指导。wordcount是最经典的Hadoop作业，用于统计海量文本的单词数量。 Hadoop集群完全使用开源
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
