检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果通过开源镜像站方式获取的样例工程代码,在配置好Maven后(配置方式参考配置华为开源镜像仓), 相关依赖jar包将自动下载,不需手动添加。 将工程中的conf目录添加到资源路径。 在Intellij IDEA的菜单栏选择“File > Project Structure”。
如果通过开源镜像站方式获取的样例工程代码,在配置好Maven后(配置方式参考配置华为开源镜像仓), 相关依赖jar包将自动下载,不需手动添加。 将工程中的conf目录添加到资源路径。 在Intellij IDEA的菜单栏选择“File > Project Structure”。
检查弹性伸缩是否关闭 登录华为云管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如果可以请关闭弹性伸缩,否则请另择时间进行补丁升级。 是,弹性伸缩关闭,检查结束。
解决使用FlinkServer创建SASL_SSL认证的kafka连接,执行报错的问题。 解决Flink对接Guardian启用OBS,Flink作业重启偶现重启失败的问题。 解决DataArts Studio提交作业无法正常重试从Checkpoint恢复的问题。
参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。
另外,由于本文档中涉及的样例程序已添加安全认证,建议不要使用proxy user参数去提交任务。 基本概念 RDD 即弹性分布数据集(Resilient Distributed Dataset),是Spark的核心概念。
参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。
参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。
另外,由于本文档中涉及的样例程序已添加安全认证,建议不要使用proxy user参数去提交任务。 基本概念 RDD 即弹性分布数据集(Resilient Distributed Dataset),是Spark的核心概念。
例如,Hive客户端安装目录为“/opt/hiveclient”,执行source /opt/hiveclient/bigdata_env 执行以下命令认证用户。 kinit Hive业务用户 执行以下命令登录客户端工具。 beeline 执行以下命令更新用户的管理员权限。
cd /opt/client source bigdata_env 在该目录下用hdfs用户进行命令行认证。 kinit hdfs kinit一次票据时效24小时。24小时后再次运行样例,需要重新执行kinit命令。
参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。
支持单击“查看实例”打开所有配置已过期的实例列表,确认可以执行重启任务。 父主题: 管理MRS集群
参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。
若HDFS存在损坏的数据块,则缩容集群可能出现失败,请联系华为云支持人员处理。 页面右上角弹出缩容节点提交成功提示框。 集群缩容过程说明如下: 缩容中:集群正在缩容时集群状态为“缩容中”。
版本号中包含hw-ei的依赖包请从华为开源镜像站下载 版本号中不包含hw-ei的依赖包都来自开源仓库,请从Maven中心仓获取。
参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。
例如,Spark2x客户端安装目录为“/opt/client”,执行source /opt/client/bigdata_env 执行以下命令认证用户。 kinit Spark2x业务用户 执行以下命令登录客户端工具。
例如,Spark2x客户端安装目录为“/opt/client”,执行source /opt/client/bigdata_env 执行以下命令认证用户。 kinit Spark2x业务用户 执行以下命令登录客户端工具。
参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。