检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安装补丁的影响 MRS 3.0.5.1补丁安装过程中会自动重启Executor、Controller进程,安装过程中将影响作业提交以及集群扩缩容等管控面集群控制功能,请选择适当的时间进行补丁安装。
修改CompiledPlan时不能破坏Json File文件结构,否则作业会提交失败。CompiledPlan的保存路径可以是HDFS路径也可以是OBS路径,本示例以HDFS路径为例。
只有“mrs_20160907”集群处于“运行中”状态时才能提交Spark SQL语句。 输入创建表的Spark SQL语句。 输入Spark SQL语句时,总字符数应当小于或等于10000字符,否则会提交语句失败。
YARN Command介绍 您可以使用YARN Commands对YARN集群进行一些操作,例如启动ResourceManager、提交应用程序、中止应用、查询节点状态、下载container日志等操作。
YARN Command介绍 您可以使用YARN Commands对YARN集群进行一些操作,例如启动ResourceManager、提交应用程序、中止应用、查询节点状态、下载container日志等操作。
提交到常驻Flink集群上的一个示例如下: bin/flink run ../examples/streaming/WindowJoin.jar 用户在用该命令提交任务前需要先用yarn-session启动Flink集群。
只有集群处于“运行中”状态时才能提交作业。 作业提交成功后默认为“已接受”状态,不需要用户手动执行作业。 查看作业执行结果。 进入“作业管理”页面,查看作业是否执行完成。 作业运行需要时间,作业运行结束后,刷新作业列表,查看作业列表如图5所示。
map 是 - 数据处理规则 当配置SparkSQL表名不存在时,作业提交失败。 当配置的列名与SparkSQL表列名不匹配时,读取不到数据,导入数据条数会为0。 当字段的值与实际的类型不匹配时,该行数据会成为脏数据。
图1 Presto架构 Presto分布式地运行在一个集群中,包含一个Coordinator和多个Worker进程,查询从客户端(例如CLI)提交到Coordinator,Coordinator进行SQL的解析和生成执行计划,然后分发到多个Worker进程上执行。
Java样例代码 功能简介 使用自定义客户端的JDBC接口提交数据分析任务,并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句,注意其中不能包含“;”。
map 是 - 数据处理规则 当配置SparkSQL表名不存在时,作业提交失败。 当配置的列名与SparkSQL表列名不匹配时,读取不到数据,导入数据条数会为0。 当字段的值与实际的类型不匹配时,该行数据会成为脏数据。
问: Flink任务运行失败,报错如下: Caused by: java.lang.NoSuchFieldError: SECURITY_SSL_ENCRYPT_ENABLED 答: 客户代码里面打包的第三方依赖包和集群包冲突,提交到MRS集群运行失败。
获取Oozie服务器URL(任意节点),这个URL将是客户端提交流程任务的目标地址。 URL格式为:https://oozie实例业务IP:21003/oozie。
获取Oozie服务器URL(任意节点),这个URL将是客户端提交流程任务的目标地址。 URL格式为:https://Oozie业务IP:21003/oozie。例如,“https://10.10.10.176:21003/oozie”。
配置Spark任务不获取HBase Token信息 配置场景 使用Spark提交任务时,Driver默认会去HBase获取Token,访问HBase则需要配置文件“jaas.conf”进行安全认证。此时如果用户未配置“jaas.conf”文件,会导致应用运行失败。
用户需要具备Oozie的普通用户权限,HDFS访问权限,Hive表读写权限,HBase读写权限以及Yarn的队列提交权限。 已在Linux环境中安装了完整的集群客户端。 获取Oozie服务器URL(任意节点),这个URL将是客户端提交流程任务的目标地址。
用户需要具备Oozie的普通用户权限,HDFS访问权限,Hive表读写权限,HBase读写权限以及Yarn的队列提交权限。 已在Linux环境中安装了完整的集群客户端。 获取Oozie服务器URL(任意节点),这个URL将是客户端提交流程任务的目标地址。
打包业务的目的,是将IntelliJ IDEA代码生成的jar包与工程依赖的jar包,合并导出可提交的source.jar。 打包需使用storm-jartool工具,可在Windows或Linux上进行。 前提条件 已安装Storm客户端。 已执行打包Storm样例工程应用。
MRS组件版本一览表 组件及版本号信息 MRS各集群版本配套的组件及版本号信息如表1所示。 Hadoop组件包含HDFS、Yarn、Mapreduce服务,DBService、ZooKeeper、KrbServer及LdapServer等集群内部使用的组件,在创建集群时的组件列表中不呈现
配置Spark任务不获取HBase Token信息 配置场景 使用Spark提交任务时,Driver默认会去HBase获取Token,访问HBase则需要配置文件“jaas.conf”进行安全认证。此时若用户未配置“jaas.conf”文件,会导致应用运行失败。