检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
除临时表的逻辑，建议将删除临时表的逻辑放到脚本的最后。假定删除临时表子任务的后续子任务执行失败，并且删除临时表的子任务之前的子任务用到了该临时表；当下一次以相同batchid执行该SQL脚本时，因为临时表在上一次执行时已被删除，则会导致删除临时表的子任务之前用到该临时表的子任务（
除临时表的逻辑，建议将删除临时表的逻辑放到脚本的最后。假定删除临时表子任务的后续子任务执行失败，并且删除临时表的子任务之前的子任务用到了该临时表；当下一次以相同batchid执行该SQL脚本时，因为临时表在上一次执行时已被删除，则会导致删除临时表的子任务之前用到该临时表的子任务（
下连续运行10T的TPCDS测试套会出现内存不足的现象 问题 在Driver内存配置为10G时，Beeline/JDBCServer模式下连续运行10T的TPCDS测试套，会出现因为Driver内存不足导致SQL语句执行失败的现象。 回答 当前在默认配置下，在内存中保留的Job和Stage的UI数据个数为1000个。
添加后端服务器。 在“云服务器”界面，单击“添加云服务器”，添加所有Doris FE所在节点，并单击“确定”。 Doris FE实例IP地址可在MRS集群管理控制台的“组件管理”界面，单击“Doris”，选择“实例”页签，即可查看FE实例的业务IP地址。 将云服务器的“业务端口”都设置为Doris
根据本地历史数据备份策略，集群的审计日志需要转储到第三方服务器上。系统每天凌晨3点开始周期性检测转储服务器，如果转储服务器满足配置条件，审计日志可以成功转储。审计日志转储失败，系统产生此告警。如果第三方服务器的转储目录磁盘空间不足，或者用户修改了转储服务器的用户名、密码或转储目录，将会导致审计日志转储失败。
x及以前版本） 告警解释 根据本地历史数据备份策略，集群的审计日志需要转储到第三方服务器上。如果转储服务器满足配置条件，审计日志可以成功转储。审计日志转储失败，系统产生此告警。如果第三方服务器的转储目录磁盘空间不足，或者用户修改了转储服务器的用户名、密码或转储目录，将会导致审计日志转储失败。
loader-tool工具支持通过作业模板或参数选项的方式，对连接器或者作业进行创建、更新、查询、删除等操作。 本文将以“从SFTP服务器导入数据到HDFS”的作业为例，通过引用作业模板的方式，介绍loader-tool工具的使用方法。 本章节适用于MRS 3.x及后续版本。 前提条件
下连续运行10T的TPCDS测试套会出现内存不足的现象 问题 在Driver内存配置为10G时，Beeline/JDBCServer模式下连续运行10T的TPCDS测试套，会出现因为Driver内存不足导致SQL语句执行失败的现象。 回答 当前在默认配置下，在内存中保留的Job和Stage的UI数据个数为1000个。
Oozie定时任务没有准时运行如何处理 问题 在Hue或者Oozie客户端设置执行Coordinator定时任务，但没有准时执行。 回答 设置任务时，需要使用UTC时间。 例如在“job.properties”中配置“start=2016-12-20T09:00Z”。 修改配置后重新启动定时任务即可。
Oozie定时任务没有准时运行如何处理 问题 在Hue或者Oozie客户端设置执行Coordinator定时任务，但没有准时执行。 回答 设置任务时，需要使用UTC时间。 例如在“job.properties”中配置“start=2016-12-20T09:00Z”。 修改配置后重新启动定时任务即可。
悉且统一的平台。作为查询大数据的工具的补充，Impala不会替代基于MapReduce构建的批处理框架，例如Hive。基于MapReduce构建的Hive和其他框架最适合长时间运行的批处理作业。 Impala主要特点如下： 支持Hive查询语言（HQL）中大多数的SQL-92功能
），结算完毕后进入新的计费周期。计费的起点以购买的MRS集群启动成功的时间点为准，终点以集群删除时间为准。 MRS集群从创建到启动需要一定时长，计费的起点是创建成功（即集群的状态由初始的“启动中”更新为“运行中”）的时间点，而非创建时间。您可以在现有集群列表的所在集群“创建时间”列查看集群创建成功的时间点。
配置Oozie作业运行参数 功能描述 流程的属性定义文件，定义了流程运行期间使用的外部参数值对。 参数解释 “job.properties”文件中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 nameNode HDFS NameNode集群地址 resourceManager
如何通过集群外的节点访问MRS集群？ 创建集群外Linux操作系统ECS节点访问MRS集群 创建一个集群外ECS节点，具体请参考购买弹性云服务器。 ECS节点的“可用区”、“虚拟私有云”、“安全组”，需要和待访问集群的配置相同。 在VPC管理控制台，申请一个弹性IP地址，并与ECS绑定。
步到对应的云服务器或云硬盘节点上。 通过MapReduce服务节点管理页面，在节点列表中将鼠标移动到对应节点的标签图标上，可以查看该节点上已存在的标签。 MRS标签更新会同步到集群中的云服务器（ECS）或云硬盘（EVS）标签上，但是在ECS或EVS控制台上修改MRS集群的标签不会
MRS服务管理费用 变更MRS集群的计费模式会同时变更MRS服务管理的计费模式。 按需转包年/包月 弹性云服务器 变更MRS集群的计费模式会同时变更集群所包含的弹性云服务器的计费模式。 云硬盘 变更MRS集群的计费模式会同时变更集群弹性云服务器所挂载云硬盘的计费模式。 按需非共享云硬盘
Spark运行作业报错“java.io.IOException: Connection reset by peer”如何处理？ 问： Spark作业运行一直不结束，查看日志报错：java.io.IOException: Connection reset by peer。 答： 修
本文将以从SFTP服务器导入数据到HDFS的作业为例，介绍如何分别在交互模式和批量模式下使用sqoop-shell工具进行创建和启动Loader作业。 前提条件 已安装并配置Loader客户端，具体操作请参见使用客户端运行Loader作业。 交互模式示例 使用安装客户端的用户登录Loader客户端所在节点。
SECURITY_SSL_ENCRYPT_ENABLED 答： 客户代码里面打包的第三方依赖包和集群包冲突，提交到MRS集群运行失败。 需修改相关的依赖包，并将pom文件中的开源版本的Hadoop包和Flink包的作用域设置为provide，添加完成后重新打包运行任务。 父主题： 作业管理类
配置Oozie作业运行参数 功能描述 流程的属性定义文件，定义了流程运行期间使用的外部参数值对。 参数解释 “job.properties”文件中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 nameNode HDFS NameNode集群地址 resourceManager
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
