检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上（文件上传的路径需要和生成的jar包路径一致）。 若运行“Spark on
编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上（文件上传的路径需要和生成的jar包路径一致）。 若运行“Spark on
对集群的操作进行封装，比如作业的提交、心跳上报、部分告警信息上报、集群创扩缩等操作。当客户从MRS管控面提交作业，随着任务量的增大或者任务并发较高，有可能会导致Executor内存不足，导致占用CPU较高、Executor进程OOM等问题。 解决步骤 通过root用户登录Mast
principal ... 在集群外节点上安装客户端 准备一个用于安装MRS集群客户端的Linux弹性云服务器。 云服务器操作系统及版本建议如下： 表1 操作系统参考列表 CPU架构 操作系统 支持的版本号 x86计算 Euler 可用：Euler OS 2.2 可用：Euler OS 2
配置场景 在旧版本中，使用insert overwrite语法覆写分区表时，只支持对指定的分区表达式进行匹配，未指定表达式的分区将被全部删除。在spark2.3版本中，增加了对未指定表达式的分区动态匹配的支持，此种语法与Hive的动态分区匹配语法行为一致。 配置参数 登录FusionInsight
其他配置参数详细信息，请参见购买弹性云服务器。 如果ECS的安全组和Master节点的“默认安全组”不同，用户可以选择以下任一种方法修改配置： 将ECS的安全组修改为Master节点的默认安全组，请参见更改安全组。 在集群Master节点和Core节点的安全组添加两条安全组规则使ECS可以访问集群，
选择“现有集群”，单击集群名，进入集群基本信息页面。 在“节点管理”页签单击任一节点名称，登录到弹性云服务器管理控制台。 参见申请弹性公网IP为集群的节点绑定一个弹性IP地址。 参考上传文件到云服务器方式概览，将本地文件上传到集群节点。 父主题： 集群管理类
sqoop-shell工具提供了如下功能： 支持创建和更新连接器 支持创建和更新作业 支持删除连接器和作业 支持以同步或异步的方式启动作业 支持停止作业 支持查询作业状态 支持查询作业历史执行记录 支持复制连接器和作业 支持创建和更新转换步骤 支持指定行、列分隔符 sqoop-shell工具支持如下模式： 交互模式
用于开发Kafka应用程序的工具。 网络 确保本地与Kafka服务所在的VPC的至少一个节点在网络上互通。 访问云服务器的安全认证 本地可以通过密钥或密码方式登录访问Linux弹性云服务器 父主题： 准备Kafka应用开发环境
接口说明 注册服务器接口 注册服务器用来保存NettySink的IP、端口以及并发度信息，以便NettySource连接使用。为用户提供以下接口： public interface RegisterServerHandler { /** * 启动注册服务器 * @param
MRS所使用的裸金属服务器规格 针对不同的应用场景，MRS使用到如下类型的裸金属服务器。 本地存储型（D2型） IO优化型（IO2） 规格命名规则 AB.C.D 例如m2.8xlarge.8 其中， A表示系列，例如：s表示通用型、c表示计算型、m表示内存型。 B表示系列号，例如
应用容器化改造介绍 应用容器化改造流程 步骤1：对应用进行分析 步骤2：准备应用运行环境 步骤2：准备应用运行环境 步骤2：准备应用运行环境 更多 云服务器卡顿 应用容器化改造介绍 应用容器化改造流程 步骤1：对应用进行分析 步骤2：准备应用运行环境 更多 Ping不通 应用容器化改造介绍 应用容器化改造流程
络异常等问题断线时，Hive能支持beeline在断线前已经提交的任务继续运行。当再次运行该批处理任务时，已经提交过的任务不再重新执行，直接从下一个任务开始执行。 在批处理任务运行过程中，HiveServer服务由于某些原因导致宕机时，Hive能支持当再次运行该批处理任务时，已经
络异常等问题断线时，Hive能支持beeline在断线前已经提交的任务继续运行。当再次运行该批处理任务时，已经提交过的任务不再重新执行，直接从下一个任务开始执行。 在批处理任务运行过程中，HiveServer服务由于某些原因导致故障时，Hive能支持当再次运行该批处理任务时，已经
接口说明。 注册服务器接口 注册服务器用来保存NettySink的IP、端口以及并发度信息，以便NettySource连接使用。为用户提供以下接口： public interface RegisterServerHandler { /** * 启动注册服务器 * @param
创建一个MRS集群并提交作业，并支持作业完成后删除集群，支持MRS 1.8.9及以上集群版本使用。使用接口前，您需要先获取下的资源信息。 通过VPC创建或查询VPC、子网 通过ECS创建或查询密钥对 通过终端节点获取区域信息 参考MRS服务支持的组件获取MRS版本及对应版本支持的组件信息 接口约束
foreachPatition接口将数据并发写入HBase中。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME”
型的节点数、虚拟机规格、可用区、VPC网络、认证信息，MRS将为用户自动创建一个符合配置的集群，全程无需用户参与。同时支持用户快速创建多应用场景集群，比如快速创建Hadoop分析集群、HBase集群、Kafka集群。MRS支持部署异构集群，在集群中存在不同规格的虚拟机，允许在CP
HostName 异常NTP服务器的IP地址。 对系统的影响 主OMS节点配置的NTP服务器异常，可能会导致主OMS节点与外部服务器不能同步时间，集群时间可能会产生误差。 可能原因 NTP服务器网络异常。 与NTP服务器认证失败。 不能从NTP服务器获取时间。 从NTP服务器获取的时间持续未更新。
接口说明 注册服务器接口 注册服务器用来保存NettySink的IP、端口以及并发度信息，以便NettySource连接使用。为用户提供以下接口： public interface RegisterServerHandler { /** * 启动注册服务器 * @param
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
