检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
64bit(40GB)”。 其他配置参数详细信息，请参见购买弹性云服务器。 如果ECS的安全组和Master节点的“默认安全组”不同，用户可以选择以下任一种方法修改配置： 将ECS的安全组修改为Master节点的默认安全组，请参见更改安全组。 在集群Master节点和Core节点的安全组添加两条安
通过JDBC访问Spark SQL样例程序开发思路 场景说明 用户自定义JDBCServer的客户端，使用JDBC连接来进行表的创建、数据加载、查询和删除。 数据规划 将数据文件上传至HDFS中。 确保以多主实例模式启动了JDBCServer服务，并至少有一个实例可连接客户端。在
创建弹性伸缩策略。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/autoscaling-policy/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释： 项目编号。获取方法，请参见获取项目ID。
常。 是，处理结束。 否，执行2。 获取当前工作的Httpd服务器地址，为打开Hue页面URL中主机地址，即如果打开Hue的Url为“https://192.168.0.1:21201”，Httpd服务地址则为“192.168.0.1”。 登录Httpd服务器，排查“/var/l
查询可用区信息 功能介绍 在创建集群时，需要配置实例所在的可用区ID，可通过该接口查询可用区的ID。 调用方法 请参见如何调用API。 URI GET /v1.1/{region_id}/available-zones 表1 路径参数 参数 是否必选 参数类型 描述 region_id
Flume常用配置参数 部分参数可在Manager界面配置。 使用Flume需要配置Source、Channel和Sink，各模块配置参数说明可通过本节内容了解。 MRS 3.x及之后版本部分参数可通过Manager界面配置，选择“集群 > 服务 > Flume > 配置工具”，
application.path”属性和workflowAppUri属性的值保持一致。 执行流程文件 命令： oozie job -oozie https://oozie server hostname:port/oozie -config job.properties文件所在路径 -run
/opt/client source bigdata_env kinit developuser 启动流程。 命令： oozie job -oozie https://oozie server hostname:port/oozie -config job.properties文件所在路径 -run
LoadBalance的HTTP、HTTPS端口。 登录FusionInsight Manager，选择“集群 > 服务 > ClickHouse > 逻辑集群”，查看对应逻辑集群的“HTTP Balancer端口号”中的“非加密端口”及“加密端口”。 loadBalancerHttpsPort CL
ter_集群ID_ HetuEngine_Client.tar”获取jdbc文件，并存放在本地，例如“D:\test”。 jdbc文件获取方法： 在“FusionInsight_Cluster_集群ID_HetuEngine_ClientConfig\HetuEngine\xxx
依据选取的第一张表，根据代价选择第二张表，第三张表。由此可以得到多个不同的执行计划。 计算出代价最小的一个计划，作为最终的顺序优化结果。 代价的具体计算方法： 当前版本，代价的衡量基于Join出来的数据条数：Join出来的条数越少，代价越小。Join条数的多少，取决于参与Join的表的选择率。表的数据条数，取自表级别的统计信息。
GC_OPTS参数中-XX:MaxDirectMemorySize默认没有配置，如需配置，用户可在GC_OPTS参数中自定义添加。 具体的配置方法如下： 用户可登录FusionInsight Manager，单击“集群 > 服务 > Yarn > 配置”，单击“全部配置”，单击“NodeManager
的行删除。 联系硬件工程师插入全新磁盘，具体操作请参考对应型号的硬件产品文档，如果原来故障的磁盘是RAID，那么请按照对应RAID卡的配置方法配置RAID。 等待20～30分钟后执行mount命令（具体时间依赖磁盘的大小），检查磁盘是否已经挂载在目录“挂载目录名”上。 是，针对MRS
container.log.dir}设置了输出目录，因此在yarn-cluster模式执行任务不会报FileNotFoundException异常。 处理方法： 注：下面所说的$SPAKR_HOME默认是/opt/client/Spark/spark 解决方案1：手动切换日志配置文件。修改文件$
下面代码片段在com.huawei.bigdata.kafka.example.WordCountDemo类的createWordCountStream方法中。 static void createWordCountStream(final StreamsBuilder builder) {
（即您自行搭建的客户端）。 主备Master节点的原始客户端全量更新，请参见更新客户端配置（2.x及之前版本）。 自行搭建的客户端全量安装方法，请参见安装客户端（2.x及之前版本）。 重新安装客户端前建议先对老客户端进行备份。 若您根据业务场景修改过客户端配置，请重装客户端后再次修改客户端配置。
GC_OPTS参数中-XX:MaxDirectMemorySize默认没有配置，如需配置，用户可在GC_OPTS参数中自定义添加。 具体的配置方法如下： 用户可登录FusionInsight Manager，单击“集群 > 待操作集群的名称 > 服务 > Yarn > 配置”，单击“
如果您使用的是普通模式，准备业务应用代码及其相关配置即可。 调用org.apache.spark.launcher.SparkLauncher.launch()方法，将用户的应用程序提交。 将SparkLauncher程序和用户应用程序分别生成Jar包，并上传至运行此应用的Spark节点中。 Spar
小。 在“GC_OPTS”中查看 “-Xmx”配置的大小，并判断节点内存是否够用。 节点内存是否够用可根据实际环境进行判断，例如可使用以下方法： 以root用户登录告警上报的实例的IP地址，执行free -g命令，查看“free”列的“Mem”值即为节点可用内存，如下示例中节点可用内存为4G。
告警”查看是否存在告警“ALM-14003 丢失的HDFS块数量超过阈值”。 是，执行2。 否，执行3。 按照ALM-14003 丢失的HDFS块数量超过阈值的处理方法处理，然后等待5分钟，检查告警是否清除。 是，结束。 否，执行3。 以root用户登录HDFS客户端，用户密码为安装前用户自定义，请咨询MRS集群管理员。执行如下命令：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
