检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
e.xml”中配置“mapreduce.job.maps”项。 说明： 指定的InputFormat类用来控制map任务个数，注意该类是否支持客户端设定map个数。 setNumReduceTasks(int n) 核心接口，指定MapReduce作业的reduce个数。默认只启
e.xml”中配置“mapreduce.job.maps”项。 说明： 指定的InputFormat类用来控制map任务个数，注意该类是否支持客户端设定map个数。 setNumReduceTasks(int n) 核心接口，指定MapReduce作业的reduce个数。默认只启
为32G；128G<机器内存<200G，“-Xmx”设置为16G；机器内存<128G，“-Xmx”设置为8G。“-Xmx”配置为32G，可支持单RegionServer节点2000个Region，200个热点Region。 “XX:CMSInitiatingOccupancyFraction”建议设置为“100
发Spark应用。 如果您使用的安全模式，建议按照安全要求，准备安全认证代码、业务应用代码及其相关配置。 yarn-cluster模式中不支持在Spark工程中添加安全认证。因为需要在应用启动前已完成安全认证。所以用户需要在Spark应用之外添加安全认证代码或使用命令行进行认证。
e.xml”中配置“mapreduce.job.maps”项。 说明： 指定的InputFormat类用来控制map任务个数，注意该类是否支持客户端设定map个数。 setNumReduceTasks(int n) 核心接口，指定MapReduce作业的reduce个数。默认只启
<inputPath>是2.b创建的目录。 提交作业时，建议使用默认spark on yarn（即5中的--master yarn-client）模式。开源支持spark standalone模式提交，但不推荐使用，该模式资源使用率低，并且使用HTTP，可能存在安全风险。 （可选）在bin目录下调
服务 > Spark2x > 配置”。 单击“全部配置”，并搜索“SPARK_DRIVER_MEMORY”。 修改参数值适当增加内存大小。仅支持整数值，且需要输入单位M或者G。例如输入512M。 参考信息 DRIVER内存不足时，查询操作可能遇到以下错误提示信息： 2018-02-11
例如租户“ta1”，默认HDFS存储目录为“tenant/ta1”。第一次创建租户时，系统自动在HDFS根目录创建“/tenant”目录。支持自定义存储路径。 否 租户不可用 /apps{1~5}/ 固定目录 WebHCat使用到Hive的包的路径 否 执行WebHCat任务会失败
如果需要在UI上查看之前产生的日志，建议将此参数设置为true。 true 在WebUI显示更多历史作业 默认情况下，Yarn WebUI界面支持任务列表分页功能，每个分页最多显示5000条历史作业，总共最多保留10000条历史作业。如果您需要在WebUI上查看更多的作业，可以配置参
通过HSFabric的KeyTab认证实现查询HetuEngine SQL任务 通过HSFabric实现KeyTab文件认证方式连接到HetuEngine，组装对应的SQL发送到HetuEngine执行，完成对Hive数据源的增删改查操作。 import jaydebeapi
需确保集群资源充足。单租户多实例需要的资源为单实例资源*实例个数（每个计算实例的规格一致，不支持差异化配置）。 需使用短连接方式，并以HSFabric模式连接HetuEngine，该模式支持更优的负载均衡调度能力。 1 取值范围：1-50 配置“Coordinator容器资源配置”，参数配置请参考表2。
集群Master节点规格升级（分步升级）时，请确保全程升级过程中有足够的规格资源。 升级MRS集群Master节点规格使用限制 支持2个及以上Master节点的集群升级Master节点规格 。 不支持使用BMS类型规格的集群升级Master节点规格 。 MRS 1.8.2及之后版本至MRS 3.x之前版本、MRS
配置YARN-Client和YARN-Cluster不同模式下的环境变量 配置场景 当前，在YARN-Client和YARN-Cluster模式下，两种模式的客户端存在冲突的配置，即当客户端为一种模式的配置时，会导致在另一种模式下提交任务失败。 为避免出现如上情况，添加表1中的配
Storm-OBS开发指引 操作场景 本章节只适用于MRS产品中Storm和OBS交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认Storm已经安装，并正常运行。 将storm-examples导入到Eclipse开发环境，请参见导入并配置Storm样例工程。
在Linux环境中调测HetuEngine应用 操作场景 在程序代码完成开发后，也可以把代码编译成jar包，上传到Linux环境进行程序功能调试。 在Linux环境上调测程序前，需在Linux节点预安装客户端。 操作步骤 根据需要修改“jaas-zk.conf”中“KeyTab”
配置YARN-Client和YARN-Cluster不同模式下的环境变量 配置场景 当前，在YARN-Client和YARN-Cluster模式下，两种模式的客户端存在冲突的配置，即当客户端为一种模式的配置时，会导致在另一种模式下提交任务失败。 为避免出现如上情况，添加表1中的配
列化动态添加元素。 另外Flink中的State支持设置TTL，TTL实际上是将时间戳与userValue封装起来，ValueState的TTL基于整个Key，MapState<UK, UV>的TTL是基于UK，它的粒度更小，可支持更丰富的TTL语义。 Checkpoint配置压缩减少Checkpoint大小
PyFlink样例程序代码说明 通过Python API的方式提交Flink读写Kafka作业到Yarn上代码样例 下面列出pyflink-kafka.py的主要逻辑代码作为演示，在提交之前需要确保“file_path” 为要运行的SQL的路径，建议写全路径。 完整代码参见“fl
群中有两个Core节点，则HDFS默认副本数为2。若集群中Core节点数大于等于3，则HDFS默认副本数为3。 图3 HDFS架构 MRS支持HDFS组件上节点均衡调度和单节点内的磁盘均衡调度，有助于扩容节点或扩容磁盘后的HDFS存储性能提升。 关于Hadoop的架构和详细原理介绍，请参见：http://hadoop
缓存行数。 上述命令中的参数描述如下： idx_1：表示索引名称 cf_0：表示列族名称 q_0：表示列名称 string：表示数据类型，支持STRING，INTEGER，FLOAT，LONG，DOUBLE，SHORT，BYTE或CHAR。 '＃'用于分隔索引，';' 用于分隔列族，'
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
