检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
st” 委托类型：选择“云服务” 云服务：选择“ECS BMS” 持续时间：根据实际情况自定义 在选择策略界面右上角单击“新建策略”，配置如下信息，单击“下一步”。 策略名称：自定义 策略配置方式：选择JSON视图 策略内容：配置如下信息 { "Version": "1.1"
Hive配置类问题 Hive SQL执行报错：java.lang.OutOfMemoryError: Java heap space. 解决方案： 对于MapReduce任务，增大下列参数： set mapreduce.map.memory.mb=8192; set mapreduce
设置单个HDFS目录下最大可容纳的文件数目。保存修改的配置。保存完成后请重新启动配置过期的服务或实例以使配置生效。 用户尽量将数据做好存储规划，可以按时间、业务类型等分类，不要单个目录下直属的文件过多，建议使用默认值，单个目录下约100万条。 父主题： 使用HDFS
设置单个HDFS目录下最大可容纳的文件数目。保存修改的配置。保存完成后请重新启动配置过期的服务或实例以使配置生效。 用户尽量将数据做好存储规划，可以按时间、业务类型等分类，不要单个目录下直属的文件过多，建议使用默认值，单个目录下约100万条。 父主题： 使用HDFS
户私有属性配置。 本章节仅适用于MRS 3.x及之后版本。 配置MRS集群用户私有属性限制约束 管理员不能设置或取消业务用户的Independent属性。 管理员不能获取私有用户的认证凭据。 配置MRS集群用户私有属性前提条件 已获取要求权限的管理员用户和密码。 配置用户私有属性开关
配置HDFS应用安全认证 场景说明 访问安全集群环境中的服务，需要先通过Kerberos安全认证。所以HDFS应用程序中需要写入安全认证代码，确保HDFS程序能够正常运行。 安全认证有两种方式： 命令行认证： 提交HDFS应用程序运行前，在HDFS客户端执行如下命令进行认证。 kinit
配置多主实例模式 配置场景 集群中支持同时共存多个ThriftServer服务，通过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个ThriftServer服务停止工作，也不影响用户通过同一个客户端接口连接其他正常的ThriftServer服务。 配置描述 登录Manager，选择“集群
setSocketTimeout(60000); 如果导入并配置ClickHouse样例工程中的“clickhouse-example.properties”配置文件中“sslUsed”参数配置为“true”时，则需要在ClickhouseJDBCHaDemo、Demo、Nati
setSocketTimeout(60000); 如果导入并配置ClickHouse样例工程中的“clickhouse-example.properties”配置文件中“sslUsed”参数配置为“true”时，则需要在ClickhouseJDBCHaDemo、Demo、Nati
配置Spark应用安全认证 场景说明 在安全集群环境下，各个组件之间的相互通信不能够简单的互通，而需要在通信之前进行相互认证，以确保通信的安全性。 用户在开发Spark应用程序时，某些场景下，需要Spark与Hadoop、HBase等之间进行通信。那么Spark应用程序中需要写入
初始化HBase配置 功能介绍 HBase通过login方法来获取配置项。包括用户登录信息、安全认证信息等配置项。 代码样例 下面代码片段在com.huawei.bigdata.hbase.examples包的“TestMain”类的init方法中。 private static
配置Spark Core广播变量 操作场景 Broadcast（广播）可以把数据集合分发到每一个节点上，Spark任务在执行过程中要使用这个数据集合时，就会在本地查找Broadcast过来的数据集合。如果不使用Broadcast，每次任务需要数据集合时，都会把数据序列化到任务里面，不但耗时，还使任务变得很大。
eeper。 Yarn内部和Hadoop内部都不需要用户配置加密，用户只需要配置SSL加密传输方式。 配置SSL传输，用户主要在客户端的“flink-conf.yaml”文件中做如下配置： 打开SSL开关和设置SSL加密算法，配置参数如表2所示，请根据实际情况修改对应参数值。 表2
配置Spark应用安全认证 前提条件 MRS服务集群开启了Kerberos认证。 场景说明 在集群开启Kerberos认证的环境下，各个组件之间的相互通信不能够简单地互通，而需要在通信之前进行相互认证，以确保通信的安全性。 用户在开发Spark应用程序时，某些场景下，需要Spar
离，具体请参考配置Guardian服务对接OBS。 已完成Spark对接OBS，具体请参考配置Spark通过Guardian访问OBS。 修改Spark配置 登录FusionInsight Manager，选择“集群 > 服务 > Spark > 配置 > 全部配置 > SparkResource（角色）
配置AM失败重试次数 配置场景 在资源不足导致ApplicationMaster启动失败的情况下，调整如下参数值，提高容错性，保证客户端应用的正常运行。 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面，在搜索框中输入表1中参数名称。 表1 参数说明 参数 描述
初始化HBase配置 功能介绍 HBase通过login方法来获取配置项。包括用户登录信息、安全认证信息等配置项。 代码样例 下面代码片段在com.huawei.bigdata.hbase.examples包的“TestMain”类的init方法中。 private static
wholeStage 指定是否需要将多个操作的所有stage编译为一个java方法，默认为true。 true [true,false] spark.sql.codegen.maxFields 指定codegen的所有stage所支持的最大字段数（包括嵌套字段），默认为100. 100 大于0 spark
Doris > 配置”，在搜索框中搜索“https_port”或“http_port”查看。 创建Flink作业时，username配置项为Doris用户，password配置项为Doris用户密码。 集群已启用Kerberos认证（安全模式）只能配置HTTPS模式。 父主题： 配置Doris支持多源数据
配置HDFS冷热数据迁移 配置场景 冷热数据迁移工具根据配置的策略移动HDFS文件。配置策略是条件或非条件规则的集合。如果规则匹配文件集，则该工具将对该文件执行一组行为操作。 冷热数据迁移工具支持以下规则和行为。 迁移规则： 根据文件的最后访问时间迁移数据 根据年龄时间迁移数据（修改时间）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
