检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
0/0作为安全组源地址。 敏感操作保护 MRS支持对敏感操作进行保护，若用户已开启敏感操作保护（请参见IAM服务的敏感操作），则输入选择的对应验证方式获取的验证码进行验证（如图2所示），避免误操作带来的风险和损失。 图2 身份验证 父主题： 安全
优化小文件场景下的Spark SQL性能 配置场景 Spark SQL的表中，经常会存在很多小文件（大小远小于HDFS块大小），每个小文件默认对应Spark中的一个Partition，也就是一个Task。在很多小文件场景下，Spark会起很多Task。当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响性能。
如果需使用Doris读取Hive存储在OBS中的数据，需执行以下操作。 登录华为云管理控制台，在“控制台”页面，鼠标移动至右上方的用户名，在下拉列表中选择“我的凭证”。 单击“访问密钥”页签，单击“新增访问密钥”，输入验证码或密码。单击“确定”，生成并下载访问密钥。 在.csv文件中获取创建Catalog所需
用频繁登录集群查看，就可以及时地收到告警通知。MRS联合消息通知服务(SMN)，可以将以上信息主动地通知到用户的手机及邮箱，让维护更加省心省力。 客户价值 配置消息通知后，可以实时给用户发送MRS集群健康状态，用户可以通过手机短信或邮箱实时接收到MRS集群变更及组件告警信息。MR
move_factor 0.2 move_factor为数据移动策略。表示当卷的可用容量低于move_factor参数设定的值时，数据将被自动的移动到下一个卷。本例中当hot卷的容量低于20%的时候，hot卷中的数据将被自动的移动到cold卷。取值范围：0~1。 存储策略配置参考如下图所示：
Kerberos服务在收到ST请求后，校验其中的TGT合法后，生成对应的应用服务的ST，再使用应用服务密钥将响应消息进行加密处理。 应用客户端收到ST响应消息后，将ST打包到发给应用服务的消息里面传输给对应的应用服务端（Application Server）。 应用服务端收到请求后，使用本
分功能不可用，请谨慎操作。 图3 关闭通信安全授权 若用户已开启敏感操作保护（详见IAM服务的敏感操作），则输入选择的对应验证方式获取的验证码进行进行验证，避免误操作带来的风险和损失。 图4 身份验证 为关闭安全通信的集群开启安全通信 登录MRS管理控制台。 在现有集群列表中，单击待开启安全通信的集群名称。
享资源的配置能力。每个租户中可能存在不同权重的用户，高权重用户可能需要更多共享资源。 大集群环境下的调度性能优势 Superior调度器接收到各个NodeManager上报的心跳信息，并将资源信息保存在内存中，使得调度器能够全局掌控集群的资源使用情况。Superior调度器采用了
SQL表中，经常会存在很多小文件（大小远小于HDFS的块大小），每个小文件默认对应Spark中的一个Partition，即一个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响系统性能。 针对小文件很多的场景，
SQL表中，经常会存在很多小文件（大小远小于HDFS的块大小），每个小文件默认对应Spark中的一个Partition，即一个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响系统性能。 针对小文件很多的场景，
配置HDFS文件回收站机制 配置场景 在HDFS中，如果删除HDFS的文件，删除的文件将被移动到回收站（trash）中，不会被立即清除，以便在误操作的情况下恢复被删除的数据。被删除的文件在超过老化时间后将变为老化文件，会基于系统机制清除或用户手动清除。 您可以设置文件保留在回收站
理机架合并为一个逻辑机架，以满足策略1。不能将两个机房的主机合并为一个逻辑机架，否则会引起性能问题。 策略 4：如果一个物理机架的主机个数很多，则需要将其分隔为多个逻辑机架，以满足策略1。不建议物理机架中包含的主机有太大的差异，这样会降低集群的可靠性。 策略 5：建议机架的第一层
本章节适用于MRS 3.2.0及以后版本。 告警解释 FlinkServer主节点或备节点连续30秒（keepalive配置的心跳中断时间）未收到对端的心跳消息后，系统产生告警。 当心跳恢复后，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 45640 次要 是 告警参数 参数名称
优化小文件场景下的Spark SQL性能 配置场景 Spark SQL的表中，经常会存在很多小文件（大小远小于HDFS块大小），每个小文件默认对应Spark中的一个Partition，也就是一个Task。在很多小文件场景下，Spark会起很多Task。当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响性能。
登录管理控制台。 单击用户名，在下拉列表中单击“我的凭证”。 单击“访问密钥”。 单击“新增访问密钥”，进入“新增访问密钥”页面。 输入登录密码和短信验证码，单击“确定”，下载密钥，请妥善保。 操作步骤 准备使用Spark SQL分析的数据源。 样例txt文件如下： abcd3ghji efgh658ko
在Flink客户端“conf”目录下新建目录，例如ssl。 cd /Flink客户端目录/Flink/flink/conf/ mkdir ssl 移动“flink.keystore”和“flink.truststore”文件到新建目录中。 mv flink.keystore ssl/ mv
问题 为什么创建Hive表失败？ 回答 当源表或子查询具有大数据量的Partition时，创建Hive表失败。执行查询需要很多的task，此时输出的文件数就会很多，从而导致driver OOM。 可以在创建Hive表的语句中增加distribute by子句来解决这个问题，其中distribute
“我的凭证”。 在“API凭证”中，记录并保存“账号ID”的值，作为DomainID。 单击“访问密钥”页签，单击“新增访问密钥”，输入验证码或密码。单击“确定”，生成并下载访问密钥，在.csv文件中获取AK/SK信息。 创建云服务委托并绑定集群 登录MRS云服务管理控制台。 在服务列表中选择“管理与监管
cache.size”的详细描述。 CarbonData查询流程 当CarbonData首次收到对某个表（例如表A）的查询任务时，系统会加载表A的索引数据到内存中，执行查询流程。当CarbonData再次收到对表A的查询任务时，系统则不需要再加载其索引数据。 在CarbonData中执行查
问题 为什么创建Hive表失败？ 回答 当源表或子查询具有大数据量的Partition时，创建Hive表失败。执行查询需要很多的task，此时输出的文件数就会很多，从而导致driver OOM。 可以在创建Hive表的语句中增加distribute by子句来解决这个问题，其中distribute
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
