检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark异步任务执行表compaction参数设置规范 写作业未停止情况下，禁止手动执行run schedule命令生成compaction计划。 错误示例： run schedule on dsrTable 如果还有别的任务在写这张表，执行该操作会导致数据丢失。 执行run co
不灵活等问题。 针对上述问题，华为云提供了大数据MapReduce服务（MRS），MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。MRS提供租户完全可控的一站式企业级大数据集群云服务，完全兼容开源接口，结合华为云计算、存储优势及大数据行业经验
集群创建类 如何使用自定义安全组创建MRS集群？ 购买MRS集群时找不到HDFS、Yarn、MapReduce组件如何处理？ 购买MRS集群时，找不到ZooKeeper组件如何处理？ 购买MRS集群提交订单时报无效认证如何处理？
Manager，单击“租户资源”。 单击“动态资源计划”页签。 单击“全局用户策略”页签。 在指定用户策略所在行，单击“操作”列中的“修改”。 调整相关参数后，单击“确定”。 删除策略 在FusionInsight Manager，单击“租户资源”。 单击“动态资源计划”页签。 单击“全局用户策略”页签。
Coordinator和Executor分离部署，Coordinator根据集群规模部署2-5个 Coordinator承担缓存元数据，解析SQL执行计划，和响应客户端请求的功能主要使用jvm内存，而Executor承担数据读写，算子计算等功能，主要使用offheap内存；拆分后可有效提升内
在Hive中执行多表Join时，Hive支持开启CBO（Cost Based Optimization），系统会自动根据表的统计信息，例如数据量、文件数等，选出合适计划提高多表Join的效率。Hive需要先收集表的统计信息后才能使CBO正确的优化。 CBO优化器会基于统计信息和查询条件，尽可能地使Join
V1.1 作业管理接口（废弃） 新增作业并执行（废弃） 查询作业exe对象列表（废弃） 查询作业exe对象详情（废弃） 删除作业执行对象（废弃） 父主题： 历史API
analyze不支持DDL语句。 示例 下面这个例子，你可以看到每个阶段（Stage）的CPU时间消耗，每个计划节点相应的代价。 这个代价是基于现实时间（wall time），而非CPU的相关时间。 对每一个计划节点，都可以看到额外的统计信息，例如每个节点实例的输入平均值，哈希碰撞（hash col
配置后，您可以单击“刷新队列”按钮或者重启Yarn服务使配置生效。 参数入口： 用户可在Manager系统中，选择“租户资源 > 动态资源计划 > 队列配置”。 参数说明以修改Superior调度器的default租户为例，其他队列的配置类似，单击“修改”编辑。 表1 队列配置参数
不灵活等问题。 针对上述问题，华为云提供了大数据MapReduce服务（MRS），MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。MRS提供租户完全可控的一站式企业级大数据集群云服务，完全兼容开源接口，结合华为云计算、存储优势及大数据行业经验
在另一台机器上启动。这在两个方面影响了HDFS的整体可用性： 当异常情况发生时，如机器崩溃，集群将不可用，除非重新启动NameNode。 计划性的维护工作，如软硬件升级等，将导致集群停止工作。 针对以上问题，HDFS高可用性方案通过自动或手动（可配置）的方式，在一个集群中为Nam
产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 omm密码过期，Manager各节点互信不可用，无法对服务提供管理功能，crontab计划任务无法执行，影响ClickHouse业务。 可能原因 omm密码过期。 处理步骤 检查系统中omm密码是否过期。 以root用户登录集群
在Hive中执行多表Join时，Hive支持开启CBO（Cost Based Optimization），系统会自动根据表的统计信息，例如数据量、文件数等，选出合适计划提高多表Join的效率。Hive需要先收集表的统计信息后才能使CBO正确的优化。 CBO优化器会基于统计信息和查询条件，尽可能地使join
产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 omm密码过期，Manager各节点互信不可用，无法对服务提供管理功能，crontab计划任务无法执行，影响ClickHouse业务。 可能原因 该主机omm密码即将过期。 处理步骤 检查系统中omm密码是否即将过期。 以roo
directory配置/home目录时，启动yarn-session失败的问题？ 为什么非static的KafkaPartitioner类对象去构造FlinkKafkaProducer010，运行时会报错？ 为什么新创建的Flink用户提交任务失败，报ZooKeeper文件目录权限不足？
按需是每小时扣费，如果余额不足将导致欠费，而包年/包月集群需要在时长用完前续费。如果您未能在按需集群欠费后或者包年/包月集群到期后续费，华为云不会立即停止您的业务，订单转入保留期，此时集群将终止服务，数据仍然保留。 退订：已经购买包周期集群的客户，在集群资源到期之前，如果不需要该
storage.directory配置/home目录时启动yarn-session失败 如何处理非static的KafkaPartitioner类对象构造FlinkKafkaProducer010运行时报错 如何处理新创建的Flink用户提交任务报ZooKeeper文件目录权限不足 如何处理无法直接通过URL访问Flink
storage.directory配置/home目录时启动yarn-session失败 如何处理非static的KafkaPartitioner类对象构造FlinkKafkaProducer010运行时报错 如何处理新创建的Flink用户提交任务报ZooKeeper文件目录权限不足 如何处理无法直接通过URL访问Flink
storage.directory配置/home目录时启动yarn-session失败 如何处理非static的KafkaPartitioner类对象构造FlinkKafkaProducer010运行时报错 如何处理新创建的Flink用户提交任务报ZooKeeper文件目录权限不足 如何处理无法直接通过URL访问Flink
配置列统计值直方图Histogram用以增强CBO准确度 配置场景 Spark优化sql的执行，一般的优化规则都是启发式的优化规则，启发式的优化规则，仅仅根据逻辑计划本身的特点给出优化，没有考虑数据本身的特点，也就是未考虑算子本身的执行代价。Spark在2.2中引入了基于代价的优化规则（CBO）。CBO
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
