检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
性能做优化。 操作步骤 配置Driver内存。 Driver负责任务的调度，和Executor、AM之间的消息通信。当任务数变多，任务平行度增大时，Driver内存都需要相应增大。 您可以根据实际任务数量的多少，为Driver设置一个合适的内存。 将“spark-defaults
性能做优化。 操作步骤 配置Driver内存。 Driver负责任务的调度，和Executor、AM之间的消息通信。当任务数变多，任务平行度增大时，Driver内存都需要相应增大。 您可以根据实际任务数量的多少，为Driver设置一个合适的内存。 将“spark-defaults
性能做优化。 操作步骤 配置Driver内存。 Driver负责任务的调度，和Executor、AM之间的消息通信。当任务数变多，任务平行度增大时，Driver内存都需要相应增大。 您可以根据实际任务数量的多少，为Driver设置一个合适的内存。 将“spark-defaults
配置HDFS DiskBalancer磁盘均衡 配置场景 DiskBalancer是一个在线磁盘均衡器，旨在根据各种指标重新平衡正在运行的DataNode上的磁盘数据。工作方式与HDFS的Balancer工具类似。不同的是，HDFS Balancer工具用于DataNode节点间的数据均衡，而HDFS
令。 执行spark-shell --master yarn-client命令进入spark-shell，然后引入Hudi相关软件包并生成测试数据。 引入需要的包。 import org.apache.hudi.QuickstartUtils._ import scala.collection
说明：对此规则或建议进行的解释。 示例：对此规则或建议给出示例。 适用范围 基于MRS-Flink数据存储进行数据存储、数据加工作业的设计、开发、测试和维护。 该设计开发规范是基于MRS 3.2.0及以后版本。 参数优化部分适配于MRS 3.2.0及以后版本。 该规范中与开源社区不一致的点，以本文档为准。
为什么并行度大于待处理的block数目时，CarbonData仍需要额外的executor？ 问题 为什么并行度大于待处理的block数目时，CarbonData仍需要额外的executor？ 回答 CarbonData块分布对于数据处理进行了如下优化： 优化数据处理并行度。 优化了读取块数据的并行性。
当节点的实例规格选项后标示“已售罄”时，将无法购买此规格的节点，请选择其他规格节点进行购买。 Master节点中的4核8GB规格不在SLA售后范围内，仅适用于测试环境，不建议用于生产环境。 MRS 3.x及之后版本集群Master节点规格不能小于64GB。 - 系统盘 节点系统盘的存储类型和存储空间
配置HDFS DiskBalancer磁盘均衡 配置场景 DiskBalancer是一个在线磁盘均衡器，旨在根据各种指标重新平衡正在运行的DataNode上的磁盘数据。工作方式与HDFS的Balancer工具类似。不同的是，HDFS Balancer工具用于DataNode节点间的数据均衡，而HDFS
HBase启动后，HMaster原生页面显示RegionServer个数多于实际RegionServer个数。 查看HMaster原生页面，显示有4个RegionServer在线，如下图示： 原因分析 如下图可以看出，第三行hostname为controller-192-168-1-3节点和第四行hostname为
通过数据治理中心DataArts Studio，用户可以先在线开发调试MRS HQL/SparkSQL脚本、拖拽式地开发MRS作业，完成MRS与其他20多种异构数据源之间的数据迁移和数据集成；通过强大的作业调度与灵活的监控告警，轻松管理数据作业运维。 目前MRS集群支持在线创建如下几种类型的作业： Map
dows云服务器，并且与集群的网络是通的，直接填写节点的业务IP地址即可）。 图11 配置主机 单击“测试连接”，如图10 测试连接所示表示对接成功，单击“确定”。 图12 测试连接 以客户端安装用户登录安装HBase客户端的节点，执行以下命令创建新的命名空间MY_NS： cd 客户端安装目录
所有”，选择“Presto”并打开。参考图2新建连接。 图2 新建连接 参考下表配置连接参数。配置完成后单击“测试连接”，或在“模式”单击“点击连接数据库”测试数据连接，测试成功后单击“保存”。 表1 HSFabric连接参数 参数名 参数值 数据连接名称 自定义 驱动 io.prestosql
presto”。 在数据源配置页面参考下图完成参数配置，“用户名”和“密码”为已创建的“人机”用户的用户名和用户密码。配置完成后可以单击“测试连接”测试。 图2 数据源配置 驱动：选择“自定义 > 选择自定义驱动”，单击，编辑驱动名称，单击“上传文件”上传已获取的JDBC jar包，单击“确定”。
Yarn任务只读用户组。将用户加入此用户组，可获得Yarn和Mapreduce界面上任务的只读权限。 check_sec_ldap 用于内部测试主LDAP是否工作正常。用户组随机存在，每次测试时创建，测试完成后自动删除。系统内部组，仅限组件间内部使用。 compcommon 系统内部组，用于访问集群公共资源。所
DirectKafka：直接通过RDD读取Kafka每个Partition中的数据，数据高可靠。 从实现上来看，DirectKafka的性能会是最好的，实际测试上来看，DirectKafka也确实比其他两个API性能好。因此推荐使用DirectKafka的API实现接收器。 数据接收器作为一个Ka
找到Presto的浮动IP，并给该浮动IP绑定弹性公网IP。 在MRS服务集群的安全组中放通源地址到MRS服务Presto的端口访问，然后测试（以非安全集群为例，catalog为hive）。 父主题： 使用Presto
这个表达式用于列出指定schema下的所有表。如果没有指定schema，则默认使用当前所在的schema。 可选参数like被用于基于关键字来进行匹配。 示例 --创建测试表 Create table show_table1(a int); Create table show_table2(a int); Create
Tserver进程CPU占用率超过阈值”告警，查看告警来源。 在“运维 > 告警 > 阈值设置 > Kudu”，找到该告警的阈值，再对比集群Kudu实例的CPU使用率监控项，和阈值对比，查看超阈值情值，处理CPU使用率过高的问题，或修改阈值。 在“运维 > 告警”页签，查看该告警是否恢复。 是，处理完毕。
调优思路、参数调优、系统调优、SQL改写调优。 数据库运维 监控、告警、日志、系统表/视图。 适用范围 规范适用于ClickHouse数据库设计、数据库开发、数据库测试、数据库运维以及DBA和业务使用人员。 父主题： ClickHouse应用开发规范
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
