检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Hive通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在Hive客户端创建Location为OBS路径的表。 建表时指定Location为OBS路径 使用安装客户端用户登录客户端安装节点。 执行如下命令初始化环境变量。 source
ALM-18022 Yarn队列资源不足 告警解释 MRS 3.3.1之前版本：告警模块按60秒周期检测Yarn队列资源，当队列可用资源或队列AM（ApplicationMaster）可用资源不足时，产生该告警。 当可用资源充足时，该告警自动消除。 MRS 3.3.1及之后版本：告警模块按周期
Spark共享YARN集群提供丰富的计算资源，将任务分布式的运行起来。Spark on YARN分两种模式：YARN Cluster和YARN Client。 YARN Cluster模式 运行框架如图3所示。
HetuEngine数据类型隐式转换 开启HetuEngine数据类型隐式转换 关闭HetuEngine数据类型隐式转换 HetuEngine隐式转换对照表 父主题： HetuEngine常见SQL语法说明
配置Hudi通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在spark-shell中创建Hudi COW表存储到OBS中。 Hudi对接OBS 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env
表1 splitlog参数说明 参数 描述 默认值 hbase.splitlog.manager.timeout 分布式日志分裂管理程序接收worker回应的超时时间 600000 父主题： HBase故障排除
迁移效率高： 基于分布式计算框架进行数据任务执行和数据传输优化，并针对特定数据源写入做了专项优化，迁移效率高。 实时监控：迁移过程中可以执行自动实时监控、告警和通知操作。
表1 splitlog参数说明 参数 描述 默认值 hbase.splitlog.manager.timeout 分布式日志分裂管理程序接收worker回应的超时时间 600000 父主题： HBase故障排除
开启HetuEngine数据类型隐式转换 数据类型隐式转换指用户通过客户端访问HetuEngine资源时，当查询的数据类型和表的数据类型不匹配时，HetuEngine能自动进行数据类型转换，避免用户在使用时因强数据类型校验带来的不便。当前在插入数据（Insert）、条件判断（Where
关闭HetuEngine数据类型隐式转换 在Session级别关闭隐式转换 登录HetuEngine客户端。 执行以下命令，关闭隐式转换功能。 set session implicit_conversion=false; 在Session级别关闭UDF函数运算结果的隐式转换 登录HetuEngine
原有的分布式内存抽象，例如key-value store以及数据库，支持对于可变状态的细粒度更新，这一点要求集群需要对数据或者日志的更新进行备份来保障容错性。这样就会给数据密集型的工作流带来大量的IO开销。
非HDFS数据残留导致数据分布不均衡 问题背景与现象 数据出现不均衡，某磁盘过满而其他磁盘未写满。 HDFS DataNode数据存储目录配置为“/export/data1/dfs--/export/data12/dfs”，看到的现象是大量数据都是存储到了“/export/data1
HetuEngine隐式转换对照表 在开启隐式转换功能后，当数据类型不匹配时会隐式转换，但并是不是所有的数据类型都支持隐式转换。以下为当前隐式转换功能支持的数据类型转换表： 表1 隐式转换对照表 - BOOLEAN TINYINT SMALLINT INTEGER BIGINT REAL
ClickHouse系统调优 通过FusionInsight Manager查看主机上的CPU、内存、I/O和网络资源使用情况，确认这些资源是否已被充分利用，分以下几种情况： 每个节点资源占用都比较均匀 通过观察资源在每个节点都使用比较均匀，说明系统资源使用比较正常，可以先不关注，
配置底层存储系统 用户想要通过统一的客户端API和全局命名空间访问包括HDFS和OBS在内的持久化存储系统，从而实现了对计算和存储的分离时，可以在MRS Manager页面中配置Alluxio的底层存储系统来实现。集群创建后，默认的底层存储地址是hdfs://hacluster/，
files HDFS文件添加到分布式缓存中。 arg 设置argument。
private IntWritable timeInfo = new IntWritable(1); /** * 分布式计算 * * @param key Object : 原文件位置偏移量。
private IntWritable timeInfo = new IntWritable(1); /** * 分布式计算 * * @param key Object : 原文件位置偏移量。
private IntWritable timeInfo = new IntWritable(1); /** * 分布式计算 * * @param key Object : 原文件位置偏移量。
图1 Replicated*MergeTree引擎表迁移架构图 分布式表迁移： 分布式表不涉及表数据，只涉及表的元数据信息，迁移过程中会将源集群ClickHouse分布式表的元数据信息导出，然后将元数据信息修改为目标集群的ZooKeeper路径和副本，根据修改后的元数据信息在目标集群新建表即可
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
