检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“管理委托”,为集群绑定具有OBS文件系统操作权限的委托。 您可以直接选择系统默认的“MRS_ECS_DEFAULT_AGENCY”,也可以单击“新建委托”自行创建其他具有OBS文件系统操作权限的委托。 提交wordcount作业。 在MRS控制台选择“作业管理”页签,单击“添加”,进入“添加作业”页面,具体请参见运行MapReduce作业。
该配置与“hfile.block.cache.size”的和不能超过0.8,也就是写和读操作的内存不能超过HeapSize的80%,这样可以保证除读和写外其他操作的正常运行。 0.4 hbase.hstore.blockingStoreFiles 在Region flush前首先判断file文件个数是否大于“hbase
指定获取并发操作的锁重试之间的间隔。 carbon.lock.retries 3 指定除导入操作外其他所有操作尝试获取锁的次数。 carbon.lock.retry.timeout.sec 5 指定除导入操作外其他所有操作尝试获取锁的时间间隔。 carbon.tempstore.location
') ANY 数组任意值满足条件。 10 > ANY(my_array) ALL 数组所有值满足条件。 10 > ALL(my_array) 其他 MD5 获取MD5码。 MD5(my_column) ENCODE 编码字符串。 ENCODE(myNumber, 'BASE62') DECODE
ls.html#matchsslcontext_tls。 安装和配置IntelliJ IDEA 开发环境的基本配置,建议使用2019.1或其他兼容版本。 说明: 若使用IBM JDK,请确保IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle JDK,请确保IntelliJ
ls.html#matchsslcontext_tls。 安装和配置IntelliJ IDEA 开发环境的基本配置,建议使用2019.1或其他兼容版本。 说明: 若使用IBM JDK,请确保IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle JDK,请确保IntelliJ
id}” 运行中的任务日志存储在以上路径中,运行结束后会基于Yarn的配置确定是否汇聚到HDFS目录中,详情请参见Yarn常用配置参数。 其他日志:“/var/log/Bigdata/spark2x” 日志归档规则: 使用yarn-client或yarn-cluster模式提交任
PU。 大批量数据导入要分时、分节点、扩容 如果数据盘为SATA盘,当大批量数据集中插入时候,会抢占磁盘,使得磁盘长时间处于繁忙状态,影响其他alter类操作的效率。 尽量避免批量导数据的SQL并发执行,会给磁盘和ClickHouse并发能力带来冲击。 Kafka数据入库 不建议建ClickHouse
id}” 运行中的任务日志存储在以上路径中,运行结束后会基于Yarn的配置确定是否汇聚到HDFS目录中,详情请参见Yarn常用配置参数。 其他日志:“/var/log/Bigdata/spark2x” 日志归档规则: 使用yarn-client或yarn-cluster模式提交任
Manager服务期间会引起服务暂时不可用,滚动重启服务不断服。 MRS 2.1.0.8补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建
Kafka作为源端)、Hudi和ClickHouse数据源是直接使用MRS集群内的相关组件作为数据源,版本号介绍请参见MRS组件版本一览表,其他数据库版本号如表2所示。 表2 CDL支持的数据库类型及版本范围 数据库名称 数据源 目的端 版本号 MySQL 支持 不支持 5.7.x、8
调优。当作业调优后,建议关闭RocksDB的监测和告警,因为RocksDB的监测和告警会损失RocksDB的5%~10%性能。 为了避免对其他作业的影响,RocksDB监测的相关配置通过自定义参数生效,本章节为您介绍开启RocksDB监测和告警和相关调优参数。 开启Flink作业RocksDB监测步骤
192.168.1.10,192.168.1.20或者192.168.1.*。 Policy Name 策略名称,可自定义,不能与本服务内其他策略名称重复。 Policy Label 为当前策略指定一个标签,您可以根据这些标签搜索报告和筛选策略。 topic 配置当前策略适用的t
PREWHERE相对于WHERE在执行时的区别:首先只读取PREWHERE表达式所指定的列,根据条件做数据过滤,再根据过滤后的数据读取其他列。这通常会减少磁盘读取数据的压力。 PREWHERE只支持*MergeTree系列的表。系统配置optimize_move_to_pre
') ANY 数组任意值满足条件。 10 > ANY(my_array) ALL 数组所有值满足条件。 10 > ALL(my_array) 其他 MD5 获取MD5码。 MD5(my_column) ENCODE 编码字符串。 ENCODE(myNumber, 'BASE62') DECODE
断点续传:防止数据传输过程中连接异常断开后重传大量数据。 流量管控:支持按地区限制数据传输所占用的网络带宽,避免在跨地域有限带宽场景下因流量独占而影响其他业务的正常使用。 跨域功能使用指导 前提条件: 确保本端和远端集群的数据节点上分别部署至少一个HSFabric实例。 确保本端和远端集群的
如果是跨集群对Hive数据库进行导入导出,且目标集群和源集群都开启了Kerberos认证,需配置跨集群互信。 如果使用Dump/Load命令导入导出其他用户创建的数据库,需要授予用户对应数据库的权限: 集群未启用Ranger鉴权,需登录FusionInsight Manager授予该用户所
客户端处理能力下降,具体性能以现场实际测试数据为准。 可用性降低: 不允许不在ISR中的副本被选举为Leader。如果Leader下线时,其他副本均不在ISR列表中,那么该分区将保持不可用,直到Leader节点恢复。 需要所有的ISR列表副本,且满足最小成功的副本数确认写入成功。
修改该DataNode节点的配置参数“dfs.datanode.data.dir”的值,对于其中磁盘挂载目录相同的DataNode目录,仅保留其中的一个目录,删除其他目录。 继续执行6.a。 重启DataNode,检查告警是否消除。 单击“组件管理 > HDFS > 实例”,重启该DataNode实例。
表名"; 需要添加组件操作用户到Ranger策略中的URL策略,URL填写对象在OBS上的完整路径,权限选择Read, Write 权限,其他权限不涉及URL策略。详细操作MRS 3.x之前版本请参考在Ranger中配置Hive的访问权限,MRS 3.x及之后版本请参考添加Hive的Ranger访问权限策略。