检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置自定义调度器的WebUI 配置场景 如果用户在ResourceManager中配置了自定义的调度器，可以通过以下配置项为其配置相应的Web展示页面及其他Web应用。 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。 表1 配置自定义调度器的WebUI
整体性能。针对该场景，MRS提供了ClickHouse慢查询语句的监控功能。 正在进行的慢查询 当前还在执行没有返回结果的慢SQL语句信息可以通过该界面查询。 慢查询菜单路径 MRS 3.2.0之前版本：登录FusionInsight Manager，选择“集群 > 服务 > ClickHouse
alter 'test_table', PRIORITY=>'1' 表优先级可以通过PRIORITY属性进行设置，当PRIORITY值大于等于1时，被认为是高优先级表，建议设置为“1”即可。 创建核心表时可以直接指定PRIORITY属性，例如： create 'test_table'
户访问提供接口。 操作流程 本实践以用户开发一个Hive数据分析应用为例，通过客户端连接Hive后，执行HQL语句访问OBS中的Hive数据。进行企业雇员信息的管理、查询。如果需要基于MRS服务提供的样例代码工程开发构建应用，您可以参考Hive应用开发简介。 基本操作流程如下所示：
目录以及操作类型进行拆分，只有会产生资源竞争的操作才会使用同一个锁。因此极大地提升了写性能。 例如Client1和Client2同时对不相关的目录A、B进行写操作，此时对A和B的操作没有竞争关系，不会持有同一把锁，可以极大提升写性能。 该功能适用于MRS 3.5.0及之后版本。 操作步骤
create子命令为provider中<keyname>参数指定的name创建一个新的密钥，provider是由-provider参数指定。用户可以使用参数-cipher定义一个密码。目前默认的密码为"AES/CTR/NoPadding"。 默认密钥的长度为128。用户可以使用参数-size定义需要的密钥的长度。任意
大小），每个小文件默认对应Spark中的一个Partition，也就是一个Task。在很多小文件场景下，Spark会起很多Task。当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响性能。 在小文件场景下，您可以通过如下配置手动指定每个Task的数据量（Split
max-attempts ApplicationMaster的重试次数。增加重试次数可以避免当资源不足时造成AM启动失败。 适用于所有ApplicationMaster的全局设置。每个ApplicationMaster都可以使用API设置一个单独的最大尝试次数，但这个次数不能大于全局的最大次数。如果大于
使用http访问，客户端和服务端的配置不同，就会导致访问结果显示乱码。在客户端和服务端配置相同的“yarn.http.policy”参数，可以防止客户端访问结果显示乱码。 操作步骤 在Manager系统中，选择“集群 > 服务 > Yarn > 配置”，选择“全部配置”，在搜索框中输入参数名称“yarn
使用http访问，客户端和服务端的配置不同，就会导致访问结果显示乱码。在客户端和服务端配置相同的“yarn.http.policy”参数，可以防止客户端访问结果显示乱码。 操作步骤 在Manager系统中，选择“集群 > 服务 > Yarn > 配置”，选择“全部配置”，在搜索框中输入参数名称“yarn
x之前版本） 操作场景 用户需要使用MRS客户端。MRS集群客户端可以安装在集群内的Master节点或者Core节点，也可以安装在集群外节点上。 MRS 3.x之前版本集群在集群创建后，在主Master节点默认安装有客户端，可以直接使用，安装目录为“/opt/client”。 MRS 3
_PLAINTEXT）。 <service>指kerberos服务名称（如kafka）。 <domain>指kerberos域名（如hadoop.<系统域名>）。 <checkpointDir>指checkpoint文件存放路径，本地或者HDFS路径下。 由于Spark Structured
才能使用Python的UDF函数。 下面以编写一个AddDoublesUDF为例，说明UDF的编写和使用方法。 功能介绍 AddDoublesUDF主要用来对两个及多个浮点数进行相加，在该样例中可以掌握如何编写和使用UDF。 一个普通UDF必须继承自“org.apache.hadoop
缓存的数据就会丢失，造成HDFS丢块现象。在HDFS启动时如果有丢块，那么HDFS会进入安全模式，无法自动恢复。 HDFS提供以下配置参数可以解决集群掉电无法自动恢复的问题，用户需要根据业务实际情况进行调整。 “dfs.datanode.synconclose”参数设置为“tru
SL_PLAINTEXT），<service>指kerberos服务名称（如kafka），<domain>指kerberos域名（如hadoop.<系统域名>），<checkpointDir>指checkpoint文件存放路径。 由于Spark Structured Streaming
修改MRS集群NTP服务器 如果未配置NTP服务器或已配置的NTP不再使用，管理员可以为MRS集群重新指定或者更换新的NTP服务器，使集群从新的NTP时钟源同步时间。 本章节仅适用于MRS 3.x及以后版本。 修改MRS集群NTP服务器前提条件 请准备新的NTP服务器并获取IP地
Source的驱动方案，可以支持多节点的随机分配，提供了一定程度的负载均衡能力，但其故障检测能力不足，而且在扩缩容时，需要客户端感知集群节点变化，易用性不佳。 针对上述风险，MRS服务提供了基于弹性负载均衡ELB的部署架构图1。基于ELB的部署架构，可以将用户访问流量自动均匀分发
如果需要指定Yarn运行队列，可以在客户端执行set tez.queue.name=default命令指定运行队列。 针对MRS 3.2.0及之后版本，执行以下命令切换引擎： set hive.execution.engine=tez; 如果需要指定Yarn运行队列，可以在客户端执行set tez
internal_replication 表示是否只将数据写入其中一个副本， 取值范围：true，false。 默认值为true，只插入一个副本就返回。 设置值为false，表示要两个副本都插入。 通过执行语句set implicit_transaction='true';，可以使用会话级别的隐式事务。ClickHouse目前没有alter
使用BulkLoad工具批量导入HBase数据 操作场景 您可以按照自定义的方式，通过命令批量导入数据到HBase中并创建索引。 您可以在“configuration.xml”文件中定义多个方式来批量导入数据，导入数据时可不创建索引。 列的名称不能包含特殊字符，只能由字母、数字和下划线组成。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
