检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户类型为“人机”用户，密码修改完成，任务结束。 登录FusionInsight Manager。 单击主页上的或者“更多”，单击“重启”，重启集群。 在弹出窗口中，输入当前登录的用户密码确认身份，单击“确定”。 在确认重启的对话框中，单击“确定”。 等待界面提示重启成功。 修改MRS集群组件运行用户密码（MRS
org/project/setuptools/#files。 将下载的setuptools压缩文件复制到客户端机器上，解压后进入setuptools项目目录，在客户端机器的命令行终端执行python3 setup.py install。 以47.3.1版本为例，如下内容表示安装setuptools的47
将Hudi表数据同步到Hive 通过执行run_hive_sync_tool.sh可以将Hudi表数据同步到Hive中。 例如：需要将HDFS上目录为hdfs://hacluster/tmp/huditest/hudimor1_deltastreamer_partition的Hudi表同步为Hive表，表名为table
将Hudi表数据同步到Hive 通过执行run_hive_sync_tool.sh可以将Hudi表数据同步到Hive中。 例如：需要将HDFS上目录为hdfs://hacluster/tmp/huditest/hudimor1_deltastreamer_partition的Hudi表同步为Hive表，表名为table
达到使用率上限。 处理步骤 登录MRS集群详情页面，选择“告警管理”。 在告警列表中单击该告警，从“告警详情”的“定位信息”中获得HostName（主机名称）和PartitionName（磁盘分区名称）。 在“主机管理”页面，单击2中获取的主机名称。 检查“磁盘”区域中是否包含该告警中的磁盘分区名称。
数据由二维空间中的点的集合组成。点可以存储为一对经纬度。 区域数据：一个区域有空间范围，有位置和边界。位置可以看作是一个定点在区域内的位置，例如它的质心。在二维中，边界可以可视化为一条线（有限区域，闭环）。区域数据包含一系列区域。 目前仅限于支持点数据，存储点数据。 经纬度可以编
数据由二维空间中的点的集合组成。点可以存储为一对经纬度。 区域数据：一个区域有空间范围，有位置和边界。位置可以看作是一个定点在区域内的位置，例如它的质心。在二维中，边界可以可视化为一条线（有限区域，闭环）。区域数据包含一系列区域。 目前仅限于支持点数据，存储点数据。 经纬度可以编
System），实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写，多次读”的特征，而数据“写”操作是顺序写，也就是在文件创建时的写入或者在现有文件之后的添加操作。HDFS保证一个文件在一个时刻只被一个调用者执行写操作，而可以被多个调用者执行读操作。 HDFS文件系统中目录结构如下表所示。 表1
Zookeeper异常导致merge无法正常执行。 登录Manager页面，检查ZooKeeper是否存在服务不可用、ClickHouse服务在ZooKeeper的数量配额使用率超过阈值等相关告警，如果存在，请按照告警指导处理。 执行如下SQL排查是否存在副本同步队列任务积压： select
根据table1表数据的key值去table2表做查询。 把前两步相应的数据记录做相加操作。 把上一步骤的结果写到table2表。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“
问题 解决YARN开源原生界面作业占用队列资源百分比不显示问题 解决YARN开源原生界面查看作业日志时显示不全的问题 解决Hive作业在HDFS上临时文件残留问题 解决开源Sqoop 1.4.7版本对接MRS Hive服务兼容性问题 解决Hive on MR查询Avro表失败问题
Zookeeper异常导致merge无法正常执行。 登录Manager页面，检查ZooKeeper是否存在服务不可用、ClickHouse服务在ZooKeeper的数量配额使用率超过阈值等相关告警，如果存在，请按照告警指导处理。 执行如下SQL排查是否存在副本同步队列任务积压： select
例如80%以上的场景使用此列过滤。 针对此类场景，调优方法如下： 将常用于过滤的列放在sort_columns第一列。 例如，msname作为过滤条件在查询中使用的最多，则将其放在第一列。创建表的命令如下，其中采用msname作为过滤条件的查询性能将会很好。 create table carbondata_table(
集群配额 Clickhouse服务在ZooKeeper的数量配额使用率 ClickHouse服务在ZooKeeper上目录的数量配额使用百分比。 90% Clickhouse服务在ZooKeeper的容量配额使用率 ClickHouse服务在ZooKeeper上目录的容量配额使用百分比。
例如80%以上的场景使用此列过滤。 针对此类场景，调优方法如下： 将常用于过滤的列放在sort_columns第一列。 例如，msname作为过滤条件在查询中使用的最多，则将其放在第一列。创建表的命令如下，其中采用msname作为过滤条件的查询性能将会很好。 create table carbondata_table(
html#rest-api。 准备运行环境 安装客户端。在节点上安装客户端，如安装到“/opt/client”目录。 REST接口 通过以下命令可跳过REST接口过滤器获取相应的应用信息。 普通模式下，JobHistory仅支持http协议，故在如下命令的url中请使用http协议。 获取JobHistory中所有应用信息：
高，可以配置为2倍的逻辑CPU。 参数 描述 默认值 yarn.nodemanager.resource.cpu-vcores 表示该节点上YARN可使用的虚拟CPU个数，默认是8。 目前推荐将该值设置为逻辑CPU核数的1.5～2倍之间。 8 物理CPU使用百分比 建议预留适量的
WebUI界面。 新建集群连接，如：flink_hive。 选择“系统管理 > 集群连接管理”，进入集群连接管理页面。 单击“创建集群连接”，在弹出的页面中参考表1填写信息，单击“测试”，测试连接成功后单击“确定”，完成集群连接创建。 表1 创建集群连接信息 参数名称 参数描述 取值样例
提交wordcount作业。 在MRS控制台选择“作业管理”页签，单击“添加”，进入“添加作业”页面，具体请参见运行MapReduce作业。 图4 wordcount作业 作业类型选择“MapReduce”。 作业名称为“mr_01”。 执行程序路径配置为OBS上存放程序的地址。例如：o
复杂度，则需要排除掉字典编码，该参数为可选参数。 说明： 在非字典列中，只支持String和Timestamp数据类型。 DICTIONARY_INCLUDE 设置指定列生成字典，适用于数值复杂度低的列，可以提升字典列上的groupby性能，为可选参数。一般情况下，字典列的复杂度不应该高于5万。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
