检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
转换MRS按需集群为包周期集群 如果用户想要将按需计费的集群转为更经济的包年/包月的包周期集群，可使用该指导进行操作。 集群状态为“运行中”或“停止中”时，可以进行转包周期操作。 转换MRS按需集群为包周期集群 登录MRS管理控制台。 在左侧导航栏中选择“现有集群”。 在需要转包
按需计费 按需计费是一种先使用再付费的计费模式，适用于无需任何预付款或长期承诺的用户。本文将介绍按需计费MRS集群的计费规则。 适用场景 集群用于前期程序研发或功能测试。 资源使用有临时性和突发性。 计费周期 按需计费MRS集群按秒计费，每一个小时整点结算一次费用（以UTC+8时
Manager界面超时退出后无法正常登录 现象描述 MRS Manager超时退出后偶现无法正常登录访问页面。 可能原因 超时后页面的js及css文件未加载成功。 操作步骤 清除浏览器缓存。 刷新当前页面即可正常登录及访问。 父主题： 登录集群Manager常见异常问题
按需转包年/包月 如果您需要长期使用当前按需购买的MRS集群，可以将该MRS集群转为包年/包月计费模式，以节省开支。按需计费变更为包年/包月会生成新的订单，用户支付订单后，包年/包月资源将立即生效。 假设用户于2023/06/18 15:29:16购买了一个按需计费的MRS集群，由于业务需要，于2023/06/18
小文件优化 操作场景 Spark SQL表中，经常会存在很多小文件（大小远小于HDFS的块大小），每个小文件默认对应Spark中的一个Partition，即一个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响系统性能。
示信息。如果文件为第一次查看，则将当前文件大小与0作比较，如果大于0则读取该文件。 分组的情况下，如果执行的app没有job处于执行状态，则part文件为空，即JobHistory服务不会读取该文件，此app也不会显示在JobHistory页面上。但如果part文件大小之后有更新
加载Impala数据 功能简介 本小节介绍了如何使用Impala SQL向已有的表employees_info中加载数据。从本节中可以掌握如何从集群中加载数据。 样例代码 -- 从本地文件系统/opt/impala_examples_data/目录下将employee_info.
加载Impala数据 功能简介 本小节介绍了如何使用Impala SQL向已有的表employees_info中加载数据。从本节中可以掌握如何从集群中加载数据。 样例代码 -- 从本地文件系统/opt/impala_examples_data/目录下将employee_info.
加载Impala数据 功能简介 本小节介绍了如何使用Impala SQL向已有的表employees_info中加载数据。从本节中可以掌握如何从集群中加载数据。 样例代码 -- 从本地文件系统/opt/impala_examples_data/目录下将employee_info.
p显示信息。若文件为第一次查看，则将当前文件大小与0作比较，如果大于0则读取该文件。 分组的情况下，如果执行的app没有job处于执行状态，则part文件为空，即JobHistory服务不会读取该文件，此app也不会显示在JobHistory页面上。但若part文件大小之后有更新
加载Hive数据 功能介绍 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从集群中加载数据。 样例代码 -- 从本地文件系统/opt/hive_examples_data/目录下将employee_info.txt加载进employees_info表中
小文件优化 操作场景 Spark SQL表中，经常会存在很多小文件（大小远小于HDFS的块大小），每个小文件默认对应Spark中的一个Partition，即一个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响系统性能。
加载CarbonData表数据 操作场景 CarbonData table创建成功后，可使用LOAD DATA命令在表中加载数据，并可供查询。 触发数据加载后，数据以CarbonData格式进行编码，并将多维列式存储格式文件压缩后复制到存储CarbonData文件的HDFS路径下供快速分析查询使用。
加载CarbonData表数据 操作场景 CarbonData table创建成功后，可使用LOAD DATA命令在表中加载数据，并可供查询。 触发数据加载后，数据以CarbonData格式进行编码，并将多维列式存储格式文件压缩后复制到存储CarbonData文件的HDFS路径下供快速分析查询使用。
map 否 无 数据处理规则 将字段值输出到文件。 样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下： aaa,product bbb,Bigdata 配置“文件输出”算子，分隔符为“,”，将A和B输出到文件中： 输出后的结果如下： aaa,product bbb
map 否 无 数据处理规则 将字段值输出到文件。 样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下： aaa,product bbb,Bigdata 配置“文件输出”算子，分隔符为“,”，将A和B输出到文件中： 输出后的结果如下： aaa,product bbb
提升HBase BulkLoad工具批量加载效率 操作场景 HBase BulkLoad批量加载功能采用了MapReduce jobs直接生成符合HBase内部数据格式的文件，然后把生成的StoreFiles文件加载到正在运行的集群。使用批量加载相比直接使用HBase的API会节约更多的CPU和网络资源。
用户能够访问该数据文件。 如果加载数据语句中有关键字OVERWRITE，表示加载的数据会覆盖表中原有的数据，否则加载的数据会追加到表中。 样例代码 -- 从本地文件系统/opt/hive_examples_data/目录下将employee_info.txt加载进employees_info表中
文件错误导致上传文件到HDFS失败 问题背景与现象 用hadoop dfs -put把本地文件拷贝到HDFS上，有报错。 上传部分文件后，报错失败，从NameNode原生页面看，临时文件大小不再变化。 原因分析 查看NameNode日志“/var/log/Bigdata/hdfs
此，小文件问题是制约Hadoop集群规模扩展的关键问题。 本工具主要有如下两个功能： 扫描表中有多少低于用户设定阈值的小文件，返回该表目录中所有数据文件的平均大小。 对表文件提供合并功能，用户可设置合并后的平均文件大小。 支持的表类型 Spark：Parquet、ORC、CSV、Text、Json。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
