检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解决Spark JobHistory内存泄露问题 Hadoop/Hive/Spark支持OBS FileSystem Hadoop/Hive/Spark支持OBS加密功能 MRS 1.8.10.3 修复问题列表： MRS Manager 解决磁盘IO使用率一直不变问题 MRS大数据组件
代码样例 如下是写文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
修改hive客户端中的hive-site.xml文件，修改hive.metastore.integral.jdo.pushdown参数为true。 父主题： Sqoop常见问题
代码样例 如下是写文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
回答 在执行HBase shell期间，JRuby会在“java.io.tmpdir”路径下创建一个临时文件，该路径的默认值为“/tmp”。
“hbase.fs.tmp.dir”参数所配置的HBase临时目录中创建partition文件。
获取方法，请参见获取项目ID。 约束限制： 不涉及 取值范围： 只能由英文字母和数字组成，且长度为[1-64]个字符。 默认取值： 不涉及 cluster_id 是 String 参数解释： 集群ID。如果指定集群ID，则获取该集群做过补丁更新的最新版本元数据。
版本元数据查询 查询对应版本元数据 父主题： API V1.1
Hive查询数据是否支持导出？ 问： MRS集群Hive组件的查询数据是否支持导出？
说明： 在使用Hive进行联表查询，且关联的表无大小表的分别（小表数据<24M）时，建议将此参数值改为false，如果此时将此参数设置为true，执行联表查询时无法生成新的mapjoin。
MRS 3.x及之后版本，已在集群内的任一节点安装了客户端，并获取此节点IP地址。 修改Kerberos管理员用户密码 如果当前为MRS 3.x及之后版本，修改此用户密码将同步修改OMS Kerberos管理员密码。 登录集群节点。
因为对执行用户做了限制，使用非管理员用户执行建库、表脚本迁移、重建元数据操作时需要特别注意，防止错误。
有时只关心一个近似值，而非具体值，比如统计某产品的销量，这种时候，近似值聚合函数就很有用，它使用较少的内存和CPU资源，以便可以获取数据结果而不会出现任何问题，例如溢出到磁盘或CPU峰值。
Spark从HBase读取数据再写入HBase样例程序（Python） 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。
Spark从Hive读取数据再写入HBase样例程序（Python） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。
回答 在执行HBase shell期间，JRuby会在“java.io.tmpdir”路径下创建一个临时文件，该路径的默认值为“/tmp”。
“hbase.fs.tmp.dir”参数所配置的HBase临时目录中创建partition文件。
代码样例 如下是写文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
为什么含转义字符的输入数据记录到Bad Records中的值与原始数据不同？ 问题 为什么含转义字符的输入数据记录到Bad Records中的值与原始数据不同？ 回答 转义字符以反斜线"\"开头，后跟一个或几个字符。
模式下能正常运行，而在分布式模式情况下，会在蓝色代码处报错，提示空指针异常，这是由于在分布式模式下，执行程序的jar包会被发送到每个Executor上执行，当执行到testFun函数时，需要从内存中取出testArg的值，但是testArg的值只在启动main函数的节点改变了，其他节点无法获取这些变化
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
