检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
bulkload是通过启动MapReduce任务直接生成HFile文件，再将HFile文件注册到HBase，因此错误的使用bulkload会因为启动MapReduce任务而占用更多的集群内存和CPU资源，也可能会生成大量很小的HFile文件频繁的触发Compaction，导致查询速度急剧下降。
Presto无法查询。 原因分析 由于Hive使用Tez引擎在执行union语句时，生成的输出文件会保存在HIVE_UNION_SUBDIR目录中，而Presto默认不读取子目录下的文件，所以没有读取到HIVE_UNION_SUBDIR目录下的数据。 处理步骤 在集群详情页面选择“组件管理
值为“true”或“BAD_RECORDS_ACTION”参数值为“redirect”。 由于将失败原因写入日志文件中或将Bad Records重定向到原始CSV文件中导致的额外的I/O开销，数据加载性能就会降低 。 父主题： CarbonData常见问题
"f1"创建dim_province表。 拷贝HBase配置文件至FlinkServer所在节点。 以客户端安装用户登录安装客户端的节点，拷贝HBase的“/opt/client/HBase/hbase/conf/”目录下的所有配置文件至部署FlinkServer的所有节点的一个空目录，
以下操作皆以用户使用FusionInsight客户端提交Spark2x应用为基础，如果用户使用了自己的配置文件目录，则需要修改本应用配置目录中的对应文件，并注意需要将配置文件上传到executor端。 由于hdfs和hbase客户端访问服务端时，使用hostname配置服务端地址
Flink Stream SQL Join Java样例代码 功能简介 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 用户在开发前需要使用对接安全模式的Kafka，则需要引入MRS的kafka-client-xx.x.x.jar，该jar包可在MRS
Flink Join样例程序（Java） 功能介绍 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka，则需要引入kafka-clients-*.jar，该jar包可在client目录下获取。
使用特定的规则扫描Hbase表。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件（user.keytab、krb5.conf）。user.keytab和krb5.conf文件为安全模式下的认证文件，需要在FusionInsight Manager中下载principal用户的
bulkload是通过启动MapReduce任务直接生成HFile文件，再将HFile文件注册到HBase，因此错误的使用bulkload会因为启动MapReduce任务而占用更多的集群内存和CPU资源，也可能会生成大量很小的HFile文件频繁的触发Compaction，导致查询速度急剧下降。
0版本集群，当用户名超过20位时（添加用户时最长限制为32位），下载Keytab文件会下载失败，状态代码：400 Bad Request。 问题现象 MRS 3.0.2~MRS 3.1.0版本集群，当用户名超过20位时（添加用户时最长限制为32位），下载Keytab文件会下载失败，状态代码：400 Bad Request。
操作场景 HBase BulkLoad批量加载功能采用了MapReduce jobs直接生成符合HBase内部数据格式的文件，然后把生成的StoreFiles文件加载到正在运行的集群。使用批量加载相比直接使用HBase的API会节约更多的CPU和网络资源。 ImportTSV是一个HBase的表数据加载工具。
现数据没有查询出来。 回答 由于Hive使用Tez引擎在执行union语句时，生成的输出文件会存在HIVE_UNION_SUBDIR目录。 切回Mapreduce引擎后默认不读取目录下的文件，所以没有读取到HIVE_UNION_SUBDIR目录下的数据。 此时可以设置参数set mapreduce
saveAsTextFile(path, compressionCodecClass) 把dataset写到一个text file、HDFS或者HDFS支持的文件系统中，spark把每条记录都转换为一行记录，然后写到file中。 saveAsSequenceFile(path, compressionCodecClass=None)
saveAsTextFile(path, compressionCodecClass) 把dataset写到一个text file、HDFS或者HDFS支持的文件系统中，spark把每条记录都转换为一行记录，然后写到file中。 saveAsSequenceFile(path, compressionCodecClass=None)
当数据量较大，且经常需要按天统计时，建议使用分区表，按天存放数据。 为了避免在插入动态分区数据的过程中，产生过多的小文件，在执行插入时，在分区字段上加上distribute by。 存储文件格式优化建议 Hive支持多种存储格式，比如TextFile，RCFile，ORC，Sequence，P
则不补齐。 常量值：配置符合类型的常量值。 map 是 无 数据处理规则 生成指定类型的常量字段。 样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下图： 配置“增加常量字段”算子，增加两个字段C和D： 转换后，将A、B、C和D按顺序输出，结果如下： 父主题： 转换算子
如需在Linux调测程序，需要确保当前用户对“src/main/resources”目录下和依赖库文件目录下的所有文件，均具有可读权限。同时保证已安装Jdk并已设置java相关环境变量。 在Windows中调测程序 确保本地的hosts文件中配置了远程集群所有主机的主机名和业务IP映射关系。 通过IntelliJ
如需在Linux调测程序，需要确保当前用户对“src/main/resources”目录下和依赖库文件目录下的所有文件，均具有可读权限。同时保证已安装JDK并已设置java相关环境变量。 在Windows中调测程序 确保本地的hosts文件中配置了远程集群所有主机的主机名和业务IP映射关系。 通过IntelliJ
如需在Linux调测程序，需要确保当前用户对“src/main/resources”目录下和依赖库文件目录下的所有文件，均具有可读权限。同时保证已安装Jdk并已设置java相关环境变量。 在Windows中调测程序 确保本地的hosts文件中配置了远程集群所有主机的主机名和业务IP映射关系。 通过IntelliJ
值，降低客户端应用的失败率，保证应用的正常运行。 配置描述 在客户端的“mapred-site.xml”配置文件中调整如下参数。 “mapred-site.xml”配置文件在客户端安装路径的conf目录下，例如“/opt/client/Yarn/config”。 表1 参数说明 参数
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
