检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Impala样例程序开发思路 场景说明 假定用户开发一个Impala数据分析应用，用于管理企业雇员信息，如表1、表2所示。 开发思路 数据准备。 创建三张表，雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“empl
律的，比如：近一个月的数据更新占比最大，可以按照月份创建分区；近一天内的数据更新占比大，可以按照天进行分区。 采用Bucket索引，写入是通过主键Hash打散的，数据会均匀的写入到分区下每个桶。因为各个分区的数据量是会有波动的，分区下桶的个数设计一般会按照最大分区数据量计算，这样
Spark从Hive读取数据再写入HBase样例程序（Java） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata
Spark从Hive读取数据再写入HBase样例程序（Scala） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata
删除HBase全局二级索引 功能简介 通过调用“org.apache.hadoop.hbase.hindex.global.GlobalIndexAdmin”中的方法进行HBase全局二级索引的管理，该类中dropIndices用于创删除索引。 代码样例 以下代码片段在com.huawei
Spark从Hive读取数据再写入HBase样例程序（Scala） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata
WriteIntoKafka和com.huawei.bigdata.flink.examples.SqlJoinWithSocket 每秒钟往Kafka中生产一条用户信息，用户信息由姓名、年龄、性别组成。 //producer代码 public class WriteIntoKafka { public
WriteIntoKafka和com.huawei.bigdata.flink.examples.SqlJoinWithSocket 每秒钟往Kafka中生产一条用户信息，用户信息由姓名、年龄、性别组成。 //producer代码 public class WriteIntoKafka { public
量大，在集群数据同步限定时间内不能完成同步过程，导致超时，各个ZooKeeper Server启动失败。 参考修改集群服务配置参数章节，进入ZooKeeper服务“全部配置”页面。不断尝试调大ZooKeeper配置文件“zoo.cfg”中的“syncLimit”和“initLim
MemArtsCC会将数据持久化存储到计算侧的存储中（SSD），OBS对接MemArtsCC有如下使用场景： 提升存算分离架构访问数据的性能 利用MemArtsCC的本地存储，访问热点数据不必跨网络，可以提升OBS上层应用数据读取效率。 减少OBS服务端压力 MemArtsCC会将热点数据存储
的用户配置具体数据库或者表权限，以免影响用户使用提交作业功能，具体请参考在Ranger中配置Hive/Impala的访问权限或在Ranger中配置HBase的访问权限页面的添加策略步骤。 父主题： 使用Ranger（MRS 1.9.2）
没有reduce阶段的insert任务，将会多出reduce阶段，用于收集统计信息。 本章节适用于MRS 3.x及后续版本。 前提条件 已登录Hive客户端，具体操作请参见Hive客户端使用实践。 操作步骤 在Manager界面Hive组件的配置中搜索“hive.cbo.enab
参数入口：参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。 对于大作业扫描特性中Hive组件，需要配置“hive-ext.record.mr.applicationid=true”时才能生效，详细操作步骤如下： 参考修改集群服务配置参数进入Hive服务参数“
r compaction。 加载增量数据。 用户可以根据自己的需要配置minor compaction阈值。 配置示例和预期输出： 用户将所有历史数据加载到CarbonData，此数据的一个segment的大小假定为500GB。 用户设置major compaction参数的阈值：“carbon
将用户加入此用户组，可获得HDFS和Yarn的组件运维管理员权限。对HDFS来说，运维管理员可以访问NameNode WebUI，还能进行手动主备倒换等操作。对Yarn来说，运维管理员可以执行Yarn集群的管理操作，例如访问ResourceManager WebUI，管理NodeManager节点，
java:5916) 问题根因： 执行balance需要使用管理员账户 解决方法 安全版本 使用hdfs或者其他属于supergroup组的用户认证后，执行balance 普通版本 执行HDFS的balance命令前，需要在客户端执行su - hdfs命令。 问题2：执行balan
WriteIntoKafka和com.huawei.bigdata.flink.examples.SqlJoinWithSocket 每秒钟往Kafka中生产一条用户信息，用户信息由姓名、年龄、性别组成。 //producer代码 object WriteIntoKafka { def main(args:
场景说明 场景说明 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Spark应用程序实现如下功能： 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“
集群外节点安装客户端上传HDFS文件失败 用户问题 集群外节点安装客户端使用hdfs命令上传文件失败。 问题现象 在集群节点上安装客户端，在该客户端使用hdfs命令上传一个文件，报如下错误： 图1 上传文件报错 原因分析 从错误截图可以看到报错是no route to host，且报错信息里面有192
如何开发Flume第三方插件 该操作指导用户进行第三方插件二次开发。 本章节适用于MRS 3.x及之后版本。 将自主研发的代码打成jar包。 安装Flume服务端或者客户端，如安装目录为“/opt/flumeclient”。 建立插件目录布局。 进入“Flume客户端安装目录/f
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
