检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询和分析。 Hive主要特点如下： 海量结构化数据分析汇总。 将复杂的MapReduce编写任务简化为SQL语句。 灵活的数据存储格式，支持JSON、CSV、TEXTFILE、RCFILE、SEQUENCEFILE、ORC等存储格式。 Hive作为一个基于HDFS和MapRed
式（PLAINTEXT）。 Other Kafka Consumer Properties - 其他Kafka配置，可以接受任意Kafka支持的消费配置，配置需要加前缀“kafka.”。 Taildir Source Taildir Source监控目录下文件的变化并自动读取文件
Alluxio常用操作 前期准备 创建安装Alluxio组件的集群。 以root用户登录集群的主Master节点，密码为用户创建集群时设置的root密码。 执行如下命令，配置环境变量。 source /opt/client/bigdata_env 使用Alluxio Shell Alluxio
HDFS日志介绍 日志描述 日志存储路径：HDFS相关日志的默认存储路径为“/var/log/Bigdata/hdfs/角色名”。 NameNode：“/var/log/Bigdata/hdfs/nn”（运行日志），“/var/log/Bigdata/audit/hdfs/nn”（审计日志）。
快速使用Kafka生产消费数据 操作场景 用户可以在集群客户端完成Topic的创建、查询、删除等基本操作。可参考Kafka用户权限说明设置用户权限，然后参考使用Kafka客户端生产消费数据（MRS 3.x之前版本）进行操作。 MRS 3.1.2及之后版本集群也可以通过登录Kafk
HDFS Java API接口介绍 HDFS完整和详细的接口可以直接参考官方网站上的描述：http://hadoop.apache.org/docs/r3.1.1/api/index.html。 HDFS常用接口 HDFS常用的Java类有以下几个： FileSystem：是客户端应用的核心类。常用接口参见表1。
数。 上述命令中的参数描述如下： idx_1：表示索引名称。 cf_0：表示列族名称。 q_0：表示列名称。 string：表示数据类型，支持STRING，INTEGER，FLOAT，LONG，DOUBLE，SHORT，BYTE和CHAR。 '＃'用于分隔索引，';' 用于分隔列族，'
列化动态添加元素。 另外Flink中的State支持设置TTL，TTL实际上是将时间戳与userValue封装起来，ValueState的TTL基于整个Key，MapState<UK, UV>的TTL是基于UK，它的粒度更小，可支持更丰富的TTL语义。 Checkpoint配置压缩减少Checkpoint大小
缓存行数。 上述命令中的参数描述如下： idx_1：表示索引名称 cf_0：表示列族名称 q_0：表示列名称 string：表示数据类型，支持STRING，INTEGER，FLOAT，LONG，DOUBLE，SHORT，BYTE或CHAR。 '＃'用于分隔索引，';' 用于分隔列族，'
ZooKeeperSaslClientConfig “jaas-zk.conf”配置文件中的条目名称。 tenant 用户所属的租户。 deploymentMode 只支持on_yarn。 父主题： HetuEngine样例程序（Java）
对象、定位信息等，每页默认显示最近的十条事件。 单击“导出全部”可导出全部事件详情。 单击手动刷新当前页面，也可在修改事件表格显示的列。 支持通过指定对象或集群来筛选指定的事件。 单击“高级搜索”显示事件搜索区域，搜索条件包括事件ID、事件名称、事件级别、开始时间和结束时间。 单
SUSPEND：暂停使用状态，暂停使用的物化视图不会参与改写 ENABLE：可使用状态 REFRESHING：正在刷新物化视图数据，不可用于改写 DISABLE：关闭使用 仅支持ENABLE和SUSPEND相互转换，以及将DISABLE状态修改为SUSPEND或ENABLE 删除物化视图 删除mv.default.mv1的物化视图
LakeFormation数据连接参数说明 参数 参数说明 版本类型 LTS版 集群版本 选择配置对接的MRS集群版本。 当前仅MRS 3.3.0-LTS及之后版本支持在创建集群时配置LakeFormation数据连接。 组件选择 必须包含Hadoop、Ranger、Hive、Guardian、Spark（可选）、Flink（可选）等组件。
-yid,--yarnapplicationId <arg>：绑定YARN session。 -h：获取帮助。 强制停止一个运行中的Job（仅支持streaming jobs、业务代码 source 端需要 implements StoppableFunction） flink cancel
-yid,--yarnapplicationId <arg>：绑定YARN session。 -h：获取帮助。 强制停止一个运行中的Job（仅支持streaming jobs、业务代码 source 端需要 implements StoppableFunction） flink cancel
大。在内存充足的情况下，HeapSize可以相对设置大一些。 说明： 主HMaster的HeapSize为4GB的时候，HBase集群可以支持100000 Region数的规模。根据经验值，集群每增加35000个Region，HeapSize增加2GB，主HMaster的HeapSize不建议超过32GB。
LakeFormation数据连接参数说明 参数 参数说明 版本类型 LTS版 集群版本 选择配置对接的MRS集群版本。 当前仅MRS 3.3.0-LTS及之后版本支持在创建集群时配置LakeFormation数据连接。 组件选择 必须包含Hadoop、Ranger、Hive、Guardian、Spark（可选）、Flink（可选）等组件。
准备MRS应用开发用户 操作场景 开发用户用于运行样例工程。进行不同服务的组件开发时，需要赋予不同的用户权限。 操作步骤 登录FusionInsight Manager。 在FusionInsight Manager界面选择“系统 > 权限 > 角色 > 添加角色”。 填写角色的
submitTopology(args[0], conf, builder.createTopology()); } Storm不支持将HDFS的目的文件路径设置为HDFS的SM4加密分区。 部署运行及结果查看 导出本地jar包，请参见打包Storm样例工程应用。 将1导
要大。在内存充足的情况下，HeapSize可以相对设置大一些。 说明： 主HMaster的HeapSize为4G的时候，HBase集群可以支持100000 region数的规模。根据经验值，集群每增加35000个region，HeapSize增加2G，主HMaster的HeapSize不建议超过32GB。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
