检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Oozie调度Spark访问HBase以及Hive 前提条件 已经配置完成导入并配置Oozie样例工程的前提条件。 开发环境配置 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\oozie-examples”目录下的样例工程文件夹“ooziesecurity-
通过Hue执行HiveQL 操作场景 Hue提供了Hive图形化管理功能，使用户可以通过界面的方式执行HiveQL语句、查询Hive的不同数据。 访问编辑器 访问Hue WebUI，请参考访问Hue WebUI界面。 在左侧导航栏单击，然后选择“Hive”，进入“Hive”。 “Hive”支持以下功能：
为false（默认值），Kryo会自动将未注册的类名写到对应的对象中。此操作会对系统性能造成影响。设置为true时，用户需手动注册类，针对未序列化的类，系统不会自动写入类名，而是发生异常，相对比false，其性能较好。 配置KryoSerializer作为数据序列化器和类注册器。
source /opt/client/bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。当前用户为准备HDFS应用开发用户时增加的开发用户。 人机用户：kinit MRS集群用户 例如：kinit
创建Hive角色 操作场景 该任务指导MRS集群管理员在Manager创建并设置Hive的角色。Hive角色可设置Hive管理员权限以及Hive数据表的数据操作权限。 用户使用Hive并创建数据库需要加入hive组，不需要角色授权。用户在Hive和HDFS中对自己创建的数据库或表
调测HetuEngine Python3应用 本章节适用于MRS 3.3.0及以后版本。 操作场景 在python3程序代码完成开发后，可以在Windows环境或者上传到Linux环境进行调测，和集群业务平面网络互通时，可以直接在本地进行调测。 操作步骤 参考导入并配置HetuEngine
Hive与其他组件的关系 Hive与HDFS组件的关系 Hive是Apache的Hadoop项目的子项目，Hive利用HDFS作为其文件存储系统。Hive通过解析和计算处理结构化的数据，Hadoop HDFS则为Hive提供了高可靠性的底层存储支持。Hive数据库中的所有数据文件都可以存储在Hadoop
查询作业exe对象列表（废弃） 功能介绍 查询所有作业的exe对象列表。该接口不兼容Sahara。 MRS 3.x版本镜像，不支持MRS V1.1作业管理接口，需要使用V2作业管理接口。 接口约束 无 调试 您可以在API Explorer中调试该接口。 URI GET /v1.
gNode，在“概览”界面查看图表“ConfigNode堆内存使用率”是否已达到ConfigNode进程设定的最大堆内存的阈值。 如果界面未显示该图表，需单击图表区域右上角的下拉菜单，选择“定制 > 内存”，勾选“ConfigNode堆内存使用率”，单击“确定”，即可查看。 Co
执行以下命令，切换到客户端安装目录，配置环境变量并认证用户。 cd 客户端安装目录 source bigdata_env kinit Hive业务用户（如果集群未开启Kerberos认证，请跳过该操作） 执行以下命令登录Hive客户端。 beeline 在创建表时指定相应的加密列和加密算法： create
内存（告警ID为“50228”）：如果租户在某个BE节点的内存占用超过了限额占比的阈值（紧急默认阈值为90%，重要默认阈值为85%），就会产生告警。 内存阈值告警，只针对未开启内存软隔离的租户。 在FusionInsight Manager界面，选择“运维 > 告警 > 告警”，单击具体告警左侧的，可在定位信息
roup和supergroup”组且拥有HBase权限的用户，例如创建用户为opentsdbuser，具体请参考准备开发用户。如果当前集群未启用Kerberos认证，则无需执行此步骤。 根据业务情况，准备好客户端，并登录安装客户端的节点。 例如在Master2节点更新客户端，则登
已安装HBase客户端。 当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 未安装HBase客户端时： Linux环境已安装JDK，版本号需要和IntelliJ IDEA导出Jar包使用的JDK版本一致。 当Linux
ode，在“概览”界面查看“ConfigNode垃圾回收（GC）总时间”图表中的ConfigNode进程的GC时间是否大于阈值。 如果界面未显示ConfigNode垃圾回收时间，需单击图表区域右上角的下拉菜单，选择“定制 > GC”，勾选“ConfigNode垃圾回收（GC）总时间”，单击“确定”，即可查看。
创建集群时配置LakeFormation数据连接 该章节指导用户在创建MRS 3.3.0-LTS集群时配置LakeFormation数据连接，并在创建完成后配置MRS集群相关参数完成与LakeFormation的对接。 创建集群时配置LakeFormation数据连接 进入购买MRS集群页面。
查看Flink应用运行结果 Flink应用程序运行完成后，您可以查看运行结果数据，也可以通过Flink WebUI查看应用程序运行情况。 操作步骤 查看Flink应用运行结果数据。 当用户查看执行结果时，需要在Flink的web页面上查看Task Manager的Stdout日志。
BULK_INSERT（批量插入）：用于初始数据集加载， 该操作会对主键进行排序后直接以写普通parquet表的方式插入Hudi表，该操作性能是最高的，但是无法控制小文件，而UPSERT和INSERT操作使用启发式方法可以很好的控制小文件。 UPSERT（插入更新）： 默认操作类型。Hudi会根据
执行以下命令，配置环境变量。 source /opt/client/bigdata_env 启用Kerberos认证的集群，执行以下命令认证用户身份。未启用Kerberos认证的集群无需执行本步骤。 kinit Kafka用户 根据业务需要，管理Kafka主题中的消息。 在主题中产生消息 sh
Storm-2实例： source Storm-2/component_env 启用Kerberos认证的集群，执行以下命令认证用户身份。未启用Kerberos认证的集群无需执行。 kinit Storm用户 MRS 3.x之前版本：执行以下命令，提交Storm拓扑。 storm
实例业务IP地址。 Kafka连接端口：集群已启用Kerberos认证（安全模式）时Broker端口为“sasl.port”参数的值。集群未启用Kerberos认证（普通模式）时Broker端口为“port”的值。 重新打开一个客户端连接窗口，执行以下命令，使用“kafka-console-consumer
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
