检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
udi表中，再读取并打印Hudi表中的数据。 开发思路 写Hudi： 通过一个随机生成数据类来生成数据。 将生成的数据转化为DataStream<RowData>。 将数据写入到Hudi表中。 读Hudi： 读取Hudi表中的数据。 将读取的数据拼接成json格式并打印。 父主题：
CGroups是一个Linux内核特性。它可以将任务集及其子集聚合或分离成具备特定行为的分层组。在Yarn中，CGroups特性对容器（Container）使用的资源（例如CPU使用率）进行限制。本特性大大降低了限制容器CPU使用的难度。 当前CGroups仅用于限制CPU使用率。 本章节适用于MRS
导入配置文件时，建议配置Source/Channel/Sink的各自的个数都不要超过40个，否则可能导致界面响应时间过长。 表1 Flume角色服务端所需修改的参数列表 参数名称 参数值填写规则 参数样例 名称 不能为空，必须唯一 test spoolDir 待采集的文件所在的目录路径，此参数不能为空。该路径
拖到右侧的操作界面中并将其连接。 例如采用Kafka Source、Memory Channel和HDFS Sink，如图3所示。 图3 Flume配置工具示例 双击对应的source、channel以及sink，根据实际环境并参考表1设置对应的配置参数。 如果想在之前的“properties
访问MRS集群上托管的开源组件Web页面 如果组件支持开源WebUI，则在组件基本信息区域可通过WebUI的链接访问开源WebUI。 对于开启Kerberos认证的集群，admin用户不具备各组件的管理权限，如需正常访问各组件的Web UI界面，请提前参考创建MRS集群用户创建具有对应组件管理权限的用户。
框架提交和部署拓扑的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 Flux框架是Storm 0.10.0版本提供的提高拓扑部署易用性的框架。通过Flux框架，用户可以使用yaml文件来定义和部署拓扑，并且最终通过storm jar命令来提交拓扑的一种方式，极大地方便
id) WHERE usd_flag='D'; -- 查询入职时间为2014年的雇员编号、姓名等字段，并将查询结果加载进表employees_info_extended中的入职时间为2014的分区中. INSERT OVERWRITE TABLE employees_info_extended
到右侧的操作界面中并将其连接。 采用SpoolDir Source、Memory Channel和HDFS Sink，如图3所示。 图3 Flume配置工具示例 双击对应的source、channel以及sink，根据实际环境并参考表1设置对应的配置参数。 如果想在之前的“properties
beros认证的集群中提交作业的内置用户名为omm。 hbase shell在开启Kerberos认证的集群提交作业的内置用户名为hbase，在未开启Kerberos认证的集群中提交作业的内置用户名为omm。 Presto在开启Kerberos认证的集群提交作业的内置用户名为om
JDK，请确保Eclipse中的JDK配置为IBM JDK。 若使用Oracle JDK，请确保Eclipse中的JDK配置为Oracle JDK。 若使用ODBC进行二次开发，请确保JDK版本为1.8及以上版本。 不同的Eclipse不要使用相同的workspace和相同路径下的示例工程。 准
参数含义 定位信息 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 Impalad不能执行sql或执行sql超时，会影响到数据的读写。 可能原因 该Impalad服务维护的查询数量过多。 处理步骤 登录FusionInsight
其拖到右侧的操作界面中并将其连接。 例如采用Kafka Source、File Channel和HDFS Sink，如图3所示。 图3 Flume配置工具示例 双击对应的source、channel以及sink，根据实际环境并参考表1设置对应的配置参数。 如果想在之前的“properties
id) WHERE usd_flag='D'; -- 查询入职时间为2014年的雇员编号、姓名等字段，并将查询结果加载进表employees_info_extended中的入职时间为2014的分区中. INSERT OVERWRITE TABLE employees_info_extended
id) WHERE usd_flag='D'; -- 查询入职时间为2014年的雇员编号、姓名等字段，并将查询结果加载进表employees_info_extended中的入职时间为2014的分区中. INSERT OVERWRITE TABLE employees_info_extended
toString(); 以上是通过ZooKeeper的方式访问Hive。若直连HiveServer的方式访问Hive，需按如下方式拼接JDBC URL，并将hiveclient.properties文件中的zk.quorum配置项的端口改为10000。 // 拼接JDBC URL StringBuilder
以提高数据可靠性。 如果您已经部署NFS服务器，并已配置NFS服务，本操作提供集群侧的配置指导，为可选任务。 操作步骤 在NFS服务器上检查NFS的共享目录权限，确认服务器可以访问MRS集群的NameNode。 以root用户登录NameNode主节点。 执行如下命令，创建目录并赋予目录写权限。
Hudi/component_env kinit 创建的用户 新创建的用户需要修改密码，更改密码后重新kinit登录。 普通模式（未开启kerberos认证）无需执行kinit命令。 多服务场景下，在source bigdata_env之后，请先source Spark服务的component_env，再去source
以提高数据可靠性。 如果您已经部署NFS服务器，并已配置NFS服务，本操作提供集群侧的配置指导，为可选任务。 操作步骤 在NFS服务器上检查NFS的共享目录权限，确认服务器可以访问MRS集群的NameNode。 以root用户登录NameNode主节点。 执行如下命令，创建目录并赋予目录写权限。
当前MRS服务对外API提供云服务自定义规范的API V1.1和V2两类接口，V2版本目前仅部分接口支持，主要用于提交作业和提交SQL语句。在接口功能相同的情况下，推荐您优先使用V2接口。 MRS所有版本均支持V1.1接口。 针对MRS 1.X版本的集群，MRS 1.8.7及之后版本支持V2接口。
配置Hive表不同分区分别存储至OBS和HDFS 操作场景 存算分离场景下，Hive分区表支持不同的分区分别指定不同的存储源，可以指定一个分区表中不同分区的存储源为OBS或者HDFS。 本特性仅适用于MRS 3.2.0及之后版本。此章节仅说明分区表指定存储源的能力，关于Hive如何在存算分离场景下对接OBS，对接指导可参考Hive对接OBS文件系统章节。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
