检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
录某个用户的基本信息，包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录，消息记录该用户的名字、职业信息。实现实时的以根据业务2中消息记录的用户名字作为关键字，对两个业务数据进行联合查询的功能。 FlinkStreamSqlJoinScalaExample flink-sql
录某个用户的基本信息，包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录，消息记录该用户的名字、职业信息。实现实时的以根据业务2中消息记录的用户名字作为关键字，对两个业务数据进行联合查询的功能。 FlinkStreamSqlJoinScalaExample flink-sql
ZooKeeper > 实例”。 查看ZooKeeper角色实例的IP地址。 记录ZooKeeper角色实例其中任意一个的IP地址即可。 根据业务情况，准备好客户端，参考使用MRS客户端章节，登录安装客户端的节点。 执行以下命令，切换到客户端目录，例如“/opt/client/Kafka/kafka/bin”。
yaml worker日志元数据文件，logviewer在清理日志的时候会以该文件来作为清理依据。该文件会被logviewer日志清理线程根据一定条件自动删除。 nimbus/cleanup.log Nimbus卸载的清理日志。 logviewer/cleanup.log logviewer卸载的清理日志。
ResourceManager Web UI页面 查看MapReduce日志获取应用运行情况 您可以查看MapReduce日志了解应用运行情况，并根据日志信息调整应用程序。 父主题： 调测MapReduce应用
NodeManager节点资源过小。 队列最大资源容量设置过小。 AM最大资源百分比设置过小。 处理步骤 调整告警上报机制（仅适用于MRS 3.3.1及之后版本 ） 请根据实际业务情况，确认是否所有队列都需要上报当前告警： 所有队列都不需要上报告警：登录FusionInsight Manager界面，选择“集群
登录FusionInsight Manager。 选择“审计 > 配置”。 单击“审计日志转储”右侧的开关。 “审计日志转储”默认为不启用，开关显示为表示启用。 根据表1填写转储参数。 图1 转储参数 表1 审计日志转储参数 参数 示例 参数说明 SFTP IP 模式 IPv4 目标IP的IP地址模式，可选择“IPv4”或者“IPv6”。
10.10.10 hadoop.系统域名”（如“10.10.10.10 hadoop.hadoop.com”），否则HetuEngine无法根据主机名称连接到非本集群节点。 已创建HetuEngine计算实例。 添加Hive数据源步骤 获取Hive数据源集群的“hdfs-site.xml”和“core-site
Kerberos服务的renewable、forwardable开关和票据刷新周期的设置在Kerberos服务的配置页面的“系统”标签下，票据刷新周期的修改可以根据实际情况修改“kdc_renew_lifetime”和“kdc_max_renewable_life”的值。 下载并安装HBase客户端程序。
、查询数据、删除数据、插入数据、更新数据以及授权他人访问表与对应HDFS目录与文件。 如果用户访问别人创建的表或数据库，需要授予权限。所以根据Hive使用场景的不同，用户需要的权限可能也不相同。 表1 Hive使用场景 主要场景 用户需要的权限 使用Hive表、列或数据库 使用其
0x14000073f13b657b closed 查看HDFS日志获取应用运行情况 可以查看HDFS的NameNode日志了解应用运行情况，并根据日志信息调整应用程序。 父主题： 调测HDFS应用
DataFrame sort(java.lang.String sortCol,java.lang.String... sortCols) 根据不同的列，按照升序或者降序排序。 GroupedData rollup(Column... cols) 对当前的DataFrame特定列进行多维度的回滚操作。
员。 回退升级补丁时增加的配置 不涉及。 重启相关组件 补丁卸载完成后，需要手动重启相关大数据组件服务，使补丁生效。 提供两种重启方式，请根据业务自行选择重启方式： 滚动重启：影响小，耗时长。 离线重启：会断服，耗时短。 登录MRS控制台或FusionInsight Manager界面。
DWS集群已创建，已获取到相关表所在的数据库用户名和密码。 已安装MRS客户端，例如安装目录为“/opt/client”。以下操作的客户端目录只是举例，请根据实际安装目录修改。在使用客户端前，需要先下载并更新客户端配置文件，确认Manager的主管理节点后才能使用客户端。 DWS服务数据导入到ClickHouse
hudi.utilities.sources.JsonKafkaSource // 指定消费的数据源为JsonKafkaSource， 该参数根据不同数据源指定不同的source类 --schemaprovider-class com.huaweixxx.bigdata.hudi.examples
参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\flink-examples”目录下的样例工程文件夹“flink-examples-security”，可根据实际业务场景选择对应的样例。 在安全模式下，获取“src\flink-examples”下的样例工程flink-examples-security。
员。 回退升级补丁时增加的配置 不涉及。 重启相关组件 补丁卸载完成后，需要手动重启相关大数据组件服务，使补丁生效。 提供两种重启方式，请根据业务自行选择重启方式： 滚动重启：影响小，耗时长。 离线重启：会断服，耗时短。 登录MRS管理控制台或FusionInsight Manager界面。
html 准备运行环境 安装集群客户端，例如客户端安装目录为“/opt/client”。 执行下列命令进行用户认证，这里以hdfs为例，用户可根据实际用户名修改。 kinit hdfs kinit认证的默认时效为24小时，到期后再次运行样例，需要重新执行kinit。 在客户端目录创建
e_creates_user”，加入“hive”组，绑定角色“hive_hbase_create”，用于创建Hive表和HBase表。 请根据客户端所在位置，参考安装客户端章节，登录安装客户端的节点。 执行以下命令，配置环境变量。 source /opt/client/bigdata_env
conf”配置文件中，重启JDBCServer实例。 重启相关组件 补丁安装完成后，需要手动重启相关大数据组件服务，使补丁生效。 提供两种重启方式，请根据业务自行选择重启方式： 滚动重启：影响小，耗时长。 离线重启：会断服，耗时短。 登录MRS管理控制台或FusionInsight Manager界面。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
