检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataFrame sort(java.lang.String sortCol,java.lang.String... sortCols) 根据不同的列，按照升序或者降序排序。 GroupedData rollup(Column... cols) 对当前的DataFrame特定列进行多维度的回滚操作。
员。 回退升级补丁时增加的配置 不涉及。 重启相关组件 补丁卸载完成后，需要手动重启相关大数据组件服务，使补丁生效。 提供两种重启方式，请根据业务自行选择重启方式： 滚动重启：影响小，耗时长。 离线重启：会断服，耗时短。 登录MRS控制台或FusionInsight Manager界面。
DWS集群已创建，已获取到相关表所在的数据库用户名和密码。 已安装MRS客户端，例如安装目录为“/opt/client”。以下操作的客户端目录只是举例，请根据实际安装目录修改。在使用客户端前，需要先下载并更新客户端配置文件，确认Manager的主管理节点后才能使用客户端。 DWS服务数据导入到ClickHouse
hudi.utilities.sources.JsonKafkaSource // 指定消费的数据源为JsonKafkaSource， 该参数根据不同数据源指定不同的source类 --schemaprovider-class com.huaweixxx.bigdata.hudi.examples
参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\flink-examples”目录下的样例工程文件夹“flink-examples-security”，可根据实际业务场景选择对应的样例。 在安全模式下，获取“src\flink-examples”下的样例工程flink-examples-security。
员。 回退升级补丁时增加的配置 不涉及。 重启相关组件 补丁卸载完成后，需要手动重启相关大数据组件服务，使补丁生效。 提供两种重启方式，请根据业务自行选择重启方式： 滚动重启：影响小，耗时长。 离线重启：会断服，耗时短。 登录MRS管理控制台或FusionInsight Manager界面。
版本类型：LTS版 集群版本：MRS 3.3.0-LTS 集群组件包含：Kafka、Flink等。 Kerberos认证：开启 其他参数根据实际需要进行配置。 为集群添加拥有OBS权限的委托。 创建具有访问OBS权限的ECS委托，详细操作请参考配置MRS集群通过IAM委托对接O
html 准备运行环境 安装集群客户端，例如客户端安装目录为“/opt/client”。 执行下列命令进行用户认证，这里以hdfs为例，用户可根据实际用户名修改。 kinit hdfs kinit认证的默认时效为24小时，到期后再次运行样例，需要重新执行kinit。 在客户端目录创建
e_creates_user”，加入“hive”组，绑定角色“hive_hbase_create”，用于创建Hive表和HBase表。 请根据客户端所在位置，参考安装客户端章节，登录安装客户端的节点。 执行以下命令，配置环境变量。 source /opt/client/bigdata_env
Group has finished. ... 查看HDFS日志获取应用运行情况 您可以查看HDFS的namenode日志了解应用运行情况，并根据日志信息调整应用程序。 父主题： 调测HDFS应用
current 检查日志中是否有元空间大小不足、或堆内存大小不足的报错。 是，执行14。 否，执行17。 执行su - omm切换为omm用户，根据集群版本编辑对应文件，并适当增大“nodeagent.Xms”初始堆内存参数值和“nodeagent.Xmx”最大堆内存参数值大小，保存修改。
conf”配置文件中，重启JDBCServer实例。 重启相关组件 补丁安装完成后，需要手动重启相关大数据组件服务，使补丁生效。 提供两种重启方式，请根据业务自行选择重启方式： 滚动重启：影响小，耗时长。 离线重启：会断服，耗时短。 登录MRS管理控制台或FusionInsight Manager界面。
html。 准备运行环境 安装集群客户端，例如客户端安装目录为“/opt/client”。 执行下列命令进行用户认证，这里以hdfs为例，用户可根据实际用户名修改。 kinit hdfs kinit认证的默认时效为24小时，到期后再次运行样例，需要重新执行kinit。 在客户端目录创建
、查询数据、删除数据、插入数据、更新数据以及授权他人访问表与对应HDFS目录与文件。 如果用户访问别人创建的表或数据库，需要授予权限。所以根据Hive使用场景的不同，用户需要的权限可能也不相同。 表1 Hive使用场景 主要场景 用户需要的权限 使用Hive表、列或数据库 使用其
供高性能、低成本、灵活易用的全栈大数据平台，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件，并具备在后续根据业务需要进行定制开发的能力，帮助企业快速构建海量数据信息处理系统，并通过对海量信息数据实时与非实时的分析挖掘，发现全新价值点和企业商机。 产品架构
B（DWS）数据类型对应关系如下表所示。 本示例以安全模式FlinkServer、Kafka为例，对接安全模式GaussDB（DWS）。 根据安全需求，FlinkServer界面回显FlinkSQL时，SQL中的“password”字段将显示为空，在回显状态下需要将密码信息补齐后再提交作业。
Group has finished. ... 查看HDFS日志获取应用运行情况 您可以查看HDFS的namenode日志了解应用运行情况，并根据日志信息调整应用程序。 父主题： 调测HDFS应用
状态、进度、开始时间和结束时间。 对于启动、停止、重启以及滚动重启操作，在任务执行过程中，单击任务列表中的对应任务名称，单击“中止”按钮，根据界面提示输入系统管理员密码后，用户可中止该任务。中止后，任务将不再继续执行。 主页底部任务栏显示FusionInsight Manager
checkpointing.mode: EXACTLY_ONCE 通过查看监控信息定位Back Pressure点 Flink提供了很多的监控指标，根据这些指标可以分析任务过程中的性能状况及瓶颈。 【示例】配置采样的样本数和时间间隔： # 有效的反压结果被废弃并重新进行采样的时间，单位ms
开连接。 RegisterServerHandler接口实现了ZooKeeper作为RegisterServer的Handler，用户可以根据自己的需求，实现自己的Handler，ZooKeeper中信息的保存形式如下图所示： Namespace |---Topic-1
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
