检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建Strom Topology 功能介绍 一个Topology是Spouts和Bolts组成的有向无环图。 应用程序是通过storm jar的方式提交,则需要在main函数中调用创建Topology的函数,并在storm jar参数中指定main函数所在类。 代码样例 下面代码片段在com
创建Storm Topology 功能介绍 一个Topology是Spouts和Bolts组成的有向无环图。 应用程序是通过storm jar的方式提交,则需要在main函数中调用创建Topology的函数,并在storm jar参数中指定main函数所在类。 代码样例 下面代码片段在com
创建Storm Topology 功能介绍 一个Topology是Spouts和Bolts组成的有向无环图。 应用程序是通过storm jar的方式提交,则需要在main函数中调用创建Topology的函数,并在storm jar参数中指定main函数所在类。 代码样例 下面代码片段在com
创建Yarn角色 操作场景 该任务指导MRS集群管理员创建并设置Yarn的角色。Yarn角色可设置Yarn管理员权限以及Yarn队列资源管理。 如果当前组件使用了Ranger进行权限控制,须基于Ranger配置相关策略进行权限管理。具体操作可参考添加Yarn的Ranger访问权限策略。
创建Yarn角色 操作场景 该任务指导MRS集群管理员创建并设置Yarn的角色。Yarn角色可设置Yarn管理员权限以及Yarn队列资源管理。 如果当前组件使用了Ranger进行权限控制,须基于Ranger配置相关策略进行权限管理。对于MRS 3.x及后续版本集群,具体操作可参考
创建FlinkServer作业对接DWS表 本章节适用于MRS 3.2.0及之后的版本。 操作场景 FlinkServer支持对接GaussDB(DWS)8.1.x及之后版本,本章节介绍GaussDB(DWS)作为Source表、Sink表以及维表的DDL定义,以及创建表时使用的
Functions),用于操作单个输入行,产生多个输出行。 按使用方法,UDF有如下分类: 临时函数,只能在当前会话使用,重启会话后需要重新创建。 永久函数,可以在多个会话中使用,不需要每次创建。 用户自定义函数需要用户控制函数中变量的内存、线程等资源的占用,如果控制不当可能会导致内存溢出、CPU使用高等问题。
单击“创建应用”,在弹出的页面中填写应用信息,单击“确定”,完成应用创建。 应用创建成功后,在Flink WebUI左上角即可切换待操作的应用,然后进行相关的作业开发。 父主题: 创建FlinkServer作业前准备
创建FlinkServer应用 操作场景 通过应用来隔离不同的上层业务。 创建应用 使用具有FlinkServer管理员权限的用户访问Flink WebUI,请参考访问FlinkServer WebUI界面。 选择“系统管理 > 应用管理”,进入应用管理页面。 单击“创建应用”,
创建CDL作业 创建CDL数据同步任务作业 创建CDL数据比较任务作业 使用CDL从PgSQL同步数据到Kafka 使用CDL从PgSQL同步数据到Hudi 使用CDL从Opengauss同步数据到Hudi 使用CDL从Hudi同步数据到DWS 使用CDL从Hudi同步数据到ClickHouse
创建CDL数据库连接 操作场景 通过CDLService WebUI创建数据库连接时,可参考该章节进行CDL作业编排。 前提条件 已获取待连接数据对应的驱动Jar包并上传。 开启Kerberos认证的集群需已参考CDL用户权限管理创建具有CDL管理操作权限的用户。 操作步骤 使用
创建MRS集群时计价器为什么未显示价格? 问: 创建MRS集群时计价器为什么未显示出价格? 答: 只选择磁盘个数,没有选择集群虚拟机实例个数时,产品报价是不会产生收费的。 客户选择了实例个数,产品报价才会在浏览器下方即时显示出来。 父主题: 计费类
创建Configuration 功能介绍 HBase通过加载配置文件来获取配置项,包括用户登录信息配置项。 代码样例 下面代码片段在com.huawei.bigdata.hbase.examples包中。 调用类TestMain下的init()方法会初始化Configuration对象:
创建Storm Spout 功能介绍 Spout是Storm的消息源,它是Topology的消息生产者,一般来说消息源会从一个外部源读取数据并向Topology中发送消息(Tuple)。 一个消息源可以发送多条消息流Stream,可以使用OutputFieldsDeclarer.
创建Strom Spout 功能介绍 Spout是Storm的消息源,它是Topology的消息生产者,一般来说消息源会从一个外部源读取数据并向Topology中发送消息(Tuple)。 一个消息源可以发送多条消息流Stream,可以使用OutputFieldsDeclarer.
创建Phoenix表 功能简介 Phoenix依赖HBase作为其后备存储,支持标准SQL和JDBC API的强大功能,使得SQL用户可以访问HBase集群。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSampl
开启Kerberos认证的集群需已创建具有CDL管理操作权限的用户。如果当前集群开启了Ranger鉴权,还需参考添加Hive的Ranger访问权限策略章节授予用户Hive管理员权限和UDF操作权限。 使用具有Hive管理员权限的用户在Hive客户端创建全局的UDF算法: 创建CheckSum函数(在default数据库下执行):
创建Storm Bolt 功能介绍 所有的消息处理逻辑都被封装在各个Bolt中。Bolt包含多种功能:过滤、聚合等等。 如果Bolt之后还有其他拓扑算子,可以使用OutputFieldsDeclarer.declareStream定义Stream,使用OutputCollector
创建Storm Bolt 功能介绍 所有的消息处理逻辑都被封装在各个Bolt中。Bolt包含多种功能:过滤、聚合等。 如果Bolt之后还有其他拓扑算子,可以使用OutputFieldsDeclarer.declareStream定义Stream,使用OutputCollector
创建Phoenix表 功能简介 Phoenix依赖HBase作为其后备存储,支持标准SQL和JDBC API的强大功能,使得SQL用户可以访问HBase集群。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSampl