检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
source算子的代码,该段代码每发送10000条数据休息1秒钟,制作快照时将到目前为止已经发送的数据的条数保存在UDFState中;从快照中状态恢复时,读取UDFState中的数据条数并重新赋值给count变量。 下面代码片段仅为演示,完整代码参见FlinkCheckpointJavaExample样例工程下的com
xml”中配置“mapreduce.job.inputformat.class”项。该设置用来指定处理不同格式的数据时需要的InputFormat类,用来读取数据,切分数据块。 setJarByClass(Class< > cls) 核心接口,指定执行类所在的jar包本地位置。java通过cla
Encoding”的下拉框中,选择“UTF-8”。 单击“Apply”应用配置。 单击“OK”完成编码配置。 图27 Settings 请从Flink服务端安装目录获取相关的依赖包。 请从Kafka环境中获取Kafka依赖包。 具体依赖包请查看参考信息。 配置Maven。 参考配置华为开源镜像仓章节描述
source算子的代码,该段代码每发送10000条数据休息1秒钟,制作快照时将到目前为止已经发送的数据的条数保存在UDFState中;从快照中状态恢复时,读取UDFState中的数据条数并重新赋值给count变量。 1 2 3 4 5 6 7 8 9 10 11 12 13 14
xml”中配置“mapreduce.job.inputformat.class”项。该设置用来指定处理不同格式的数据时需要的InputFormat类,用来读取数据,切分数据块。 setJarByClass(Class< > cls) 核心接口,指定执行类所在的jar包本地位置。java通过cla
Conditions”区域,单击“Select User”下选择框选择用户。 单击“Add Permissions”,勾选“Read”和“Execute”。 设置用户读取其他用户的目录或文件的权限 在“Resource Path”配置文件夹或文件。 在“Allow Conditions”区域,单击“Select
anger鉴权后权限管控审计日志信息。 查看Ranger审计信息内容 使用Ranger管理员用户rangeradmin登录Ranger管理页面,具体操作可参考登录Ranger WebUI界面。 单击“Audit”,查看相关审计信息,各页签内容说明请参考表1,条目较多时,单击搜索框可根据关键字字段进行筛选。
根据集群认证模式,完成Hive客户端登录。 安全模式,则执行以下命令,完成用户认证并登录Hive客户端。 kinit 组件业务用户 beeline 普通模式,则执行以下命令,登录Hive客户端,如果不指定组件业务用户,则会以当前操作系统用户登录。 beeline -n 组件业务用户
Encoding”的下拉框中,选择“UTF-8”。 单击“Apply”应用配置。 单击“OK”完成编码配置。 图27 Settings 请从Flink服务端安装目录获取相关的依赖包。 请从Kafka环境中获取Kafka依赖包。 具体依赖包请查看样例工程运行依赖包参考信息。 配置Maven。 参考配置华为
namespace”设置的具体设定值。 结果将只会登录到被设置租约隔离的HiveServer。 开启本功能后,必须在登录时使用以上命令才可以访问这个被设置租约隔离的HiveServer。如果直接使用beeline命令登录客户端,将只会访问其他没有被设置租约隔离的HiveServer。 用户可登录FusionInsight
xml”中配置“mapreduce.job.inputformat.class”项。该设置用来指定处理不同格式的数据时需要的InputFormat类,用来读取数据,切分数据块。 setJarByClass(Class< > cls) 核心接口,指定执行类所在的jar包本地位置。java通过cla
相同的功能,但在访问大于数组长度的索引时该函数返回NULL,且下标运算符在这种情况下将失败。 如果index <0,则element_at从最后到第一个访问元素。 select element_at(array['a','b','c','d','e'],3); -- c filter(array(T)
Kafka应用开发常见问题 Kafka接口介绍 运行Producer.java样例运行获取元数据失败如何处理 父主题: Kafka开发指南
eb UI提供的信息可以对整个HBase集群的状况有一定的了解。 请联系管理员获取具有访问Web UI权限的业务账号及其密码。 操作步骤 登录FusionInsight Manager页面。选择“集群 > 待操作集群的名称 > 服务 > HBase > HMaster(主)”打开HBase的Web
说明设置用户权限,然后参考使用Kafka客户端生产消费数据(MRS 3.x之前版本)进行操作。 MRS 3.1.2及之后版本集群也可以通过登录KafkaUI查看当前集群的消费信息。详细操作请参考使用KafkaUI查看消费信息(MRS 3.1.2及之后版本)。 前提条件 使用Kaf
应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 操作步骤 在Windows本地运行程序,需要配置https ssl证书。 登录集群任意节点,进入如下目录下载ca.crt文件。 cd ${BIGDATA_HOME}/om-agent_8.1.2.2/nodeagen
应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 操作步骤 在Windows本地运行程序,需要配置https ssl证书。 登录集群任意节点,进入如下目录下载ca.crt文件。 cd ${BIGDATA_HOME}/om-agent_8.1.2.2/nodeagen
应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,用于验证应用程序运行。 场景一:准备本地Windows开发环境调测程序所需配置文件。 登录FusionInsight Manager,选择“集群 > 概览 > 更多 > 下载客户端”(MRS 3.3.0-LTS及之后版本,在“主页”右上方选择“更多
进入ZooKeeper实例页面: 登录FusionInsight Manager,具体请参见访问集群Manager。然后选择“集群 > 服务 > ZooKeeper > 实例”。 查看ZooKeeper角色实例的IP地址。 记录ZooKeeper角色实例其中任意一个的IP地址即可。 登录安装客户端的节点。
Edit”权限。 当前用户具备源分组的作业编辑“Jobs Edit”权限或待迁移作业的编辑“Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。