检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
运行前置操作 安全模式下Spark Core样例代码需要读取两个文件(user.keytab、krb5.conf)。user.keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代
向Kafka组件发送数据(需要有Kafka权限用户),并从Kafka组件接收数据。 确保集群安装完成,包括HDFS、Yarn、Flink和Kafka。 创建Topic。 创建topic的命令格式: bin/kafka-topics.sh --create --zookeeper
是否开启tablestatus文件多版本管理,开启该参数后,每次load/insert/IUD都会产生一个tablestatus文件。 说明: 如果同时使用JDBCServer和客户端对表进行数据加载,那在使用该特性时,需要保证同时开启或同时关闭。 carbon.tablestatus
bin/yarn-session.sh -jm 1024 -tm 4096 -t conf/ssl/ 运行DataStream(Scala和Java)样例程序。 在终端另开一个窗口,进入Flink客户端目录,调用bin/flink run脚本运行代码。 Java bin/flink run --class
isMachineUser false 使用机机用户认证时,参数值修改为true。 如果配置为true,则user和password参数为机机用户的用户名和密码。 说明: 该参数仅适用于MRS 3.1.5及之后版本。 isSupportMachineUser true 是否支持机机用户认证的功能。
在“配置资源权限”选择“待操作的集群 > Doris”,勾选“Doris管理员权限”,单击“确定”。 选择“用户 > 添加用户”,在新增用户界面,创建一个人机用户,例如developuser,并绑定2新建的角色。 使用developuser用户重新登录FusionInsight Manager,修改该用户初始密码。
Windows版本 Agent是用于执行检测任务,全量扫描主机,实时监测主机的安全状态。 步骤三 开启主机防护 开启主机安全防护时,按照一台主机对应一个配额的关系进行绑定,只有绑定配额的主机才能正常防护。 步骤四 开启告警通知 开启告警通知功能后,您能接收到HSS服务发送的告警通知短信,及时了解主机的安全风险。
需确保FlinkServer所在集群和GaussDB(DWS)所在集群网络互通,确保“可用区”、“虚拟私有云”、“安全组”配置相同。 FlinkServer所在集群(安全模式): 集群中已安装HDFS、Yarn、Kafka、ZooKeeper和Flink服务。 包含Kafka服务
[PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement 限制 如果数据表中只有一个字段,且字段类型为row、struct,那么插入数据时需要用row对类型进行包裹。 -- 单字段表插入复杂类型需要用row()包裹 CREATE
节点标签管理 标签是集群/节点的标识,为集群/节点添加标签,可以方便用户识别和管理拥有的集群/节点资源。MRS服务通过与标签管理服务(TMS)关联,可以让拥有大量云资源的用户,通过给云资源打标签,快速查找具有同一标签属性的云资源,进行统一检视、修改、删除等管理操作,方便用户对大数据集群及其他相关云资源的统一管理。
原因:具有新id/genstamps的块可能存在于DataNode上。DataNode中的块文件可能具有与NameNode的回滚image中不同的生成标记和长度,所以NameNode会拒绝DataNode中的这些块,并将文件标记为已损坏。 场景如下: 升级前: 客户端A - >将一些数据写入文件X(假设已写入“A”字节)
原因:具有新id/genstamps的块可能存在于DataNode上。DataNode中的块文件可能具有与NameNode的回滚image中不同的生成标记和长度,所以NameNode会拒绝DataNode中的这些块,并将文件标记为已损坏。 场景如下: 升级前: 客户端A - >将一些数据写入文件X(假设已写入“A”字节)
向Kafka组件发送数据(需要有Kafka权限用户),并从Kafka组件接收数据。 确保集群安装完成,包括HDFS、Yarn、Flink和Kafka。 创建Topic。 创建topic的命令格式: bin/kafka-topics.sh --create --zookeeper
aNode实例,否则可能会导致任务失败,并可能导致应用部分临时数据无法清空。 运行DataStream样例程序(Scala和Java语言)。 在终端另开一个窗口,进入Flink客户端目录,调用bin/flink run脚本运行代码,例如: bin/flink run --class
hadoop.系统域名.com 10.96.101.32:21007:kafka服务器的IP和端口。 系统域名:用户可登录FusionInsight Manager,单击“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 SSL加密配置 服务端配置。 配置“ssl
果将超出可存储在znode上的数据的最大长度。 为了避免这个问题,应该根据客户端应用的实际情况将“jute.maxbuffer”参数配置为一个更高的值。 “jute.maxbuffer”只能设置为Java系统属性,且没有zookeeper前缀。如果要将“jute.maxbuffe
果将超出可存储在znode上的数据的最大长度。 为了避免这个问题,应该根据客户端应用的实际情况将“jute.maxbuffer”参数配置为一个更高的值。 “jute.maxbuffer”只能设置为Java系统属性,且没有zookeeper前缀。如果要将“jute.maxbuffe
运行前置操作 安全模式下Spark Core样例代码需要读取两个文件(user.keytab、krb5.conf)。user.keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代
ION ALL的查询将读取基础数据三次。这就是当数据源不具有确定性时,使用UNION ALL的查询可能会产生不一致的结果的原因。 --创建一个航运表 create table shipping(origin_state varchar(25),origin_zip integer
地址,请记录“inet”的实际参数值。如果在Master2节点无法查询到OMS浮动IP地址,请切换到Master1节点查询并记录。如果只有一个Master节点时,直接在该Master节点查询并记录。 输入需要更新配置的组件名,组件名之间使用“,”分隔。如需更新所有组件配置,可直接单击回车键。