检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下载到远端节点配置参数 参数名称 样例 参数说明 主机IP x.x.x.x 远端节点的IP地址。 说明: 远端节点的平台类型需要与所下载客户端的平台类型一致,否则可能导致安装客户端失败。 主机端口 22 远端节点的主机端口。 登录用户名称 xxx 登录远端节点的用户名称。 远端节点用户需要对下载路径具有写权限。
户端可以安装在集群内的节点上,也可以安装在集群外的节点上。 集群内组件的服务端配置修改后,也建议重新安装客户端,否则客户端与服务端版本将不一致,可能影响部分功能的正常使用。 本章节指导用户安装MRS 2.x及之前版本的集群客户端,MRS 3.x版本请参考安装客户端(3.x版本)。
使用说明 分布式表名称:default.my_table_dis。 本地表名称:default.my_table_local。 通过“AS”关联分布式表和本地表,保证分布式表的字段定义跟本地表一致。 分布式表引擎的参数说明: default_cluster:集群名称。 default:本地表所在库名。
查看KeyWordFilter Bolt输出流字段定义和发送消息字段发现一致。 查看Oracle数据库中表定义,发现字段名为大写,与流定义字段名称不一致。 单独调试execute方法,发现抛出字段不存在。 处理步骤 修改流定义字段名称为大写,与数据库表定义字段一致。 父主题: 使用Storm
索引一旦添加则不能修改。若要修改,则需先删除旧的索引然后重新创建。 应注意不要在具有不同索引名称的相同列上创建两个索引,否则会导致存储和处理的资源浪费。 索引不能添加到系统表中。 向索引列put数据时不支持append和increment操作。 如果客户端出现任何故障,除非发生DoNotRetr
Flink DataStream应用开发思路 假定用户有某个网站网民周末网购停留时间的日志文本,基于某些业务要求,要求开发Flink的DataStream应用程序实现如下功能: DataStream应用程序可以在Windows环境和Linux环境中运行。 实时统计总计网购时间超过2个小时的女性网民信息。
DataStream样例程序开发思路 场景说明 假定用户有某个网站周末网民网购停留时间的日志文本,基于某些业务要求,要求开发Flink的DataStream应用程序实现如下功能: DataStream应用程序可以在Windows环境和Linux环境中运行。 实时统计总计网购时间超过2个小时的女性网民信息。
DataStream样例程序开发思路 场景说明 假定用户有某个网站周末网民网购停留时间的日志文本,基于某些业务要求,要求开发Flink的DataStream应用程序实现如下功能: DataStream应用程序可以在Windows环境和Linux环境中运行。 实时统计总计网购时间超过2个小时的女性网民信息。
DataStream样例程序开发思路 场景说明 假定用户有某个网站周末网民网购停留时间的日志文本,基于某些业务要求,要求开发Flink的DataStream应用程序实现如下功能: DataStream应用程序可以在Windows环境和Linux环境中运行。 实时统计总计网购时间超过2个小时的女性网民信息。
DataStream样例程序开发思路 场景说明 假定用户有某个网站周末网民网购停留时间的日志文本,基于某些业务要求,要求开发Flink的DataStream应用程序实现如下功能: DataStream应用程序可以在Windows环境和Linux环境中运行。 实时统计总计网购时间超过2个小时的女性网民信息。
Kudu应用开发常见问题 Kudu Java API接口介绍 Kudu Java API接口可参考官网描述。 其他Kudu完整和详细的接口可以直接参考官方网站上的描述。 地址: https://kudu.apache.org/apidocs。 父主题: Kudu开发指南(安全模式)
Kudu应用开发常见问题 Kudu Java API接口介绍 Kudu Java API接口可参考官网描述。 其他Kudu完整和详细的接口可以直接参考官方网站上的描述。 地址: https://kudu.apache.org/apidocs。 父主题: Kudu开发指南(普通模式)
恢复。 告警属性 告警ID 告警级别 是否自动清除 45425 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 对系统的影响 ClickHouse服务异常,无法通过FusionInsight
Hue系统启动与Kerberos认证用户,并用于访问HDFS和Hive。 flume 系统随机生成 Flume系统启动用户,用于访问HDFS和Kafka,对HDFS目录“/flume”有读写权限。 flume_server 系统随机生成 Flume系统启动用户,用于访问HDFS和Kafka,对HDFS目录“/flume”有读写权限。
Spark常用命令介绍 Spark命令详细的使用方法参考官方网站的描述:http://spark.apache.org/docs/latest/quick-start.html。 常用命令 Shell命令执行方法: 进入Spark客户端目录。 初始化环境变量。 source /o
in Kerberos database”和“Address already in use”。 处理步骤 依次登录WebHCat实例所在节点检查“/etc/hosts”文件中的IP及主机名称映射关系是否正确。且“/etc/hostname”和“/etc/HOSTNAME”文件的We
群保留一个用于缩放、并行化和容错性的分区(Partition)。每个分区是一个有序、不可变的消息序列,并不断追加到提交日志文件。分区的消息每个也被赋值一个称为偏移顺序(Offset)的序列化编号。 图1 Kafka结构 表1 Kafka结构图说明 名称 说明 Broker 在Ka
/etc/hosts,查看host文件中记录切换VPC之前的IP。 登录MRS管理控制台,在MRS集群概览页面查看“集群ID”和“虚拟私有云”名称。 登录ECS管理控制台,在搜索栏选择“名称”输入MRS集群ID,搜索MRS集群的所有节点。 在MRS集群节点的操作列选择“更多 > 网络设置 > 切换VPC”,切换节点VPC。
HDFS Java API接口介绍 HDFS完整和详细的接口可以直接参考官方网站描述: http://hadoop.apache.org/docs/r3.1.1/api/index.html HDFS常用接口 HDFS常用的Java类有以下几个: FileSystem:是客户端应用的核心类。常用接口参见表1。
region:Doris服务所在集群所属区域。 obs.bucket:3创建的OBS并行文件系统名称。 obs.root.path:数据存储的目录,例如“doris_data”,无须写为OBS绝对路径“obs://并行文件系统名称/目录名称”。 obs.access_key:8获取的AK信息。 obs.secret_key:8获取SK的信息。