检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DFSColocationClient:操作colocation文件的接口。常用接口参见表4。 系统中不保留文件与LocatorId的映射关系,只保留节点与LocatorId的映射关系。当文件使用Colocation接口创建时,系统会将文件创建在LocatorId所对应的节点上。文件创建和写入要求使用Colocation相关接口。
DFSColocationClient:操作colocation文件的接口。常用接口参见表4。 系统中不保留文件与LocatorId的映射关系,只保留节点与LocatorId的映射关系。当文件使用Colocation接口创建时,系统会将文件创建在LocatorId所对应的节点上。文件创建和写入要求使用Colocation相关接口。
Krb5LoginModule required useKeyTab=true keyTab="user.keytab" principal="test@<系统域名>" useTicketCache=false storeKey=true debug=true; }; 确保样例工程依赖的所有Hive、HBase相关jar包已正常获取。
AINTEXT),<service>指kerberos服务名称(如kafka),<domain>指kerberos域名(如hadoop.<系统域名>),<checkpointDir>指checkpoint文件存放路径。 由于Spark Structured Streaming K
NTEXT)。 <service>指kerberos服务名称(如kafka)。 <domain>指kerberos域名(如hadoop.<系统域名>)。 <checkpointDir>指checkpoint文件存放路径,本地或者HDFS路径下。 由于Spark Structured
DFSColocationClient:操作colocation文件的接口。常用接口参见表4。 系统中不保留文件与LocatorId的映射关系,只保留节点与LocatorId的映射关系。当文件使用Colocation接口创建时,系统会将文件创建在LocatorId所对应的节点上。文件创建和写入要求使用Colocation相关接口。
日志级别 级别 描述 FATAL FATAL通常表示程序断言错误。 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 如果您需要修改日志级别,请执行如下操作: 登录FusionInsight
MetaStore,不支持同时访问cluster1的Hive MetaStore和cluster2的Hive MetaStore。 不同集群的用户系统没有同步,因此访问跨集群组件时,用户的权限管理由对端集群的用户配置决定。比如cluster1的userA没有访问本集群HBase meta
enabled 是否开启使用Guardian。 true 进入Guardian服务“概览”页面,选择“更多 > 重启服务”。 配置Hive对接OBS文件系统。 在FusionInsight Manager界面,选择“集群 > 服务 > Hive > 配置 > 全部配置”。 在左侧的导航列表中选择“HiveServer
3.x及之后版本 登录FusionInsight Manager。 选择“系统 > 对接 > Syslog”。 开启“Syslog服务”开关。 MRS 3.x之前版本 登录MRS Manager,单击“系统设置”。 在“配置”区域“监控和告警配置”下,开启“Syslog配置”开关。
lib chown omm:wheel jar包文件名 chmod 600 jar包文件名 登录FusionInsight Manager系统,选择“集群 > 服务 > Loader > 更多 > 重启服务”,输入管理员密码重启Loader服务。 需要提前在MOTService中
式数据集,这个数据集的全部或部分可以缓存在内存中,在多次计算间重用。 RDD的生成: 从HDFS输入创建,或从与Hadoop兼容的其他存储系统中输入创建。 从父RDD转换得到新RDD。 从数据集合转换而来,通过编码实现。 RDD的存储: 用户可以选择不同的存储级别缓存RDD以便重用(RDD有11种存储级别)。
式数据集,这个数据集的全部或部分可以缓存在内存中,在多次计算间重用。 RDD的生成: 从HDFS输入创建,或从与Hadoop兼容的其他存储系统中输入创建。 从父RDD转换得到新RDD。 从数据集合转换而来,通过编码实现。 RDD的存储: 用户可以选择不同的存储级别缓存RDD以便重用(RDD有11种存储级别)。
式数据集,这个数据集的全部或部分可以缓存在内存中,在多次计算间重用。 RDD的生成: 从HDFS输入创建,或从与Hadoop兼容的其他存储系统中输入创建。 从父RDD转换得到新RDD。 从数据集合转换而来,通过编码实现。 RDD的存储: 用户可以选择不同的存储级别缓存RDD以便重用(RDD有11种存储级别)。
name text, value text); 配置“HBase输入”算子,生成三个字段A、B和C: 设置了数据连接器后,可以单击“自动识别”,系统将自动读取数据库中的字段,可根据需要选择添加,然后根据业务场景手动进行完善或者修正即可,无需逐一手动添加。 此操作会覆盖表格内已有数据。
overwrite table h_p1 select 2 as id, 'a2', '2021-01-03' as dt, '19' as hh; 系统响应 可在driver日志中查看命令运行成功或失败。 父主题: Hudi DML语法说明
参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 已创建的用户在本节点无操作权限。 可能原因 扩容过程中已有节点停止或故障。 处理步骤 在FusionInsight Manager首页,选择“集群
CSV文件的列分隔符,用于分隔每行的数据。 string 是 , 换行符 用户根据数据实际情况,填写字符串作为换行符。支持任何字符串。默认使用操作系统的换行符。 string 否 \n 文件名是否作为字段 自定义一个字段,以当前数据所在的文件名作为该字段值。 string 否 无 绝对路径
plica而言的,可以理解为是一种纵向切分。 MergeTree ClickHouse拥有非常庞大的表引擎体系,MergeTree作为家族系统最基础的表引擎,提供了数据分区、一级索引和二级索引等功能。在创建表的时候需要指定表引擎,不同的表引擎会决定一张数据表的最终“性格”,比如数
弹性云服务器的网卡需要与MRS集群在同一个网段中。 申请弹性IP,并与新申请的ECS绑定,并配置安全组出入规则。 下载客户端程序。 登录MRS Manager系统。 选择“服务管理 > 下载客户端 ”,下载“完整客户端”到“远端主机”上,即下载客户端程序到新申请的弹性云服务器上。 登录存放下载的客户端的节点,再安装客户端。