检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1.110 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 - 使用Agent 是否选择通过Agent从源端提取数据。 是 Agent 单击“选择”,选择已创建的Agent。
解决NameNode在大量删除操作的时候会出现RPC请求处理慢的问题 解决Hive配置Redis缓存频繁访问表key导致Redis热键问题 解决磁盘写速率和磁盘读速率两个指标无法正常上报问题 解决查看指定时间段内的资源概况,监控数据部分缺失问题 解决NameNode退服缓存残留问题 解决Metastore监控指标缺失问题
overwrite-files 文件输出写操作是否默认覆盖已有文件。 false 否 fs.output.always-create-directory 当文件写入程序的并行度大于1时,输出文件的路径下会创建一个目录,并将不同的结果文件(每个并行写程序任务)放入该目录。 设置为tru
BLOCKCACHE => 'true', BLOCKSIZE => '65536'} MRS集群中Spark及其他引擎禁止执行自读自写的SQL语句。 例如,以下SQL示例即为自读自写: insert overwrite table test select * from test; insert overwrite
'LabelA||LabelB[fallback=NONE],LabelC,LabelD' -path /data命令给“/data”目录设置表达式。 当向“/data”目录下写数据时,至少有一个数据块副本存放在LabelA或者LabelB标签的节点中,剩余的两个数据块副本会被存放在有LabelC和LabelD标签的节点上。
exit(-1); } fprintf(stderr, "hdfsCreateDirectory- SUCCESS! : %s\n", dir); 写文件。 const char* file = "/nativeTest/testfile.txt"; hdfsFile writeFile =
'LabelA||LabelB[fallback=NONE],LabelC,LabelD' -path /data命令给“/data”目录设置表达式。 当向“/data”目录下写数据时,至少有一个数据块副本存放在LabelA或者LabelB标签的节点中,剩余的两个数据块副本会被存放在有LabelC和LabelD标签的节点上。
overwrite-files 文件输出写操作是否默认覆盖已有文件。 false 否 fs.output.always-create-directory 当文件写入程序的并行度大于1时,输出文件的路径下会创建一个目录,并将不同的结果文件(每个并行写程序任务)放入该目录。 设置为tru
Permissions”,参照表格上述相关操作,根据需求,给用户勾选相应权限。 其他用户库表操作 参照表格上述操作添加对应权限。 给当前用户添加其他用户库表的HDFS路径的读、写、执行权限,具体配置请参考添加HDFS的Ranger访问权限策略。 在Ranger上为用户添加Spark SQL的访问策略后,需要在HDFS
Permissions”,参照表格上述相关操作,根据需求,给用户勾选相应权限。 其他用户库表操作 参照表格上述操作添加对应权限。 给当前用户添加其他用户库表的HDFS路径的读、写、执行权限,具体配置请参考添加HDFS的Ranger访问权限策略。 在Ranger上为用户添加Spark SQL的访问策略后,需要在HDFS
配置HetuEngine资源组 资源组介绍 资源组机制从资源分配的角度控制实例的整体查询负载,并可以对查询实施排队策略。可以在一个计算实例资源下创建多个资源组,并且每个提交的查询将分配给一个特定的资源组执行。在资源组执行新查询之前,将检查当前资源组的资源负载是否超过实例分配给它的
数组函数和运算符 下标操作符:[] 描述:下标操作符用于访问数组中的元素,并从1开始建立索引。 select myarr[5] from (values array [1,4,6,78,8,9],array[2,4,6,8,10,12]) as t(myarr); _col0
direct stram API时,从每个Kafka分区读取数据的最大速率限制,单位:个/秒, 0表示无限制。 0 Parallelism 写Hudi时的并发数。 100 Target Hive Database 目标Hive的数据库名称。 default Hudi表属性配置方式 Hudi表属性配置方式,包括:
CarbonData常见配置参数 本章节介绍CarbonData所有常用参数配置的详细信息。 carbon.properties相关参数 根据用户实际使用场景在服务端或者客户端配置CarbonData相关参数。 服务端:登录FusionInsight Manager页面,选择“集群
CarbonData常见配置参数 本章节介绍CarbonData所有配置的详细信息。 carbon.properties相关参数 根据用户实际使用场景在服务端或者客户端配置CarbonData相关参数。 服务端:登录FusionInsight Manager页面,选择“集群 > 服务
thrift/<hostname> 系统随机生成 ThriftServer系统访问HBase的用户,拥有HBase所有NameSpace和表的读、写、执行、创建和管理的权限。<hostname>表示集群中安装ThriftServer节点的主机名。 hive/hadoop.<系统域名> 系统随机生成
迁移MRS集群内ClickHouse数据至其他MRS集群 本章节仅适用于MRS 3.2.0及之后版本。 操作场景 场景一:随着MRS ClickHouse业务数量的增长,原有集群的存储和计算资源已不满足业务需求,需要对集群进行拆分,将部分用户业务及数据库数据迁移到新建集群中。 场景二:MRS
> IoTDB > 普通用户权限”,勾选root根目录的“设置数据库”权限;再单击“root”,选择对应的存储组,勾选“创建”、“修改”、“写”、“读”权限。 选择“用户 > 添加用户”,在新增用户界面,创建一个人机用户,例如testuser。 “用户组”需加入“iotdbgroup”用户组。
的错误,需要指定"spark.sql.streaming.checkpointLocation"参数,且用户必须具有该参数指定的目录的读、写权限。 --conf "spark.executor.extraJavaOptions=-Djava.security.auth.login
MRS集群日志概述 日志描述 MRS集群的日志保存路径为“/var/log/Bigdata”。日志分类见下表: 表1 日志分类一览表 日志类型 日志描述 安装日志 安装日志记录了Manager、集群和服务安装的程序信息,可用于定位安装出错的问题。 运行日志 运行日志记录了集群各服