检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
generic-jdbc-connector 架构名称 数据库模式名。 表名 数据库表名,用于最终保存传输的数据。 临时表 数据库临时表的表名,用于临时保存传输过程中的数据,字段需要和“表名”配置的表一致。 oracle-partition-connector 架构名称 数据库模式名。 表名 数据库表名,用于最终保存传输的数据。
取值 区域 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 华北-北京四 计费模式 MRS提供两种计费模式: 包年/包月 按需计费 选择“按需计费”时,可能需要冻结一定的保证金。详细内容,请参见计费说明。 按需计费 集群名称 集群名
MRS集群中默认安装了一个客户端用于作业提交,也可直接使用该客户端。MRS 3.x及之后版本客户端默认安装路径为Master节点上的“/opt/Bigdata/client”,MRS 3.x之前版本为Master节点上的“/opt/client”。 使用MRS集群客户端安装用户登录客户端所在的节点。
完成(关于这个问题,在当前的HBase版本中的处理的确还欠缺妥当)。 因此,暂时不建议使用该方法关闭一个Region。 采用PutList模式写数据 Table类中提供了两种写数据的接口: public void put(final Put put) throws IOException
compaction.target.io LogFileSizeBasedCompactionStrategy的压缩运行期间要花费的MB量。当压缩以内联模式运行时,此值有助于限制摄取延迟。 500 * 1024 MB hoodie.compaction.daybased.target.partitions
p”将匹配/“opt”目录的子目录下的所有hadoop文件夹。 对于globStatus,分别匹配每个路径组件的glob模式,而对于其他的,直接匹配glob模式。 https://hadoop.apache.org/docs/r3.1.1/api/org/apache/hadoop/fs/FileSystem
-k -i -u user name:password -X POST -HContent-type:application/json -d '{"plainText":"password"}' 'https://x.x.x.x:28443/web/api/v2/tools/encrypt'
p”将匹配/“opt”目录的子目录下的所有hadoop文件夹。 对于globStatus,分别匹配每个路径组件的glob模式,而对于其他的,直接匹配glob模式。 MRS 3.2.0之前版本:https://hadoop.apache.org/docs/r3.1.1/api/or
数据加载所需内存: (“carbon.number.of.cores.while.loading”的值[默认值 = 6]) x 并行加载数据的表格 x (“offheap.sort.chunk.size.inmb”的值[默认值 = 64 MB] + “carbon.blockletgroup
obs://mrs-demo01/ 返回文件列表即表示访问OBS成功。 图5 查看mrs-demo01下的文件列表 执行以下命令进行用户认证(普通模式即未开启Kerberos认证无需执行此步骤)。 kinit hive 输入用户hive密码,默认密码为Hive@123,第一次使用需要修改密码。
用的内存更大,但会导致集群并发能力变小,可根据实际业务情况动态调整。 添加完成后将“立即启动”置为“是”,单击“确定”。 启用TASK容错模式后,会产生中间数据并缓存到文件系统中,过大的查询并发会对文件系统产生较大的磁盘压力。当前HetuEngine默认支持将中间数据缓冲至HDF
多表复杂join场景,建议拆分为两两表join,且两表join为大小表join,小小表join,尽量避免大大表join。也可以将多表复杂join拆分为子查询模式。 SELECT name FROM tab_a WHERE id IN (SELECT id FROM tab_b WHERE name
最终数据的文本编码类型。只对文本类型文件有效。 generic-jdbc-connector 表2 generic-jdbc-connector目的连接属性 参数 说明 模式名称 保存最终数据的数据库名称。 表名 保存最终数据的数据表名称。 ftp-connector或sftp-connector 表3 ftp
distinct(): RDD[T] => RDD[T],作用是去除重复元素的算子。其处理过程代码如下: map(x => (x, null)).reduceByKey((x, y) => x, numPartitions).map(_._1) 这个过程比较耗时,尤其是数据量很大时,建议不要直接对大文件生成的RDD使用。
string); MRS 1.x和MRS3.x及后续版本,操作如下: insert into table user_info(id,name,gender,age,addr) values("12005000201","A","男",19,"A城市"); MRS 2.x版本,操作如下: insert
WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader
更改DataNode的存储目录 操作场景 本章节适用于MRS 3.x及后续版本。 HDFS DataNode定义的存储目录不正确或HDFS的存储规划变化时,MRS集群管理员需要在FusionInsight Manager中修改DataNode的存储目录,以保证HDFS正常工作。适用于以下场景:
generic-jdbc-connector 架构名称 数据库模式名。 表名 数据库表名,用于最终保存传输的数据。 临时表 数据库临时表的表名,用于临时保存传输过程中的数据,字段需要和“表名”配置的表一致。 oracle-partition-connector 架构名称 数据库模式名。 表名 数据库表名,用于最终保存传输的数据。
kerberos认证时用户,在安全版本下必须填写。安全集群需要配置此项,普通模式集群无需配置。 flume_hdfs hdfs.kerberosKeytab kerberos认证时keytab文件路径,在安全版本下必须填写。安全集群需要配置此项,普通模式集群无需配置。 /opt/test/conf/user
MRS3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > ZooKeeper > 实例”。 若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS 3.x及后续版本,登录FusionInsight