检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本章节适用于MRS 3.x及后续版本。 前提条件 当前用户具备待导入作业所在分组的编辑“Jobs Edit”权限。 如果作业所在的分组不存在,则会自动先创建该分组。当前用户就是该分组的创建者,拥有该分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight
集群,可以起到降低OBS服务端带宽的作用,利用MemArtsCC的本地存储,访问热点数据不必跨网络,可以提升Hive的数据读取效率。 前提条件 Guardian服务正常,且已开启存算分离,具体请参考配置Guardian服务对接OBS。 已完成Hive对接OBS,具体请参考配置Hive通过Guardian访问OBS。
HDFS时任务运行失败 用户问题 使用CDM从旧的集群迁移数据至新集群的HDFS过程失败。 问题现象 使用CDM从源HDFS导入目的端HDFS,发现目的端MRS集群故障,NameNode无法启动。 查看日志发现在启动过程中存在“Java heap space”报错,需要修改NameNode的JVM参数。
Scope > global”。 在指定命名空间的“权限”列,勾选“写”。例如勾选默认命名空间“default”的“写”权限。HBase子对象默认可从父对象继承权限,此时已授予向命名空间中的表写入数据的权限。 设置用户读取数据的权限 在“配置资源权限”的表格中选择“待操作集群的名称 > HBase
Scope > global”。 在指定命名空间的“权限”列,勾选“写”。例如勾选默认命名空间“default”的“写”。HBase子对象默认可从父对象继承权限,此时已授予向命名空间中的表写入数据的权限。 设置用户读取数据的权限 在“配置资源权限”的表格中选择“待操作集群的名称 > HBase
DataBase设计 业务隔离设计-各业务分库设计 在业务规划时,不同业务归属于不同数据库,便于后续对应用户关联的数据库下表、视图等数据库对象权限的分离管理和维护。 业务隔离设计-不要在system库中创建业务表 system数据库是ClickHouse默认的系统数据库,默认数据
ata region并挂载在某个槽位上。所以ConfigNode的内存容量占用跟存储组个数和该存储组持续写入的时间相关。 槽位分配相关对象 对象大小(字节) TTimePartitionSlot 4 TSeriesPartitionSlot 8 TConsensusGroupId
Job创建后的Jobid 返回结果 参数 描述 status 包含job状态信息的json对象。 profile 包含job信息的json对象。WebHCat解析JobProfile对象中的信息,该对象因Hadoop版本不同而不同。 id Job的id。 percentComplete 完成百分比,比如75%
“最大备份数”:填写备份目录中可保留的备份文件集数量。 “OBS”:表示将备份文件保存在OBS中。 选择此参数值,还需要配置以下参数: “目的端路径”:填写保存备份数据的OBS目录。 “最大备份数”:填写备份目录中可保留的备份文件集数量。 MRS 3.1.0及之后版本才支持备份数据到OBS。 单击“确定”保存。
“最大备份数”:填写备份目录中可保留的备份文件集数量。 “OBS”:表示将备份文件保存在OBS中。 选择此参数值,还需要配置以下参数: “目的端路径”:填写保存备份数据的OBS目录。 “最大备份数”:填写备份目录中可保留的备份文件集数量。 MRS 3.1.0及之后版本才支持备份数据到OBS。 单击“确定”保存。
如下,配额由各个基础服务管理,如需扩大配额,请联系对应服务的技术支持进行扩容: 弹性云服务器 裸金属服务器 虚拟私有云 云硬盘 镜像服务 对象存储服务 弹性公网IP 消息通知服务 统一身份认证服务 其配额查看及修改请参见关于配额。
证的安全风险。集群中由KrbServer服务提供Kerberos认证支持。 Kerberos用户对象 Kerberos协议中,每个用户对象即一个principal。一个完整的用户对象包含两个部分信息:用户名和域名。在运维管理或应用开发的场景中,需要在客户端认证用户身份后才能连接到
public FileStatus getFileStatus(Path f) 通过该接口可以获取文件或目录的FileStatus对象,该对象记录着该文件或目录的各种状态信息,其中包括修改时间、文件目录等等。 public BlockLocation[] getFileBlo
public FileStatus getFileStatus(Path f) 通过该接口可以获取文件或目录的FileStatus对象,该对象记录着该文件或目录的各种状态信息,其中包括修改时间、文件目录等。 public BlockLocation[] getFileBloc
public FileStatus getFileStatus(Path f) 通过该接口可以获取文件或目录的FileStatus对象,该对象记录着该文件或目录的各种状态信息,其中包括修改时间、文件目录等等。 public BlockLocation[] getFileBlo
public FileStatus getFileStatus(Path f) 通过该接口可以获取文件或目录的FileStatus对象,该对象记录着该文件或目录的各种状态信息,其中包括修改时间、文件目录等等。 public BlockLocation[] getFileBlo
进行kerberos认证(未开启Kerberos认证集群可以跳过此步骤) 创建一个org.apache.hadoop.hbase.rest.client.Cluster类的集群对象,通过调用集群类的add方法和REST server的集群IP和端口来添加集群。 Cluster cluster = new Cluster();
public FileStatus getFileStatus(Path f) 通过该接口可以获取文件或目录的FileStatus对象,该对象记录着该文件或目录的各种状态信息,其中包括修改时间、文件目录等等。 public BlockLocation[] getFileBlo
模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “目的端NameNode IP地址”:填写备集群NameNode业务平面IP地址,支持主节点或备节点。 “目的端路径”:填写备集群保存备份数据的HDFS目录。不支持填写HDFS中的隐藏目录,例如快照
如需添加多个参数,请单击右侧增加。 例如作业需要通过AK/SK方式访问OBS,增加以下服务配置参数: fs.obs.access.key:访问OBS的密钥ID。 fs.obs.secret.key:访问OBS与密钥ID对应的密钥。 - 命令参考 用于展示提交作业时提交到后台执行的命令。