检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
备份恢复 > 恢复管理”。 单击“创建”。 在“任务名称”填写恢复任务的名称。 在“恢复对象”选择待操作的集群。 在“恢复配置”的“业务数据”下,勾选“ClickHouse”。 在“ClickHouse”的“路径类型”,选择一个备份目录的类型。 表1 恢复数据 路径类型 参数说明 RemoteHDFS
Cluster_1_Flume_ClientConfig/Flume/FusionInsight-Flume-1.9.0.tar.gz路径下进行Flume客户端安装。 Flume客户端Cgroup使用指导 加入Cgroup 执行以下命令,加入Cgroup,假设Flume客户端安装
如果使用其他集群用户访问Manager,第一次访问时需要修改密码。新密码需要满足集群当前的用户密码复杂度策略。请咨询管理员。 默认情况下,在登录时输入5次错误密码将锁定用户,需等待5分钟自动解锁。 注销用户退出Manager时移动鼠标到右上角 ,然后单击“注销”。 父主题: 访问集群Manager
恢复管理”。 单击“创建”。 在“任务名称”填写恢复任务的名称。 在“恢复对象”选择待操作的集群。 在“恢复配置”,勾选“元数据和其他数据”下的“HBase”。 在“HBase”的“路径类型”,选择一个备份目录的类型。 选择不同的备份目录时,对应设置如下: “LocalDir”:表
理和运维复杂度较高。 MRS集群管理提供了统一的运维管理平台,包括一键式部署集群能力,并提供多版本选择,支持运行过程中集群在无业务中断条件下,进行扩缩容、弹性伸缩。同时MRS集群管理还提供了作业管理、资源标签管理,以及对上述数据处理各层组件的运维,并提供监控、告警、参数配置、补丁升级等一站式运维能力。
在FusionInsight Manager界面,选择“系统 > 权限 > 角色 > 添加角色”: 设置“角色名称”。 在“配置资源权限”下选择“待操作集群名称 >Hue”,勾选“存储策略管理员”,单击“确定”,为该角色赋予存储策略管理员的权限。 选择“系统 > 权限 > 用户组
S备份时使用增量备份时,每次增量备份都会刷新最近一次全量备份的备份数据,所以不会产生新的恢复点。 在“备份配置”,勾选“元数据和其它数据”下的“HBase”。 在“HBase”的“路径类型”,选择一个备份目录的类型。 备份目录支持以下类型: “LocalDir”:表示将备份文件保
ZooKeeper角色实例所在节点IP地址:clientPort/kafka 主题分区数和主题备份个数不能大于Kafka角色实例数量。 默认情况下,ZooKeeper的“clientPort”为“2181”。 ZooKeeper角色实例所在节点IP地址,填写三个角色实例其中任意一个的IP地址即可。
) 库名称:default(固定名称,不可自定义) 所属Catalog:hive 选择位置:单击“”选择hive Catalog存储路径下的位置,例如“obs://lakeformation-test/hive/default”(需提前创建),单击“确定”。 其他参数根据实际需要进行配置。
) 库名称:default(固定名称,不可自定义) 所属Catalog:hive 选择位置:单击“”选择hive Catalog存储路径下的位置,例如“obs://lakeformation-test/hive/default”(需提前创建),单击“确定”。 其他参数根据实际需要进行配置。
conf”配置文件中,重启JDBCServer实例。 MRS_3.2.0-LTS.1.10以及之后补丁,修复管控面提交Spark长稳业务中业务jar包和业务表在同一个OBS桶下偶现OBS 403认证过期问题,开启方法(若之前有设置过,则跳过):在Master节点通过ps -ef | grep executor命令确
ZooKeeper角色实例所在节点IP地址:clientPort/kafka 主题分区数和主题备份个数不能大于Kafka角色实例数量。 默认情况下,ZooKeeper的“clientPort”为“2181”。 ZooKeeper角色实例所在节点IP地址,填写三个角色实例其中任意一个的IP地址即可。
化后,就需要缓存下来,而不是每一次插入操作,都要实例化一个Table对象(尽管提倡实例缓存,但也不是在一个线程中一直沿用一个实例,个别场景下依然需要重构,可参见下一条规则)。 正确示例: 注意该实例中提供的以Map形式缓存Table实例的方法,未必通用。这与多线程多Table实例
请以实际路径替换。 上述命令会在后台执行该任务,相关日志可以通过客户端安装目录“/opt/client/HDFS/hadoop/logs”下的hadoop-root-balancer-主机名.out查看。 如果需要停止Balance任务,请执行以下命令: bash /opt/cl
请以实际路径替换。 上述命令会在后台执行该任务,相关日志可以通过客户端安装目录“/opt/client/HDFS/hadoop/logs”下的hadoop-root-balancer-主机名.out查看。 如果需要停止Balance任务,请执行以下命令: bash /opt/cl
-sm,--sampling-multiple <arg> 可选参数,用于设置采样倍数,执行采样时,可以划分为更多的区间,单个Region下最多生成该参数值个文件,用于提升工具性能。 注意:该值越大,生成的HFile越多,会导致HBase compaction压力增大,该参数取值范围为[1
备份恢复 > 恢复管理”。 单击“创建”。 在“任务名称”填写恢复任务的名称。 在“恢复对象”选择待操作的集群。 在“恢复配置”,勾选“业务数据”下的“HDFS”。 在“HDFS”的“路径类型”,选择一个备份目录的类型。 备份目录支持以下类型: “RemoteHDFS”:表示将备份文件保存在备集群的HDFS目录。
1:只将Capacity调度器配置转换到Superior。 2:只将Capacity调度器切换到Superior。 集群环境相对简单,租户数小于20的情况下,建议执行模式0,将Capacity调度器配置转换到Superior的同时切换调度器。 执行以下命令。 sh ${BIGDATA_HOME}
Flux --local /opt/my-topology.yaml 如果业务设置为本地模式,请确保提交环境为普通模式环境,当前不支持安全环境下使用命令提交本地模式的业务。 如果使用了properties文件,则提交命令如下: storm jar /opt/jartarget/source
图3 算法流程 概念上shuffle就是一个沟通数据连接的桥梁,实际上shuffle这一部分是如何实现的呢,下面就以Spark为例讲一下shuffle在Spark中的实现。 Shuffle操作将一个Spark的Job分成多个Stage,前面的stages会包括一个或多个Shu