检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
恢复CDL业务数据时需要先停止Kafka服务,待恢复完成后,再启动Kafka服务。 恢复CDL业务数据 在FusionInsight Manager,选择“运维 > 备份恢复 > 备份管理”。
设置Loader作业的执行权限 (包括作业的启动、停止和查看历史记录权限) 在“配置资源权限”的表格中选择“待操作集群的名称 > Loader > 作业分组”。 选择某个作业分组。 在指定作业的“权限”列,勾选“执行”。
以Java Web应用程序的形式运行在Java servlet容器(如:Tomcat)中,并使用数据库来存储工作流定义、当前运行的工作流实例(含实例的状态和变量)。
cd /opt/Bigdata/client chmod 700 clickhouse-examples.jar 在“clickhouse_examples.jar”所在客户端目录下执行如下命令运行jar包: source 客户端安装目录/bigdata_env java -cp
HBase 个数 配置数据操作的MapReduce任务中同时启动的map数量。参数值必须小于或等于3000。 20 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考算子帮助及表2。
创建FlinkServer作业 作业管理 管理创建的作业,包括作业启动、开发、停止、删除和编辑等。 创建FlinkServer作业 父主题: 使用Flink
如何创建FlinkServer作业 作业管理 管理创建的作业,包括作业启动、开发、停止、删除和编辑等。 如何创建FlinkServer作业 父主题: 使用Flink
表1 RegionServer内存调整参数 参数 描述 默认值 GC_OPTS 在启动参数中给RegionServer分配的初始内存和最大内存。
HBase 个数 配置数据操作的MapReduce任务中同时启动的map数量。参数值必须小于或等于3000。 20 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表2。
CarbonData结构 CarbonData作为Spark内部数据源运行,不需要额外启动集群节点中的其他进程,CarbonData Engine在Spark Executor进程之中运行。
true Map数 配置数据操作的MapReduce任务中同时启动的map数量。参数值必须小于或等于3000,建议以FTP服务器当前最大连接数作为其取值。 20 Map数据块大小 HBase不支持此参数,请配置“Map数”。
FILE Map数 配置数据操作的MapReduce任务中同时启动的Map数量。不可与“Map数据块大小”同时配置。参数值必须小于或等于3000,建议以SFTP服务器的CPU的核数作为其取值。
表1 周期备份参数 参数 示例 参数说明 开始时间 2024/11/22 10:29:11 任务第一次启动的时间。 周期 1天 任务下次启动,与上一次运行的时间间隔,支持按“小时”或按“天”。
因此,当数据量达到10T级别以上的Spark任务,建议用户关闭ShuffleService功能,即在“Spark-defaults.conf”配置文件中将配置项“spark.shuffle.service.enabled”配置为“false”。 父主题: Spark Core
除SORT_COLUMNS表属性外,任何DDL命令和属性都不允许包含handler列。 生成的handler列默认被视为排序列。如果SORT_COLUMNS不包含任何sourcecolumns,则将handler列追加到现有的SORT_COLUMNS最后。
为用户提供以下接口: public interface RegisterServerHandler { /** * 启动注册服务器 * @param configuration Flink的Configuration类型 */ void start(Configuration
单击“完成”,服务成功启动。 父主题: 恢复MRS集群组件数据
直接重启耗时约5分钟 滚动重启 滚动重启时,重启节点数据流将停止,启动后恢复 滚动重启10个节点耗时约30分钟 Hue 直接重启 重启期间Hue页面无法访问 直接重启耗时约5分钟 滚动重启 不支持滚动重启 - Loader 直接重启 重启期间无法提交作业 直接重启耗时约5分钟 滚动重启
默认使用CLA(ContainerLogAppender)且容器日志不回滚。
直接重启耗时约5分钟 滚动重启 滚动重启时,重启节点数据流将停止,启动后恢复 滚动重启10个节点耗时约30分钟 Hue 直接重启 重启期间Hue页面无法访问 直接重启耗时约5分钟 滚动重启 不支持滚动重启 - Loader 直接重启 重启期间无法提交作业 直接重启耗时约5分钟 滚动重启