检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询作业exe对象详情(废弃) 功能介绍 查询指定作业的exe对象详细信息。该接口不兼容Sahara。 MRS 3.x版本镜像,不支持MRS V1.1作业管理接口,需要使用V2作业管理接口。 接口约束 无 调试 您可以在API Explorer中调试该接口。 URI GET /v1.1/{project_id
管理MRS集群备份恢复任务 系统管理员可以通过Manager修改已创建的备份任务的配置参数,以适应业务需求的变化。不支持修改任何恢复任务配置参数,只能查看恢复任务的配置参数。 对系统的影响 修改备份任务后,新的参数在下一次执行任务时生效。 前提条件 已创建备份任务。 已根据业务实际需求,规划新的备份任务策略。
job.monitor.check.period 大作业监控周期,配置为0表示禁用大作业监控。 单位:分钟。 10 父主题: Yarn运维管理
Hudi提供的savepoint就可以将不同的commit保存起来以便清理程序不会将其删除,后续可以使用Rollback进行恢复。 使用spark-sql管理savepoint。 示例如下: 创建savepoint call create_savepoint('hudi_test1', '20220908155421949');
限说明。 在“KafkaManager WebUI”右侧,单击URL链接,访问KafkaUI的页面。 单击“Topics”,进入Topic管理页面。 可在当前页面进行如下操作: 在“Topic List”栏可查看当前集群已创建的Topic的名称、状态、分区数量、创建时间和副本个数等信息。
用当前系统用户访问远程资源。 直接互信 系统在配置互信的两个集群分别保存对端系统的互信票据,通过互信票据访问对端系统。 父主题: 集群互信管理
Streaming基本概念。 基本概念 准备开发和运行环境 Spark的应用程序支持使用Scala、Java、Python三种语言进行开发。推荐使用IDEA工具,请根据指导完成不同语言的开发环境配置。Spark的运行环境即Spark客户端,请根据指导完成客户端的安装和配置。 准备本地应用开发环境 准备工程
CoGroupedStreams:在窗口上对数据进行coGroup操作,可以实现流的各种join类型。 图1 Flink Stream的各种流类型转换 流数据输入 表1 流数据输入的相关接口 API 说明 def fromElements[T: TypeInformation](data:
CoGroupedStreams:在窗口上对数据进行coGroup操作,可以实现流的各种join类型。 图1 Flink Stream的各种流类型转换 流数据输入 表1 流数据输入的相关接口 API 说明 def fromElements[T: TypeInformation](data:
CoGroupedStreams:在窗口上对数据进行coGroup操作,可以实现流的各种join类型。 图1 Flink Stream的各种流类型转换 流数据输入 表1 流数据输入的相关接口 API 说明 def fromElements[T: TypeInformation](data:
[5, 6, 7] | [25, 36, 49] (3 rows) 利用transform()函数将数组元素转为字符串,无法转换则转为NULL输出,避免报错产生: SELECT transform(prices, n -> TRY_CAST(n AS VARCHAR)
sslcontext_tls.html#matchsslcontext_tls。 安装和配置Eclipse 用于开发Presto应用程序的工具。版本要求如下: JDK使用1.7版本,Eclipse使用3.7.1及以上版本。 JDK使用1.8版本,Eclipse使用4.3.2及以上版本。
PARTITON语句将数据加载到分区时,只能加载到静态分区。 动态分区:通过查询命令,将结果插入到某个表的分区时,可以使用动态分区。 动态分区通过在客户端工具执行如下命令开启: set hive.exec.dynamic.partition=true; 动态分区默认模式是“strict”,也就是
答: MRS集群内节点上的sudo log文件是omm用户的操作记录,以方便问题的定位,用户可以清理。 因为日志占用了一部分存储空间,建议管理员清除比较久远的操作日志释放资源空间。 日志文件较大,可以将此文件目录添加到“/etc/logrotate.d/syslog”中,让系统做日志老化
riptlog/ssh-agent-monitor.log”。 如果把omm的用户目录删除了,需要联系MRS运维人员修复。 父主题: 节点管理类
已有集群绑定OBS委托。 查看Launcher作业对应的日志。作业管理中单击查看日志,查看Launcher作业中的stdout或stderr中的日志是否有报错。根据具体错误日志进行进一步排查。 父主题: 作业管理类
在“导入”界面中选择要导入的配置文件的路径。 单击“上传”,开始导入作业。当弹出框中进度条显示100%,则说明作业导出完成。 父主题: 作业管理
限说明。 在“KafkaManager WebUI”右侧,单击URL链接,访问KafkaUI的页面。 单击“Topics”,进入Topic管理页面。可在当前页面进行如下操作: 在“Topic List”栏可查看当前集群已创建的Topic的名称、状态、分区数量、创建时间和副本个数等信息。
200 查询用户(组)与IAM委托的映射关系成功 400 查询用户(组)与IAM委托的映射关系失败 错误码 请参见错误码。 父主题: 委托管理
在MRS集群中新增一个作业,并执行作业。该接口不兼容Sahara。 集群ID可参考查询集群列表接口获取。 MRS 3.x版本镜像,不支持MRS V1.1作业管理接口,需要使用V2作业管理接口。 接口约束 DistCp作业需要配置文件操作类型(file_action)。 Spark SQL需要配置Spark SQ