检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业所依赖的原始lib包。无实体进程,作业运行过程不依赖FlinkResource。 FlinkServer:基于Web的作业管理二次开发平台,可直接在界面开发与管理FlinkSQL作业。具有运维管理界面化、作业开发SQL标准化等特点。 Flink结构如图2所示。 图2 Flink结构
附录 MRS所使用的弹性云服务器规格 MRS所使用的裸金属服务器规格 状态码 错误码 获取项目ID 获取账号ID 获取MRS集群信息 MRS支持的角色与组件对应表
"statusCode":0}]} 如果无法查询出健康状态码或者浏览器一直无响应,可能是由于Oozie进程故障导致服务不可用,请参考13进行处理。 根据查询到的错误码执行相关处理步骤,请参考表1。 表1 Oozie服务健康状态码一览表 状态码 错误描述 错误原因 处理步骤 0 服务正常 无
单击“访问密钥”页签,您可以在访问密钥列表中查看访问密钥ID(AK),在下载的.csv文件中查看秘密访问密钥(SK). 若没有可用的访问密钥,需单击“新增访问密钥”,输入验证码或密码。单击“确定”,生成并下载访问密钥。 请及时下载保存,弹窗关闭后将无法再次获取该密钥信息,但您可重新创建新的密钥。 为了账号安全性,建
创建物化视图时的catalog必须指定mv,schema可以自行创建 AS SELECT子句需注意创建物化视图的“AS SELECT”的子句列出的事项 创建有效期为1天不启动自动刷新的物化视图 create materialized view mv.default.mv1 with(storage_table='hive
"tag" : { "key" : "DEV", "value" : "DEV1" } } 响应示例 无 状态码 状态码 描述 204 指定集群的标签添加成功 错误码 请参见错误码。 父主题: 标签管理接口
此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 相关参数获取方法如下: MRS 2.x及以前版本: 当前慢盘故障告警的检查原理为: 在Linux平台上判断IO是否存在问题,输入命令iostat -x -t 1,观察svctm的值(如图所示红色框中的部分)。 svctm值表示该磁盘IO服务时间。
"node_group_2", "resource_pool_name" : "resource_1" } 响应示例 无 状态码 状态码 描述 202 删除弹性伸缩策略成功 错误码 请参见错误码。 父主题: 弹性伸缩接口
"DEV1" }, { "key" : "DEV2", "value" : "DEV2" } ] } 响应示例 无 状态码 状态码 描述 204 操作成功。 错误码 请参见错误码。 父主题: 标签管理接口
登录华为云管理控制台,在“控制台”页面,鼠标移动至右上方的用户名,在下拉列表中选择“我的凭证”。 单击“访问密钥”页签,单击“新增访问密钥”,输入验证码或密码。单击“确定”,生成并下载访问密钥。 在.csv文件中获取创建Catalog所需的AWS_ACCESS_KEY、AWS_SECRET_KEY参数值,对应关系为:
在“主页”页签的集群名称后单击,单击“下载客户端”下载集群客户端。 图2 下载客户端 在“下载集群客户端”弹窗中,配置以下参数: 选择客户端类型:选择“完整客户端”。 选择平台类型:默认勾选即可,例如“x86_64”。 勾选“仅保存到如下路径”,使用默认保存路径,文件生成后将保存在集群主OMS节点的“/tmp/F
单击需要操作的集群名称,选择“更多 > 下载客户端”,弹出“下载集群客户端”信息提示框。 选择“完整客户端”,选择与待安装节点架构相匹配的平台类型,勾选“仅保存到如下路径”,单击“确定”开始生成客户端文件。 文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。
数据进行导入、分析等操作,展示了如何构建弹性、低成本的离线大数据分析。 方案架构 Hive是建立在Hadoop上的数据仓库框架,提供大数据平台批处理计算能力,能够对结构化/半结构化数据进行批量分析汇总完成数据计算。提供类似SQL的Hive Query Language语言操作结构
在“主页”页签的集群名称后单击,单击“下载客户端”下载集群客户端。 图2 下载客户端 在“下载集群客户端”弹窗中,配置以下参数: 选择客户端类型:选择“完整客户端”。 选择平台类型:默认勾选即可,例如“x86_64”。 勾选“仅保存到如下路径”,使用默认保存路径,文件生成后将保存在集群主OMS节点的“/tmp/F
Spark Python Spark是Spark除了Scala、Java两种API之外的第三种编程语言。不同于Java和Scala都是在JVM平台上运行,Python Spark不仅会有JVM进程,还会有自身的Python进程。以下配置项只适用于Python Spark场景,而其他配置项也同样可以在Python
单击需要操作的集群名称,选择“更多 > 下载客户端”,弹出“下载集群客户端”信息提示框。 选择“完整客户端”,选择与待安装节点架构相匹配的平台类型,勾选“仅保存到如下路径”,单击“确定”开始生成客户端文件。 文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。
timestamp=2021-05-14T15:28:56.755, value=City7 ... 数据导入集群后,就可以继续基于大数据平台上层应用对数据进行分析处理了。 父主题: 数据迁移
在“主页”页签的集群名称后单击,单击“下载客户端”下载集群客户端。 图2 下载客户端 在“下载集群客户端”弹窗中,配置以下参数: 选择客户端类型:选择“完整客户端”。 选择平台类型:默认勾选即可,例如“x86_64”。 勾选“仅保存到如下路径”,使用默认保存路径,文件生成后将保存在集群主OMS节点的“/tmp/F
Spark Core 日志聚合下,如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中
作业状态码。 约束限制: 不涉及 取值范围: -1:Terminated 1:Starting 2:Running 3:Completed 4:Abnormal 5:Error 默认取值: 不涉及 job_final_status Integer 参数解释: 作业最终状态码。 约束限制: