检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“SFTP”：表示备份文件通过SFTP协议保存到服务器中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写备份数据的服务器IP地址。 “端口号”：填写SFTP协议连接备份服务器使用的端口号，默认值为“22”。
“服务器IP地址”：填写NAS服务器IP地址。 “端口号”：填写CIFS协议连接NAS服务器使用的端口号，默认值为“445”。 “用户名”：填写配置CIFS协议时设置的用户名。 “密码”：填写配置CIFS协议时设置的密码。 “服务器共享路径”：填写用户配置的NAS服务器共享目
“用户名”：填写使用SFTP协议连接服务器时的用户名。 “密码”：填写使用SFTP协议连接服务器时的密码。 “源端路径”：填写备份文件在备份服务器中保存的完整路径。例如，“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间.tar.gz”。 “OBS”：表示将备份文件保存在OBS中。
“用户名”：填写使用SFTP协议连接服务器时的用户名。 “密码”：填写使用SFTP协议连接服务器时的密码。 “源端路径”：填写备份文件在备份服务器中保存的完整路径。例如，“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间.tar.gz”。 “OBS”：表示将备份文件保存在OBS中。
单击“管理安全组规则”，检查安全组规则配置。 检查入口方向Any协议的源地址是否为0.0.0.0/0。 如果是，修改入口方向Any协议的远端为指定IP地址。如果不是，则无需修改。 修改成功后，重启集群。 建议与总结 关闭入口方向的Any协议，或者指定入口方向的Any协议远端为指定IP。 父主题： 使用Yarn
); List<AddJobsReqV11> listbodyAddJobs = new ArrayList<>(); listbodyAddJobs.add( new AddJobsReqV11()
SparkSQL访问Hive分区表启动Job前耗时较长如何处理？ 问题背景 使用SparkSql访问Hive的一个数据存放于OBS的一个分区表，但是运行速度却很慢，并且会大量调用OBS的查询接口。 SQL样例： select a,b,c from test where b=xxx 原因分析 按
“SFTP”：表示备份文件通过SFTP协议保存到服务器中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写备份数据的服务器IP地址。 “端口号”：填写SFTP协议连接备份服务器使用的端口号，默认值为“22”。
K，最后一个为SK。 AK信息 SK信息 1 obs://obs-demo-analysis-hwt4/input/ obs://obs-demo-analysis-hwt4/output/ 服务配置参数 用于为本次执行的作业修改服务配置参数。 保持默认不配置。 图7 添加作业 单击“确定”，开始提交作业，执行程序。
Iceberg是一种开放的数据湖表格式，可以基于Iceberg快速地在HDFS或OBS上构建自己的数据湖存储服务。 Iceberg当前为公测阶段，若需使用需联系技术支持申请白名单开通。 当前版本Iceberg仅支持Spark引擎，如需使用其他引擎构建数据湖服务，请使用Hudi。 图1 Iceberg基本架构 Iceberg特性
hadoop fs -D fs.obs.endpoint=<obs-endpoint> -D fs.obs.access.key=<your-ak> -D fs.obs.secret.key=<your-sk> -copyToLocal obs://yourbucket/myfile
参数说明 Syslog协议 服务IP模式 IPV4 设置对接服务器IP地址模式，可选择“IPV4”或者“IPV6”。（仅MRS 3.x及之后版本） 服务IP 192.168.xxx.xxx 设置对接服务器IP地址。 服务端口 514 设置对接端口。 协议 UDP 设置协议类型，包括： TCP
mount.table.root.ufs”的值为“obs://<OBS_BUCKET>/<OBS_DIRECTORY>/”。OBS_BUCKET为一个已有的OBS文件系统名，OBS_DIRECTORY为该文件系统下的目录。 图2 OBS作为Alluxio的底层文件系统 单击“保存配置
MRS是否支持对DLI服务的业务表进行读写操作？ 问： MRS是否支持对DLI服务的业务表进行读写操作？ 答： 如果数据存放在OBS上，则支持使用MRS服务中的Spark读取DLI表，对表数据进行灵活处理，结果存入另一张DLI表。 如果数据不存放在OBS上，则不支持。 父主题： 周边生态对接类
JobGateway手动更新服务客户端 本章节适用于MRS 3.3.1及之后版本。 操作场景 该操作指导用户在MRS集群添加多服务更新服务客户端失败时，手动更新客户端。 前提条件 Manager上已成功添加服务。 仅适用于Spark 、Hive 、Flink服务。 操作步骤 登录Manager页面，选择“集群
务配置参数： fs.obs.access.key：访问OBS的密钥ID。 fs.obs.secret.key：访问OBS与密钥ID对应的密钥。 - 命令参考 用于展示提交作业时提交到后台执行的命令。 - 表2 运行程序参数 参数 参数说明 取值样例 -ytm 设置每个TaskManager容器的内存（单位可选
3.3.1之前版本） 紧急（MRS 3.3.1及之后版本） 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。
15:39:00", "duration" : "2 s", "runningJobs" : [ ], "successedJobs" : [ 0 ], "failedJobs" : [ ] } ], "sqls" : [ { "id" : 0
“SFTP”：表示备份文件通过SFTP协议保存在服务器中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写备份数据的服务器IP地址。 “端口号”：填写SFTP协议连接备份服务器使用的端口号，默认值为“22”。
使用REST接口操作Namespace 功能简介 使用REST服务，传入对应host与port组成的url以及指定的Namespace，通过HTTP协议，对Namespace进行创建、查询、删除，获取指定Namespace中表的操作。 HBase表以“命名空间:表名”格式进行存储
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
