检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
代码认证： 通过获取客户端的principal和keytab文件在应用程序中进行认证。 在安全集群环境下，样例代码需要使用的认证方式如表1所示： 表1 安全认证方式 样例代码 模式 安全认证方式 sparknormal-examples yarn-client 命令认证、配置认证或代码认证，三种任选一种。
通过获取客户端的principal和keytab文件在应用程序中进行认证。 在集群开启Kerberos认证环境下，样例代码需要使用的认证方式如表1所示： 表1 安全认证方式 样例代码 模式 安全认证方式 spark-examples-normal yarn-client 命令认证、配置认证或代码认证，三种任选一种。
日志级别 Spark2x中提供了如表2所示的日志级别。日志级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG。程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。 表2 日志级别 级别 描述 ERROR ERROR表示当前时间处理存在错误信息。
日志级别 Spark2x中提供了如表2所示的日志级别。日志级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG。程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。 表2 日志级别 级别 描述 ERROR ERROR表示当前时间处理存在错误信息。
增大内存可以提高读写性能，可以参考参数“hfile.block.cache.size”（见表2）和参数“hbase.regionserver.global.memstore.size”（见表1）的介绍进行设置。 “-XX:NewSize”与“-XX:MaxNewSize”设置相同
在“备份对象”选择待操作的集群。 在“备份类型”选择备份任务的运行类型，“周期备份”表示按周期自动执行备份，“手动备份”表示由手工执行备份。 创建周期备份任务，还需要填写以下参数： “开始时间”：表示任务第一次启动的时间。 “周期”：表示任务下次启动，与上一次运行的时间间隔，支持按“小时”或按“天”。
参数解释： 资源计划列表。若该参数为空表示不启用资源计划。 约束限制： 当启用弹性伸缩时，资源计划与自动伸缩规则需至少配置其中一种。不能超过5条。 取值范围： 不涉及 默认取值： 不涉及 rules 否 Array of Rule objects 参数解释： 自动伸缩的规则列表。 约束限制：
在“任务名称”填写备份任务的名称。 设置“备份对象”为“OMS”。 在“备份类型”选择备份任务的运行类型。 “周期备份”表示按周期自动执行备份，“手动备份”表示由手工执行备份。 表1 周期备份参数 参数 示例 参数说明 开始时间 2024/11/22 10:29:11 任务第一次启动的时间。
x及之后版本： 登录Manager后，选择“集群 > 服务”，打开服务管理页面。 服务管理页面的服务列表包含了集群中所有已安装的服务。如果选择“平铺视图”，则显示为窗格样式；如果选择“列表视图”，则显示为表格样式。 本操作默认以“平铺视图”进行介绍。 在指定服务窗格右上角选择“ > 停止服务”
只能由英文字母和数字组成，且长度为[1-64]个字符。 默认取值： 不涉及 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 tag 是 Tag object 参数解释： 集群标签。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 表3 Tag 参数 是否必选 参数类型 描述 key 是
MRS组件jar包版本与集群对应关系说明 MRS 3.1.5 表1 MRS 3.1.5版本集群jar版本 组件 组件版本 jar版本 Flink 1.12.2 1.12.2-hw-ei-315008 Hive 3.1.0 3.1.0-hw-ei- 315008 Tez 0.9.2
x及后续版本。 参数入口 参数入口，请参考修改集群服务配置参数。 参数说明 表1 参数说明 配置参数 说明 默认值 supervisor.slots.ports supervisor上能够运行workers的端口列表。每个worker占用一个端口，且每个端口只运行一个worker。通过
指定参数值为“n”表示不更新作业参数直接运行作业。 “-jobType” 表示作业类型，当“-u”的值为“y”时，必须配置。 指定参数值为“import”表示数据导入作业，指定参数值为“export”表示数据导出作业。 “-connectorType” 表示连接器类型，当“-u
从HDFS/OBS中导出数据到关系型数据库 从HBase中导出数据到SFTP服务器 从HBase中导出数据到关系型数据库 从Phoenix表导出数据到SFTP服务器 从Phoenix表导出数据到关系型数据库 从Hive中导出数据到SFTP服务器 从Hive中导出数据到关系数据库 从同一集群内HBase导出数据到HDFS/OBS
周边生态对接类 MRS是否支持对DLI服务的业务表进行读写操作？ OBS是否支持ListObjectsV2协议？ MRS集群内的节点中可以部署爬虫服务吗？ MRS服务是否支持安全删除的能力？ 如何使用PySpark连接MRS Spark？ HBase同步数据到CSS为什么没有映射字段？
日志级别 Hive提供了如表2所示的日志级别。 运行日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。 表2 日志级别 级别 描述 ERROR ERROR表示系统运行的错误信息。 WARN
dfs -mkdir -p /user/developuser/myjobs/apps/spark2x/hive 将表格中的文件上传到对应目录，请参考表2。 表2 文件上传列表 初始文件路径 文件 上传目标目录 Spark客户端目录（如“/opt/client/Spark2x/spark/conf”）
日志级别 Hive提供了如表2所示的日志级别。 运行日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。 表2 日志级别 级别 描述 ERROR ERROR表示系统运行的错误信息。 WARN
--创建数据库名为test的数据库 CREATE DATABASE test ON CLUSTER default_cluster; --创建成功后，通过查询命令验证 show databases; ┌─name───┐ │ default │ │ system │ │ test
--创建数据库名为test的数据库 CREATE DATABASE test ON CLUSTER default_cluster; --创建成功后，通过查询命令验证 show databases; ┌─name───┐ │ default │ │ system │ │ test
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
