检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
户对应的角色。具体操作请参见为MRS集群用户绑定租户。 创建租户时系统会自动创建一个Yarn任务队列，并自动以租户名称命名该队列。如果已经存在同名队列，新队列命名为“租户名称-N”。“N”表示从1开始的自然数，存在同名队列的时候N会自动累加以区别已有队列。例如“saletenan
通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults
通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults
通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults
M是在同一个进程下。 表1 安全认证方式 安全认证方式 说明 配置方法 Kerberos认证 当前只支持keytab认证方式。 从KDC服务器上下载用户keytab，并将keytab放到Flink客户端所在主机的某个文件夹下(例如/home/flinkuser/keytab)。
级，导致开源Kylin与MRS 1.9.3版本进行对接时存在Jetty版本的兼容性问题。 按以下步骤进行操作可以完成部署和对接。 在一个ECS节点进行MRS Client安装，具体请参考集群外节点使用MRS客户端。本操作以MRS客户端安装路径为“/srv/client/”为例进行说明。
态枚举。 示例： status job -j 1 status job -j 1 -s create命令扩展属性 针对HDFS与SFTP服务器或RDB进行数据交换场景，MRS在开源sqoop-shell工具的基础上对create命令属性进行扩展，以达到在创建作业时指定行、列分隔符及转换步骤的目的。
创建IAM用户并授权使用MRS 如果您需要对您所拥有的MapReduce服务（MapReduce Service）进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），通过IAM，您可以： 根据企业的业务组织，
/sink的各自的个数都不要超过40个，否则可能导致界面响应时间过长。 表1 Flume角色客户端所需修改的参数列表 参数名称 参数值填写规则 参数样例 名称 不能为空，必须唯一。 test kafka.topics 订阅的Kafka topic列表，用逗号分隔，此参数不能为空。
月，按年购买的集群自动续费周期为1年。 - 通信安全授权 MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则，详情说明请参考配置MRS集群安全通信授权。 勾选授权 单击“立即购买”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerb
parquet低很多。为了解决log读取的性能问题，Hudi通过compaction将log压缩成parquet文件，大幅提升读取性能。 规则 有数据持续写入的表，24小时内至少执行一次compaction。 对于MOR表，不管是流式写入还是批量写入，需要保证每天至少完成1次Co
Spark SQL中重要的类有： SQLContext：是Spark SQL功能和DataFrame的主入口。 DataFrame：是一个以命名列方式组织的分布式数据集 DataFrameReader：从外部存储系统加载DataFrame的接口。 DataFrameStatFunc
Spark SQL中常用的类有： SQLContext：是Spark SQL功能和DataFrame的主入口。 DataFrame：是一个以命名列方式组织的分布式数据集。 HiveContext：获取存储在Hive中数据的主入口。 表5 常用的Actions方法 方法 说明 collect():
通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults
通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults
通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults
n组，普通模式不需要）。 已安装Kafka客户端，客户端安装目录如“/opt/client”。 本示例需创建两个Topic，可参考7，分别命名为“test_2”和“test_3”，并创建“move-kafka-topic.json”文件，创建路径如“/opt/client/Kaf
mv 证书名称.证书格式 root-ca.crt mv 密钥名称.密钥格式 root-ca.pem 例如，将证书文件命名为“root-ca.crt”，密钥文件命名为“root-ca.pem”： mv server.cer root-ca.crt mv server_key.key
入参列表：表示拓扑使用的main方法入参。 例如，提交WordCount计算的拓扑“/opt/storm/topology.jar”并以拓扑命名作为入参，执行： storm jar /opt/storm/topology.jar com.huawei.storm.example.WordCountTopology
ts 删除集群 DELETE /v1.1/{project_id}/clusters/{cluster_id} 弹性伸缩接口 配置弹性伸缩规则 POST /v1.1/{project_id}/autoscaling-policy/{cluster_id} 标签管理接口 给指定集群添加标签
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
