检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对象存储服务”，登录OBS管理控制台。 单击“并行文件系统”，创建一个并行文件系统，并上传测试数据文件。 例如创建的文件系统名称为“mrs-demo-data”，单击系统名称，在“文件”页面中，新建一个文件夹“flink”，上传测试数据至该目录中。 则本示例的测试数据完整路径为“obs://mrs-demo-data
安全模式驱动设置 连接设置。 安全模式（开启Kerberos认证的集群）： 在创建新连接页面的“常规”页签，输入2中创建的用户名和密码，单击“测试链接”，连接成功后，单击“确定”，再单击“完成”。可单击“连接详情（名称、类型...）”修改连接名称。 图3 安全模式“常规”参数设置 普
Map<primitive_type, data_type> CarbonData主要规格 表2 CarbonData主要规格 实体 测试值 测试环境 表数 10000 3个节点，每个executor 4个CPU核，20GB。Driver内存5GB，3个Executor。 总列数：107
单击“创建数据连接”，在弹出的页面中选择数据连接类型，参考表1填写信息，单击“确定”，完成数据连接创建。创建完成后，可在对应数据连接的“操作”列对数据连接进行编辑、测试、删除等操作。 表1 创建数据连接信息 参数名称 参数描述 示例 数据连接类型 选择数据连接的类型，包含HDFS、Kafka、Redis。
按需计费是一种先使用再付费的计费模式，适用于无需任何预付款或长期承诺的用户。本文将介绍按需计费MRS集群的计费规则。 适用场景 集群用于前期程序研发或功能测试。 资源使用有临时性和突发性。 计费周期 按需计费MRS集群按秒计费，每一个小时整点结算一次费用（以UTC+8时间为准），结算完毕后进入新
运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata...” 问题现象 已经拥有Topic访问权限，但是运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata for
运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata...” 问题现象 已经拥有Topic访问权限，但是运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata for
单击“创建数据连接”，在弹出的页面中选择数据连接类型，参考表1填写信息，单击“确定”，完成数据连接创建。创建完成后，可在对应数据连接的“操作”列对数据连接进行编辑、测试、删除等操作。 表1 创建数据连接信息 参数名称 参数描述 示例 数据连接类型 选择数据连接的类型，包含HDFS、Kafka、Redis。
新建集群连接，如：flink_hive。 选择“系统管理 > 集群连接管理”，进入集群连接管理页面。 单击“创建集群连接”，在弹出的页面中参考表1填写信息，单击“测试”，测试连接成功后单击“确定”，完成集群连接创建。 表1 创建集群连接信息 参数名称 参数描述 取值样例 集群连接名称 集群连接的名称，只能包
Map<primitive_type, data_type> CarbonData主要规格 表2 CarbonData主要规格 实体 测试值 测试环境 表数 10000 3个节点，每个executor 4个CPU核，20GB。Driver内存5GB，3个Executor。 总列数：107
如何通过集群外的节点访问MRS集群？ 创建集群外Linux操作系统ECS节点访问MRS集群 创建一个集群外ECS节点，具体请参考购买弹性云服务器。 ECS节点的“可用区”、“虚拟私有云”、“安全组”，需要和待访问集群的配置相同。 在VPC管理控制台，申请一个弹性IP地址，并与ECS绑定。
客户端到服务端通道SSL加密。 true “true”表示开启SSL加密，“false”表示关闭SSL加密。数据传输加解密对性能影响较大，经过测试发现具有200%的性能差异，因此建议性能测试时关闭SSL加密。ConfigNode和IoTDBServer两个角色同名参数都要修改。 iotdb_server_kerberos_qop
如果相关端口打开，但是从别的节点无法连通到该端口，则需要排查下相关网络配置。 23662这个端口每次都是随机的，所以要根据自己启动任务打开的端口来测试。 父主题： 使用Spark
单击“创建集群连接”，在弹出的页面中参考表1填写信息，单击“确定”，完成集群连接创建。创建完成后，可在对应集群连接的“操作”列对集群连接进行编辑、测试、删除等操作。 图1 创建集群连接 表1 创建集群连接信息 参数名称 参数描述 集群连接名称 集群连接的名称。 描述 集群连接名称描述信息。
在“连接”区域，单击“添加”新建一个的连接，在“连接器”中选择“sftp-connector”，单击“添加”，输入配置连接参数，单击“测试”验证连接是否可用，待提示“测试成功”后单击“确定”。Loader支持配置多个SFTP服务器操作数据，单击“添加”可增加多行SFTP服务器的配置信息。 表1
在“连接”区域，单击“添加”新建一个的连接，在“连接器”中选择“sftp-connector”，单击“添加”，输入配置连接参数，单击“测试”验证连接是否可用，待提示“测试成功”后单击“确定”。Loader支持配置多个SFTP服务器操作数据，单击“添加”可增加多行SFTP服务器的配置信息。 表1
Kafka客户端使用实践 操作场景 该任务指导用户在运维场景或业务场景中使用Kafka客户端。 本章节适用于MRS 3.x及后续版本。 前提条件 已安装客户端，例如安装目录为“/opt/client”。 各组件业务用户由MRS集群管理员根据业务需要创建。“机机”用户需要下载key
Hive WebHCat接口介绍 以下示例的IP为WebHCat的业务IP，端口为安装时设置的WebHCat HTTP端口。 除“:version”、“status”、“version”、“version/hive”、“version/hadoop”以外，其他API都需要添加user
Sqoop客户端使用实践 Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(MySQL、PostgreSQL...)间进行数据的传递，可以将一个关系型数据库（例如：MySQL、Oracle、PostgreSQL等）中的数据导进到Hadoop的HDFS中
Hive WebHCat接口介绍 以下示例的IP为WebHCat的业务IP，端口为安装时设置的WebHCat HTTP端口。 除“:version”、“status”、“version”、“version/hive”、“version/hadoop”以外，其他API都需要添加user
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
