检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
取值范围: 只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值: 不涉及 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。 约束限制: 不涉及 取值范围: 只能由英文字
使用KafkaUI时:已创建具有KafkaUI页面访问权限的用户,如需在页面上进行相关操作,例如创建Topic,需同时授予用户相关权限,请参考Kafka用户权限说明。 第一次访问Manager和KafkaUI,需要在浏览器中添加站点信任以继续访问KafkaUI。 使用Kafka客户端生产消费数据(MRS 3.x之前版本)
创建HBase表 功能简介 HBase通过org.apache.hadoop.hbase.client.Admin对象的createTable方法来创建表,并指定表名、列族名。创建表有两种方式(强烈建议采用预分Region建表方式): 快速建表,即创建表后整张表只有一个Regio
创建HBase表 功能简介 HBase通过org.apache.hadoop.hbase.client.Admin对象的createTable方法来创建表,并指定表名、列族名。创建表有两种方式(强烈建议采用预分Region建表方式): 快速建表,即创建表后整张表只有一个Regio
的ColumnarBatch支持,从而避免拥有聚合表的宽模式(大量key字段或value字段)时产生的性能问题。 操作步骤 要启动聚合算法优化,在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数介绍 参数 描述 默认值 spark.sql
按需计费MRS集群按秒计费,每一个小时整点结算一次费用,每个MRS集群节点单独计费,您可以在管理控制台选择页面上方的“费用 > 费用账单”,进入费用中心后,在“账单管理 > 流水和账单明细”的“流水账单”中核对每一个计费周期的信息是否和实际相符,具体如表1所示: 表1 MRS集群流水账单 产品类型
跨域场景不支持建表。 描述 使用CREATE TABLE创建一个具有指定列的、新的空表。使用CREATE TABLE AS创建带数据的表。 使用可选参数IF NOT EXISTS,如果表已经存在则不会报错。 WITH子句可用于在新创建的表或单列上设置属性,如表的存储位置(loc
当前场景执行完毕后删除相关配置文件或加强安全管理。 表1 Flume角色服务端所需修改的参数列表 参数名称 参数值填写规则 参数样例 ssl 是否启用SSL认证(基于安全要求,建议启用此功能)。 true表示启用。 false表示不启用。 true keystore 服务端证书。
2x客户端的“spark-defaults.conf”文件中配置。 表1 快速配置常用参数 配置项 说明 默认值 spark.sql.parquet.compression.codec 对于非分区parquet表,设置其存储文件的压缩格式。 在JDBCServer服务端的“spark-defaults
2x客户端的“spark-defaults.conf”文件中配置。 表1 快速配置常用参数 配置项 说明 默认值 spark.sql.parquet.compression.codec 对于非分区parquet表,设置其存储文件的压缩格式。 在JDBCServer服务端的“spark-defaults
点、一个end节点和多个实现具体业务的action节点组成。 参数解释 “workflow.xml”文件中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name 流程文件名 start 流程开始节点 end 流程结束节点 action 实现具体业务动作的节点(可以是多个)
点、一个end节点和多个实现具体业务的action节点组成。 参数解释 “workflow.xml”文件中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name 流程文件名 start 流程开始节点 end 流程结束节点 action 实现具体业务动作的节点(可以是多个)
过设置一组Active/Standby的ResourceManager节点来实现的(如图1)。与HDFS的高可用性方案类似,任何时间点上都只能有一个ResourceManager处于Active状态。当Active状态的ResourceManager发生故障时,可通过自动或手动的
当前IAM用户名中存在空格时(例如admin 01),不支持添加作业。 单击“作业管理”,在作业列表界面单击“添加”。 “作业类型”选择“HadoopStreaming”,参考表1配置作业信息。 表1 作业配置信息 参数 描述 示例 作业名称 作业名称,只能由字母、数字、中划线和下划线组成,并且长度为1~64个字符。
MRS是否支持对DLI服务的业务表进行读写操作? 问: MRS是否支持对DLI服务的业务表进行读写操作? 答: 如果数据存放在OBS上,则支持使用MRS服务中的Spark读取DLI表,对表数据进行灵活处理,结果存入另一张DLI表。 如果数据不存放在OBS上,则不支持。 父主题: 周边生态对接类
{cluster_id}/tags/status 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围: 只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值:
ume-1.9.0/conf”目录下。 “-s”(可选):Cgroup阈值,阈值取值范围为1~100*N之间的整数,N表示机器cpu核数。默认阈值为“-1”,表示加入到Cgroup的进程不受cpu使用率限制。 “-l”(可选):日志路径,默认值为“/var/log/Bigdata
JDBC方式执行SQL语句在集群中创建dbName变量对应的数据库。 String createDatabaseSql = "create database if not exists " + dbName; public static void execDDL(Connection connection
准备HBase应用开发和运行环境 准备开发环境 在进行二次开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
luster_id}/iam-sync-user 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围: 只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值: