MRS集群配置参数 参数 示例 参数说明 计费模式 按需计费 选择待创建的集群的计费模式,MRS提供“包年/包月”与“按需计费”两种计费模式。 按需计费是一种后付费模式,即先使用再付费,按照MRS集群实际使用时长计费。 区域 华北-北京四 选择区域。 不同区域的云服务产品之间内网互不相通。请就
GET /v1.1/{project_id}/cluster_infos 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围: 只能由英文字母和数字组成,且长度为[1-64]个字符。
GET /v2/{project_id}/data-connectors 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围: 只能由英文字母和数字组成,且长度为[1-64]个字符。
每个角色可以部署一个或多个实例。 服务:服务对外表现为集群提供的组件业务能力,集群中的每个组件对应一个服务名,提供一种服务。 角色:角色是服务的组成要素,每个服务由一个或多个角色组成,服务通过角色安装到节点(即服务器)上,保证服务正常运行。 实例:当一个服务的角色安装到节点上,
yaml_file 输入源集群、目的集群的用户名和密码 元数据搬迁失败处理方法: 排查元数据搬迁失败原因,仔细排查配置文件内容,检视是否有参数配置错误。 是,如果有参数配置错误,请重新配置并执行元数据搬迁。 否,如果没有参数配置错误,请执行2。 参考表4中的“databases”和“tables
执行的百分比)的查询被终止,同时两个查询在完成百分比方面的差异在5%以内,则内存使用量大的查询被终止。 确定配置完成后是否立即启动实例: 是,配置完成后立即启动实例。 否,配置完成后需手动启动实例。 单击“确定”,等待实例配置完成。 计算实例维护操作注意事项 当HetuEngin
进入服务页面。在“服务状态”页签单击“更多”,选择“重启服务”或“滚动重启服务”。 升级路径不一样重启的组件不一样,详见表1。 1.如果是跨补丁版本升级,需要重启的组件为各版本重启组件的合集。 表1 重启组件 集群当前补丁版本 目标补丁版本 重启的组件 MRS 3.1.0 MRS
com/templeton/v1/ddl 参数 参数 描述 exec 需要执行的HCatalog DDL语句。 group 当DDL是创建表时,创建表使用的用户组。 permissions 当DDL是创建表时,创建表使用的权限,格式为rwxr-xr-x。 返回结果 参数 描述 stdout HCatalog执行时的标准输出值,可能为空。
complete. 执行以下命令,配置环境变量。 source /opt/Flumeenv/bigdata_env 客户端数量是否为1。 是,采用单独安装模式,执行8,安装结束。 否,采用批量安装模式,执行9。 在Flume客户端安装目录下执行以下命令,安装客户端到指定目录(绝对
MRS集群配置参数 参数 示例 参数说明 计费模式 按需计费 选择待创建的集群的计费模式,MRS提供“包年/包月”与“按需计费”两种计费模式。 按需计费是一种后付费模式,即先使用再付费,按照MRS集群实际使用时长计费。 区域 华北-北京四 选择区域。 不同区域的云服务产品之间内网互不相通。请就
表示Stream Load的最大导入文件大小,默认值为10G,单位为MB。 如果原始文件超过该值,则需要适当调整该参数值。 由于Stream Load是由BE进行导入并分发数据,建议导入数据量在1G到10G之间。由于默认最大Stream Load的导入数据量为10G,所以如果要导入超过10G
按照报错提示修改请求参数 400 0179 The job type must be SparkSql or SparkScript. 作业类型必须是SparkSql或者SparkScript 按照报错提示修改请求参数 400 0180 The job is being submitted
spark.shuffle.manager 处理数据的方式。有两种实现方式可用:sort和hash。sort shuffle对内存的使用率更高,是Spark 1.2及后续版本的默认选项。 SORT spark.deploy.zookeeper.url Zookeeper的地址,多个地址以逗号隔开。
spark.shuffle.manager 处理数据的方式。有两种实现方式可用:sort和hash。sort shuffle对内存的使用率更高,是Spark 1.2及后续版本的默认选项。Spark2.x及后续版本不支持hash。 SORT spark.deploy.zookeeper.url
G PROPERTIES,则将所有表属性复制到新表中。如果WITH子句指定的属性名称与复制的属性名称相同,则将使用WITH子句中的值。默认是EXCLUDING PROPERTIES属性,而且最多只能为一个表指定INCLUDING PROPERTIES属性。 PARTITIONED
参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围: 只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值: 不涉及 version_name 是 String 参数解释: 集群版本。例如“MRS
keyprovider.parameters.encryptedtext 导致HBase服务启动异常 修改相关配置项时请严格按照提示描述,加密相关配置项是有关联的,确保修改后的值有效 已使用加密的情况下关闭或者切换加密算法 关闭主要指修改hbase.regionserver.wal.encry
集群中所有组件已启用的Ranger鉴权功能。 在服务“概览”页面右上角单击“更多 > 停用Ranger鉴权”,如果“停用Ranger鉴权”是灰色,则表示未开启Ranger鉴权无需停用Ranger鉴权,如图5所示。 图5 停用Ranger鉴权 (可选)如需使用已有鉴权策略请执行该步骤在Ranger
'password':创建的具有FlinkServer、Doris管理员权限的用户密码。 doris_label_xxx:sink.label-prefix的值,必须是唯一的,每次启任务必须保持其值的唯一性。 在界面左侧配置作业“基础参数”。 并行度:3 JobManager内存(MB):4096 提交队列:自定义,默认default
SQL作业分号前带注释时,作业提交失败的问题。 解决FlinkServer界面设置作业重启策略,重启策略失败重试间隔时间单位设置为s,实际是ms的问题。 解决Flink写Hudi表同步Hive在非安全环境hms模式下报错,连接HiveMetaStore失败的问题。 解决DGC提交
您即将访问非华为云网站,请注意账号财产安全