检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
其他时间只需要2个Task节点。 进入弹性伸缩配置界面后,配置资源计划。 资源计划可调控节点数量,也会对实际价格有影响,请谨慎操作。 节点数量范围的“默认范围”设置为“2-2”,表示除资源计划规定时间范围外,其他时间Task节点数量固定为2个。 单击默认范围下方的“配置指定时间段的节点数量范围”或者“添加资源计划”。
Submit作业操作HBase表,HBase表权限控制未生效 MRS manager补丁机制优化 MRS大数据组件 Spark执行load data inpath慢 Spark建表支持列名带$字符 OBS相关问题修复 MRS 2.1.0.1 修复问题列表: MRS Manager 优化V2作业提交hive
在“任务名称”填写备份任务的名称。 在“备份对象”选择待操作的集群。 在“备份类型”选择备份任务的运行类型。 “周期备份”表示按周期自动执行备份,“手动备份”表示由手工执行备份。 表1 周期备份参数 参数 示例 参数说明 开始时间 2024/11/22 10:29:11 任务第一次启动的时间。
Services”中选择服务后,需要在“Resource”列中添加具体的资源对象,例如HDFS服务器的文件目录、Yarn的队列、Hive的数据库及表、HBase的表及列。 /testzone 例如针对HDFS中的“/testzone”目录创建一个安全区,配置如下: 单击“Save”,等待安全区添加成功。
以JayDeBeApi-1.2.3为例,提示Successfully installed JayDeBeApi-1.2.3表示已安装成功。 客户端机器必须安装Java,支持的版本可参考表1中的“安装JDK”。 获取Python3样例代码。 参考获取MRS应用开发样例工程,获取样例代码解压目录中
tableName=testtb batchRows=10000 batchNum=10 表1 配置说明表 配置名称 默认值 含义 loadBalancerIPList - 必填参数,配置为LoadBalance的IP列表。 登录Manager,选择“集群 > 服务 > ClickHouse >
tableName=testtb batchRows=10000 batchNum=10 表1 配置说明表 配置名称 默认值 含义 loadBalancerIPList - 必填参数,配置为LoadBalance的IP列表。 登录Manager,选择“集群 > 服务 > ClickHouse >
useTicketCache=false debug=false; }; 配置描述 在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.yarn.security.credentials.hbase.enabled HBase是否获取Token:
当不再需要使用MRS集群或对集群进行故障修复时,用户可以通过在MRS管理控制台或Manager中停止集群,集群停止后,集群内的组件将无法对外提供服务。 用户也可以将已停止的集群再次启动。 前提条件 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户
UNION将第一个查询的结果集中的所有行与第二个查询的结果集中的行合并。 query UNION [ALL | DISTINCT] query ALL和DISTINCT表示是否返回包含重复的行。ALL返回所有的行;DISTINCT返回只包含唯一的行。如果未设置,默认为DISTINCT。 INTERSECT query
在IDEA界面左下方单击“Terminal”进入终端,执行命令mvn clean package进行编译。 当输出“BUILD SUCCESS”,表示编译成功,如下图所示。编译成功后将会在样例工程的target下生成含有“-with-dependencies”字段的Jar包。 在Wind
概述 “Hive输出”算子,用于配置已生成的字段输出到Hive表的列。 输入与输出 输入:需要输出的字段 输出:Hive表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Hive文件存储格式 配置Hive表文件的存储格式(目前支持四种格式:CSV、ORC、RC和PARQUET)。
概述 “Hive输出”算子,用于配置已生成的字段输出到Hive表的列。 输入与输出 输入:需要输出的字段 输出:Hive表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Hive文件存储格式 配置Hive表文件的存储格式(目前支持四种格式:CSV、ORC、RC和PARQUET)。
租户角色 > Workload Group”都是一对一关系;而权限角色,一个用户可对应多个角色。 当前版本支持的Doris租户资源配置列表如表1所示。 表1 租户资源配置 资源 取值范围 描述 备注 CPU配额权重 1~100 租户占用CPU资源的相对权重 相对占比(竞争时生效),例如
useTicketCache=false debug=false; }; 配置描述 在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.yarn.security.credentials.hbase.enabled HBase是否获取Token:
fusioninsightsubroot.crt -keystore MY_JRE/lib/security/cacerts 'MY_JRE'表示第三方JRE安装路径,请自行修改。 父主题: Spark Core企业级能力增强
Map函数和运算符 下表操作符: [] 描述:[]运算符用于从映射中检索与给定键对应的值。 select age_map['li'] from (values (map(array['li','wang'],array[15,27]))) as table_age(age_map);--
er都能访问。当前系统提供了三种共享状态信息的方法:通过文件系统共享(FileSystemRMStateStore)、通过LevelDB数据库共享(LeveldbRMStateStore)或通过ZooKeeper共享(ZKRMStateStore)。这三种方式中只有ZooKeep
hbase.table 仅在索引类型为HBASE时适用,必填选项。HBase表名称,用作索引。Hudi将row_key和[partition_path, fileID, commitTime]映射存储在表中。 无 父主题: Hudi常见配置参数
Manager,选择“运维 > 备份恢复”。 单击“备份管理”或“恢复管理”。 在任务列表中,查看“任务状态”与“任务进度”列获取上一次任务运行的结果。绿色表示运行成功,红色表示运行失败。 在任务列表指定任务的“操作”列,选择“更多 > 查询历史”或单击“查询历史”,打开备份恢复任务运行记录。