检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Spark Core广播变量 操作场景 Broadcast(广播)可以把数据集合分发到每一个节点上,Spark任务在执行过程中要使用这个数据集合时,就会在本地查找Broadcast过来的数据集合。如果不使用Broadcast,每次任务需要数据集合时,都会把数据序列化到任务里面,不但耗时,还使任务变得很大。
配置Flink任务进程参数 操作场景 Flink on YARN模式下,有JobManager和TaskManager两种进程。在任务调度和运行的过程中,JobManager和TaskManager承担了很大的责任。 因而JobManager和TaskManager的参数配置对F
为Pod配置EIP 使用场景 云原生网络2.0网络模式下,Pod使用的是VPC的弹性网卡/辅助弹性网卡,可直接绑定弹性公网IP。 为方便用户在CCE内直接为Pod关联弹性公网IP,用户只需在创建Pod时,配置annotation(yangtse.io/pod-with-eip:
暂不支持Deployment、DaemonSet等其他类型的工作负载配置Pod固定IP,且不支持已设置HostNetwork的Pod配置固定IP。 对Pod的IP地址无明确要求的业务不建议配置固定IP,因为配置了固定IP的Pod,Pod重建的耗时会略微变长同时IP地址的利用率会下降。
配置CDM作业源端参数 配置OBS源端参数 配置HDFS源端参数 配置HBase/CloudTable源端参数 配置Hive源端参数 配置DLI源端参数 配置FTP/SFTP源端参数 配置HTTP源端参数 配置PostgreSQL/SQL Server源端参数 配置DWS源端参数
Header,最大128KB Body, 最大128KB 实际配置中,需要根据所设计的调用API工作流时请求参数情况来设置入参。例如,设计工作流在多张表中根据用户ID查询用户信息时,请求Path设置为:/getUserInfo。可按照如下不同场景来配置入参: API调用时请求参数为用户id,需要通过工作流返回对应id的用户信息。
通过管理控制台导出集群配置 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 选择页面右上角“配置 > 导出集群配置”即可导出集群配置至本地。 本操作适用于MRS 2.x及之前版本。 图1 导出集群配置 通过Manager导出集群配置 登录MRS集群Manager管理界面。
配置Hive SQL防御规则 配置Hive SQL防御操作场景 用户可以在Manager界面配置Hive的SQL防御规则,根据业务调整对应SQL防御规则的参数。 配置Hive SQL防御前提条件 已安装包含Hive服务的集群客户端,例如安装目录为“/opt/hadoopclient”。
创建并绑定ldap配置 功能介绍 创建并绑定ldap配置。LDAP(Lightweight Directory Access Protocol),中文名称轻量级目录访问协议,是对目录服务器(Directory Server)进行访问、控制的一种标准协议。LDAP服务器可以集中式地
生命周期配置示例 如果您的使用方式为API或SDK,请参考xml示例,如果您的使用方式是控制台或Browser+可参考示例截图。 单一规则单个筛选条件 示例1:生命周期将应用于存储桶内的所有对象 如果需要适用于桶中的全部对象,需要指定一个空前缀。以下规则适用于桶中的全部对象,在对象创建100天后其转换为归档存储类型。
更新触发器配置 功能介绍 更新触发器配置 接口约束 无 调用方法 请参见如何调用API。 URI PATCH /v2/manage/namespaces/{namespace}/repos/{repository}/triggers/{trigger} 表1 路径参数 参数 是否必选
配置主实例容灾能力 功能介绍 建立跨云或跨Region容灾关系时配置主实例的容灾能力。 使用该功能前,必须要确保跨云或跨Region数据库实例之间VPC网段的网络打通,且配置安全组放通VPC网段间的数据库端口。仅打通网络未放通安全组也无法搭建容灾关系。 调用接口前,您需要了解API
目录及配置说明 本地目录、配置文件和配置信息非固定,可由用户自定义。 以如下2个shardsvr的集群实例的备份文件举例(实例ID:cac1efc8e65e42ecad8953352321bfeein02) configsvr节点备份文件解压目录:/compile/downloa
跨网段访问配置 跨网段访问配置只有在客户端与副本集实例部署在不同网段的情况下才需要配置,例如访问副本集的客户端所在的网段为192.168.0.0/16,副本集所在的网段为172.16.0.0/24,则需要添加跨网段访问配置192.168.0.0/16才能正常访问。 本章节将详细介
admin.acls.groups 配置Spark管理组列表,列表中的组有权限管理所有Spark任务,此处可以配置多个管理组,使用“,”分隔。 - spark.modify.acls 配置有权限修改Spark任务的成员列表。启动任务的用户默认有此权限,此处可以配置多个用户,使用“,”分隔。
per。 Yarn内部和Hadoop内部都不需要用户配置加密,用户只需要配置SSL加密传输方式。 配置SSL传输,用户主要在客户端的“flink-conf.yaml”文件中做如下配置: 打开SSL开关和设置SSL加密算法,配置参数如表2所示,请根据实际情况修改对应参数值。 表2 参数描述
调度执行完成。 在创建任务页面中配置任务计划。ROMA Connect提供了两种配置任务计划的方式: 简单界面配置 界面配置当前仅支持配置简单的周期循环计划,例如每隔几分钟、几小时或几天执行一次。 图1 简单界面配置 表2 简单界面配置 参数 配置说明 QuartZ Cron表达式
配置自定义认证 创建前端自定义认证 创建后端自定义认证 父主题: 服务集成指导
配置NameNode内存参数 配置场景 在HDFS中,每个文件对象都需要在NameNode中注册相应的信息,并占用一定的存储空间。随着文件数的增加,当原有的内存空间无法存储相应的信息时,需要修改内存大小的设置。 配置描述 参数入口: 请参考修改集群服务配置参数,进入HDFS“全部配置”页面。
配置AM失败重试次数 配置场景 在资源不足导致ApplicationMaster启动失败的情况下,调整如下参数值,提高容错性,保证客户端应用的正常运行。 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面,在搜索框中输入表1中参数名称。 表1 参数说明 参数 描述