检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink作业咨询类 如何给子用户授权查看Flink作业? Flink作业怎样设置“异常自动重启”? Flink作业如何保存作业日志? Flink作业管理界面对用户进行授权时提示用户不存在怎么办? 手动停止了Flink作业,再次启动时怎样从指定Checkpoint恢复? DLI使
多版本备份恢复数据 设置多版本备份数据保留周期 查看多版本备份数据 恢复多版本备份数据 配置多版本过期数据回收站 清理多版本数据 父主题: 表相关
分配弹性资源池至项目 企业项目是一种云资源管理方式,企业可以根据组织架构规划企业项目,将分布在不同区域的资源按照企业项目进行统一管理,同时可以为每个企业项目设置拥有不同权限的用户组和用户。 DLI支持在创建弹性资源池时选择企业项目,本节操作为您介绍DLI弹性资源池如何绑定、修改企业项目。 修改弹性
登录DLI管理控制台。 选择“资源管理 > 队列管理”。 进入队列列表页面,选择您需要查看的队列。 在列表页面的右上方单击可以自定义显示列,并设置表格内容显示规则、操作列显示规则。 在列表页面上方的搜索区域,您可以名称和标签筛选需要的队列资源。 单击查看队列的详细信息。 关于队列引擎相关字段的含义:
Resource由<服务名:region:domainId:资源类型:资源路径>5个字段组成,通配符号*表示所有资源。5个字段可以灵活设置,资源路径可以按照场景需要,设置不同级别的权限控制。当需要设置该服务下的所有资源时,可以不指定该字段。Resource定义请参考表3。Resource中的资源类型和资源路径请参考表4。
管理弹性资源池 查看弹性资源池的基本信息 弹性资源池权限管理 弹性资源池关联队列 弹性资源池CU设置 弹性资源池规格变更 弹性资源池标签管理 调整弹性资源池中队列的扩缩容策略 查看弹性资源池扩缩容历史 分配弹性资源池至项目 父主题: 创建弹性资源池和队列
该场景作业需要运行在DLI的独享队列上,要与kafka集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项 创建Flink OpenSource
登录DLI管理控制台。 选择“资源管理 > 弹性资源池”。 进入弹性资源池列表页面,选择您需要查看的弹性资源池。 在列表页面的右上方单击可以自定义显示列,并设置表格内容显示规则、操作列显示规则。 在列表页面上方的搜索区域,您可以名称和标签筛选需要的弹性资源池。 单击展开弹性资源池基本信息卡片,查看弹性资源池详细信息。
tamp。 no-ttl:不设置过期时间。 expire-msec:设置key多久过期,参数为long类型字符串,单位为毫秒。 expire-at-date:设置key到某个时间点过期,参数为UTC时间。 expire-at-timestamp:设置key到某个时间点过期,参数为时间戳。
Jar作业访问DWS启动异常,提示客户端连接数太多错误 Flink Jar作业运行报错,报错信息为Authentication failed Flink Jar作业设置backend为OBS,报错不支持OBS文件系统 Hadoop jar包冲突,导致Flink提交失败 Flink作业提交错误,如何定位 父主题:
HiveCatalog有两个用途:作为原生Flink元数据的持久化存储,以及作为读写现有Hive元数据的接口。 Flink 的Hive 文档提供了有关设置 HiveCatalog以及访问现有 Hive 元数据的详细信息。详情参考:Apache Flink Hive Catalog HiveC
分配队列至项目 企业项目是一种云资源管理方式,企业可以根据组织架构规划企业项目,将分布在不同区域的资源按照企业项目进行统一管理,同时可以为每个企业项目设置拥有不同权限的用户组和用户。 DLI支持在创建队列时选择企业项目,本节操作为您介绍DLI队列资源如何绑定、修改企业项目。 当前仅支持对未加入弹性资源池的队列资源修改企业项目。
优先级 当前弹性资源池中的优先级数字越大表示优先级越高。本例设置一条扩缩容策略,默认优先级为1。 1 时间段 首条扩缩容策略是默认策略,不能删除和修改时间段配置。 即设置00-24点的扩缩容策略。 00-24 最小CU 设置扩缩容策略支持的最小CU数。 16 最大CU 当前扩缩容策略支持的最大CU数。
基于文件的权限管理。 高性能 性能 基于软硬件一体化的深度垂直优化。 大数据开源版本性能。 跨源分析 支持多种数据格式,云上多种数据源、ECS自建数据库以及线下数据库,数据无需搬迁,即可实现对云上多个数据源进行分析,构建企业的统一视图,帮助企业快速完成业务创新和数据价值探索。
读取数据时,每一批次获取数据的记录数,默认值1000。设置越大性能越好,但占用内存越多,该值设置过大会有内存溢出的风险。 batchsize 写入数据时,每一批次写入数据的记录数,默认值1000。设置越大性能越好,但占用内存越多,该值设置过大会有内存溢出的风险。 truncate 执行
false Boolean 是否禁止对引用的值使用引号 (默认是 false). 如果禁止,选项 'csv.quote-character' 不能设置。 csv.quote-character 否 ‘’ String 用于围住字段值的引号字符 (默认"). csv.allow-comments
CDC要求Postgre版本为9.6或者10,11,12。 要与实例建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 Flink跨源开发场景中直接
实例列表”,然后单击“创建Prometheus实例”。 设置实例名称、企业项目和实例类型信息。 表1 配置Prometheus实例 参数名称 说明 实例名称 Prometheus实例的名称。 企业项目 所属的企业项目。 如果在全局页面设置为“ALL”,此处请从下拉列表中选择企业项目。 如
第一行凭据值的键为MySQLUsername,值为RDS实例的用户名。 第二行凭据值的键为MySQLPassword,值为RDS实例的密码。 图1 设置凭据值 按需完成其他参数的配置后,单击“确定”保存凭据。 了解更多请参考创建通用凭据。 在DLI作业中使用DEW中创建的凭据 以Flink作业为例介绍使用DEW凭据的方法。
0/{project_id}/jobs/submit-job 其“Content-Type”只支持“application/json”,若设置为“text”则会报错,报错信息为“unsupported media Type”。 父主题: DLI API类