检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
特殊字符需要使用单引号('')包围起来。 表名对大小写不敏感,即不区分大小写。 col_name 是 以逗号分隔的带数据类型的列名。 列名由字母、数字和下划线(_)组成。不能是纯数字,且至少包含一个字母。 列名为大小写不敏感,即不区分大小写。 col_type 是 列字段的数据类型。数据类型为原生类型。
约束限制 服务授权需要主账号或者用户组admin中的子账号进行操作。 DLI服务授权需要区分项目,请在每个需要新委托的项目分别执行更新委托操作,即切换至对应项目后,再按照本节的操作更新委托权限。 更新DLI委托权限(dli_management_agency) 在DLI控制台左侧导航栏中单击“全局配置
况进行判断。 表1 从checkpoint恢复的常见场景 场景 是否支持恢复 说明 调整或者增加并行数 不支持 该操作修改了作业的并行数,即修改了作业的运行逻辑。 修改Flink SQL语句、Flink Jar作业等操作 不支持 该操作修改了作业对资源的算法逻辑。 例如原有的算法
弹性资源池队列 创建弹性资源池后,您可以在弹性资源池中创建多个队列,队列关联到具体的作业和数据处理任务,是资源池中资源被实际使用和分配的基本单元,即队列是执行作业所需的具体的计算资源。 同一弹性资源池中,队列之间的计算资源支持共享。 通过合理设置队列的计算资源分配策略,可以提高计算资源利用率。
hh:mi:ss.ff3 days 是 BIGINT 代表需要减少的天数。 days大于0,则为增加天数。 days小于0,则减去天数。 days等于0,即加0天,日期不变。 days值为NULL时,返回NULL。 返回值说明 返回DATE类型的日期值。 startdate非DATE或STRING类型时,返回报错,错误信息:data
时您选择的子网是开启IPv6的,则您创建的增强型跨源连接也是支持IPv6的。 主机信息:访问MRS的HBase集群时需要配置实例的主机名(即域名)与主机对应的IP地址。详细信息请参考修改弹性资源池的主机信息。 父主题: 管理增强型跨源连接
进行定时扩缩容操作的队列最小规格为64CUs,即当“实际CUs”小于64CUs时,不能进行定时扩缩容。 最终规格只能为16的倍数。 重复规律 选择执行定时扩缩容的周期。定时任务的“重复规律”支持按周为周期进行调度。 默认不选,表示“不重复”,即只在“执行时间”执行一次; 如果全选,表示该计划每天都会执行;
该目录的Size(KB) storage_path 指定目录的完整FS绝对路径 space_consumed 返回文件/目录在集群中占用的实际空间,即它考虑了为集群设置的复制因子 quota 名称配额(名称配额是对当前目录树中的文件和目录名称数量的硬性限制) space_quota 空间配
您还可以单击“新建企业项目”,前往企业项目管理控制台,新建企业项目和查看已有的企业项目。 弹性资源池中的队列不计费,弹性资源池下队列切换的企业项目和计费无关。即不支持按企业项目查看弹性资源池中的队列资源计费信息。 修改完成后,单击“确定”,保存队列的企业项目信息。 相关操作 如需修改弹性资源池企业项目请参考分配弹性资源池至项目。
每个月5日同一时间重置免费资源。 按自然周期重置:结合重置周期使用,如重置周期为月,且按自然周期重置,即每月1日0点重置免费资源。 DLI的套餐包中仅存储套餐包按自然周期重置,即每小时重置,其他套餐包按订购周期重置。 适用场景 通常情况下,建议您针对不同的业务创建项目: 开发项目
ff3 days 是 BIGINT 代表需要增加天的数量。 days大于0,则为增加天数。 days小于0,则减去天数。 days等于0,即加0天,日期不变。 days值为NULL时,返回NULL。 返回值说明 返回DATE类型的日期值,格式为yyyy-mm-dd。 startd
如果配置为true,在执行INSERT等幂等类型的操作时(例如insert into,load data、update),可能会导致数据一致性问题。即driver故障后作业重试,导致driver故障前已插入的数据被重复写入。 spark.sql.optimizer.dynamicPartitionPruning
String 算子的配置。 可先行调用该接口获取算子ID,即响应消息中stream_graph包含的operator_list中的id即为算子ID。 static_estimator 否 Boolean 是否静态资源预估。 配置为true时,即根据算子ID和流量预估作业消耗资源。 static_estimator_config
应该至少半小时调度一次。 Compaction作业配置的资源,vcore数至少要大于等于单个分区的桶数,vcore数与内存的比例应为1:4即1个vcore配4G内存。 父主题: Bucket调优示例
reporter.remote.report-all-metrics 否 false Boolean false 是否上报所有指标。默认为false,即只上报基础指标。 metrics.reporter.remote.pool-name 否 None String - 为指标加上当前作业所在的弹性资源池名称作为标签。
个已有的文件路径作为输出目录,如果这个路径下已有同名文件,将会自动覆盖这个文件,即原有的作业结果会被新导出的作业结果文件所替代。 覆盖指定路径方式适用于在同一个路径下保存唯一的作业结果文件的场景,即不需要旧的作业结果的场景。 结果条数 否 指定导出的结果条数。 不填写数值或数值为“0”时,导出全部结果。
AKSK AK/SK认证就是使用AK/SK对请求进行签名,从而通过身份认证。 获取AK/SK DLI Endpoint地址 地区与终端节点,即云服务在不同Region有不同的访问域名。 获取EndPoint DLI所在的项目ID 项目编号,用于资源隔离。 获取项目ID DLI区域信息
参数类型 说明 is_admin 否 Boolean 判断用户是否为管理员。示例值:true。 user_name 否 String 用户名称,即该用户在当前数据库上有权限。示例值:test。 privileges 否 Array of Strings 该用户在数据库上的权限。具体权限信息可以参考数据权限列表。示例值:
- map:map['key'] - array:array[index] - row:row.key array 的起始下标从 1 开始,即 array[1] 是 array 的第一个元素。 array 的元素必须同类型,row 的元素可以不同类型。 父主题: Flink SQL作业类
ASC为升序,DESC为降序,默认为ASC。 CLUSTER BY 为分桶且排序,按照分桶字段先进行分桶,再在每个桶中依据该字段进行排序,即当DISTRIBUTE BY的字段与SORT BY的字段相同且排序为降序时,两者的作用与CLUSTER BY等效。 DISTRIBUTE BY