检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果同账号同项目下存在多个相同名称的全局变量时,需要将多余相同名称的全局变量删除,保证同账号同项目下唯一,此时具备该全局变量修改权限的用户均可以修改对应的变量值。 如果同账号同项目下存在多个相同名称的全局变量,优先删除用户自建的。如果仅存在唯一名称的全局变量,则具备删除权限即的用户均可删除该全局变量。
您介绍DLI队列资源如何绑定、修改企业项目。 当前仅支持对未加入弹性资源池的队列资源修改企业项目。 前提条件 在绑定企业项目前,您已在“企业项目管理控制台”创建创建企业项目。 修改企业项目 针对之前已创建的队列,其绑定的企业项目可根据实际情况进行修改。 登录DLI管理控制台。 在左侧导航栏,选择“资源管理
link版本”选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。 CREATE TABLE kafkaSource ( order_id string, order_channel string
link版本”选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。 CREATE TABLE kafkaSource ( order_id string, order_channel string
的权限。 修改程序包组或程序包权限 在“程序包管理”页面,选择要程序包组或程序包,单击“操作”列中的“权限管理”。 进入“用户权限信息”页面,单击对应子用户“操作”列中的“权限设置”可修改该用户的权限。 详细权限描述如表1和表2所示。 如果创建程序包时选择了分组,则修改的是对应程序包组的权限。
yyyy-mm-dd hh:mi:ss yyyy-mm-dd hh:mi:ss.ff3 delta 是 BIGINT 代表修改幅度。 datepart 是 BIGINT 代表修改的时间单位。 参数datepart支持扩展的日期格式:年-year、月-month或-mon、日-day和小时-hour。
建议排查代码,确认是否有内存泄漏。 图2 Full GC 处理步骤 如果频繁Full GC, 建议排查代码,是否有内存泄漏。 增加单TM所占的资源。 联系技术支持,修改集群心跳配置参数。 父主题: Flink作业性能调优类
'xxx', 'encryption' = 'true'); 客户的RDS数据库为PostGre集群,url的协议头填写错误导致。 处理步骤 修改url为'url'='jdbc:postgresql://to-rds-1174405119-oLRHAGE7.datasource.com:5432/postgreDB'
yyyy-mm-dd hh:mi:ss yyyy-mm-dd hh:mi:ss.ff3 delta 是 BIGINT 代表修改幅度。 datepart 是 BIGINT 代表修改的时间单位。 参数datepart支持扩展的日期格式:年-year、月-month或-mon、日-day和小时-hour。
表时报错,但您不确定是系统问题还是结果表WITH参数错误,您可以将WITH参数修改为'connector' = 'blackhole'后,单击运行。如果不再报错,则证明系统没有问题,您需要排查确认修改WITH参数是否正确。 前提条件 无 注意事项 创建Flink OpenSource
表时报错,但您不确定是系统问题还是结果表WITH参数错误,您可以将WITH参数修改为'connector' = 'blackhole'后,单击运行。如果不再报错,则证明系统没有问题,您需要排查确认修改WITH参数是否正确。 前提条件 无 注意事项 创建Flink OpenSource
表时报错,但您不确定是系统问题还是结果表WITH参数错误,您可以将WITH参数修改为'connector' = 'blackhole'后,单击运行。如果不再报错,则证明系统没有问题,您需要排查确认修改WITH参数是否正确。 表1 支持类别 类别 详情 支持表类型 结果表 注意事项
更新SQL作业 功能介绍 该API用于修改Flink SQL作业。 调试 您可以在API Explorer中调试该接口。 URI URI格式 PUT /v1.0/{project_id}/streaming/sql-jobs/{job_id} 参数说明 表1 URI参数说明 参数名称
提示java server connection或container启动失败。 解决方案 确认是否已修改跨源连接的主机信息,如果没有,请参考DLI跨源连接中配置MRS主机信息修改主机信息。重新创建和提交Spark作业。 问题2:运行Spark作业,作业运行失败,作业日志中提示KrbException:
DLI提供了使用自定义Jar运行Flink作业并将数据写入到OBS的能力。本章节JAVA样例代码演示将kafka数据处理后写入到OBS,具体参数配置请根据实际环境修改。 环境准备 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。 Maven工程的pom.xml文件配置请参考JAVA样例代码(Flink
days”调整保留周期。保留周期外的多版本数据后续在执行insert overwrite或者truncate语句时会自动进行清理。在添加列或者修改分区表时,也可以设置表属性“dli.multi.version.retention.days”调整保留周期。 开启和关闭多版本功能SQL语法请参考开启或关闭数据多版本。
days”调整保留周期。保留周期外的多版本数据后续在执行insert overwrite或者truncate语句时会自动进行清理。在添加列或者修改分区表时,也可以设置表属性“dli.multi.version.retention.days”调整保留周期。 开启和关闭多版本功能SQL语法请参考开启或关闭数据多版本。
跨源连接创建慢,有以下几种可能: 购买DLI队列后,第一次进行绑定队列。通常需要等待5~10分钟,待后台拉起集群后,即可创建成功。 若刚刚对队列进行网段修改,立即进行绑定队列。通常需要等待5~10分钟,待后台重建集群后,即可创建成功。 父主题: 增强型跨源连接类
调整或者增加并行数 不支持 该操作修改了作业的并行数,即修改了作业的运行逻辑。 修改Flink SQL语句、Flink Jar作业等操作 不支持 该操作修改了作业对资源的算法逻辑。 例如原有的算法的语句是执行加减运算,当前需要恢复的状态将算法的语句修改成为乘除取余的运算,是无法从checkpoint直接恢复的。
已成功:session运行成功 恢复中:正在恢复任务 创建时间 每个作业的创建时间,可按创建时间顺序或倒序显示作业列表。 最后修改时间 作业运行完成的时间。 操作 编辑:可修改当前作业配置,重新执行作业。 SparkUI:单击后,将跳转至Spark任务运行情况界面。 说明: 状态为“启动中”的作业不能查看SparkUI界面。