检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
”SQL作业”跳转到SQL作业记录中检查。 在执行SQL的时候配置Hudi参数: DLI不支持直接使用SET语句配置参数 点击”设置”,随后在”参数设置”一栏可以配置键和值,Hudi的参数可以通过此处提交。配置在此处的参数会在提交SQL作业时被应用。 随后可以在左侧菜单点击”作业管理”->”SQL作业”,随后
填写CSS认证信息,详细参数说明请参考表1。 表1 参数说明 参数 参数说明 认证信息名称 所创建的跨源认证信息名称。 名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 输入长度不能超过128个字符。 建议名称中包含CSS安全集群的名称,便于区分不同集群的安全认证信息。
费。 统一包年/包月资源的到期日 如果您持有多个到期日不同的资源,或者您的队列资源到期日不同,可以将到期日统一设置到一个日期,便于日常管理和续费。 图4展示了用户将两个不同时间到期的资源,同时续费一个月,并设置“统一到期日”后的效果对比。 图4 统一到期日 更多关于统一到期日的规则请参见如何设置统一到期日。
状态码 描述 200 授权成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: 权限相关API(废弃)
限列表。 view的格式为:databases.db_name.tables.view_name view支持的Privilege权限类型和table一样,具体可以参考数据权限列表中table的权限列表描述。 column的格式为:databases.db_name.tables
Jar作业最小化提交是指Flink仅提交作业必须的依赖项,而不是整个Flink环境。通过将非Connector的Flink依赖项(以flink-开头)和第三方库(如Hadoop、Hive、Hudi、Mysql-cdc)的作用域设置为provided,可以确保这些依赖项不会被包含在Jar作业中
状态码如表5所示。 表5 状态码 状态码 描述 200 导入作业成功。 400 输入参数无效。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: Flink作业相关API
状态码如表4所示。 表4 状态码 状态码 描述 200 查询成功。 400 输入参数无效。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 表5 错误码 错误码 错误信息 DLI.0001 Connection 503fc86a-5e60-4349-92c2-7e399404fa8a
状态码 表5 状态码 状态码 描述 200 查询变量成功。 400 输入参数无效。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 表6 错误码 错误码 错误信息 DLI.0001 参数校验错误 DLI.0999 服务端系统错误 父主题:
件系统,提供毫秒级别访问时延,以及TB/s级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载。 并行文件系统的详细介绍和使用说明,请参见《并行文件系统特性指南》。 配置DLI作业桶 在DLI控制台左侧导航栏中单击“全局配置 > 工程配置”。 在“工程配置”页面
表8 状态码 状态码 描述 200 查询作业监控信息成功。 400 输入参数无效。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: Flink作业相关API(废弃)
datasource.css resources 否 Array of Objects JSON对象列表,填写用户已上传到队列的类型为JSON的资源包名和类型。具体请见表4。 groups 否 Array of Objects JSON对象列表,填写用户组类型资源,格式详见请求示例。如果“re
global-job-parameters这一配置项的值。因此需要将UDF用到的所有配置项全部写入到pipeline.global-job-parameters中。 key和value之间通过冒号(:)分隔,所有key-value用逗号(,)连接。 如果key或value中含有逗号(,),则需要用双引号(")将k
global-job-parameters这一配置项的值。因此需要将UDF用到的所有配置项全部写入到pipeline.global-job-parameters中。 key和value之间通过冒号(:)分隔,所有key-value用逗号(,)连接。 如果key或value中含有逗号(,),则需要用双引号(")将k
com:3306/postgreDB dbtable 访问MySQL集群填写"数据库名.表名",访问PostGre集群填写"模式名.表名"。 说明: 如果数据库和表不存在,请先创建数据库和表,否则系统会报错并且运行失败。 user RDS数据库用户名。 password RDS数据库用户名对应密码。 driver
分钟内没有观测到新纪录,这个窗口将会被关闭。会话时间窗口可以使用事件时间(批处理、流处理)或处理时间(流处理)。 窗口辅助函数 可以使用以下辅助函数选择组窗口的开始和结束时间戳以及时间属性。 辅助函数必须使用与GROUP BY 子句中的分组窗口函数完全相同的参数来调用 表2 窗口辅助函数表 辅助函数 说明
12 13 14 15 16 17 //实例化ExportJob对象,传入导出数据所需的队列、数据库名、表名(通过实例化Table对象获取)和导出数据的存储路径,仅支持Table类型为MANAGED private static void exportData(Queue queue
配置权限足够的委托。 配置OBS桶。 开启Checkpoint,使用Hudi时必须开启Checkpoint。 提交作业并检查Flink UI和日志: 直接点击界面右上角的”提交”,在跳转界面再次确认参数无误后,点击底部”立即启动”。完成提交后自动跳转至Flink作业界面,此处可以筛
extends RichSinkFunction< Tuple2<Boolean, Row>>{},需重点实现其中的open、invoke和close函数。代码参考示例如下: public class MySink extends RichSinkFunction<Tuple2<Boolean
在执行Group By聚合操作时,如果某些分组键对应的数据量特别大,而其他分组键对应的数据量很小,在聚合过程中,数据量大的分组会占用更多的计算资源和时间,导致处理速度变慢,出现数据倾斜。 JOIN 操作倾斜 在执行表JOIN操作时,参与JOIN的键在某个表中分布极不均匀,导致大量数据集中