检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
资源包拥有者。 description 否 String 资源模块描述。 module_name 否 String 资源模块名 module_type 否 String 资源模块类型。 jar:用户jar文件; pyFile:用户python文件; file:用户文件。 表4 details参数说明
如果index> 0,则此函数提供与SQL标准下标运算符([])相同的功能,但在访问大于数组长度的索引时该函数返回NULL,且下标运算符在这种情况下将失败。 如果index <0,则element_at从最后到第一个访问元素。 select element_at(array['a','b'
企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。 关于如何设置企业项目请参考《企业管理用户指南》。 说明: 只有开通了企业管理服务的用户才显示该参数。 购买时长 选择“包年/包月”计费模式时,需要选择“购买时长”。购买时长越长,优惠越多
更短的时间间隔意味着文件被更快地发现,但也意味着更频繁地遍历文件系统/对象存储。 如果未设置此配置选项,则提供的路径仅被扫描一次,因此源将是有界的。 可用的Metadata 以下连接器 metadata 可以在表定义时作为 metadata 列进行访问。所有 metadata 都是只读的。 键 数据类型 描述
delimiter 否 String 用户自定义数据分隔符,默认为逗号。导入CSV类型数据时可指定。 quote_char 否 String 用户自定义引用字符,默认为双引号。导入CSV类型数据时可指定。 escape_char 否 String 用户自定义转义字符,默认为反斜杠。导入CSV类型数据时可指定。
DLI允许用户提交编译为Jar包的Flink作业,提供了更高的灵活性和自定义能力,适合需要进行复杂数据处理的场景。 当社区版Flink提供的Connector不能满足特定需求时,用户可以通过Jar作业来实现自定义的Connector或数据处理逻辑。 适合需要实现UDF(用户定义函数
(可选)步骤三:创建增强型跨源连接 本示例演示的操作需要跨源连接RDS外部数据源,所以需要创建跨源连接。如果作业不需要连接外部数据源,则该步骤可以跳过。 登录RDS控制台,创建RDS数据库实例。 具体操作请参见购买RDS for MySQL实例。 登录RDS实例后,单击“新建数据库”,创建名称为“test2”的数据库。
创建Flink Jar对应的程序包主要参数说明 参数名称 说明 示例 包类型 支持的包类型如下: JAR:用户jar文件 PyFile:用户Python文件 File:用户文件 ModelFile:用户AI模型文件 JAR OBS路径 选择对应程序包的OBS路径。 说明: 程序包需提前上传至OBS服务中保存。
详细信息,请访问Redis官方网站https://redis.io/。 前提条件 要建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。
该场景作业需要运行在DLI的独享队列上,要与kafka集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项 创建Flink OpenSource
和子账号,bucketName为用户桶名,timeStamp为策略创建时的时间戳。 { "Statement": [ { "Effect": "Allow", "Principal": {
用途,避免出现作业结果混乱等问题。 DLI作业要由用户主账户统一设置及修改,子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则,定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改,否则可能会造成历史数据无法查找。 前提条件
资源包拥有者。 description 否 String 资源模块描述。 module_name 否 String 资源模块名 module_type 否 String 资源模块类型。 jar:用户jar文件; pyFile:用户python文件; file:用户文件。 表4 details参数说明
参数 描述 host DCS的连接IP,需要先创建跨源连接,管理控制台操作请参考增强型跨源连接。 创建增强型跨源连接后,使用DCS提供的"连接地址"。"连接地址"有多个时,选择其中一个即可。 说明: 访问DCS目前只支持增强型跨源。 port DCS的连接端口,例如6379。 password
权限管理:查看作业对应的用户权限信息以及对其他用户授权。 运行时配置:支持作业在运行时配置作业异常告警和异常自动重启。 查看Flink作业详情 用户作业创建完成并保存后,用户可以单击作业名查看作业的详细信息,包括作业的SQL语句和参数设置信息,如果是 jar作业只可以看到参数设置信息。 在D
企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。 关于如何设置企业项目请参考《企业管理用户指南》。 说明: 只有开通了企业管理服务的用户才显示该参数。 描述 所创建队列的相应描述。输入长度不能超过128个字符。 高级选项 仅在选择“包年
自定义镜像。格式为:组织名/镜像名:镜像版本。 当用户设置“feature”为“custom”时,该参数生效。用户可通过与“feature”参数配合使用,指定作业运行使用自定义的Spark镜像。关于如何使用自定义镜像,请参考《数据湖探索用户指南》。 catalog_name 否 String 访问元数据时,需要将该参数配置为dli。
用途,避免出现作业结果混乱等问题。 DLI作业要由用户主账户统一设置及修改,子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则,定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改,否则可能会造成历史数据无法查找。 Spark日志分割规则:
资源包拥有者。 description 否 String 资源模块描述。 module_name 否 String 资源模块名 module_type 否 String 资源模块类型。 jar:用户jar文件; pyFile:用户python文件; file:用户文件。 表4 details参数说明
DLI提供了修改程序包组或程序包的所有者的功能。 登录DLI管理控制台,选择“数据管理 > 程序包管理”。 在“程序包管理”页面,单击程序包“操作 ”列中的“更多 > 修改所有者”。 如果该程序包进行过分组设置,选择“组”或者“程序包”进行修改。 图1 修改程序包所有者 如果该程序包没有进行过分组设置,则可以参考下图,直接修改该程序包的所有者。