检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
shared_cluster:共享 exclusive_cluster:独享 edge_node:边缘节点 job_config 否 Object 作业配置。 “show_detail”为“false”时独有。具体参数说明请参见表6。 main_class 否 String jar包主类。“s
导入作业时,导入的数据是否包括列名。 delimiter 否 String 导入作业时,用户自定义数据分隔符。 quote_char 否 String 导入作业时,用户自定义引用字符。 escape_char 否 String 导入作业时,用户自定义转义字符。 date_format 否 String 导入作业时,指定表的日期格式。
module_name 否 String 资源模块名 module_type 否 String 资源模块类型。 jar:用户jar文件; pyFile:用户python文件; file:用户文件。 表4 details参数说明 参数名称 是否必选 参数类型 说明 create_time 否 Long
createDLITable(Database database) throws DLIException { //构造表列集合,通过实例化Column对象构建列 List<Column> columns = new ArrayList<Column>(); Column
array<T> <b>[,...]),concat(string <str1>, string <str2>[,...]) ARRAY或STRING 连接多个字符串,合并为一个字符串,可以接受任意数量的输入字符串。 concat_ws concat_ws(string <separator>
Pattern 兼容。 元数据 元数据可以在 DDL 中作为只读(虚拟)meta 列声明。 Format的元数据只有在相应的连接器使用元数据时才可用。目前,只有Kafka连接器。 表2 元数据 Key 数据类型 说明 database STRING NULL 源数据库。对应于Canal记录中的database字段(如果可用)。
创建并提交Spark作业 场景描述 本章节指导用户通过API创建并提交Spark作业。 约束限制 新队列第一次运行作业时,需要一定的时间,通常为6~10分钟。 涉及接口 创建弹性资源池:创建弹性资源池。 创建队列:在弹性资源池中添加队列。 上传分组资源:上传Spark作业所需的资源包。
创建并提交Flink作业 场景描述 本章节指导用户通过API创建并运行Flink自定义作业。 约束限制 新队列第一次运行作业时,需要一定的时间,通常为6~10分钟。 涉及接口 创建弹性资源池:创建弹性资源池。 创建队列:在弹性资源池中添加队列。 上传分组资源:上传Flink自定义作业所需的资源包。
module_name 否 String 资源模块名 module_type 否 String 资源模块类型。 jar:用户jar文件; pyFile:用户python文件; file:用户文件。 表4 details参数说明 参数名称 是否必选 参数类型 说明 create_time 否 Long
shared_cluster:共享 exclusive_cluster:独享 edge_node:边缘节点 job_config 否 Object 作业配置, 具体参数说明请参见表4。 main_class 否 String jar包主类。例如,org.apache.spark.examples
优惠。 自建队列购买方式如下: 购买队列请参考创建队列。 弹性资源池购买方式如下: 具体弹性资源池的购买和添加队列操作可以参考《数据湖探索用户指南》中的“创建弹性资源池”和“弹性资源池添加队列”相关章节。 父主题: 计费相关问题
https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取。 响应示例如下,例如DLI服务部署的区域为“cn-north-4”,相应消息体中查找“name”为“cn-north-4”,其中projects下的“id”即为项目ID。 {
integer2 ]) STRING 返回string中从integer1位置开始的长度为integer2的子字符串。若integer2未配置,则默认返回从integer1开始到末尾的子字符串 REPLACE(string1, string2, string3) STRING 用
2021-03-24 16:10:06,0001,Alice,330106 按照如下方式查看taskmanager.out文件中的数据结果: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。
d 否 String 企业项目ID,“0”表示default,即默认的企业项目。关于如何设置企业项目请参考《企业管理用户指南》。 说明: 开通了企业管理服务的用户可设置该参数绑定指定的项目。 tags 否 Array of Objects 数据库的标签。具体请参考表3。 表3 tags参数
thon程序也有依赖一些第三方库,尤其是基于PySpark的融合机器学习相关的大数据分析程序。传统上,通常是直接基于pip把Python库安装到执行机器上,对于DLI这样的Serverless化服务用户无需也感知不到底层的计算资源,那如何来保证用户可以更好的运行他的程序呢? DL
"user_name":"Alice","area_id":"330106"} 按照如下方式查看taskmanager.out文件中的数据结果: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。
String 集群的描述信息。 cu_count 是 Integer 与集群绑定的计算单元个数。 owner 是 String 创建集群的用户。 cluster_name 是 String 集群名称。 status 是 String 具体集群状态信息可参见表3。 resource_mode
口的周期触发策略; 当lateness_interval为0时,表示没有使用窗口结束后的延迟策略; 当二者都没有填写时,默认两种策略都没有配置,仅使用普通的TUMBLE窗口。 若仅需使用延迟时间策略,则需要将上述period_interval格式中的'10'设置为 '0'。 辅助函数
口的周期触发策略; 当lateness_interval为0时,表示没有使用窗口结束后的延迟策略; 当二者都没有填写时,默认两种策略都没有配置,仅使用普通的TUMBLE窗口。 如果仅需使用延迟时间策略,则需要将上述period_interval格式中的'10'设置为 '0'。 辅助函数