检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
status.getName()); } 在提交导入作业前,可选择设置导入数据的格式,如样例所示,调用ImportJob对象的setStorageType接口设置数据存储类型为csv,数据的具体格式通过调用ImportJob对象的setCsvFormatInfo接口进行设置。 在
Print connector用于将用户输出的数据打印到error文件或者taskmanager的文件中,方便用户查看,主要用于代码调试,查看输出结果。 前提条件 无。 注意事项 Print结果表支持以下四种格式内容输出: 打印内容 条件1 条件2 标识符:任务 ID> 输出数据
getResource("userData/fileName") 作业特性 队列为CCE队列时,显示该参数。 基础型 自定义镜像:选择镜像名称和镜像版本。用户可在“容器镜像服务”设置的镜像。具体操作请参考使用自定义镜像增强作业运行环境。 Flink版本 先选择所属的队列再选择Flink版本。 说明: 不建议长期混用不同版本的Flink引擎。
反斜杠(\) 日期格式 当“数据格式”为“CSV”和“JSON”时此参数有效。 选中“高级选项”,该参数表示表中日期的格式,默认格式为“yyyy-MM-dd”。日期格式字符定义详见加载数据中的“表3 日期及时间模式字符定义”。 2000-01-01 时间戳格式 当“数据格式”为“CSV”和“JSON”时此参数有效。
Serverless DLI与传统自建Hadoop集群对比的优势 优势 维度 数据湖探索 DLI 自建Hadoop系统 低成本 资金成本 按照实际扫描数据量或者CU时收费,可变成本,成本可节约50%。 长期占用资源,资源浪费严重,成本高。 弹性扩缩容能力 基于容器化Kubernetes,具有极致的弹性伸缩能力。
translate函数用于将input字符串中的所出现的字符或者字符串from用字符或者字符串to替换。 例如:将abcde中的bcd替换成BCD。 translate("abcde", "bcd", "BCD") 命令格式 translate(string|char|varchar
查看更多或者全量数据,则可以通过该功能将数据导出到OBS获取。 导出作业运行日志需要具有OBS桶的权限,请提前在“全局配置 > 工程配置”页面配置DLI作业桶。 default队列下运行的作业或者该作业为同步作业时不支持归档日志操作。 仅Spark作业支持使用自定义镜像。了解自定义镜像。
安装其他服务SDK依赖。 DLI依赖SDK(例如,OBS SDK),可以通过配置华为云的maven镜像源仓库下载。 (推荐)以华为镜像源作为主仓库: 配置华为maven镜像源的具体方法可参见:华为开源镜像站>选择“华为SDK”>单击“HuaweiCloud SDK”。 使用maven构建时,settings
取消批处理作业 功能介绍 该API用于取消批处理作业。 作业状态为“已成功”或者“已失败”的批处理作业无法取消。 调试 您可以在API Explorer中调试该接口。 URI URI格式: DELETE /v2.0/{project_id}/batches/{batch_id} 参数说明
用户在创建Flink作业时,可以通过如下配置实现流应用的高可靠性能。 用户在消息通知服务(SMN)中提前创建一个“主题”,并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知,单击链接确认订阅即可。 图1 创建主题 图2 添加订阅 登录DLI控制台,创建Flink S
正在运行的子作业ID,如果作业还没开始运行或者运行结束,则子作业ID可能为空。 progress 否 Double 正在运行的子作业的进度或者整个作业进度,该值只能粗略的估算子作业进度,不表示作业的详细进度。 如果整个作业刚开始运行或者在提交中,则进度展示为0;如果作业运行结束,
11-2.4.0及其他历史版本。 format.type 是 数据反序列化格式,支持:'csv', 'json'及'avro'等。 format.field-delimiter 否 属性分隔符,仅当编码格式为csv时,用户可以自定义属性分隔符,默认为“,”英文逗号。 connector
to_char函数用于将日期按照指定格式转换为字符串。 命令格式 to_char(string date, string format) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 date 是 DATE 或 STRING 代表需要处理的日期。 格式为: yyyy-mm-dd
需要执行Truncate命令的DLI表或者OBS表的名称。 partcol1 需要删除的DLI表或者OBS表的分区名称。 注意事项 只支持清除DLI表或者OBS表的数据。 示例 1 truncate table test PARTITION (class = 'test'); 父主题:
该功能用于修改包年包月队列网段。 如果待修改网段的队列中有正在提交或正在运行的作业,或者改队列已经绑定了增强型跨源,将不支持修改网段操作。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: PUT /v1.0/{project_id}/queues/{queue_name}
TIMESTAMP 时间戳,表示日期和时间,格式为原始数据。例如:1621434131222 - - 是 是 CHAR 固定长度字符串 - - 是 是 VARCHAR 可变长度字符串 - - 是 是 DATE 日期类型,描述了特定的年月日,以yyyy-mm-dd格式表示,例如:2014-05-29
IP地址,可以表征IPv4或者IPv6地址。但在系统内,该类型是一个统一的IPv6地址。 对于IPv4的支持,是通过将IPv4映射到IPv6的取值范围(RFC 4291#section-2.5.5.2)来实现的。当创建一个IPv4时,会被映射到IPv6。当格式化时,如果数据是IPv4又会被重新映射为IPv4。
trans_array trans_array函数用于将一行数据转为多行的UDTF,将列中存储的以固定分隔符格式分隔的数组转为多行。 使用限制 所有作为key的列必须位于在前面,而要转置的列必须放在后面。 在一个select中只能有一个UDTF,不可以再出现其他的列。 不可以与group
将string2格式的时间字符串string1转为时间戳,单位为秒 string2默认格式为'yyyy-MM-dd HH:mm:ss' TO_DATE(string1[, string2]) DATE 将string2格式的日期字符串,转换为DATE类型 string2默认格式为 'yyyy-MM-dd'
将string2格式的时间字符串string1转为时间戳,单位为秒 string2默认格式为'yyyy-MM-dd HH:mm:ss' TO_DATE(string1[, string2]) DATE 将string2格式的日期字符串,转换为DATE类型 string2默认格式为 'yyyy-MM-dd'