检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FileSystem结果表 功能描述 FileSystem sink用于将数据输出到分布式文件系统HDFS或者对象存储服务OBS等文件系统。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。 考虑到输入流可以是无界的,每个桶中的数据被组织成有限大小的Part文件。完
自定义SQL防御规则名称。 系统规则 选择防御规则,DLI支持的系统防御规则请参考DLI支持的SQL防御系统规则。 队列 选择绑定规则的队列。 描述信息 输入规则描述信息。 防御规则动作 配置当前SQL防御规则动作的阈值参数。 SQL规则支持的类型: 提示:配置系统对SQL请求满足防御规
function_name; 关键字 EXTENDED:显示扩展使用信息。 注意事项 返回已有函数的元数据(实现类和用法),如果函数不存在,则系统报错。 示例 查看函数mergeBill的相关信息。 1 DESCRIBE FUNCTION mergeBill; 父主题: 自定义函数
FileSystem结果表 功能描述 FileSystem sink用于将数据输出到分布式文件系统HDFS或者对象存储服务OBS等文件系统。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。 考虑到输入流可以是无界的,每个桶中的数据被组织成有限大小的Part文件。完
FileSystem结果表 功能描述 FileSystem sink用于将数据输出到分布式文件系统HDFS或者对象存储服务OBS等文件系统。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。 考虑到输入流可以是无界的,每个桶中的数据被组织成有限大小的Part文件。完
将正在使用的SQL语句保存为模板。保存模板后,不需编写SQL语句,可通过模板直接执行SQL操作。 当前系统提供了多条标准的TPC-H查询语句模板,您可以按需选择自定义模板或系统模板创建SQL作业。 本样例演示通过一个TPC-H样例模板开发并提交SQL作业的基本流程: 操作步骤 登录DLI管理控制台。
,可伸缩的时间序列数据库。OpenTSDB的设计目标是用来采集大规模集群中的监控类信息,并可实现数据的秒级查询,解决海量监控类数据在普通数据库中查询存储的局限性,可用于系统监控和测量、物联网数据、金融数据和科学实验结果数据的收集监控。 DLI可以通过增强型跨源连接功能将Flin
,可伸缩的时间序列数据库。OpenTSDB的设计目标是用来采集大规模集群中的监控类信息,并可实现数据的秒级查询,解决海量监控类数据在普通数据库中查询存储的局限性,可用于系统监控和测量、物联网数据、金融数据和科学实验结果数据的收集监控。 DLI可以通过增强型跨源连接功能将Flin
Elasticsearch,DCS,DDS,DIS,DMS,DWS,EdgeHub,MRS HBase,MRS Kafka,开源Kafka,文件系统,OBS,RDS,SMN 表1 数据格式和支持的输入输出流 数据格式 支持的输入流 支持的输出流 Avro - OBS输出流 Avro_merge
资产识别与管理 DLI 可以通过标签实现资源的标识与管理。 使用场景 通常您的业务系统可能使用了华为云的多种云服务,您可以为这些云服务下不同的资源实例分别设置标签,各服务的计费详单会体现这些资源实例设置的标签。如果您的业务系统是由多个不同的应用构成,为同一种应用拥有的资源实例设置统一的标签将很
某个时间段的使用量和计费信息。 账单上报周期 包年/包月计费模式的资源完成支付后,会实时上报一条账单到计费系统进行结算。 按需计费模式的资源按照固定周期上报使用量到计费系统进行结算。按需计费模式产品根据使用量类型的不同,分为按小时、按天、按月三种周期进行结算,具体扣费规则可以参考相关资源的计费说明。
5及以上版本的作业支持设置作业优先级。 使用须知 对于每个作业都允许设置优先级,其取值为1-10,数值越大表示优先级越高。优先满足高优先级作业的计算资源,即如果高优先级作业计算资源不足,则会减少低优先级作业的计算资源 通用队列上运行的Spark作业的优先级默认为3。 调整作业优先级需要停止作业后编辑,并重新提交运行才能生效。
12及以上版本的作业支持设置作业优先级。 使用须知 对于每个作业都允许设置优先级,其取值为1-10,数值越大表示优先级越高。优先满足高优先级作业的计算资源,即如果高优先级作业计算资源不足,则会减少低优先级作业的计算资源 通用队列上运行的Flink作业优先级默认为5。 作业优先级的调整需要停止作业进行编辑,并提交运行才能生效。
对于每个作业都允许设置优先级,其取值为1-10,数值越大表示优先级越高。优先满足高优先级作业的计算资源,即如果高优先级作业计算资源不足,则会减少低优先级作业的计算资源 SQL队列上运行的作业优先级默认为3。 调整作业优先级需要停止作业后编辑,并重新提交运行才能生效。 设置SQL作业优先级 在“ 设置
参数 参数类型 说明 is_success Boolean 请求执行是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 执行失败时,用于显示执行失败的原因。 sqls Array of Object 样例模板信息,具体参数说明请参见表3。
入OBS数据。 “dli-spark-demo-redis”读取和写入Redis数据。 dli-pyspark-demo:使用Python语言开发Spark作业。例如,样例包中的样例代码实现创建Redis表的功能。 父主题: DLI产品咨询类
Strings 用户已上传到DLI资源管理系统的类型为file的资源包名。也支持指定OBS路径,例如:obs://桶名/包名。 modules Array of Strings 依赖的系统资源模块名,具体模块名可通过查询组内资源包(废弃)接口查看。 DLI系统提供了用于执行跨源作业的依赖模块,各个不同的服务对应的模块列表如下:
current_date函数用于返回当前日期值。返回值格式为yyyy-mm-dd。 相似函数:getdate,getdate函数用于返回当前系统时间。返回值格式为yyyy-mm-dd hh:mi:ss。 命令格式 current_date() 参数说明 无 返回值说明 返回DATE
current_date函数用于返回当前日期值。返回值格式为yyyy-mm-dd。 相似函数:getdate,getdate函数用于返回当前系统时间。返回值格式为yyyy-mm-dd hh:mi:ss。 命令格式 current_date() 参数说明 无 返回值说明 返回DATE
group 否 String 模板分组名称。 description 否 String 模板描述信息。 language 否 String 语言。 响应参数 表3 响应参数 参数 参数类型 说明 id String 模板ID。 请求示例 创建一个SQL类型的作业模板,模板内容为“test