检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
and Access Management)为DLI提供了华为云统一入口鉴权功能。 具体操作请参考《创建用户并授权使用DLI》和《DLI自定义策略》。 与云审计服务(CTS)的关系 云审计服务(Cloud Trace Service)为DLI提供对应用户的操作审计。 云审计服务支
<activeProfile>MyProfile</activeProfile> </activeProfiles> 以非华为镜像源作为主仓库(例如用户自定义镜像源)使用“HuaweiCloud SDK”: 使用maven构建时,settings.xml文件需要修改为如下内容: <settings
1c16239658","output_rate":2000}]} runtime_config 否 String Flink作业运行时自定义优化参数。 flink_version 否 String Flink版本。 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明
table存储模式下可配置,是否将当前schema写入到redis,默认为false connector.data-type 否 数据存储类型,用户自定义存储模式必配。支持:string, list, hash, set类型。其中string/list以及sets中schema字段数必须为2,hash字段数必须为3
请参考Format页面以获取更多详细信息和格式参数。 key.fields-prefix 否 无 String 为键格式的所有字段定义自定义前缀,以避免与值格式的字段发生名称冲突。 默认情况下,前缀为空。如果定义了自定义前缀,则表架构和'key.fields'都将使用前缀名称。在构造密钥格式的数据类型时,将删除前缀,
删除。 设置'external.table.purge'='true'时: 非分区OBS表配置删除文件后,表目录也会删除。 分区OBS表自定义分区数据也会删除。 dli.lifecycle.trash.dir 否 仅OBS表支持配置该参数。 设置'external.table.p
选择“全局配置 > SQL防御”,打开SQL防御页面。 单击“创建规则”,编辑规则信息。 表1 SQL防御规则参数配置 参数 说明 规则名称 自定义SQL防御规则名称。 系统规则 选择防御规则,DLI支持的系统防御规则请参考DLI支持的SQL防御系统规则。 队列 选择绑定规则的队列。 描述信息
索框下,选择“产品类型 > 数据湖探索DLI”。在消费汇总中可以发现DLI计算资源使用量消费最多。 图2 费用汇总 单击“账单详情 > 自定义账单”,单击“维度设置”,选择“按使用量”。“统计周期”选择“明细”。在显示数据的标题行,“产品类型”选择“数据湖探索 DLI”,“产品”
of Objects Flink SQL作业的标签。具体请参考表3。 runtime_config 否 String Flink作业运行时自定义优化参数。 flink_version 否 String Flink版本。 表3 tags参数 参数名称 是否必选 参数类型 说明 key
列表格式为 'field1;field2'。 key.fields-prefix 否 无 String 为所有消息键(Key)格式字段指定自定义前缀,以避免与消息体(Value)格式字段重名。默认情况下前缀为空。 如果定义了前缀,表结构和配置项 'key.fields' 都需要使用带前缀的名称。
size 否 20 Integer 连接池大小。 jdbc.properties.* 否 无 String 传递自定义 JDBC URL 属性的选项。 用户可以传递自定义属性,如 'jdbc.properties.useSSL' = 'false'. heartbeat.interval
句保存为模板,便捷快速的执行SQL操作。 开发指导 Spark SQL语法参考 提供Spark SQL数据库、表、分区、导入及导出数据、自定义函数、内置函数等语法说明和样例指导。 使用Spark作业访问DLI元数据 提供Spark SQL作业开发的操作指引和样例代码参考。
“?”后面接其他配置项,每个配置项以“key=value”的形式列出,配置项之间以“;”隔开,这些配置项也可以通过Info对象传入。 Info Info传入自定义的配置项,若Info没有属性项传入,可设为null。配置格式为:info.setProperty("属性项", "属性值")。 表3 属性项
存储费用:静态网站文件存储在OBS中产生的存储费用。 请求费用:用户访问OBS中存储的静态网站文件时产生的请求费用。 流量费用:用户使用自定义域名通过公网访问OBS时产生的流量费用。 实际产生的费用与存储的文件大小、用户访问所产生的请求次数和流量大小有关,请根据自己的业务进行预估。
推荐使用livy原生配置。 spark.dli.user.modules modules - spark.dli.user.image image 提交作业使用的自定义镜像,仅容器集群支持该参数,默认不设置。 spark.dli.user.autoRecovery auto_recovery - spark
Boolean 作为redis维表时,是否使用异步 I/O。 lookup.parallelism 否 无 int 定义查找连接运算符的自定义并行度。默认情况下,如果未定义此选项,则规划器将通过考虑全局配置(如果定义了选项“lookup.parallelism”)来推导并行度,否则将考虑输入运算符的并行度。
如果请求失败并因此导致作业失败,则抛出异常。 ignore: 忽略失败并丢弃请求。 retry-rejected:重新添加由于队列容量饱和而失败的请求。 自定义类名:用于使用ActionRequestFailureHandler子类进行故障处理。 sink.flush-on-checkpoint 否
fail:如果请求失败并因此导致作业失败,则抛出异常。 ignore:忽略失败并放弃请求。 retry-rejected:重新添加由于队列容量饱和而失败的请求。 自定义类名称:使用 ActionRequestFailureHandler 的子类进行失败处理。 sink.flush-on-checkpoint
key-column 否 无 String Redis 表schema的key source.parallelism 否 无 int 定义源的自定义并行度。默认情况下,如果未定义此选项,使用全局配置来的并行度。 示例 该示例是从DCS Redis数据源中读取数据,并写入Print到结果表中,其具体步骤如下:
转换前时区。时区的格式应该是缩写如“PST”,全名如“Country A/City A”,或自定义ID如“GMT-08:00”。 string3 STRING 转换后时区。时区的格式应该是缩写如“PST”,全名如“Country A/City A”,或自定义ID如“GMT-08:00”。 示例 测试语句 SELECT