检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
val attrValue = new StructField("value", DoubleType) val attrs = Array(attrTag1Location, attrTag2Name, attrTimestamp, attrValue) 根据schema的类型构造数据
PORT', 'table.identifier' = 'database.table', 'username' = 'dorisUsername', 'password' = 'dorisPassword' ); 参数说明 通用配置项 参数 默认值 是否必选 参数类型说明
图1 查看队列引擎版本 表2 DLI支持的系统防御规则 规则ID 规则名称 说明 类别 适用引擎 支持的动作 取值说明 系统默认创建规则 SQL语句示例 dynamic_0001 Scan files number 扫描文件数的限制。
schema) 保存数据到CSS 1 dataFrame.write.format("css").option("resource", resource).option("es.nodes", nodes).mode("Overwrite").save() mode 有四种保存类型
database) .option("collection", collection) .option("user", user) .option("password", password) .mode(SaveMode.Overwrite) .save() 保存类型
PORT', 'table.identifier' = 'database.table', 'username' = 'dorisUsername', 'password' = 'dorisPassword' ); 参数说明 通用配置项 参数 默认值 是否必选 参数类型说明
或者在“作业管理”页面，查看“SCALE_QUEUE”类型作业的状态，如果作业状态为“规格变更中”，表示队列正在扩缩容中。 修改弹性扩缩容定时任务 如果设定的定时任务不再满足业务需求，可以在“弹性扩缩容定时任务”页面修改弹性扩缩容定时任务。
如果想对Flink作业添加如项目名称、业务类别、背景信息等相关信息的标识，用户可以通过添加标签来实现。如果用户在其他云服务中使用了标签，建议用户为同一个业务所使用的云资源创建相同的标签键值对以保持一致性。 DLI支持以下两类标签： 资源标签：在DLI中创建的非全局的标签。
参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 connector 是 无 String 固定位filesystem。 path 是 无 String OBS路径。 format 是 无 String 文件格式。 支持csv、parquet格式。
参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 connector 是 无 String 固定位filesystem。 path 是 无 String OBS路径。 format 是 无 String 文件格式。 支持csv、parquet格式。
flink.hadoop.fs.dew.csms.version=VERSION_ID flink.hadoop.fs.dew.csms.cache.time.second=CACHE_TIME flink.dli.job.agency.name=USER_AGENCY_NAME 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型
对于批处理的 SQL 查询，分组窗口函数的 time_attr 参数必须是一个 TIMESTAMP 类型的属性。 表1 分组函数表 分组窗口函数 说明 TUMBLE(time_attr, interval) 定义一个滚动窗口。
write .format("css") .option("resource", resource) .option("es.nodes", nodes) .mode(SaveMode.Append) .save() SaveMode 有四种保存类型
json_string为空字符串，则函数返回空字符串 json_path为空字串或路径不存在，则函数返回NULL JSON_VAL函数使用说明 语法 STRING JSON_VAL(STRING json_string, STRING json_path) 表2 参数说明 参数 数据类型
您可以通过配置桶的生命周期规则，定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改，否则可能会造成历史数据无法查找。 操作步骤 在DLI控制台左侧导航栏中单击“全局配置 > 工程配置”。 在“工程配置”页面，选择“DLI作业桶”，单击配置桶信息。
保存类型：Overwrite、Append、ErrorIfExis、Ignore 四种 如果需要保存嵌套的DataFrame，则通过“.option("model","binary")”进行保存 指定数据过期时间：“.option("ttl",1000)”;秒为单位 图1 获取redis
您可以通过配置桶的生命周期规则，定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改，否则可能会造成历史数据无法查找。 前提条件 配置前，请先购买OBS桶或并行文件系统。
您可以通过配置桶的生命周期规则，定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改，否则可能会造成历史数据无法查找。 Spark日志分割规则： 按大小分割：默认情况下，每个日志文件最大为128MB。 按时间分割：每过一小时自动创建新的日志文件。
系统角色/策略名称 描述 类别 授权方式 DLI FullAccess 数据湖探索所有权限。 系统策略 具体的授权方式请参考创建IAM用户并授权使用DLI以及《如何创建子用户》和《如何修改用户策略》。 DLI ReadOnlyAccess 数据湖探索只读权限。
您可以通过配置桶的生命周期规则，定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改，否则可能会造成历史数据无法查找。 前提条件 配置前，请先购买OBS桶或并行文件系统。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
