检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当编码格式为json时,需使用该参数来配置是否输出空字段。 当该参数为“true”表示输出空字段(值为null),若为“false”表示不输出空字段。默认值为“true”。 encode_class_name 否 当encode为user_defined时,需配置该参数,指定用户自实现编码类的类
remote.dli-job-name 否 None String - 为指标加上当前作业的DLI Flink作业名称作为标签。 父主题: 使用AOM监控DLI服务
JobManager CPU的使用 flink_taskmanager_Status_JVM_CPU_Load TaskManager CPU的负载 flink_taskmanager_Status_JVM_CPU_Time TaskManager CPU的使用 flink_jobma
当encode为user_defined时,需配置该参数,指定用户自实现编码类的类名(包含完整包路径),该类需继承类DeserializationSchema。 encode_class_parameter 否 当encode为user_defined时,可以通过配置该参数指定用户自实现编码类的入参,仅支持一个string类型的参数。
自拓展输入流 用户可通过编写代码实现从想要的云生态或者开源生态获取数据,作为Flink作业的输入数据。 语法格式 1 2 3 4 5 6 7 CREATE SOURCE STREAM stream_id (attr_name attr_type (',' attr_name attr_type)*
深度学习模型预测 深度学习已经广泛应用于图像分类、图像识别和语音识别等不同领域,DLI服务中提供了若干函数实现加载深度学习模型并进行预测的能力。 目前可支持的模型包括DeepLearning4j 模型和Keras模型。由于Keras它能够以 TensorFlow、CNTK或者 Theano
务: 使用PARTITION BY 和ORDER BY子句对MATCH_RECOGNIZE子句中的数据进行逻辑分区和排序。 使用PATTERN子句来定义要查找的数据行的模式。这些模式使用规则表达式语法。 使用DEFINE子句指定PATTERN模式变量所需的逻辑条件。 使用MEAS
个json串。 注意事项 在创建Source Stream时可以指定时间模型以便在后续计算中使用,当前DLI支持Processing Time和Event Time两种时间模型,具体使用语法可以参考配置时间模型。 示例 从edgehub主题abc中读取数据,数据编码格式为json
Flink SQL语法参考(不再演进,推荐使用Flink OpenSource SQL) SQL语法约束与定义 流作业SQL语法概览 创建输入流 创建输出流 创建中间流 创建维表 自拓展生态 数据类型 内置函数 自定义函数 地理函数 SELECT 条件表达式 窗口 流表JOIN 配置时间模型
DLI将边缘作业分析处理过的数据,写入到EdgeHub中,便于后续进行处理。 适用于物联网IOT场景,将实时流计算能力从云端延伸到边缘,在边缘快速实现对流数据实时、快速、准确地分析处理,增加数据处理计算的速度和效率。同时将数据在边缘预处理,可以有效减少无效的数据上云,减少资源消耗,提升分
当encode为user_defined时,需配置该参数,指定用户自实现解码类的类名(包含完整包路径),该类需继承类DeserializationSchema。 encode_class_parameter 否 当encode为user_defined时,可以通过配置该参数指定用户自实现解码类的入参,仅支持一个string类型的参数。
在管理控制台左侧,单击“数据管理”>“库表管理”。 单击需导出数据的表对应的数据库,进入该数据的“表管理”页面。 在对应表(DLI表)的“操作”栏中选择“更多”中的“导出”,弹出“导出数据”页面。 在“SQL编辑器”页面导出数据。 在管理控制台左侧,单击“SQL编辑器”。 在左侧导航栏
job.scale.enable false 该配置表示是否开启动态扩缩的功能,即是否允许根据作业的负载调整作业的使用资源量和是否允许DLI根据作业优先级调整作业的使用资源量。 当前配置为false时,表示不允许。 当前配置为true时,表示允许。 默认值为false。 flink
FROM student GROUP BY substring(name,6); GROUP BY中使用HAVING过滤 功能描述 利用HAVING子句在表分组后实现过滤。 语法格式 1 2 3 4 5 SELECT [ ALL | DISTINCT ] { * | projectItem
的作业使用Flink1.7版本可能会出现兼容性问题,需要提前做好Flink版本适配。 约束与限制 弹性资源池和队列均是可用状态。 队列是按需专属队列。 队列和弹性资源池状态正常,资源未被冻结。 弹性资源池仅支持关联同一企业项目的队列资源。 在弹性资源池页面关联队列 在左侧导航栏单击“资源管理
ction)请参考权限策略和授权项。 目前华为云支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。 JSON视图创建自定义策略:可以在选择策略模板后,根据具体需求编辑策略内容;也
在SQL作业管理控制台的顶部菜单栏中,选择“SQL编辑器”。 在左侧导航栏选择“数据库”页签,鼠标左键单击需要删除表的数据库名,进入“表”区域。 鼠标左键单击对应表右侧的,在列表菜单中选择“删除”。 在弹出的确认对话框中,单击“确定”。 父主题: 在DLI控制台管理表资源
"1", encode = "csv", field_delimiter = "," ); /** 创建数据维表,用于和输入流连接,实现字段回填 * * 根据实际情况修改以下选项: * value_type:redis的键值对应值类型,支持STRING、HASH
DATABASE与SCHEMA两者没有区别,可替换使用,建议使用DATABASE。 “default”为内置数据库,不能创建名为“default”的数据库。 示例 完整的SQL作业提交流程您可以参考《快速入门》中的《提交SQL作业》等章节描述。 队列是使用DLI服务的基础,执行SQL前需要先创
索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 代码实现 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency> <groupId>org.apache.spark</groupId>