检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建并管理SQL作业模板 创建SQL作业模板 使用SQL作业模板开发并提交SQL作业 DLI预置的SQL模板中TPC-H样例数据说明 父主题: 使用DLI提交SQL作业
由等操作。以此实现增强型跨源连接的跨项目应用。本节操作介绍对增强型跨源连接授权或回收权限的操作步骤。 如果被授权的项目属于相同区域(region)的不同用户,则需使用被授权项目所属的用户账号进行登录。 如果被授权的项目属于相同区域(region)的同一用户,则需使用当前账号切换到对应的项目下。
e> </dependency> 使用方式 将写好的自定义函数打成JAR包,并上传到OBS上。 在DLI管理控制台的左侧导航栏中,单击数据管理>“程序包管理”,然后单击创建,并使用OBS中的jar包创建相应的程序包。 在DLI管理控制台的左侧导航栏中,单击作业管理>“Flink作
作业设置作业优先级,当资源不充足时,可以优先满足优先级较高的作业的计算资源。 Spark 2.4.5及以上版本的作业支持设置作业优先级。 使用须知 对于每个作业都允许设置优先级,其取值为1-10,数值越大表示优先级越高。优先满足高优先级作业的计算资源,即如果高优先级作业计算资源不足,则会减少低优先级作业的计算资源
TEGER/INT,BIGINT,REAL/FLOAT,DOUBLE,DECIMAL,DATE,TIME,TIMESTAMP Array:使用[]进行引用。例如: 1 insert into temp select CARDINALITY(ARRAY[1,2,3]) FROM OrderA;
java样例代码 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 CSS非安全集群 开发说明 代码实现 构造依赖信息,创建SparkSession 导入依赖 涉及到的mvn依赖库 <dependency> <groupId>org
使用DLI的跨源认证管理数据源访问凭证 跨源认证概述 创建CSS类型跨源认证 创建Kerberos跨源认证 创建Kafka_SSL类型跨源认证 创建Password类型跨源认证 跨源认证权限管理 父主题: 配置DLI读写外部数据源数据
e> </dependency> 使用方式 将写好的自定义函数打成JAR包,并上传到OBS上。 在DLI管理控制台的左侧导航栏中,单击数据管理>“程序包管理”,然后单击创建,并使用OBS中的jar包创建相应的程序包。 在DLI管理控制台的左侧导航栏中,单击作业管理>“Flink作
e> </dependency> 使用方式 将写好的自定义函数打成JAR包,并上传到OBS上。 在DLI管理控制台的左侧导航栏中,单击数据管理>“程序包管理”,然后单击创建,并使用OBS中的jar包创建相应的程序包。 在DLI管理控制台的左侧导航栏中,单击作业管理>“Flink作
pyspark样例代码 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 CSS非安全集群 开发说明 代码实现详解 import相关依赖包 1 2 3 from __future__ import print_function from pyspark
在“数据管理”页面预览数据。 在管理控制台左侧,单击“数据管理”>“库表管理”。 单击需导出数据对应数据库名称,进入该数据库“表管理”页面。 单击目标表“操作”栏中的“更多”,选择“表属性”。 单击“预览”页签,即可预览该表数据。 在“SQL编辑器”页面预览数据。 在管理控制台左侧,单击“SQL编辑器”。
DLI使用SMN主题,提示SMN主题不存在,怎么处理? 设置DLI Flink作业的运行参数时,勾选“作业异常告警”参数,可在作业出现运行异常或者欠费情况时,将作业异常告警信息,以SMN的方式通知用户。 如果遇到提示SMN主题不存在您可以按照以下步骤进行排查: 确认SMN主题是否已经创建。
scope。 单击“OK”完成应用配置。 使用方式 将写好的自定义函数打成JAR包,并上传到OBS上。 在DLI管理控制台的左侧导航栏中,单击数据管理>“程序包管理”,然后点击创建,并使用OBS中的jar包创建相应的程序包。 在DLI管理控制台的左侧导航栏中,单击作业管理>“Flink作
JobManager CPU的使用 flink_taskmanager_Status_JVM_CPU_Load TaskManager CPU的负载 flink_taskmanager_Status_JVM_CPU_Time TaskManager CPU的使用 flink_jobma
查找连接中构建表的缓存 TTL(例如 10 分钟)。默认情况下,TTL 为 60 分钟。 该选项仅在查找有界的 hive 表源时有效,如果您使用流式 hive 源作为时态表,请使用 streaming-source.monitor-interval 配置数据更新间隔。 示例 该示例展示了一个经典的业务流水线,维度表来自
scope。 单击“OK”完成应用配置。 使用方式 将写好的自定义函数打成JAR包,并上传到OBS上。 在DLI管理控制台的左侧导航栏中,单击数据管理>“程序包管理”,然后点击创建,并使用OBS中的jar包创建相应的程序包。 在DLI管理控制台的左侧导航栏中,单击作业管理>“Flink作
自拓展输入流 用户可通过编写代码实现从想要的云生态或者开源生态获取数据,作为Flink作业的输入数据。 语法格式 1 2 3 4 5 6 7 CREATE SOURCE STREAM stream_id (attr_name attr_type (',' attr_name attr_type)*
深度学习模型预测 深度学习已经广泛应用于图像分类、图像识别和语音识别等不同领域,DLI服务中提供了若干函数实现加载深度学习模型并进行预测的能力。 目前可支持的模型包括DeepLearning4j 模型和Keras模型。由于Keras它能够以 TensorFlow、CNTK或者 Theano
当编码格式为json时,需使用该参数来配置是否输出空字段。 当该参数为“true”表示输出空字段(值为null),若为“false”表示不输出空字段。默认值为“true”。 encode_class_name 否 当encode为user_defined时,需配置该参数,指定用户自实现编码类的类
job.scale.enable false 该配置表示是否开启动态扩缩的功能,即是否允许根据作业的负载调整作业的使用资源量和是否允许DLI根据作业优先级调整作业的使用资源量。 当前配置为false时,表示不允许。 当前配置为true时,表示允许。 默认值为false。 flink