检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
请求消息 表2 请求参数说明 参数名称 是否必选 参数类型 说明 var_name 是 String 全局变量名,名称只能包含数字、英文字母和下划线,但不能是纯数字,不能以下划线开头,且不能超过128字符。 var_value 是 String 全局变量值。 is_sensitive
show() 操作结果 提交Spark作业 将写好的python代码文件上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖
用户OBS对象路径列表,OBS对象路径为OBS对象URL。 kind 是 String 分组资源文件的类型。 jar:用户jar文件。 pyFile:用户python文件。 file:用户文件。 modelFile:用户AI模型文件。 说明: 上传的同一组资源包含不同文件类型时,均选择“file”类型作为这次上传文件的类型。
- model_id string 模块编号 脱敏 type string 浏览(指浏览商品详情页) 加入购物车 购物车删除 下单 关注 点击 - 步骤1:上传数据 将数据上传到对象存储服务OBS,为后面使用DLI完成数据分析做准备。 下载OBS Browser+。下载地址请参考《对象存储服务工具指南》。
该示例是从Kafka数据源中读取数据,并写入到HBase结果表中,其具体步骤如下(该示例中hbase的版本为1.3.1和2.2.3): 参考增强型跨源连接,在DLI上根据HBase和Kafka所在的虚拟私有云和子网分别创建相应的增强型跨源连接,并绑定所要使用的Flink弹性资源池。
show() 操作结果 提交Spark作业 将写好的python代码文件上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖
用户自定义source类的入参,仅支持一个string类型的参数。 注意事项 用户自定义source类需要继承类RichParallelSourceFunction,并指定数据类型为Row例如定义类MySource:public class MySource extends RichParallelSour
该示例是从Kafka数据源中读取数据,并写入到HBase结果表中,其具体步骤如下(该示例中hbase的版本为1.3.1和2.2.3): 参考增强型跨源连接,在DLI上根据HBase和Kafka所在的虚拟私有云和子网分别创建相应的增强型跨源连接,并绑定所要使用的Flink弹性资源池。
请求参数如表3所示。 表3 请求参数说明 参数 是否必选 参数类型 说明 cluster_name 是 String 新建的集群名称,名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 description 否 String 集群的描述信息。 cu_count 是 Integer
获取到的数据作为Flink作业的输入数据。 前提条件 自定义source类需要继承类RichParallelSourceFunction,并指定数据类型为Row。 例如自定义类MySource:public class MySource extends RichParallelS
用户自定义source类的入参,仅支持一个string类型的参数。 注意事项 用户自定义source类需要继承类RichParallelSourceFunction,并指定数据类型为Row例如定义类MySource:public class MySource extends RichParallelSour
请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 queue_name 是 String 新建的队列名称,名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。长度限制:1~128个字符。 说明: 队列名称不区分大小写,系统会自动转换为小写。 queue_type
创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 所有 HBase 表的列簇必须定义为ROW类型,字段名对应列簇名(column fami
创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险
获取到的数据作为Flink作业的输入数据。 前提条件 自定义source类需要继承类RichParallelSourceFunction,并指定数据类型为Row。 例如自定义类MySource:public class MySource extends RichParallelS
创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 所有 HBase 表的列簇必须定义为ROW类型,字段名对应列簇名(column fami
SQL 客户端中。 Hive 和 Flink SQL 具有不同的语法,例如不同的保留关键字和文字。确保视图的查询与 Flink 语法兼容。 示例 使用Spark SQL创建Hive语法OBS表,并插入10条数据。模拟数据源。 CREATE TABLE IF NOT EXISTS demo
填写认证信息,详细参数说明请参考表2。 表2 参数说明 参数 参数说明 类型 选择Password。 认证信息名称 所创建的跨源认证信息名称。 名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 输入长度不能超过128个字符。 用户名称 访问数据源的用户名。 用户密码 访问数据源的密码。
properties对应的程序包 创建Flink Jar作业并运行。 详情参考创建Flink Jar作业。在应用程序中选择步骤2中创建的Flink Jar文件,在其他依赖文件中选择步骤3中创建的properties文件,并指定主类。 表3 创建Flink Jar作业参数说明 参数 说明
Management,简称IAM)细粒度鉴权,可以通过在IAM创建策略来管理DLI的权限控制。两种权限控制机制可以共同使用,没有冲突。 发布区域:全部 创建用户并授权使用DLI DLI自定义策略 DLI常用操作与系统权限关系 OBS 2.0支持弹性资源池和队列 使用DLI提交作业前,您需要为提交作业准备所需的计算资源。