检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
据流管道，主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源（如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等）中连续捕获、传送和存储数TB数据。DIS的更多信息，请参见《数据接入服务用户指南》。 语法格式 create table
module_name 否 String 资源模块名 module_type 否 String 资源模块类型。 jar：用户jar文件; pyFile：用户python文件; file：用户文件。 表4 details参数说明 参数名称 是否必选 参数类型 说明 create_time 否 Long
该示例是从HBase数据源中读取数据，并写入到Print结果表中，其具体步骤参考如下（该示例使用的HBase版本1.3.1和2.1.1和2.2.3）： 参考增强型跨源连接，在DLI上根据HBase所在的虚拟私有云和子网创建相应的增强型跨源，并绑定所要使用的Flink作业队列。参考
ROW 不支持 示例 该示例是从HBase数据源中读取数据，并写入到Print结果表中（该示例使用的HBase版本2.2.3）： 参考增强型跨源连接，在DLI上根据HBase所在的虚拟私有云和子网创建相应的增强型跨源，并绑定所要使用的Flink作业队列。参考“修改主机信息”章节描
新建Maven工程，配置pom文件 IntelliJ IDEA 参考操作步骤说明，编写UDTF函数代码。 2 编写UDTF函数代码 3 调试，编译代码并导出Jar包 4 上传Jar包到OBS OBS控制台 将生成的UDTF函数Jar包文件上传到OBS目录下。 5 创建DLI的UDTF函数 DLI控制台
包文件的OBS路径，格式为：obs://桶名/文件夹路径名/包名。 依赖python文件（--py-files） 运行spark作业依赖的py-files。可以输入Python文件名称，也可以输入Python文件对应的OBS路径，格式为：obs://桶名/文件夹路径名/文件名。 其他依赖文件（--files）
rownum <=1 | rownum < 2)： 优化器通过 rownum = 1 | rownum <=1 | rownum < 2 来识别查询能否被翻译成窗口去重。 注意事项 Flink 只支持在滚动窗口、滑动窗口和累积窗口的窗口表值函数后进行窗口去重 窗口去重只支持根据事件时间属性进行排序
该示例是从HBase数据源中读取数据，并写入到Print结果表中，其具体步骤参考如下（该示例使用的HBase版本1.3.1和2.1.1和2.2.3）： 参考增强型跨源连接，在DLI上根据HBase所在的虚拟私有云和子网创建相应的增强型跨源，并绑定所要使用的Flink作业队列。参考
show() 操作结果 提交Spark作业 将写好的python代码文件上传至DLI中。控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。控制台操作请参考《数据湖探
在“创建数据库”页面，参见表1输入数据库名称和描述信息。 图1 库表管理-创建数据库 表1 参数说明 参数名称 描述 数据库名称 数据库名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。 数据库名称大小写不敏感且不能为空。 输入长度不能超过128个字符。 说明： “defau
参数类型 说明 id 否 Long 扩缩容计划的ID编号。 plan_name 否 String 队列扩缩容计划名称，名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。 target_cu 否 Integer 队列扩缩容计划CU的目标值。 start_hour
show() 提交Spark作业 将写好的python代码文件上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖
求再进行购买。 优先推荐使用弹性资源池队列，提高资源使用的灵活性和资源利用效率。购买弹性资源池并在弹性资源池中添加队列请参考创建弹性资源池并添加队列。 用户首次使用子账号创建队列时，需要先使用主账号登录控制台，在DLI的数据库中保持记录，才能创建队列。 新队列第一次运行作业时，需要一定的时间，通常为6~10分钟。
JSON函数 JSON函数使用SQL标准的ISO/IEC TR 19075-6中描述的JSON路径表达式。它们的语法受到ECMAScript的启发并采用了ECMAScript的许多特性，但既不是其子集，也不是其超集。 路径表达式有两种，一种是宽松模式，另一种是严格模式。当省略时，它默认为
读取和写入OBS数据。 “dli-spark-demo-redis”读取和写入Redis数据。 dli-pyspark-demo：使用Python语言开发Spark作业。例如，样例包中的样例代码实现创建Redis表的功能。 父主题： DLI产品咨询类
请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 plan_name 是 String 队列扩缩容计划名称，名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。 target_cu 是 Integer 队列扩缩容计划CU的目标值。 start_hour
用户OBS对象路径列表，OBS对象路径为OBS对象URL。 kind 是 String 分组资源文件的类型。 jar：用户jar文件。 pyFile：用户python文件。 file：用户文件。 modelFile：用户AI模型文件。 说明： 上传的同一组资源包含不同文件类型时，均选择“file”类型作为这次上传文件的类型。
是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 var_name 是 String 全局变量名，名称只能包含数字、英文字母和下划线，但不能是纯数字，不能以下划线开头，且不能超过128字符。 请求消息 无请求参数。 响应消息 参数说明 表2 响应参数说明 参数名称
是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 var_name 是 String 全局变量名，名称只能包含数字、英文字母和下划线，但不能是纯数字，不能以下划线开头，且不能超过128字符。 请求消息 表2 请求参数说明 参数名称 是否必选 参数类型 说明 var_value
show() 操作结果 提交Spark作业 将写好的python代码文件上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
