检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OpenSource SQL作业运行参数 表2 作业运行参数说明 参数 参数说明 所属队列 选择执行作业所需的队列资源。 UDF Jar 用户自定义UDF文件，在后续作业中可以调用插入Jar包中的自定义函数。 UDF Jar包的管理方式： 上传OBS管理程序包：提前将对应的jar包上传至OBS桶中。并在此处选择对应的OBS路径。
"timestamp_format": "yyyy-MM-dd HH:mm:ss" } “date_format”和“timestamp_format”的格式需与导入的csv文件中的时间格式一致。 创建data_location为DLI的表。 { "table_name": "tb2", "data_location":
0_232.tar.gz 使用下述命令在当前ecs集群中安装jdk1.8.0_232(其中<yourJdkPath>可以在jdk1.8.0_232文件夹下使用"pwd"查看)： export JAVA_HOME=<yourJdkPath> export PATH=$JAVA_HOME/bin:$PATH
DLI.0007 不支持该操作。 400 DLI.0008 元数据错误。 400 DLI.0009 系统限制。 400 DLI.0011 文件权限校验错误。 400 DLI.0012 资源对象不可用。 401 DLI.0013 用户认证错误。 401 DLI.0014 服务认证错误。
OBS桶”，根据作业运行的日期，找到对应日志的文件夹。 进入对应日期的文件夹后，找到名字中包含“taskmanager”或“jobmanager”的文件夹进入，下载获取taskmanager.out和jobmanager.out文件查看结果日志。 验证跨源是否正确绑定且安全组规则已对该队列开放。
安全CSS集群的证书，生成的keystore文件在OBS上的地址。 es.net.ssl.keystore.pass 安全CSS集群的证书，生成的keystore文件时的密码。 es.net.ssl.truststore.location 安全CSS集群的证书，生成的truststore文件在OBS上的地址。
"Task Managers" -> "Stdout"。 方法二：若在提交运行作业前选择了保存日志，则可以从日志的taskmanager.out文件中查看。 +I(47.29.201.179 - - [28/Feb/2019:13:17:10 +0000] "GET /?p=1 HTTP/2
sql("select * from css_table") jdbcDF.show() 操作结果 提交Spark作业 将写好的python代码文件上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑
@Override public void close() throws Exception {} } 依赖的pom配置文件内容参考如下： <dependency> <groupId>org.apache.flink</groupId> <ar
00,180.00,2021-03-24 16:10:06,0001,Alice,330106 读取sink表中配置的obs路径中的orc文件，其数据结果如下 202103251202020001, miniAppShop, 2021-03-25 12:02:02, 60.0, 60
DataArts Studio-DLF调度。 自建大数据生态的调度工具，如Airflow。 企业级多租户 基于表的权限管理，可以精细化到列权限。 基于文件的权限管理。 高性能 性能 基于软硬件一体化的深度垂直优化。 大数据开源版本性能。 跨源分析 支持多种数据格式，云上多种数据源、ECS自建
本示例将演示DLI直接对存储在OBS中的TPC-H数据集进行查询的操作，DLI已经预先生成了100M的TPC-H-2.18的标准数据集，已将数据集上传到了OBS的tpch文件夹中，并且赋予了只读访问权限，方便用户进行查询操作。 TPC-H的测试和度量指标 TPC-H 测试分解为3 个子测试：数据装载测试、Pow
类别 适用引擎 支持的动作 取值说明 系统默认创建规则 SQL语句示例 dynamic_0001 Scan files number 扫描文件数的限制。 dynamic spark HetuEngine 提示 拦截 取值范围：1-2000000 默认值：200000 是 NA dynamic_0002
62版本的huaweicloud-sdk-core。 准备环境 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。 pom文件配置中依赖包 <dependency> <groupId>com.huaweicloud.sdk</groupId> <a
bad_row_count Long Insert作业执行过程中扫描到的错误记录数。 input_size Long 作业执行过程中扫描文件的大小，单位字节。 result_count Integer 当前作业返回的结果总条数或insert作业插入的总条数。 database_name
最后一个ddl语句执行时间，（单位：秒（s））。 num_rows 否 Long 该分区数据总行数。 num_files 否 Long 分区文件数。 total_size 否 Long 该分区总的数据大小（单位：字节）。 请求示例 无 响应示例 { "is_success":
180.00,2021-03-24 16:10:06,0001,Alice,330106 读取sink表中配置的obs路径中的parquet文件，其数据结果如下 202103251202020001, miniAppShop, 2021-03-25 12:02:02, 60.0, 60
删除分区：删除分区表中的任意分区。 设置分区的路径：将分区表中的某个分区路径设置为用户指定的OBS路径。 重命名表分区：对分区表中的分区重新命名。 恢复表分区：从文件系统中导出分区信息保存到元数据中。 显示所有分区：显示分区表中的所有分区。 只适用于“用户授权”的权限包括： 显示表：显示当前表。 View具体权限说明请参考表3。
登录DLI控制台，左侧导航栏单击“SQL编辑器”，执行引擎选择“spark”，选择执行的队列和数据库。本次演示队列和数据库选择“default”。 下载的文件中包含时间用量等，按表头意义在DLI上创建表，具体可以参考如下示例，其中amount列为费用。 CREATE TABLE `spending`
rownum <=1 | rownum < 2)： 优化器通过 rownum = 1 | rownum <=1 | rownum < 2 来识别查询能否被翻译成窗口去重。 注意事项 Flink 只支持在滚动窗口、滑动窗口和累积窗口的窗口表值函数后进行窗口去重 窗口去重只支持根据事件时间属性进行排序
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
