检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
最后一个ddl语句执行时间,(单位:秒(s))。 num_rows 否 Long 该分区数据总行数。 num_files 否 Long 分区文件数。 total_size 否 Long 该分区总的数据大小(单位:字节)。 请求示例 无 响应示例 { "is_success":
ud-dli-jdbc-<version>-jar-with-dependencies.jar”。 在使用JDBC的机器中,将上一步解压的文件“huaweicloud-dli-jdbc-1.1.1-jar-with-dependencies.jar”添加至Java工程的“classpath”路径下。
"Task Managers" -> "Stdout"。 方法二:若在提交运行作业前选择了保存日志,则可以从日志的taskmanager.out文件中查看。 +I(111,scooter,Big 2-wheel scooter,5.15) 父主题: Format
"Task Managers" -> "Stdout"。 方法二:若在提交运行作业前选择了保存日志,则可以从日志的taskmanager.out文件中查看。 -U(111,scooter,Big2-wheel scooter,5.18) +U(111,scooter,Big2-wheel
无 String 上传“user.keytab”文件的OBS路径。如果开启了kerberos认证,则必须设置。 properties.connector.kerberos.krb5 否 无 String 上传“krb5.conf”文件的OBS路径。如果开启了kerberos认证,则必须设置。
API概览 本章节介绍了目前DLI所提供的API列表。 表1 DLI API列表 类型 说明 权限相关API 包括队列赋权、查看队列的使用者、数据赋权、查看数据库的使用者、查看表的使用者、查看表的用户权限和查看赋权对象使用者权限信息。 全局变量相关API 包括创建全局变量、删除全
存储计费 按照存储在DLI服务中的表数据存储量(单位为“GB”)收取存储费用。 在估算存储费用时,请特别注意,DLI采用压缩存储,通常能压缩到原文件大小的 1/5 。DLI存储按照压缩后的大小计费。 如果数据存储在OBS服务中,则DLI服务不收取存储费用,对应的费用由OBS服务收取。 扫描量计费
Kerberos类型的跨源认证:适用于开启Kerberos认证的MRS安全集群。配置时需指定MRS集群认证凭证,包括“krb5.conf”和“user.keytab”文件。详细操作请参考创建Kerberos跨源认证。 Kafka_SSL类型的跨源认证:适用于开启SSL的Kafka,配置时需指定KafkaTr
"Task Managers" -> "Stdout"。 方法二:若在提交运行作业前选择了保存日志,则可以从日志的taskmanager.out文件中查看。 -U(111,scooter,Big2-wheel scooter,5.15) +U(111,scooter,Big2-wheel
在“添加数据源配置”页面工具栏中单击“测试连接”,测试通过后,单击“保存”,填写数据源名称,保存该数据源。 目前没有根目录保存权限,需保存到已建文件夹目录下。 步骤2:在YongHong BI创建DLI的数据集 在YongHong BI SaaS生产环境主页,单击左侧导航栏中的“创建数据集”。
创建CDM迁移作业。 登录CDM控制台,选择“集群管理”,选择已创建的CDM集群,在操作列选择“作业管理”。 在“作业管理”界面,选择“表/文件迁移”,单击“新建作业”。 在新建作业界面,配置当前作业配置信息,具体参数参考如下: 图7 新建CDM作业作业配置 作业名称:自定义数据迁
后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource SQL使用DEW管理访问凭据 Upsert Kafka 始
jar”。 dependency_files 否 Array of Strings 用户已上传到DLI资源管理系统的资源包名,用户自定义作业的依赖文件。 示例:"myGroup/test.cvs,myGroup/test1.csv" tm_cus 否 Integer 每个taskmanager的CU数,默认值为“1”。
使用Lakeformation catgalog时必填,对应的Lakeformation catgalog名称。 否 lfcatalog 在“库”页中,单击添加文件,添加1中的huaweicloud-dli-jdbc-xxx-dependencies.jar。 图3 上传驱动 添加后驱动类为空,需要单
按照存储在DLI服务中的表数据存储量(单位为“GB”)收取存储费用。 在估算存储费用时,请特别注意,DLI采用压缩存储,通常能压缩到原文件大小的 1/5 。DLI存储按照压缩后的大小计费。 如果数据存储在OBS服务中,则DLI服务不收取存储费用,对应的费用由OBS服务收取。 计费规则
后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource SQL使用DEW管理访问凭据 集群未启用Kerberos认证(普通模式)
"timestamp_format": "yyyy-MM-dd HH:mm:ss" } “date_format”和“timestamp_format”的格式需与导入的csv文件中的时间格式一致。 创建data_location为DLI的表。 { "table_name": "tb2", "data_location":
本示例将演示DLI直接对存储在OBS中的TPC-H数据集进行查询的操作,DLI已经预先生成了100M的TPC-H-2.18的标准数据集,已将数据集上传到了OBS的tpch文件夹中,并且赋予了只读访问权限,方便用户进行查询操作。 TPC-H的测试和度量指标 TPC-H 测试分解为3 个子测试:数据装载测试、Pow
面已有LakeFormation实例则显示为“购买实例”。 按需配置LakeFormation实例参数,完成实例创建。 本例创建按需计费的共享型实例。 更多参数配置及说明,请参考创建LakeFormation实例。 设置实例为默认实例 查看实例“基本信息”中“是否为默认实例”的参数值。
后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource SQL使用DEW管理访问凭据 集群未启用Kerberos认证(普通模式)。