检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在“SQL编辑器”页面创建队列。 在DLI管理控制台的左侧导航栏中,选择“SQL编辑器”。 单击“队列”切换到该页签,单击右侧的创建队列。 在“购买队列”页面,参见表1设置相关参数。 表1 参数说明 参数名称 描述 计费模式 包年/包月 该计费模式的队列为专属队列。 按需计费:建议购买cu时套餐包享受优惠。 区域
连接,请指定为集群“内网访问地址”或“内网访问域名”。如果通过弹性负载均衡连接,请指定为“弹性负载均衡地址”。 dbadmin:创建集群时设置的默认管理员用户名。 -W:默认管理员用户的密码。 在命令行窗口输入以下命令创建数据库“testdwsdb”。 CREATE DATABASE
单击“确定”。 (可选)在标签列表中,单击“操作”列中“删除”可对选中的标签进行删除。 根据标签查找作业 对于已经添加过标签的作业,用户可以通过设置标签过滤条件进行搜索,以便快速查找到作业。 在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入Flink作业管理页面。
读取kafka中的数据,以avro格式反序列化,并输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列-->找到作业的所属队列-->更多-->测试
创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 语法格式 1 2 3 4 5 6 7 8 9 create table printSink
(orc_table_property = value [, ...] ) ] 限制 创建分区表时,如果bucket_count为-1且建表语句中未设置buckets,则使用默认值16。 默认外部表存储位置{lakeformation_catalog_url}/{schema_name}.
序列化的字节序列。 示例 使用kafka发送数据,输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性
读取kafka中的数据,以avro格式反序列化,并输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性
dbt_project.yml文件。 参考dbt_project.yml配置项目。 确保步骤2:配置DBT连接DLIprofile文件中已设置该项目的profiles.yml中定义的数据源名称。 图1 profile文件 图2 dbt_project.yml文件中配置的profile
内容也将作为该分区的记录。 您需要保证该分区目录下所有文件类型和文件内容与表的字段一致,否则查询将报错。 您可以在建表语句OPTIONS中设置“multiLevelDirEnable”为true以查询子目录下的内容,此参数默认值为false(注意,此配置项为表属性,请谨慎配置。Hive表不支持此配置项)。
Flink作业如何进行性能调优? 更多 Spark作业相关问题 如何查看DLI Spark作业的实际资源使用情况 Spark队列操作OBS表如何设置AK/SK? 更多 Flink作业相关问题 怎样将OBS表映射为DLI的分区表? 更多 技术专题 技术、观点、课程专题呈现 Cloud Native
LI上创建数据库和表创建的表名,即为“tabletest”。 导入前清空数据 选择导入前是否清空目的表的数据。当前示例选择为“否”。 如果设置为是,任务启动前会清除目标表中数据。 详细的参数配置可以参考:CDM配置DLI目的端参数。 单击“下一步”,进入到字段映射界面,CDM会自动匹配源和目的字段。
服务以您的身份访问DEW服务。 图1 DLI云服务委托 DLI委托 在使用DLI前,为了确保正常使用DLI的功能,建议先进行DLI委托权限设置。 DLI默认提供以下类型的委托:dli_admin_agency、dli_management_agency、dli_data_clea
keytab',\ 'principal' ='krbtest')") 与未开启kerberos认证相比,开启了kerberos认证需要多设置三个参数,如表1所示。 表1 参数说明 参数名称与参数值 参数说明 'krb5conf' = './krb5.conf' krb5.conf的地址。
如果所建队列属于企业项目,可选择对应的企业项目。 企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。 关于如何设置企业项目请参考《企业管理用户指南》。 说明: 只有开通了企业管理服务的用户才显示该参数。 描述 该数据库的描述。 标签 使用标签标识云资源
--创建视图 create view orders_by_date as select * from orders; --设置表的注释信息,可以通过设置注释信息为NULL来删除注释 COMMENT ON TABLE people IS 'master table'; --创建一个具有列名id、name的新表:
说明: 路径同时支持文件和文件夹。 obs://DLI/sampledata.csv 表头:无/有 当“文件格式”为“CSV”时该参数有效。设置导入数据源是否含表头。 选中“高级选项”,勾选“表头:无”前的方框,“表头:无”显示为“表头:有”,表示有表头;取消勾选即为“表头:无”,表示无表头。
I上创建数据库和表中创建的表名,即为“user_info”。 导入前清空数据 选择导入前是否清空目的表的数据。当前示例选择为“否”。 如果设置为是,任务启动前会清除目标表中数据。 更多参数的详细配置可以参考:CDM配置DLI目的端参数。 单击“下一步”,进入到字段映射界面,CDM会自动匹配源和目的字段。
业结果文件的场景,即不需要旧的作业结果的场景。 结果条数 否 指定导出的结果条数。 不填写数值或数值为“0”时,导出全部结果。 表头 否 设置导出查询结果数据是否含表头。 导出作业结果到本地 异步DDL和QUERY语句支持将结果下载到本地。下载到本地默认仅支持下载1000条数据。
已使用CUs:已经被作业或任务占用的CU资源。这些资源可能正在执行计算任务,暂时不可用。 HetuEngine已使用CUs和实际CU一致。 CU范围:CU设置主要是为了控制弹性资源池扩缩容的最大最小CU范围,避免无限制的资源扩容风险。 弹性资源池中所有队列的最小CU数之和需要小于等于弹性资源池的最小CU数。