检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
示例3:使用CTAS将源表的全部数据或部分数据创建新的DLI表 示例说明:根据示例1:创建DLI非分区表中创建的DLI表table1,使用CTAS语法将table1中的数据复制到table1_ctas表中。 在使用CTAS建表的时候,可以忽略被复制的表在建表时所使用的语法,即不论在创建table
password (已废弃)RDS用户名密码。 passwdauth 跨源密码认证名称。跨源认证信息创建方式请参考《数据湖探索用户指南》>《跨源认证》。 encryption 使用跨源密码认证时配置为“true”。 partitionColumn 读取数据时,用于设置并发使用的数值型字段。 说明:
password (已废弃)RDS用户名密码。 passwdauth 跨源密码认证名称。跨源认证信息创建方式请参考《数据湖探索用户指南》>《跨源认证》。 encryption 使用跨源密码认证时配置为“true”。 partitionColumn 读取数据时,用于设置并发使用的数值型字段。 说明:
为对应的数据库名字。 dbtable 指定在DWS关联的表名,或者"模式名.表名",例如:public.table_name。 user (已废弃)DWS的用户名。 password (已废弃)DWS集群的用户密码。 passwdauth 跨源密码认证名称。跨源认证信息创建方式请
后续对J1包中函数实现做了逻辑修改,重新执行创建函数F1,指定类名C1,Jar包名J1。 立即生效 F1的功能变成新修改的逻辑。 场景二 在原有程序包类的基础上新增了类,新创建的函数指定为新增的类,包名不变。 在Spark SQL队列下已创建自定义函数F1,指定类名C1,Jar包名J1。 J1的Jar包中新增
管理队列 队列权限管理 分配队列至项目 创建消息通知主题 队列标签管理 队列属性设置 测试地址连通性 删除队列 变更普通队列规格 普通队列弹性扩缩容 设置普通队列的弹性扩缩容定时任务 修改普通队列的网段 父主题: 创建弹性资源池和队列
创建并管理SQL作业模板 创建SQL作业模板 使用SQL作业模板开发并提交SQL作业 DLI预置的SQL模板中TPC-H样例数据说明 父主题: 使用DLI提交SQL作业
在“程序包管理”页面,单击右上角“创建”可创建程序包。 在“创建程序包”对话框,参见表1设置相关参数。 图1 创建程序包 表1 参数说明 参数名称 描述 包类型 支持的包类型如下: JAR:用户jar文件 PyFile:用户Python文件 File:用户文件 ModelFile:用户AI模型文件 OBS路径
元数据(Metadata)是用来定义数据类型的数据。主要是描述数据自身信息,包含源、大小、格式或其它数据特征。数据库字段中,元数据用于诠释数据仓库的内容。 创建表时,会定义元数据,由列名、类型、列描述三列组成。 “元数据”页面将显示目标表的列名、列类型、类型和描述。 查看元数据步骤 查看元数据的入口有两个,分
如果同账号同项目下存在多个相同名称的全局变量时,需要将多余相同名称的全局变量删除,保证同账号同项目下唯一,此时具备该全局变量修改权限的用户均可以修改对应的变量值。 如果同账号同项目下存在多个相同名称的全局变量,优先删除用户自建的。如果仅存在唯一名称的全局变量,则具备删除权限即的用户均可删除该全局变量。 父主题:
X版本时,该参数只需要填写index即可。 pushdown CSS的下压功能是否开启,默认为“true”。包含大量IO传输的表在有where过滤条件的情况下能够开启pushdown降低IO。 strict CSS的下压是否是严格的,默认为“false”。精确匹配的场景下比pushdown降低更多IO。 batch
X版本时,该参数只需要填写index即可。 pushdown CSS的下压功能是否开启,默认为“true”。包含大量IO传输的表在有where过滤条件的情况下能够开启pushdown降低IO。 strict CSS的下压是否是严格的,默认为“false”。精确匹配的场景下比pushdown降低更多IO。 batch
x访问元数据时,DataSource语法创建avro类型的OBS表创建失败 问题描述 使用Spark访问元数据时,DataSource语法创建avro类型的OBS表创建失败。 图1 avro类型的OBS创建失败 根因分析 当前Spark2.3.x不支持创建avro类型的OBS表,Spark2.4.x及以上的版本支持avro类型的OBS表。
二者生成的表信息写入Kafka结果表中,其具体步骤如下: 参考增强型跨源连接,在DLI上根据MySQL和Kafka所在的虚拟私有云和子网分别创建相应的增强型跨源连接,并绑定所要使用的Flink弹性资源池。 设置MySQL和Kafka的安全组,添加入向规则使其对Flink的队列网段
(已废弃)创建DCS集群时填写的密码。访问非安全Redis集群时不需要填写。 passwdauth 跨源密码认证名称。跨源认证信息创建方式请参考《数据湖探索用户指南》>《跨源认证》。 encryption 使用跨源密码认证时配置为“true”。 table 对应Redis中的Key或Hash
(已废弃)创建DCS集群时填写的密码。访问非安全Redis集群时不需要填写。 passwdauth 跨源密码认证名称。跨源认证信息创建方式请参考《数据湖探索用户指南》>《跨源认证》。 encryption 使用跨源密码认证时配置为“true”。 table 对应Redis中的Key或Hash
二者生成的表信息写入Kafka结果表中,其具体步骤如下: 参考增强型跨源连接,在DLI上根据MySQL和Kafka所在的虚拟私有云和子网分别创建相应的增强型跨源连接,并绑定所要使用的Flink弹性资源池。 设置MySQL和Kafka的安全组,添加入向规则使其对Flink的队列网段
标签是用户自定义的、用于标识云资源的键值对,它可以帮助用户对云资源进行分类和搜索。标签由标签“键”和标签“值”组成。 如果用户在其他云服务中使用了标签,建议用户为同一个业务所使用的云资源创建相同的标签键值对以保持一致性。 DLI支持以下两类标签: 资源标签:在DLI中创建的非全局的标签。
user (已废弃)访问DDS集群用户名。 password (已废弃)访问DDS集群密码 passwdauth 跨源密码认证名称。跨源认证信息创建方式请参考《数据湖探索用户指南》>《跨源认证》。 encryption 使用跨源密码认证时配置为“true”。 如果在DDS中已存在coll
user (已废弃)访问DDS集群用户名。 password (已废弃)访问DDS集群密码 passwdauth 跨源密码认证名称。跨源认证信息创建方式请参考《数据湖探索用户指南》>《跨源认证》。 encryption 使用跨源密码认证时配置为“true”。 如果在DDS中已存在coll