检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
增强型跨源连接类 增强型跨源连接绑定队列失败怎么办? DLI增强型跨源连接DWS失败怎么办? 创建跨源成功但测试网络连通性失败怎么办? 怎样配置DLI队列与数据源的网络连通? 为什么DLI增强型跨源连接要创建对等连接? DLI创建跨源连接,绑定队列一直在创建中怎么办? 新建跨源连接,
TypeSerializer 序列化的字节序列。 示例 使用kafka发送数据,输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列 > 找到作业的所属队列
scala样例代码 开发说明 mongo只支持增强型跨源。只能使用包年包月队列。 DDS即文档数据库服务,兼容MongoDB协议。 在DLI管理控制台上已完成创建增强跨源连接,并绑定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者
G)需要针对具体场景来进行例外处理: 持续大量新增数据的维度表 方法一:预留桶数,如使用非分区表则需通过预估较长一段时间内的数据增量来预先增加桶数,缺点是随着数据的增长,文件依然会持续膨胀; 方法二:大粒度分区(推荐),如果使用分区表则需要根据数据增长情况来计算,例如使用年分区,
expr非常量,则基于当前行进行求值。 partition_clause 否 指定分区。分区列的值相同的行被视为在同一个窗口内。 orderby_clause 否 指定数据在一个窗口内如何排序。 返回值说明 参数的数据类型。 示例代码 示例数据 为便于理解函数的使用方法,本文为您
变更普通队列规格 前提条件 新创建的包年包月计费队列需要运行作业后才可进行规格变更。 本节操作仅适用于普通队列,不适用于弹性资源池队列。 注意事项 目前只支持64CUs以上规格包年包月队列进行规格变更。 如果在“规格变更”页面提示“Status of queue xxx is assigning
Hudi DDL语法说明 Hudi DML语法说明 Hudi CALL COMMAND语法说明 Schema演进语法说明 配置Hudi数据列默认值
格(包周期CU)变更。 弹性资源池扩容 在DLI管理控制台左侧,选择“资源管理 > 弹性资源池”。 选择需要扩容的弹性资源池,单击“操作”列“更多”中的“包周期CU变更”。 在“包周期CU变更”页面,“变更方式”选择“扩容”,变更数量选择要扩容的CU数量。 图1 规格变更扩容 确定费用后,单击“提交”。
Java SDK Java SDK概述 Java SDK环境配置 OBS授权 队列相关 资源相关 SQL作业相关 Flink作业相关 Spark作业相关 Flink作业模板相关
column_name 是 String 列名称。 description 是 String 列描述信息。 type 是 String 列数据类型。 is_partition_column 是 Boolean 表示该列是否为分区列,“true”表示为分区列,“false”为非分区列,默认为“false”。
SETS 的每个子列表可以是空的,多列或表达式,它们的解释方式和直接使用 GROUP BY 子句是一样的。一个空的 Grouping Sets 表示所有行都聚合在一个分组下,即使没有数据,也会输出结果。 对于 Grouping Sets 中的空子列表,结果数据中的分组或表达式列会用NULL代替。例如,上例中的
在“SQL编辑器”页面修改数据库所有者。 在管理控制台左侧,单击“SQL编辑器”。 在左侧导航栏单击选择“数据库”页签,鼠标左键单击对应数据库右侧的,在列表菜单中选择“修改数据库”。 在弹出的确认对话框中,输入新的所有者用户名(已存在的用户名),单击“确定”。 父主题: 在DLI控制台管理数据库资源
此问题的原因是如果不指定列名,则会把SELECT后的内容同时作为列名和插入值,而AVRO格式的表不支持列名为数字,所以会报解析schema异常错误。 您可以通过“CREATE TABLE tb_avro STORED AS AVRO AS SELECT 1 AS colName”指定列名的方式解
YYY执行查询时,其查询条件中未使用其表分区列。 查询分区表时,查询条件中每个分区表必须包含至少一个分区列才允许执行,否则不允许执行。 解决方案 建议用户参考如下例子查询分区表: 其中partitionedTable为分区表,partitionedColumn为分区列,查询语句为: SELECT
连接中? 后面接其他配置项,每个配置项以 key=value 的形式列出,配置项之间以 ; 隔开。 请参考表4 表4 key=value参数说明 参数 说明 是否必选 示例 queuename DLI服务的队列名称。 是 dli_test databasename 数据库名称 是
sink将数据写入到kafka的另一个topic中。 根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性。若能连通,则表示跨源已经绑定成功;否则表示未成功 创建flink opensource sql作业,并选择flink版本为1
pyspark样例代码 操作场景 本例提供使用Spark作业访问DWS数据源的pyspark样例代码。 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。 table_name 表名称。 column 分区列名。 value 分区列名对应的值。 version_id 指定版本号恢复备份数据。具体的版本号可以通过SHOW HISTORY命令获取,详情请参考查看多版本备份数据。
TABLE ... ALTER COLUMN语法用于修改当前列属性包括列comment、空约束,当前不支持修改列类型、列位置。 注意事项 目前不支持修改列类型。 目前不支持修改已存在列的顺序。 目前不支持指定顺序添加列。 命令语法 ALTER TABLE tableName ALTER
作业名称。长度限制:0-57个字符。 desc 否 String 作业描述。长度限制:0-512个字符。 queue_name 否 String 队列名称。长度限制:0-128个字符。 sql_body 否 String Stream SQL语句,至少包含source, query, si