检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
col_name 是 列字段名称。 列字段由字母、数字和下划线(_)组成。不能是纯数字,且至少包含一个字母。 列名为大小写不敏感,即不区分大小写。 col_type 是 列字段的数据类型。数据类型为原生类型。 请参考原生数据类型。 col_comment 否 列字段描述。仅支持字符串常量。
col_name 是 列字段名称。 列字段由字母、数字和下划线(_)组成。不能是纯数字,且至少包含一个字母。 列名为大小写不敏感,即不区分大小写。 col_type 是 列字段的数据类型。数据类型为原生类型。 请参考原生数据类型。 col_comment 否 列字段描述。仅支持字符串常量。
查看表元数据 元数据说明 元数据(Metadata)是用来定义数据类型的数据。主要是描述数据自身信息,包含源、大小、格式或其它数据特征。数据库字段中,元数据用于诠释数据仓库的内容。 创建表时,会定义元数据,由列名、类型、列描述三列组成。 “元数据”页面将显示目标表的列名、列类型、类型和描述。
TABLE来解决该问题。REFRESH TABLE是用于重新整理某个分区的文件,重用之前的表元数据信息,能够检测到表的字段的增加或者减少,主要用于表中元数据未修改,表的数据修改的场景。 语法格式 1 REFRESH TABLE [db_name.]table_name; 关键字 无。 参数说明
ignore-parse-errors 否 false Boolean 当解析异常时,是跳过当前字段或行,还是抛出错误失败(默认为 false,即抛出错误失败)。如果忽略字段的解析异常,则会将该字段值设置为null。 debezium-json.timestamp-format.standard
TABLE来解决该问题。REFRESH TABLE是用于重新整理某个分区的文件,重用之前的表元数据信息,能够检测到表的字段的增加或者减少,主要用于表中元数据未修改,表的数据修改的场景。 语法格式 1 REFRESH TABLE [db_name.]table_name; 关键字 无。 参数说明
ignore-parse-errors 否 false Boolean 当解析异常时,是跳过当前字段或行,还是抛出错误失败(默认为 false,即抛出错误失败)。如果忽略字段的解析异常,则会将该字段值设置为null。 debezium-json.timestamp-format.standard
ignore-parse-errors 否 false Boolean 当解析异常时,是跳过当前字段或行,还是抛出错误失败(默认为 false,即抛出错误失败)。如果忽略字段的解析异常,则会将该字段值设置为null。 debezium-json.timestamp-format.standard
跨源连接创建慢,有以下几种可能: 购买DLI队列后,第一次进行绑定队列。通常需要等待5~10分钟,待后台拉起集群后,即可创建成功。 若刚刚对队列进行网段修改,立即进行绑定队列。通常需要等待5~10分钟,待后台重建集群后,即可创建成功。 父主题: 增强型跨源连接类
Integer 总记录数。 表7 resource字段数据结构说明 名称 是否必选 参数类型 说明 resource_id 是 String 资源ID。 resource_detail 是 Object 资源详情。该字段属于扩展字段,默认为空。 tags 是 List<resource_tag>
拥有不同权限的用户组和用户。 DLI支持在创建弹性资源池时选择企业项目,本节操作为您介绍DLI弹性资源池如何绑定、修改企业项目。 修改弹性资源池的企业项目,会同时修改弹性资源池下的队列资源的企业项目。 即弹性资源池下仅支持添加同一企业项目的队列资源。 前提条件 在绑定企业项目前,
的端参数。 单击“下一步”,进入到字段映射界面,CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配,可通过拖拽字段调整。 如果选择在目的端自动创建类型,这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容 图8 字段映射 单击“下一步”配置任务参数,一般情况下全部保持默认即可。
*小时数。 数据说明 详单数据 车辆上报的详单数据,包括定时上报的位置记录和异常的驾驶行为触发的告警事件数据。 表2 详单数据 字段名称 字段类型 字段说明 driverID string 驾驶员ID carNumber string 车牌号 latitude double 纬度
的端参数。 单击“下一步”,进入到字段映射界面,CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配,可通过拖拽字段调整。 如果选择在目的端自动创建类型,这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容 图8 字段映射 单击“下一步”配置任务参数,一般情况下全部保持默认即可。
刷新时间,默认值为0s,如2s connector.rowkey 否 设置复合rowkey,即根据多个字段设置。 形如:rowkey1:3,rowkey2:3,… 其中3表示取该字段的前3个byte,该值不能大于该字段的字节大小,且该值不能小于1 示例 create table hbaseSink(
刷新时间,默认值为0s,如2s connector.rowkey 否 设置复合rowkey,即根据多个字段设置。 形如:rowkey1:3,rowkey2:3,… 其中3表示取该字段的前3个byte,该值不能大于该字段的字节大小,且该值不能小于1 示例 create table hbaseSink(
获取指定字段。不同于select,col每次只能获取一个字段,返回类型为Column类型,示例如下: 1 val idCol = jdbcDF.col("id") drop 删除指定字段。传入要删除的字段,返回不包含此字段的DataFrame对象,并且每次只能删除一个字段,示例如下:
定json字段和流属性字段的映射关系。 格式:"field1=json_field1;field2=json_field2" 格式说明:field1、field2为创建的表字段名称。json_field1、json_field2为kafka输入数据json串的key字段名称。 具体使用方法可以参考示例说明。
创建HBase源表的列簇必须定义为ROW类型,字段名对应列簇名(column family),嵌套的字段名对应列限定符名(column qualifier)。 用户只需在表结构中声明查询中使用的的列簇和列限定符。除了ROW类型的列,剩下的原子数据类型字段(比如,STRING, BIGINT
创建HBase源表的列簇必须定义为ROW类型,字段名对应列簇名(column family),嵌套的字段名对应列限定符名(column qualifier)。 用户只需在表结构中声明查询中使用的的列簇和列限定符。除了ROW类型的列,剩下的原子数据类型字段(比如,STRING, BIGINT