检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表的信息。具体参数请参见表3。 表3 tables参数 参数 是否必选 参数类型 说明 create_time 是 Long 表创建时间。是单位为“毫秒”的时间戳。 data_type 否 String 所列OBS表数据的类型,目前支持:parquet、ORC、CSV、JSON格式。只
DLI队列的提交操作 dli:queue:* DLI队列的全部操作 dli:*:* DLI所有资源类型的所有操作 更多操作与系统权限的关系请参考常用操作与系统权限关系。 定义Resource Resource由<服务名:region:domainId:资源类型:资源路径>5个字
yyyy-mm-dd hh:mi:ss.ff3 format 是 STRING 代表需要转换的目标日期格式。 format:格式为代表年月日时分秒的时间单位与任意字符的组合,其中: yyyy代表年份。 MM代表月份。 返回值说明 返回DATE类型的日期值,格式为yyyy-mm-dd。 date
queues: {q1,q2}." } 状态码 状态码如表4所示。 表4 状态码 状态码 描述 200 绑定成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: 增强型跨源连接相关API
"message": "" } 状态码 状态码如表4所示。 表4 状态码 状态码 描述 200 删除成功。 400 请求失败。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 表5 错误码 错误码 错误信息 DLI
] } 状态码 状态码如表3所示。 表3 状态码 状态码 描述 200 获取成功。 400 请求失败。 404 未发现。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 表4 错误码 错误码 错误信息 DLI
事实表通常整表数据规模较大,以新增数据为主,更新数据占比小,且更新数据大多落在近一段时间范围内(年或月或天),下游读取该表进行ETL计算时通常会使用时间范围进行裁剪(例如最近一天、一月、一年),这种表通常可以通过数据的创建时间来做分区以保证最佳读写性能。 维度表数据量一般整表数据规模较小,以更新
DLI支持用户使用Hive UDAF(User Defined Aggregation Function,用户定义聚合函数)可对多行数据产生作用,通常与groupBy联合使用;等同于SQL中常用的SUM(),AVG(),也是聚合函数。 约束限制 在DLI Console上执行UDAF相关操作时,需要使用自建的SQL队列。
DLI的作业桶设置后请谨慎修改,否则可能会造成历史数据无法查找。 Spark日志分割规则: 按大小分割:默认情况下,每个日志文件最大为128MB。 按时间分割:每过一小时自动创建新的日志文件。 前提条件 配置前,请先购买OBS桶或并行文件系统。大数据场景推荐使用并行文件系统,并行文件系统(Parallel
"message": "" } 状态码 状态码如表4所示。 表4 状态码 状态码 描述 201 修改成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: 队列相关API(废弃)
table_name Database中的表名,由字母、数字和下划线(_)组成。 timestamp_expression 时间戳,不能晚于当前时间,格式'yyyy-MM-ddTHH:mm:ss.SSS' version_code 1.3.1中查询结果中的版本号 示例 SELECT
hh:mi:ss yyyy-mm-dd hh:mi:ss.ff3 format 是 STRING 代表需要转换的格式。 格式为代表年月日时分秒的时间单位与任意字符的组合,其中: yyyy代表年份。 MM代表月份。 dd代表天。 HH代表24小时制时。 hh代表12小时制时。 mm代表分钟。
jobResultInfos1 = client.listAllJobs(JobType.DDL); //通过起始时间和JobType过滤,起始时间的格式为unix时间戳 List < JobResultInfo > jobResultInfos2 = client.lis
String 指定输入和输出时间戳格式。当前支持的值为“SQL”和“ISO-8601”:选项“SQL”将以“yyyy-MM-dd HH:mm:ss.s{precision}”格式解析输入时间戳,例如“2020-12-30 12” :13:14.123' 并以相同格式输出时间戳。选项'ISO-
步骤5:创建DLI连接Kafka的增强型跨源连接 通过增强型跨源连接建立DLI弹性资源池与Kafka实例的网络连通。 步骤6:创建DLI连接RDS的增强型跨源连接 通过增强型跨源连接建立DLI弹性资源池与RDS实例的网络连通。 步骤7:使用DEW管理访问凭据,并配置允许DLI访问DEW的委托
示例说明:创建名为table2的OBS非分区表,您可以根据业务需求自定义列字段的原生数据类型: 与文字字符有关可以使用STRING、CHAR或者VARCHAR。 与时间有关的可以使用TIMESTAMP、DATE。 与整数有关的可以使用INT、SMALLINT/SHORT、BIGINT/LONG、TINYINT。
Database中的表名,由字母、数字和下划线(_)组成。 obs_path Obs路径,表示Delta表的存储位置。 timestamp_expression 时间戳,不能晚于当前时间,格式'yyyy-MM-ddTHH:mm:ss.SSS' version_code 1.3.1中查询结果中的版本号 示例 RESTORE
响应参数说明 参数 是否必选 参数类型 说明 create_time 是 Long 创建集群的时间。 description 否 String 集群的描述信息。 cu_count 是 Integer 与集群绑定的计算单元个数。 owner 是 String 创建集群的用户。 cluster_name
format 是 STRING 代表需要转换的目标日期格式。 STRING类型常量,不支持日期扩展格式。 format:格式为代表年月日时分秒的时间单位与任意字符的组合,其中: yyyy代表年份。 mm代表月份。 dd代表天。 hh代表小时。 mi代表分钟。 ss代表秒。 返回值说明 返回STRING类型。
brand int 品牌ID 脱敏 评价数据 表3 评价数据 字段名称 字段类型 字段说明 取值范围 deadline string 截止时间 单位:天 product_id int 商品编号 脱敏 comment_num int 累计评论数分段 0表示无评论 1表示有1条评论 2表示有2-10条评论