检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
审批DWS权限申请时提示“缺少必要的请求参数”怎么办? 可能原因 此报错一般是因为授权对象未同步到DWS数据源引起的。 解决方案 您可以通过同步用户,重新将授权对象同步到DWS数据源,然后再次尝试审批申请。 父主题: 数据安全
作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中,您也可以自定义日志和DLI脏数据存储路径,支持基于工作区全局配置OBS桶。 约束限制 该功能依赖于OBS服务。 OBS路径仅支持OBS桶,不支持并行文件系统。 前提条件 修改工作空间的用户账号,需要满足如下任一条件:
购买数据集成资源组增量包 数据集成资源组增量包对应数据集成实时作业所需的资源组。数据集成资源组提供数据上云和数据入湖出湖的集成能力,全向导式配置和管理,支持单表、整库、分库分表、全量+增量及增量同步等不同场景的数据迁移。 通过购买一个按需计费方式的数据集成资源组增量包,系统会按照
Guest、Server Administrator。 Create OBS、Delete OBS、OBS Manager OBS OperateAccess 查看桶、上传对象、获取对象、删除对象、获取对象ACL等对象基本操作权限 SMN SMN Administrator 消息通知服务的所有执行权限。
connection String 数据连接ID。 connection_type String 数据连接类型。 databases String 数据库名,当存在多个值时以逗号分隔。 sql String 自定义规则中的SQL脚本。 tables String 表名,当存在多个值时以逗号分隔。
"type_name" : "dataasset.tables_database", "type_display_name" : "数据表:数据库", "project_id" : "0833a5737480d53b2f25c010dc1a7b88", "instance_id"
partition策略。 按源端分区投递到对应的Partition:源端消息在第n个分区,则投递到目的端的第n个分区,该策略可以保证消息顺序。 按轮询模式投递到不同的Partition:采用Kafka粘性分区策略均匀的投递到目的端主题的所有分区,该策略无法保证消息顺序。 全部投递到Partition 0。
from-connector-name 是 String 源端连接类型,对应的连接参数如下: generic-jdbc-connector:关系数据库连接。 obs-connector:OBS连接。 hdfs-connector:HDFS连接。 hbase-connector:HBase连接、CloudTable连接。
API发布状态。 枚举值: PUBLISHED:已发布 NOT_PUBLISHED:未发布 table_name 否 String 根据API用到的数据库表名模糊查询。 authorization_status 否 String 授权状态。 枚举值: NO_AUTHORIZATION_REQUIRED:
须填写。 dw_id 是 String 汇总表所在的数据连接ID,为32位十六进制数字。 db_name 是 String 汇总表所在的数据库名。 schema 否 String 汇总表所在的Schema名,DWS类型必须填写。 dw_name 否 String 数据连接名称,只读,创建和更新时无需填写。
l3 String 业务对象。 table_name String 数据表对象名,格式为:数据连接.库.模式表/表。 l1_score Double 主题域分组评分。 l2_score Double 主题域评分。 l3_score Double 业务对象评分。 table_score
主题域分组。 l2 String 主题域。 l3 String 业务对象。 l1_id String 主题域分组ID,只读,ID字符串。 l2_id String 主题域ID。 l3_id String 业务对象ID,只读,ID字符串。 new_biz BizVersionManageVO
String 负责人。 tb_name 是 String 表名。 dw_id 否 String 数据连接ID。 db_name 否 String 数据库名。 queue_name 否 String dli数据连接执行sql所需的队列,数据连接类型为DLI时必须。 schema 否 String
请求示例 查询OBS上作业文件中的参数定义。作业定义文件在OBS上的路径为obs://aaaaa/DLF_myJob.zip。 POST /v1/b384b9e9ab9b4ee8994c8633aabc9505/jobs/check-file { "path": "obs://aaaaa/DLF_myJob
from-connector-name 是 String 源端连接类型,对应的连接参数如下: generic-jdbc-connector:关系数据库连接。 obs-connector:OBS连接。 hdfs-connector:HDFS连接。 hbase-connector:HBase连接、CloudTable连接。
在ECS上调试好的shell脚本,在DLF中shell脚本执行异常,如何处理? 问题描述 在ECS上调试好的shell脚本,在DLF中shell脚本执行异常。 脚本内容是通过gsql连接dws查询某库表数据行数的。 ECS调试结果: DLF脚本运行结果: 解决方案 添加如下两条命令:
运行历史 运行历史功能可支持查看脚本、作业和节点的一周(7天)内用户的运行记录。 前提条件 运行历史功能依赖于OBS桶,若要使用该功能,必须先配置OBS桶。请参考配置OBS桶进行配置。 脚本运行历史 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
objects 集群的节点信息,请参见instances参数说明。 azName String az名称。 dbuser String 数据库用户。 flavorName String 规格名称。 recentEvent Integer 事件数。 isAutoOff Boolean
LI时必须填写。 dw_id String 汇总表所在的数据连接ID,为32位十六进制数字。 db_name String 汇总表所在的数据库名。 tb_id String 汇总表创建的表ID,是服务内部ID,只读,创建和更新时无需填写 schema String 汇总表所在的Schema名,DWS类型必须填写。
秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如1970-01-01T00:00:00Z。 db_name String 数据库名。 dw_type String 数据连接类型,只读。 queue_name String dli数据连接执行sql所需的队列,数据连接类型为DLI时必须。