检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数仓规划:对数仓分层以及数仓建模进行统一管理。支持用户自定义数仓分层。 标准设计:新建码表&数据标准。 新建码表:通常只包括一系列允许的值和附加文本描述,与数据标准关联用于生成值域校验质量监控。 新建数据标准:用于描述公司层面需共同遵守的属性层数据含义和业务规则。其描述了公司层面对某个数据的共同理解,这些理解一旦
查看日志时,系统提示“OBS日志文件不存在,请检查文件是否被删除或者没有OBS写入权限。”怎么办? 问题现象 查看数据开发的节点日志时,系统提示“OBS日志文件不存在,请检查文件是否被删除或者没有OBS写入权限”,如下图所示: 图1 提示信息 原因分析 数据开发的日志存储在OBS
是 选择脚本所属的目录,默认为根目录。 如果脚本未保存,重新打开脚本时,可以从本地缓存中恢复脚本内容。 脚本保存后,在右侧的版本里面,会自动生成一个保存版本,支持版本回滚。保存版本时,一分钟内多次保存只记录一次版本。对于中间数据比较重要时,可以通过“新增版本”按钮手动增加保存版本。
description String 描述信息。 qualified_name String 扩展名。 guid String guid,自动生成。 code String 编码。 alias String 别名。 status String 实体的发布状态,只读,创建和更新时无需填写。
循环产生的子作业可以并发执行,您可设置并发数。 说明: 如果子作业中包含CDM Job节点,子作业并发数需要设置为1。 子作业实例名称后缀 否 For循环生成的子任务名称:For循环节点名称 + 下划线 + 后缀。 后缀可配置,如果不配置,则按照数字顺序依次递增。 表2 高级参数 参数 是否必选
description String 描述信息。 qualified_name String 扩展名。 guid String guid,自动生成。 code String 编码。 alias String 别名。 status String 实体的发布状态,只读,创建和更新时无需填写。
下个节点ID,没有则为尾节点。ID字符串。 id String 创建时传空,更新时必填。ID字符串。 qualified_id String 认证ID,自动生成。 create_by String 创建人。 update_by String 更新人。 create_time String 创建时间
删除审批人。 10800 120 删除实体下展 当已发布的实体被编辑时,其会生成下展,该接口用于删除实体的下展信息。 10800 120 获取下展信息与已发布实体的差异 当已发布的实体被编辑时,其会生成下展,该接口用于获取下展信息与已发布实体的差异。 21600 240 主题管理接口
组规则),否则可能导致网络连接不通。 表示通过内部网络访问集群数据库的访问地址,可填写为IP或域名。内网访问IP或域名地址在创建集群时自动生成,您可以通过管理控制台获取访问地址: 根据注册的账号登录DWS云服务管理控制台。 从左侧列表选择实例管理。 单击某一个实例名称,进入实例基
作业配置完成后,单击“保存并运行”,回到作业管理界面,在整库迁移的作业管理界面可查看执行进度和结果。 本地Elasticsearch索引中的每个类型都会生成一个子作业并发执行,可以单击作业名查看子作业进度。 作业执行完成后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的
String 文件进度状态,PREPARING表示准备中,GENERATED表示文件已就绪,DELETED表示文件已删除,FAILED表示上传或生成文件失败。 状态码: 500 表4 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DQC.0000表示请求处理成功。
Hive表构建图数据并自动导入GES 在DataArts Studio中,您可以将原始数据表按照GES数据导入要求处理为标准点数据集和边数据集,并通过自动生成元数据功能,将图数据(点数据集、边数据集和元数据)定期导入到GES服务中,在GES中对最新数据进行可视化图形分析。 案例 案例:贸易数据统计与分析
nk基础镜像,使用Dockerfile将作业运行需要的依赖(文件、jar包或者软件)打包到镜像中,生成自己的自定义镜像,然后将镜像发布到SWR(容器镜像服务)中,最后在此选择自己生成的镜像,运行作业。 自定义镜像可以改变Spark作业和Flink作业的容器运行环境。用户可以将一些
通过KMS加解密数据源认证信息,选择KMS中的任一默认密钥或自定义密钥即可。 说明: 第一次通过DataArts Studio或KPS使用KMS加密时,会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息,请参见什么是默认密钥。 绑定Agent 是 CDM集群提供了DataArts
下个节点ID,没有则为尾节点。ID字符串。 id String 创建时传空,更新时必填。ID字符串。 qualified_id String 认证ID,自动生成。 create_by String 创建人。 update_by String 更新人。 create_time String 创建时间
description String 描述信息。 qualified_name String 扩展名。 guid String guid,自动生成。 code String 编码。 alias String 别名。 status String 实体的发布状态,只读,创建和更新时无需填写。
通过KMS加解密数据源认证信息,选择KMS中的任一默认密钥或自定义密钥即可。 说明: 第一次通过DataArts Studio或KPS使用KMS加密时,会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息,请参见什么是默认密钥。 绑定Agent 是 CDM集群提供了DataArts
description String 描述信息。 qualified_name String 扩展名。 guid String guid,自动生成。 code String 编码。 alias String 别名。 status String 实体的发布状态,只读,创建和更新时无需填写。
通过KMS加解密数据源认证信息,选择KMS中的任一默认密钥或自定义密钥即可。 说明: 第一次通过DataArts Studio或KPS使用KMS加密时,会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息,请参见什么是默认密钥。 绑定Agent 是 使用集群配置为是时,是必选项。
onfig”,连接的配置名称固定为“linkConfig”。 id 否 Integer 配置ID,由系统生成,用户无需填写。 type 否 String 配置类型,由系统生成,用户无需填写。值为LINK或者JOB,如果是连接管理API,则为LINK;如果是作业管理API,则为JOB。