检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据服务 数据服务简介 共享版与专享版数据服务的对比 开发数据服务API 调用数据服务API 查看API访问日志 配置数据服务审核中心
天。 图3 配置调度周期 作业调度周期设置为天,每天会进行作业调度,并生成一个调度实例。您可以在“实例监控”页面中,查看补数据实例的运行状态。用户可以在该页面中查看作业的实例信息,并根据需要对实例进行更多操作。 该作业调度时间从2023/03/09开始生效,每天2点调度一次作业。
该模块提供企业级的元数据管理,厘清信息资产。通过数据地图,实现数据资产的数据血缘和数据全景可视,提供数据智能搜索和运营监控。 查看工作空间数据地图 配置数据访问权限 配置数据安全策略(待下线) 采集数据源的元数据 数据目录典型场景教程
配置Elasticsearch/云搜索服务(CSS)目的端参数 作业中目的连接为Elasticsearch连接参数说明或云搜索服务(CSS)连接参数说明时,即将数据导入到Elasticsearch/云搜索服务(CSS)时,目的端作业参数如表1所示。 表/文件迁移和整库迁移时需配置
Studio实例卡片上的“更多 > 配额使用量”入口查看,其中的“作业节点调度次数/天”总量即为当前实例配额。 表1 DataArts Studio实例并行节点数上限 DataArts Studio实例作业节点调度次数/天配额 DataArts Studio实例并行节点数上限 <=500
Studio管理中心提供了统一的配置和管理入口,可以管理数据连接、资源迁移等,根据需要定制个性化的入口和展示。 DataArts Studio支持的数据源 创建DataArts Studio数据连接 配置DataArts Studio数据连接参数 配置DataArts Studio资源迁移 配置DataArts
Studio控制台购买的对应实例规格的CDM集群使用。 数据集成CDM集群可用于如下场景: 用于创建并运行数据迁移作业,提供数据上云和数据入湖的集成能力。 作为在管理中心创建连接时的Agent代理,为DataArts Studio实例和数据源直接提供网络通道。 DataArts Studio实例中已经
数据安全运营 审计数据访问日志 诊断数据安全风险 查看表权限的拥有者(表权限视图) 查看用户的权限(成员权限视图) 父主题: 数据安全
DataConnectionVO objects 数据连接信息数组 表6 DataConnectionVO 参数 参数类型 描述 dw_name String 数据连接名称。 dw_id String 数据连接ID。 display_name String 数据连接名称,适配现有实现。 dw_type
脏数据当前仅支持写入到OBS桶路径中。因此仅当已具备OBS连接时,此参数才可以配置。 是 脏数据写入连接 当“是否写入脏数据”为“是”才显示该参数。 脏数据要写入的连接,目前只支持写入到OBS连接。 obs_link OBS桶 当“脏数据写入连接”为OBS类型的连接时,才显示该参数。 写入脏数据的OBS桶的名称。
DataArts Studio实例ID,获取方法请参见实例ID和工作空间ID。 resource_spec_code 是 String 产品规格编码(即实例类型编码),例如dayu.starter,dayu.basic,dayu.advanced等,通过实例列表信息进行获取。 product_id
X-Auth-Token 是 String 用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type
#{expr} 其中,“expr”指的是表达式。“#”和“{}”是数据开发模块EL中通用的操作符,这两个操作符允许您通过数据开发模块内嵌对象访问作业属性。 举例 在Rest Client节点的参数“URL参数”中使用EL表达式“tableName=#{JSONUtil.path(Job
资源的名称,只能包含英文字母、数字、中文字符、“_”、“-”,且长度为1~32个字符。 类型 是 选择资源的文件类型: jar:用户jar文件。 pyFile:用户Python文件。 file:用户文件。 archive:用户AI模型文件。支持的文件后缀名为:zip、tgz、tar.gz、tar、jar。 资源位置 是
配置MRS ClickHouse目的端参数 作业中目的连接为MRS ClickHouse连接时,目的端作业参数如表1所示。 当作业源端为MRS ClickHouse、DWS及Hive时: 若int及float类型字段为null时,创建MRS ClickHouse表格时字段类型需设
重跑作业实例 功能介绍 重跑指定作业实例。只有作业实例的状态是成功、失败和取消,才能重跑作业实例。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v1/{project_id}/jobs/{job_name}/instan
查询作业实例详情 功能介绍 查询指定作业实例详情信息,包括作业实例内各个节点的执行信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/jobs/{job_name}/instances/{instance_id}
通过数据目录可以对各类资产进行搜索、过滤、查看详情等操作。 业务资产来自于数据架构组件中定义并发布过的逻辑实体与数据表。 技术资产中的数据连接来源于管理中心的数据连接,库表列等来源于数据目录的元数据采集任务。 指标资产来自于数据架构组件中定义并发布过的业务指标。 约束限制 业务资产和指标资产
终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。 终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。 继续执行下一节点:忽略当前节点失败,当前作业实例状态显示为“忽略失败”。 挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以
有对象: “表-用户”页签:默认展示当前实例下,通过授权对象为用户的权限申请和审批流程所获取的表权限。支持筛选不同的数据源类型,并通过用户名、集群名称、数据库或表名检索。 权限申请和审批流程详见申请与审批权限。 图2 表-用户 “表-角色”页签:默认展示当前实例下,在角色(包含空