检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String 纳管角色所在集群id(仅纳管类权限集需要)。 managed_cluster_name 否 String 纳管角色所在集群名称(仅纳管类权限集需要)。 managed_role_name 否 String 纳管角色名称(仅纳管类权限集需要)。 manager_id 否 String
Array of strings 校验器。 表6 configs 参数 参数类型 描述 inputs Array of Input objects 输入参数列表,列表中的每个参数为“name,value”结构,请参考inputs数据结构参数说明。在“from-config-values”数
置的工作空间管理员角色的用户)将无权再查看并使用该委托。 授权对象 用户 选择需要授权的用户。用户列表来自于工作空间用户。 用户组 选择需要授权的用户组。用户组列表来自于工作空间用户组。 角色 选择需要授权的角色。角色列表来自于系统预置角色和自定义角色。 图2 新建空间资源权限策略
当迁移动作影响到客户的HDFS集群时,需要手动停止作业。 如果作业出现大批量的失败: 先检查DES盒子是否被写满。如果写满,需要清除最近写入的目录,保证后面写入的数据都是完整的。 再检查网络是否连通。 检查客户的HDFS集群。检查是否有指标异常的现象,如果有,则需要暂停迁移任务。 父主题: 车联网大数据零丢失搬迁入湖
iewer的角色权限才能在CDM创建连接;如果需要对MRS组件的库、表、列进行操作,还需要参考MRS文档添加对应组件的库、表、列操作权限。 如果CDM集群为2.9.0之前的版本,或MRS集群为3.1.0之前的版本,则所创建的用户需要具备Manager_administrator或
项目ID,获取方法请参见项目ID和账号ID。 cluster_id 是 String 集群ID。 job_name 是 String 查询多个作业用all,查询单个作业输入作业名。 表2 Query参数 参数 是否必选 参数类型 描述 filter 否 String 当“job_name”为“all”时,此参数用于模糊过滤作业。
存储方式,此参数只有当数据库类型为DWS时启用,当需要自动创建DWS数据库表,指定表的数据存储方式: ROW:表的数据以行式存储。 COLUMN:表的数据以列式存储。 toJobConfig.isCompress 否 Boolean 是否压缩,此参数只有当数据库类型为DWS时启用,当需要自动创建DWS数据库表,指定是否对表的数据进行压缩存储。
property_name 否 String 参数名称。 property_value 否 String 参数值。 query 否 String 搜索框输入。 filter 否 DataMapFilterCriteria object 查询过滤条件。 guid_list 否 Array of strings
云服务之间的关系 如果多个云服务一起搭配使用,需要注意不同区域的云服务内网不互通。 例如DataArts Studio(包括管理中心、CDM等组件)需要与MRS、OBS等服务互通时,如果DataArts Studio与其他云服务处于不同区域的情况下,需要通过公网或者专线打通网络;而在同区域
工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 响应消息的Content-Type是application/octet-stream,需要解析转化为一个文件,可以参考解析响应消息体中的流样例代码。响应是一
业务资产和指标资产来自于数据架构组件,会随数据架构同步的数据更新,但不支持随之删除。如需删除需要在数据目录中定位到资产后手动删除。 技术资产中的数据连接信息来自于管理中心的数据连接,会随管理中心同步的数据更新,但不支持随之删除。如需删除需要在数据目录中定位到资产后手动删除。 技术资产中的库表列等信息来自于
工作空间(仅工作空间角色需要)。 cluster_type String 集群类型(仅集群角色需要), MRS, DWS, DLI。 cluster_id String 集群id(仅集群角色需要)。 cluster_name String 集群名称(仅集群角色需要)。 create_time
图1 提交 如果在“审批中心”开启了提交审批的开关,则脚本提交审批后,需要审批人在“审批中心”的“待审批”页签进行审批,只有当审批通过后,脚本才能提交成功。具体操作请参见审批配置。如果开关是关闭状态,则不需要审批,直接提交新版本即可。 如果要撤销已提交的审批流程,请您在“审批中心
如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 表3 参数说明 参数名 是否必选 参数类型 说明 approvers 否 List<JobApprover> 在开启审批开关后,需要填写该字段,表示作业审批人,参考表4。 审批开关的配置请参见审批中心。
您可以根据实际需要选择如下操作。 当需要... 则... 新建 执行新建衍生指标并发布。 编辑 执行3。 发布 执行4。 查看发布历史 执行5 预览SQL 执行6 下线 执行7。 查看汇总表 执行8。 删除 执行9。 导入 执行10。 导出 执行11。 编辑 在需要编辑的衍生指标
在开启审批开关后,需要填写该字段。表示创建脚本的目标状态,有三种状态:SAVED、SUBMITTED和PRODUCTION,分别表示脚本创建后是保存态,提交态,生产态。 保存态表示脚本仅保存,无法调度运行,需要提交并审核通过后才能运行。 提交态表示脚本保存后会自动提交,需要审核通过才能运行。
图1 提交 如果在“审批中心”开启了提交审批的开关,则作业提交审批后,需要审批人在“审批中心”的“待审批”页签进行审批,只有当审批通过后,作业才能提交成功。具体操作请参见审批配置。如果开关是关闭状态,则不需要审批,直接提交新版本即可。 如果要撤销已提交的审批流程,请您在“审批中心
各组件API的流量限制请参见API概览。 数据集成API的约束如下: CDM的作业数据量太多,会造成数据库压力,建议定时清理不需要的作业。 短时间内下发大量作业,可能会导致集群资源耗尽异常等,您调用API时需要注意。 CDM是批量离线迁移工具,不建议客户创建大量小作业场景。 其他组件API更详细的限制请参见具体API的说明。
说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 表3 Connection参数说明 参数名 是否必选 参数类型 说明 name 是 String
Studio提交脚本并运行,查看脚本是否执行完成,同时在数据开发脚本执行界面,日志中会显示具体错误信息和脚本执行的结果。 如果需要查看具体的错误原因,则需要到MRS的作业管理界面进行查看。 父主题: 数据开发