检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
规则分组接口 数据权限查询接口 数据密级接口 权限应用接口 敏感数据分布接口 用户同步接口 队列权限接口 数据分类接口 数据安全诊断接口 空间资源权限策略管理接口 安全管理员接口 动态数据脱敏接口 权限审批接口 权限申请接口
、中划线和下划线。 作业类型 选择作业的类型,须选择实时处理。 离线处理:对已收集的大量数据进行批量处理和分析,这些任务通常是在计算资源和存储资源方面经过优化,以确保高效的数据处理和分析。这些任务通常是定时(例如每天、每周)执行,主要处理大量历史数据,用于批量分析和数据仓库。 实
boolean 是否导出作业依赖的脚本和资源。 默认值:true 响应参数 批量导出作业响应消息和导出作业响应消息一致,请参考 响应参数。 请求示例 导出两个作业,作业名称分别为job_batch和job_stream。是否导出作业依赖的脚本和资源默认为true。 POST /v1/
在添加授权页面,设置授权的截止时间、选择集群(仅专享版涉及),勾选应用名称,然后单击“确认授权”,完成API的授权。 如果生成API时设置入参位置为Static,则还需设置静态参数值。如果未配置Static参数值,则SDK调用时会使用API入参默认值,API工具调用时会导致缺少Static参数值的报错。 图2 添加授权
持DataArts Studio工作空间级别的资源隔离,所有DataArts Studio工作空间均可使用。 集群创建好以后不支持修改规格,如果需要使用更高规格的,需要重新创建一个集群。 CDM集群为ARM或X86版本,依赖于底层资源的架构。 CDM暂不支持控制迁移数据的速度,请避免在业务高峰期执行迁移数据的任务。
全量模式为异步分片写入Hoodie,适用于一次全量写入场景。 微批模式为异步分批写入Hoodie,适用于对入库时间SLA要求较为严格的场景,以及对资源消耗较小,对MOR表存储类型在线进行压缩的场景。 说明: 运行-失败重试期间不允许修改此模式。 是 批次数据大小 “全量模式写Hoodie
resource_name 否 String 作业所依赖的资源名称。 {job_name}.job文件内容 文件中的参数与创建作业接口的请求参数一样,请参考创建作业。 {script_name}.script文件内容 文件中的参数与创建资源接口的请求参数一样,请参考创建脚本。 请求示例 导出作业myJob。
各组件API的流量限制请参见API概览。 数据集成API的约束如下: CDM的作业数据量太多,会造成数据库压力,建议定时清理不需要的作业。 短时间内下发大量作业,可能会导致集群资源耗尽异常等,您调用API时需要注意。 CDM是批量离线迁移工具,不建议客户创建大量小作业场景。 其他组件API更详细的限制请参见具体API的说明。
ts Studio完成数据治理的流程和操作。 进阶实践 数据迁移进阶实践 数据开发进阶实践 参考案例 贸易数据统计与分析 车联网大数据业务上云 搭建实时报警平台 跨工作空间的DataArts Studio数据搬迁 通过数据开发使用参数传递灵活调度CDM作业 通过数据开发实现数据增量迁移
rl(认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全)。本示例从前端输入,仅用于演示,例如: 1 2 3 4 Key=4f5f626b-073f-402f-a1e0-e52171c6100c Secret=******
ROMA实例 是 选择一个已存在的ROMA实例。 DataArts Studio支持跨资源空间选择ROMA实例。 FDI任务 是 选择一个已存在的ROMA FDI任务。 DataArts Studio支持跨资源空间选择FDI任务。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒)
具体请参见补数据监控。 通知管理 配置在作业运行异常或成功时能接收到通知。 具体请参见通知管理。 备份管理 支持每日定时备份昨日系统中的所有作业、脚本、资源和环境变量。 具体请参见备份管理。 父主题: 企业模式角色操作
表达式:StringUtils.replace(value,"a","z") 替换内容包含特殊字符时,需要先把该字符转义成普通字符,例如,客户想通过该表达式把字符串中 \t 去掉时,需要配置为: StringUtils.replace(value,"\\t","")(即把 \ 再次转义)。 如果当
据湖服务中准备两套队列、数据库资源,建议通过名称后缀进行区分,详细操作请参见配置DataArts Studio企业模式环境隔离。 对于DWS、MRS Hive和MRS Spark这三种数据源,如果在创建数据连接时选择同一个集群,则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离,详细操作请参见DB配置。
about No matching constant for [-1], see the CDM logs. CDM上的代理拒绝服务。 SQL执行时间过长 CDM资源不足了 确认SQL执行时长,如果时间过长,建议优化SQL(默认分页的话则建议使用自定义分页)。 如果SQL执行时间较
String 告警表达式。 metric_id 否 String 挂载指ID,ID字符串。 front_configs 否 String 前端表达式配置,用于前端数据恢复。 metric_type 否 String 业务实体类型。 枚举值: AGGREGATION_LOGIC_TABLE:
String 告警表达式。 metric_id 否 String 挂载指ID,ID字符串。 front_configs 否 String 前端表达式配置,用于前端数据恢复。 metric_type 否 String 业务实体类型。 枚举值: AGGREGATION_LOGIC_TABLE:
指的是Hetu引擎的资源队列名称。查看Hetu引擎的资源队列名称,需要登录MRS的FusionInsight Manager系统,单击左侧导航的HetuEngine,在基本信息区域,单击HSConsole WebUI链接,在计算实例列表中查看Hetu引擎的资源队列名称。 规则模板
在数据开发模块控制台的左侧导航栏,进入“数据开发 > 脚本开发”,选择“新建DLI SQL脚本”。 进入SQL脚本开发页面,在脚本属性栏选择“数据连接”、“数据库”、“资源队列”。 图1 脚本属性 在脚本编辑器中输入以下SQL语句。 INSERT OVERWRITE TABLE trade_report SELECT
*映射类型 选择账号映射类型。注意每个集群的每种映射类型下只能创建一个账号映射策略。 系统账号映射:把当前IAM账号映射成MRS系统账号,默认展示。 ldap账号映射:把当前IAM账号映射成ldap账号。系统会根据MRS Hive、MRS Impala类型数据连接中的ldap