检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表2 DataArts Studio使用限制一览表 组件 约束限制 公共 DataArts Studio必须基于华为云底座部署。资源隔离场景下,支持以全栈专属云模式部署,另外也支持以华为云Stack和HCS Online混合云模式部署。
图3 新建样本 在弹出的新建窗口中填写样本信息,参考表1完成配置。配置完成后单击“确定”即可。 图4 新建样本窗口 表1 新建样本参数配置 参数 参数描述 *名称 样本名称,只能包含英文字母、数字、“_”,且长度不能超过64个字符,超出部分将被截断。
表3 请求Body参数 参数 是否必选 参数类型 描述 variables 否 Object 启动作业,配置变量参数,作业配置无变量时,为空对象。
进入到作业开发页面,拖动“MRS Spark Python”节点到画布中并单击,配置节点的属性。
配置模型相关参数。 图3 新建模型 表2 模型参数说明 参数 说明 *模型名称 定义模型名称。只能包含中文、英文字母、数字和下划线。 数据连接类型 选择数据连接类型。
表4 CdmQueryClusterInstanceDetail 参数 参数类型 描述 configurationStatus String 节点配置状态: In-Sync:配置已同步。 Applying:配置中。 Sync-Failure:配置失败。
配置软硬锁的策略请参见配置默认项。 软锁:忽略当前作业或脚本是否被他人锁定,可以进行抢锁或解锁。 硬锁:若作业或脚本被他人锁定,则需锁定的用户解锁之后,当前使用人方可抢锁,空间管理员或DAYU Administrator可以任意抢锁或解锁。
专享版数据服务常用于企业内部系统解耦,各服务部署在云上的VPC内,服务之间以RESTful API方式通信,通信链路在VPC内部进行,网络安全得到进一步保障。同时专享版实例支持前端或后端服务部署在公有网络,通过绑定弹性公网IP实现网络交互。
说明: 该参数支持配置通配符(*),实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如: SCHEMA*表示导出所有以“SCHEMA”开头的数据库。 *SCHEMA表示导出所有以“SCHEMA”结尾的数据库。
在Hudi表开启“同步hive表配置”后,可通过采集MRS Hive元数据的方式采集Hudi表的元数据) 详情请参见支持的数据源。 父主题: 数据目录
图1 新建作业 进入到作业开发页面,拖动“MRS Flink”节点到画布中并单击,配置节点的属性。
注意此方法只能直接获取当前作业里配置的参数值,并不能获取到父作业传递过来的参数值,也不能获取到工作空间里面配置的全局变量,作用域仅为本作业。 这种情况下建议使用表达式${job_param_name},既可以获取到父作业传递过来的参数值,也可以获取到全局配置的变量。
Cdm.0034 请重启CDM,重新加载MRS或者FusionInsight配置信息。 请重启CDM,重新加载MRS或者FusionInsight配置信息。 Cdm.0035 没有权限写文件,请参考详细消息: %s 请根据错误提示配置权限,再重试。
在开发态下,可以随意编辑、保存、运行脚本/作业,不会影响调度中的脚本/作业;另外在作业关联脚本、配置作业依赖时,被关联的脚本/作业均会读取开发态的配置。 生产态:提交后版本的脚本/作业为生产态,用于正式调度。
如果只有极少数据有问题,可以配置脏数据策略解决。 父主题: 数据集成
表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster 删除集群 cluster deleteCluster 修改集群配置 cluster modifyCluster 开机 cluster startCluster 重启
图1 复制脚本 在弹出的“另存为”页面,配置如表1所示的参数。 表1 脚本目录参数 参数 说明 脚本名称 脚本的名称,只能包含字符:英文字母、数字、中文、中划线、下划线和点号,且长度小于等于128个字符。 说明: 复制后的脚本名称不能和原脚本名称相同。
name 是 String 配置名称:源端作业的配置名称为“fromJobConfig”。目的端作业的配置名称为“toJobConfig”,连接的配置名称固定为“linkConfig”。 id 否 Integer 配置ID,由系统生成,用户无需填写。
name 是 String 配置名称:源端作业的配置名称为“fromJobConfig”。目的端作业的配置名称为“toJobConfig”,连接的配置名称固定为“linkConfig”。 id 否 Integer 配置ID,由系统生成,用户无需填写。
configuration 否 map <String,Object> 用户定义适用于此作业的配置参数,当type参数值为DLI SQL时,才支持此参数。当前支持的配置项列表请参考 conf参数说明。默认值为空。