检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业调度等其他作业参数无需配置,保持默认即可。 图2 job1作业DIS Client节点配置 在另一个工作空间B,新建数据开发作业job_agent。分别选择Dummy节点和Subjob节点,选中连线图标并拖动,编排图3所示的作业。 图3 job_agent作业调度配置 Dummy节点不
created_by String 创建者。 created_at Long 创建时间。 updated_by String 更新者。 updated_at Long 更新时间。 instance_id String DataArts实例ID。 状态码: 400 表5 响应Body参数 参数
xx/getContestantInfo/2?query=1 如果您需要对调用结果进行自定义调整,则还可以配置如下Query参数,通过“&”连接多个参数: (可选)分页配置:默认情况下,对于配置方式和默认分页的脚本/MyBatis方式API,系统将默认赋值返回量。如果需要获取特定分页数据,
单击“添加”,参数名配置为id1。 参数位置选择Query。 类型设置为Number。 是否必填选择必填。 默认值保持默认,无需填写。 再次单击“添加”,按照id1参数的配置信息再配置id2。 配置好API基本信息后,单击“下一步”,即可进入API取数逻辑页面。 配置取数逻辑 本例中
Map<String,String> 连接的配置项,不同类型的连接配置项不同。DLI类型的连接不需要配置。config参数,其他类型的连接请参考连接配置项说明。 description 否 String 描述,长度不能超过255个字符。 表4 DWS类型的连接配置项说明 参数名 是否必选 参数类型
议拆分到不同目录并创建多个任务。 用户在CDM上配置的连接和作业支持导出到本地保存,考虑到密码的安全性,CDM不会将对应数据源的连接密码导出。因此在将作业配置重新导入到CDM前,需要手工编辑导出的JSON文件补充密码或在导入窗口配置密码。 不支持集群自动升级到新版本,需要用户通过
单击“访问方式”后面的,修改访问方式。 勾选“编程访问”和“管理控制台访问”。 图4 配置访问方式 单击“确定”。 在管理控制台创建工作空间时,作业日志OBS路径只支持OBS对象桶,不支持并行文件系统。如果不配置作业日志OBS路径,DataArts Studio数据开发默认会把日志写到dl
端软件包到待安装客户端节点的指定目录。以待安装客户端的用户登录将要安装客户端的节点,并解压客户端软件包后,执行install命令进行安装,详细内容请参考安装客户端(3.x及之后版本)。 MRS 3.x之前版本集群在集群创建后,在主Master节点默认安装有客户端,安装目录为“/opt/client”。
护策略和数据安全运营四大能力。 数据安全组件当前在华东-上海一、华东-上海二、华北-乌兰察布一、华北-北京四、华南-广州和西南-贵阳一区域部署上线。 使用场景 数据安全可满足不同角色(如数据开发工程师,数据安全管理员,数据安全审计员和数据安全运营人员)对数据安全和数据治理的诉求,
在DataArts Studio“空间管理”页签中,单击工作空间操作列“编辑”链接。 图3 编辑空间管理 在“空间信息”中,单击“设置”按钮对已分配配额进行配置。 图4 设置已分配配额 数据服务已创建的API属于计费项,当前操作正在增加API配额,这会使工作空间下可以创建更多的API,同时可能使收费增加,请确认。
park等多种数据处理节点,提供丰富的调度配置策略与海量的作业调度能力。 统一调度和运维 全面托管的调度,支持按时间、事件触发的任务触发机制,支持分钟、小时、天、周和月等多种调度周期。 可视化的任务运维中心,监控所有任务的运行,支持配置各类报警通知,便于责任人实时获取任务的情况,保证业务正常运行。
左侧为API请求参数配置区域,参数说明如表1所示。右侧为API发送的请求信息和API请求调用后的返回结果回显。 表1 调试API 参数名称 说明 API版本 仅专享版支持指定API版本调试。 当未指定API版本时,默认调试的是未发布的API。 参数配置 Query的参数与参数值。
String 创建者。 l1 String 主题域分组中文名,只读,创建和更新时无需填写。 l2 String 主题域中文名,只读,创建和更新时无需填写。 l3 String 业务对象中文名,只读,创建和更新时无需填写。 approval_time String 审核时间。 approver
创建一个数据开发模块空作业,作业名称为“job_DLI_Spark”。 图2 创建作业 然后进入作业开发页面,拖动DLI Spark节点到画布并单击,配置节点的属性。 图3 配置节点属性 关键属性说明: DLI队列:DLI中创建的DLI队列。 作业运行资源:DLI Spark节点运行时,限制最大可以使用的CPU、内存资源。
String 数据分类id。 builtin_rule_id String 预置规则id。 updated_by String 更新人。 update_at Long 更新时间。 created_by String 创建人。 create_at Long 创建时间。 状态码: 400 表9
dw_name String 数据连接名称。 dw_type String 数据连接类型。 dw_config Object 连接动态变化配置项,每种连接略有区别,建议在界面进行调试。 agent_id String CDM集群ID,获取方法请参见查询集群列表。 agent_name
的表时会自动将varchar类型的字段长度扩大3倍。 编辑CDM的表/文件迁移作业,目的端作业配置下“自动创表”选择“不存在时创建”,则高级属性下面会出现参数“扩大字符字段长度”,配置该参数为“是”即可,如图2所示。 图2 扩大字符字段长度 父主题: 数据集成(CDM作业)
String 创建者。 l1 String 主题域分组中文名,只读,创建和更新时无需填写。 l2 String 主题域中文名,只读,创建和更新时无需填写。 l3 String 业务对象中文名,只读,创建和更新时无需填写。 approval_time String 审核时间。 approver
建议用于生产环境。 专享版数据服务常用于企业内部系统解耦,各服务部署在云上的VPC内,服务之间以RESTful API方式通信,通信链路在VPC内部进行,网络安全得到进一步保障。同时专享版实例支持前端或后端服务部署在公有网络,通过绑定弹性公网IP实现网络交互。 表1 共享版与专享版数据服务差异
客户端可以随时再次提交该请求而无需进行任何更改。 409 Conflict 服务器在完成请求时发生冲突。 返回该状态码,表明客户端尝试创建的资源已经存在,或者由于冲突请求的更新操作不能被完成。 410 Gone 客户端请求的资源已经不存在。返回该状态码,表明请求的资源已被永久删除。 411 Length Required