检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
fromJobConfig.fileFilter 否 String 文件过滤器,过滤类型为通配符时配置,用于过滤目录下的文件,支持配置多个文件,中间使用“,”分隔,例如:“*.csv,*.txt”。
type 是 String 连接类型,包含: DWS DLI SparkSQL HIVE RDS CloudTable HOST config 否 Map<String,String> 连接的配置项,不同类型的连接配置项不同。DLI类型的连接不需要配置。
作业调度等其他作业参数无需配置,保持默认即可。 图2 job1作业DIS Client节点配置 在另一个工作空间B,新建数据开发作业job_agent。分别选择Dummy节点和Subjob节点,选中连线图标并拖动,编排图3所示的作业。
单击“重置”可重置配置参数至默认状态。 父主题: 敏感数据保护
权限管理接口 创建权限集 查询权限集列表 查询权限集 删除权限集 更新权限集 添加权限集成员 查询权限集成员列表 批量删除权限集成员 添加权限集的权限 查询权限集的权限列表 删除权限集的权限 更新权限集的权限 查询数据源可配置权限 查询权限集中配置的url信息 查询数据操作信息 父主题
小时:选择调度开始时间和结束时间,配置间隔的小时时长。 天:配置每日调度时间。 周:选择星期几启动调度,配置调度具体时间。 月:选择几号启动调度,配置调度具体时间。 例如:选择调度周期是周,选择具体时间为15:52,时间选择为星期二。
如果作业测试运行正常,单击右侧的“调度配置”,配置作业的调度策略。 图10 调度配置 说明: 调度方式:本示例中选择“周期调度”。 调度属性:2022/02/09至2022/02/28,每天1点执行一次作业。 依赖属性:可以配置为依赖其他作业运行,本例不涉及,无需配置。
在新建数据标准页面中,请参考表2配置参数。 在新建数据标准页面中,仅显示在“配置中心 > 标准模板管理”中已勾选的参数和已添加的自定义参数。表2中所示为选中数据标准模板中的所有参数并添加了一个自定义参数的场景。有关配置数据标准模板的详细信息,请参见标准模板管理。
参数配置 Query的参数与参数值。 集群配置 仅专享版支持,选择调试API所依托的实例。 测试完成后,单击“确定”返回API列表。已成功修改的API会在API名称后添加“已编辑”标签。 图2 已编辑API 再次发布已编辑的API。
(可选)自定义工作空间角色 对于DAYU User账号权限的IAM用户而言,DataArts Studio工作空间角色决定了其在工作空间内的权限,当前有管理员、开发者、部署者、运维者和访客这几种预置角色可被分配,角色的权限说明请参见权限列表章节。
在“新建码表”页面中,做如下配置: 在“基础配置”区域,配置如下参数: 图3 基础配置 表2 基础配置 参数名称 说明 *表名 码表名称。 只允许除\、<、>、%、"、'、;及换行符以外的字符。 *编码 码表的英文名称。支持自动生成码表,也可选择自定义手动输入。
关键配置:在第一个Rest Client的“响应消息体解析为传递参数定义”配置中,配置clusterId=clusters[0].clusterId,后续的Rest Client节点就可以用${clusterId}的方式引用到集群列表中的第一个集群的cluster Id。
关键配置:在第一个Rest Client的“响应消息体解析为传递参数定义”配置中,配置clusterId=clusters[0].clusterId,后续的Rest Client节点就可以用${clusterId}的方式引用到集群列表中的第一个集群的cluster Id。
name String 配置名称:源端作业的配置名称为“fromJobConfig”。目的端作业的配置名称为“toJobConfig”,连接的配置名称固定为“linkConfig”。 id Integer 配置ID,由系统生成,用户无需填写。
自定义指标 如果在配置中心的指标配置页面设置了自定义指标,页面中会显示自定义指标参数。创建流程请参见指标配置。 配置指标数据信息。 图2 指标数据信息 表2 指标数据信息参数 参数说明 说明 *计算公式 定义业务指标的计算逻辑,以便指导开发者根据计算公式设计原子指标、衍生指标。
H公司安装的云专线为20GE端口,支持CDM超大规格的集群(cdm.xlarge),综合考虑迁移时间、成本、性能等,这里使用2个CDM超大规格集群并行迁移。CDM集群规格如表1所示。
如果您只给用户配置了DAYU User系统角色,未配置工作空间角色,则会出现无法查看工作空间的报错。 解决方案 请查看该工作空间下是否已添加用户,如果没有,请参考以下步骤添加该用户。
脚本执行历史结果可以进行权限管控,可设置为“仅自己可见”或“所有用户可见”,默认配置项请参见脚本执行历史展示。 在编辑器上方,单击“保存”,保存脚本。 如果脚本是新建且未保存过的,请配置如表3所示的参数。
DataArts Studio部署时通过物理区域划分,为项目级服务。授权时,“授权范围方案”如果选择“所有资源”,则该权限在所有区域项目中都生效;如果选择“指定区域项目资源”,则该权限仅对此项目生效。
如果您的应用需要较高的容灾能力,建议您将资源部署在同一区域的不同可用区内。 如果您的应用要求实例之间的网络延时较低,则建议您将资源创建在同一可用区内。 详情请参见什么是可用区。 工作空间 选择需要使用批量数据迁移增量包的工作空间。