检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
英文名称。只允许英文字母、数字、空格、下划线、中划线、左右括号以及&符号。 别名 只允许除\、<、>以外的字符。 说明: 您需提前在配置中心的“模型配置”页签中启用主题设计别名,这里才可配置别名。 上级主题 选择所属的上级主题。 数据owner部门 数据的拥有者所在部门。 *数据owner人员 在下拉
新增编辑配置中心权限”。 角色类型:该角色仅在简单模式空间下使用,选择为“开发&生产模式,自定义角色”。 复用预置角色:选择“开发者”,然后勾选“数据架构 > 配置中心 >编辑”,为该角色授予编辑配置中心的权限。 图3 创建自定义角色Developer_DDL 配置完成后,单击“确定”即可新增自定义角色。
如果作业测试运行正常,单击右侧的“调度配置”,配置作业的调度策略。 图10 调度配置 说明: 调度方式:本示例中选择“周期调度”。 调度属性:2022/02/09至2022/02/28,每天1点执行一次作业。 依赖属性:可以配置为依赖其他作业运行,本例不涉及,无需配置。 跨周期依赖:可以选择配置为自依赖或者
在用户同步任务页面,单击“新建”,新建用户同步任务。 图1 新建用户同步任务 新建用户同步任务参数配置请参考表1,参数配置完成单击“确定”,即可新建用户同步任务。 图2 配置用户同步任务 表1 配置用户同步任务参数说明 配置 说明 *选择集群 选择DWS或Ranger数据连接中已连接的DWS或MRS集群。
页面。 单击左侧导航树中的“文件水印”,默认进入水印注入页面。 图1 进入水印注入页面 在水印注入页面输入基本信息,参数配置请参考表1。 表1 水印注入参数配置 参数名 参数描述 *数据类型 选择文件类型。 结构化数据(csv、xml和json)。支持注入暗水印,水印内容不可见,需要进行水印提取。
多等的问题。 表3 转储配置 参数 是否必选 说明 数据格式 是 目前支持导出CSV和JSON格式的结果文件。 资源队列 否 选择执行导出操作的DLI队列。当脚本为DLI SQL时,配置该参数。 压缩格式 否 选择压缩格式。当脚本为DLI SQL时,配置该参数。 none bzip2
User角色的IAM用户已在对应的DataArts Studio工作空间中被设置为对应的工作空间角色。 如果您只给用户配置了DAYU User系统角色,未配置工作空间角色,则会出现无法查看工作空间的报错。 解决方案 请查看该工作空间下是否已添加用户,如果没有,请参考以下步骤添加该用户。
列中,选择“编辑”。 在API编辑界面,您可以修改API的基础配置或取数逻辑,例如API目录、描述、请求方式、入参、取数方式等,注意API名称、请求path、参数协议、安全认证不支持修改。 图1 修改API的基础配置或取数逻辑 API修改完成后,单击“下一步”进入测试页面。填写相关参数后,进行API测试。
否 String 路径过滤器,过滤类型为通配符时配置,用于过滤文件目录,例如:“*input”。 fromJobConfig.fileFilter 否 String 文件过滤器,过滤类型为通配符时配置,用于过滤目录下的文件,支持配置多个文件,中间使用“,”分隔,例如:“*.csv
目录中。 在目录树中单击刚建好的目录,然后单击“新建”按钮新建一个码表。 在“新建码表”页面中,做如下配置: 在“基础配置”区域,配置如下参数: 图3 基础配置 表2 基础配置 参数名称 说明 *表名 码表名称。 只允许除\、<、>、%、"、'、;及换行符以外的字符。 *编码 码
name String 配置名称:源端作业的配置名称为“fromJobConfig”。目的端作业的配置名称为“toJobConfig”,连接的配置名称固定为“linkConfig”。 id Integer 配置ID,由系统生成,用户无需填写。 type String 配置类型,由系统生成
y Params的值,否则就需要手动输入。 图5 Params 如果您需要对调用结果进行自定义调整,则还可以配置如下Query参数: (可选)分页配置:默认情况下,对于配置方式和默认分页的脚本/MyBatis方式API,系统将默认赋值返回量。如果需要获取特定分页数据,您可以修改如
数据库:默认选择SQL脚本“hive_sql”中设置的数据库,支持修改。 作业编排完成后,单击,测试运行作业。 如果运行成功,单击画布空白处,在右侧的“调度配置”页面,配置作业的调度策略。 图4 配置调度方式 该作业调度时间在2021/01/01至2021/01/25,每天2点调度一次作业。 最后我们需要提交版本,执行调度作业,实现作业每天自动运行。
S主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本的调度频率合理配置MaxSessions的值。 当前用户已锁定该脚本,否则需要通过“抢锁”锁定脚本后才能继续开发脚本。新建或导
新增编辑配置中心权限”。 角色类型:该角色仅在简单模式空间下使用,选择为“开发&生产模式,自定义角色”。 复用预置角色:选择“开发者”,然后勾选“数据架构 > 配置中心 >编辑”,为该角色授予编辑配置中心的权限。 图3 创建自定义角色Developer_DDL 配置完成后,单击“确定”即可新增自定义角色。
节点名称:默认显示为SQL脚本“dws_sql”的名称,支持修改。 作业编排完成后,单击,测试运行作业。 如果运行成功,单击画布空白处,在右侧的“调度配置”页面,配置作业的调度策略。 图3 配置调度方式 说明: 2021/08/06至2021/08/31,每天2点执行一次作业。 单击“提交”,执行调度作业,实现作业每天自动运行。
(可选)在数据架构控制台,单击左侧导航树中的“配置中心”,在功能配置下选择是否开启“时间限定生成使用动态表达式”功能,默认关闭。 图1 功能配置 在数据架构控制台,单击左侧导航树中的“技术指标”,选择“时间限定”页签。 进入时间限定页面后,单击“新建”按钮。 在新建时间限定页面,参考表1配置参数,然后单击“发布”。
选择连接器类型 连接器类型选择“云数据库 MySQL”后单击“下一步”,配置连接参数: 名称:用户自定义连接名称,例如:“rds_link”。 数据库服务器、端口:配置为RDS上MySQL数据库的连接地址、端口。 数据库名称:配置为RDS上MySQL数据库的名称。 用户名、密码:登录数据库的用户和密码。
I调用者已完成申请API授权。 如果API中入参定义了Static参数,则在API授权时已配置Static参数值。 本章以Postman工具为例,因此需要已安装Postman工具,如果未安装,请至Postman官方网站下载。 约束与限制 APP认证方式的API调用前必须先完成通过
个数据标准。 在新建数据标准页面中,请参考表2配置参数。 在新建数据标准页面中,仅显示在“配置中心 > 标准模板管理”中已勾选的参数和已添加的自定义参数。表2中所示为选中数据标准模板中的所有参数并添加了一个自定义参数的场景。有关配置数据标准模板的详细信息,请参见标准模板管理。 图3