检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
RIMARY KEY或UNIQUE索引值)的新输入的行。 约束冲突处理配置为"replace into"或"local",使用REPLACE,与现有行中的唯一键值具有相同值的新行将替换现有行。 约束冲突处理配置为"insert into",默认使用IGNORE,与唯一键值上的现有
单击“访问方式”后面的,修改访问方式。 勾选“编程访问”和“管理控制台访问”。 图4 配置访问方式 单击“确定”。 在管理控制台创建工作空间时,作业日志OBS路径只支持OBS对象桶,不支持并行文件系统。如果不配置作业日志OBS路径,DataArts Studio数据开发默认会把日志写到dl
”页签。 图2 进入动态脱敏订阅页签 单击“创建订阅”,弹出创建订阅窗口,参数配置参考表1。 图3 创建订阅参数配置 创建动态脱敏订阅任务参数配置说明: 表1 配置任务参数 参数名 参数说明 连接配置 *选择集群 选择需要同步第三方平台动态脱敏策略的集群。 当前暂不支持同步策略到
park等多种数据处理节点,提供丰富的调度配置策略与海量的作业调度能力。 统一调度和运维 全面托管的调度,支持按时间、事件触发的任务触发机制,支持分钟、小时、天、周和月等多种调度周期。 可视化的任务运维中心,监控所有任务的运行,支持配置各类报警通知,便于责任人实时获取任务的情况,保证业务正常运行。
Studio权限的操作准备必要的IAM用户,然后参考本章节将该用户添加为工作空间成员并配置工作空间角色。 图1 权限体系 工作空间角色决定了该用户在工作空间内的权限,当前有管理员、开发者、部署者、运维者和访客这几种预置角色可被分配,您也可以参考(可选)自定义工作空间角色自定义角色
左侧为API请求参数配置区域,参数说明如表1所示。右侧为API发送的请求信息和API请求调用后的返回结果回显。 表1 调试API 参数名称 说明 API版本 仅专享版支持指定API版本调试。 当未指定API版本时,默认调试的是未发布的API。 参数配置 Query的参数与参数值。
在硬锁策略下,如果锁在其他人手中,重名策略选择了覆盖,则会覆盖失败。软硬锁策略请参考配置软硬锁策略。 升级解决方案 在解决方案目录中,右键单击解决方案名称,选择“升级”,导入已上传到OBS中的解决方案文件。升级解决方案时,会停止其中正在运行的作业,系统将依据用户配置的升级重启策略,判断是否在升级完成后重新启动作业。
选择所需要的衍生指标或复合指标,并根据实际需求在“表达式”中设置表达式。 同比增长率 *同比配置 选择年同比、月同比或者周同比。 *设定衍生指标 选择所需要的衍生指标,此处仅展示有时间限定衍生指标。系统会根据同比配置,利用时间限定自动计算同比增长率。 环比增长率 *设定衍生指标 选择所需要的衍
"elasticsearch-connector" } ] } 连接参数 参数 是否必选 类型 说明 linkConfig.host 是 String 配置为Elasticsearch服务器的IP地址或域名,包括端口号,格式为“ip:port”,多个地址之间使用分号(;)分隔,例如:192.168
的表时会自动将varchar类型的字段长度扩大3倍。 编辑CDM的表/文件迁移作业,目的端作业配置下“自动创表”选择“不存在时创建”,则高级属性下面会出现参数“扩大字符字段长度”,配置该参数为“是”即可,如图2所示。 图2 扩大字符字段长度 父主题: 数据集成(CDM作业)
近30天作业实例运行失败TOP 10:查看运行异常的作业实例的详细运行记录。 运维调度 配置管理 配置管理提供如下能力: 主机连接管理。 资源管理。 环境变量配置。 作业标签管理。 委托配置。 资产备份和还原。 配置管理 管理中心 DataArts Studio提供的实例管理、工作空间管理、数据连接管理、资源迁移功能。
Y N N 查询逻辑实体/物理表 Y Y Y Y 编辑逻辑实体/物理表 Y Y N N 新建配置中心 Y N N N 删除配置中心 Y N N N 查询配置中心 Y Y Y Y 编辑配置中心 Y N N N 操作审批中心 Y Y N N 新建主题设计 Y Y N N 删除主题设计
创建一个数据开发模块空作业,作业名称为“job_DLI_Spark”。 图2 创建作业 然后进入作业开发页面,拖动DLI Spark节点到画布并单击,配置节点的属性。 图3 配置节点属性 关键属性说明: DLI队列:DLI中创建的DLI队列。 作业运行资源:DLI Spark节点运行时,限制最大可以使用的CPU、内存资源。
认证前准备。 获取并安装Go安装包,如果未安装,请至Go官方网站下载。 获取并安装IntelliJ IDEA,如果未安装,请至IntelliJ IDEA官方网站下载。 已在IntelliJ IDEA中安装Go插件,如果未安装,请按照图1所示安装。 图1 安装Go插件 获取SDK 登录DataArts
例如,选择衍生指标,表达式设置为地区销售额/地区经营面积。 同比 *同比配置 选择年同比、月同比或者周同比。 *设定衍生指标 选择所需要的所属流程和衍生指标,此处仅展示有时间周期衍生指标。系统会根据同比配置,利用时间周期自动计算同比增长率。 环比 *设定衍生指标 选择所需要的所属
在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 单击脚本目录中的 > 导入脚本,选择待导入的脚本文件,并配置重名处理策略。 在硬锁策略下,如果锁在其他人手中,重名策略选择了覆盖,则会覆盖失败。软硬锁策略请参考配置软硬锁策略。 图3 导入脚本 单击“下一步”,根据提示导入脚本。 父主题: (可选)管理脚本
创建表/文件迁移作业 在创建表/文件迁移作业时,选择已创建的源端连接器、目的端连接器。 图1 配置作业 单击“下一步”,进入“字段映射”配置页面后,单击源字段图标。 图2 配置字段映射 选择“自定义字段”页签,填写字段名称及字段值后单击“确认”按钮,例如: 名称:InputTime。
创建表/文件迁移作业 在创建表/文件迁移作业时,选择已创建的源端连接器、目的端连接器。 图1 配置作业 单击“下一步”,进入“字段映射”配置页面后,单击源字段图标。 图2 配置字段映射 选择“自定义字段”页签,填写字段名称及字段值后单击“确认”按钮,例如: 名称:InputTime。
设置过滤条件类型。 业务定义 输入过滤条件的业务定义。支持的长度为0~600个字符。 表达式 通过函数和字段配置表达式。 描述 描述信息。支持的长度为0~600个字符。 基本参数配置完成后,单击“代码配置”,可以查看系统生成的伪代码。 单击“生成伪代码”,可以对已经生成的伪代码进行刷新。单击“复
Studio控制台,找到需要升级的DataArts Studio实例,单击“升级”,然后根据页面提示购买更高规格的套餐。 版本场景概述 为了实现灵活的资源配置并提供轻量化的数据治理能力,DataArts Studio对版本模式进行了切换,关于切换前后的新旧版本模式说明详见版本模式说明。 对于后续新购买的DataArts