检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业数量规模是多少? 本示例作业数量在20个以内 大致了解作业的规模,通常用算子数来描述,可通过表的数量估计 每日作业调度次数是多少? 没有特殊要求,次数不限 根据DataArts Studio各销售版本的调度限额,确定DataArts Studio的版本 数据开发人员的数量是多少? 1个
偏移量”,而不是“CDM作业实际启动时间-偏移量”。 说明: 表名支持配置通配符(*),实现导出以某一前缀开头或者以某一后缀结尾的所有表(要求表中的字段个数和类型都一样)。例如: table*表示导出所有以“table”开头的表。 *table表示导出所有以“table”结尾的表。
偏移量”,而不是“CDM作业实际启动时间-偏移量”。 说明: 表名支持配置通配符(*),实现导出以某一前缀开头或者以某一后缀结尾的所有表(要求表中的字段个数和类型都一样)。例如: table*表示导出所有以“table”开头的表。 *table表示导出所有以“table”结尾的表。
报表需求,因为缺乏高效的数据运营工具平台,数据开发周期长、效率低,不能满足业务运营决策人员的诉求。 数据运营成本高,数据未服务化,导致数据复制多、数据口径不一致,同时数据重复开发,造成资源浪费。 数据创新的挑战 企业内部存在大量数据孤岛,导致数据不共享、不流通,无法实现跨领域的数据分析与数据创新。
如果需要查询其他工作空间的数据,需要带上该消息头。 X-Auth-Token 否 String 使用Token认证时该字段必选,用户Token的长度要求如下: 最小长度:0 最大长度:4096 Content-Type 否 String 有Body体的情况下必选,无Body体的情况下则无需填写和校验。
驱动管理”,进入驱动管理页面上传驱动。 图1 上传驱动 方式一:单击对应驱动名称右侧操作列的“上传”,选择本地已下载的驱动。 方式二:单击对应驱动名称右侧操作列的“从sftp复制”,配置sftp连接器名称和驱动文件路径。 (可选)在驱动更新场景下,上传驱动后必须在CDM集群列表中重启集群才能更新生效。 父主题: 在CDM集群中创建连接
相关操作按钮。 选择“代码配置”页签,可以查看系统生成的代码以及对指标代码进行格式化。 单击“生成代码”,可以对已经生成的代码进行刷新。单击“复制到指标代码”可以复制代码到下面的指标代码,单击“格式化”,可以对指标代码进行格式化。 单击“发布”,并在弹出框中,选择审核人,单击“确认提交”,提交汇总表的发布审核。
处理大量历史数据,用于批量分析和数据仓库。 实时处理:对源源不断产生的新数据进行实时处理和分析,以满足业务对数据的即时性需求。这种处理方式要求数据在产生后能够立即被处理,并给出相应的结果或触发相应的操作。 选择目录 选择作业所属的目录,默认为根目录。 单击“确定”,创建作业。 配置作业基本信息
配置调度日历信息,请参见配置调度日历。 告警配置的更多操作: 上移:默认的告警规则不允许上移。 下移:默认的告警规则不允许下移。 复制:可以对告警规则进行复制。包含日历信息的告警规则在复制时,仅复制告警表达式,不会带日历信息。 删除:默认的告警规则不允许删除。 当前表达式中支持如下逻辑运算符,且可以通过“(”和“)”进行包围:
需要提前为dlg_agency委托授予相关权限。 检查集群版本与权限 统一权限治理对数据连接Agent、数据源版本和用户权限等均有相应的要求。在使用前,您应先检查并准备相关配置。 同步IAM用户到数据源 将IAM上的用户信息同步到数据源,以实现不同用户访问数据源时,能够根据其自身用户信息管控用户访问数据的权限。
构”模块,“配置中心”的“功能配置”页签下查看“数据标准是否重名”是否开启。 *标准编码 支持自动生成和自定义两种方式。 自定义的标准编码要求本工作空间内唯一,用于唯一标识一条数据标准记录。详情参考表2。 *数据类型 数据类型有:STRING、BIGINT、DOUBLE、TIME
名},定义方法如表2所示。 节点编码:由系统动态分配,不可改动。您可以在API编排的画布中,单击节点后在节点详情中查看节点编码,并支持通过复制节点编码。 图1 查看节点编码 变量名:支持的变量包括请求参数值和结果集相关参数,详情请参见表2。 表2 条件表达式定义方法 算子 变量表达式
定,行模式表扫描难以使用索引)的场景。 行模式 导入模式 导入数据到DWS时,用户可以指定导入模式: COPY模式,源数据经过管理节点后,复制到DWS的DataNode节点。 UPSERT模式,数据发生主键或唯一约束冲突时,更新除了主键和唯一约束列的其他列数据。 COPY 导入开始前
outputFormat”(文件格式)为“BINARY_FILE”,且源端、目的端都为对象存储时,才有该参数。 选择“是”后,迁移对象文件时会复制源文件的Content-Type属性,主要用于静态网站的迁移场景。 归档存储的桶不支持设置Content-Type属性,所以如果开启了该参
设置依赖作业的条件 当前周期调度作业的调度周期包括分钟、小时、天、周、月这五种周期,周期调度作业A如果要配置依赖作业为周期调度作业B,则调度周期必须符合以下要求: 作业A的调度周期不能比依赖作业B小。例如,作业A和作业B同为分钟/小时调度,A的间隔时间小于B的间隔时间,则作业A不能设置作业B为依赖
IDEA官方网站下载。 获取并安装PHP安装包,如果未安装,请至PHP官方下载页面下载。 将PHP安装目录中的“php.ini-production”文件复制到“C:\windows”,改名为“php.ini”,并在文件中增加如下内容。 1 2 3 extension_dir = "php安装目录/ext"
仅当“作业类型”为“创建新作业”时需要配置该参数。此处需要填写CDM作业JSON。方便起见可以在CDM已有作业处选择操作“更多 > 查看作业JSON”,复制其中的JSON内容,在此处修改适配。 如果此CDM作业使用了在数据开发时配置的作业参数或者变量,则后续在数据开发模块调度此节点,可以间接实现CDM作业根据参数变量进行数据迁移。
空间权限集。 MRS和DWS角色同步时,系统通过管理中心组件数据连接中的用户进行账号相关的增删改查等操作,因此对数据连接中的用户有以下权限要求: MRS Ranger连接中的用户需具备Ranger组件Admin权限。 DWS连接中的数据库用户,在非三权分立模式下至少需具备数据库d
Flink调试OBS桶,支持在Flink SQL作业调试时修改。 查看脚本执行结果时,双击任意一行的一个字段,可以查看该行的结果详情,支持复制字段名称。 脚本执行历史结果可以进行权限管控,可设置为“仅自己可见”或“所有用户可见”,默认配置项请参见脚本执行历史展示。 为了方便脚本开发,数据开发模块提供了如下能力:
Studio功能,工作空间的划分通常按照分子公司(如集团、子公司、部门等)、业务领域(如采购、生产、销售等)或者实施环境(如开发、测试、生产等),没有特定的划分要求。 工作空间从系统层面为管理者提供对使用DataArts Studio的用户(成员)权限、资源、DataArts Studio底层计算引擎