检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
云服务委托可将相关云服务的操作权限委托给DataArts Studio,让DataArts Studio以您的身份使用这些云服务,代替您进行一些任务调度、资源运维等工作。首次进入DataArts Studio控制台首页时,系统会弹出访问授权的对话框,提示您对未授权的云服务进行访问授权。同意授权后,DataArts
Studio数据服务创建的数据API封装的SDK包。通过调用此SDK包提供的代码样例,即可进行数据服务中数据API的调用,帮助开发者简单、快速地通过数据API获取到开放数据。 数据服务SDK使用场景 数据API是否必须通过数据服务SDK代码才能调用,与数据API的认证方式有关。只有当
执行后续的作业节点。 如果您需要匹配多条消息记录,可以添加多个Dummy节点并分别添加到Subjob节点的IF条件,然后将数据开发组件配置项中的“多IF策略”设置为“逻辑或”即可。 图4 编辑参数表达式 测试运行作业job_agent,在工作空间A的作业job1未运行的情况下,前往实例监控中查看执行结果是否符合预期。
数据地图接口 元数据实时同步接口(邀测) 搜索查询标签分页展示(邀测) 用户行为分析(邀测) 资产搜索(邀测) 创建或修改资产(邀测) 资产详情(邀测) 资产血缘(邀测) 批量血缘(邀测) 表关联作业算子列表(邀测) 产出信息(邀测) 父主题: 数据目录API
因为此表达式只能直接获取当前作业里配置的参数的value,并不能获取到父作业传递过来的参数值,也不能获取到工作空间里面配置的全局变量,作用域仅为本作业。 而表达式${job_param_name},既可以获取到父作业传递过来的参数值,也可以获取到全局配置的变量。 图7 配置Kafka Client节点参数
使用教程 创建MRS Hive连接器 创建MySQL连接器 MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务
(可选)管理作业 复制作业 复制名称和重命名作业 移动作业/作业目录 导出导入作业 批量配置作业 删除作业 解锁作业 查看作业依赖关系图 转移作业责任人 批量解锁 前往监控 添加通知配置 父主题: 作业开发
示写入表数据时,用户选择的操作: 不自动创建:不自动建表。 不存在时创建:当目的端的数据库没有“表名”参数中指定的表时,CDM会自动创建该表。如果“表名”参数配置的表已存在,则不创建,数据写入到已存在的表中。 先删除后创建:CDM先删除“表名”参数中指定的表,然后再重新创建该表。
实时处理集成作业开发 实时处理集成作业概述 支持的数据源 新建实时处理集成作业 配置实时处理集成作业 管理并查看监控指标 配置源端和目标端参数 自动建表映射规则 性能调优参数配置 常见问题 父主题: 数据开发
因为此表达式只能直接获取当前作业里配置的参数的value,并不能获取到父作业传递过来的参数值,也不能获取到工作空间里面配置的全局变量,作用域仅为本作业。 而表达式${job_param_name},既可以获取到父作业传递过来的参数值,也可以获取到全局配置的变量。 图7 配置Kafka Client节点参数
置数据目录中元数据的更新方式。 需要注意的是配置的更新、删除策略是作用在用户配置的数据库、数据表的范围内的。 勾选“仅更新数据目录中的元数据”:采集任务仅更新数据目录已经采集到的元数据 勾选“仅添加新元数据”:采集任务仅采集数据源中存在,但是数据目录中不存在的元数据 勾选“更新数
运维者:运维者具备工作空间内运维调度等业务的操作权限,但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客:访客可以查看工作空间内的数据,但无法操作业务。建议将只查看空间内容、不进行操作的用户设置为访客。 部署者:企业模式独有,具备工作空间内任务包发布的相关操作权限。在企业模式
导出到CSV文件的时候,会生成一个很大的文件,有时会不方便下载或查看。这时可以在目的端指定该参数,这样会生成多个指定大小的CSV文件,避免导出的文件过大。该参数的数据类型为整型,单位为MB。 JSON格式 这里主要介绍JSON文件格式的以下内容: CDM支持解析的JSON类型 记录节点
操作场景 DataArts Studio数据服务的API流量控制基于指定规则对API的访问流量进行调节控制的限流策略,能够提供多种维度的后端服务保护功能。当前API流控支持通过用户、应用和时间段等不同维度限制API的调用次数。 为了提供持续稳定的服务,您需要通过创建并选择流控策略,针对部
导出到CSV文件的时候,会生成一个很大的文件,有时会不方便下载或查看。这时可以在目的端指定该参数,这样会生成多个指定大小的CSV文件,避免导出的文件过大。该参数的数据类型为整型,单位为MB。 JSON格式 这里主要介绍JSON文件格式的以下内容: CDM支持解析的JSON类型 记录节点
云资源的标识与管理可通过标签实现。 使用场景 通常您的业务系统可能使用了华为云的多种云服务,您可以为这些云服务下不同的资源实例分别设置标签(对于DataArts Studio而言,标签作用于其实例上),各服务产生的计费详单中都会体现这些资源实例和实例上设置的标签。如果您的业务系统
数据源为Hive时支持哪些数据格式? 问题描述 云数据迁移服务,数据源为Hive时支持的数据格式有哪些? 解决方案 云数据迁移服务支持从Hive数据源读写的数据格式包括SequenceFile、TextFile、ORC、Parquet。 父主题: 数据集成
当“规则类型”选择“自定义规则”,数据对象选择对应的数据库即可。 数据对象 在来源对象选择的数据表将和右侧目的对象的数据表做结果比较。选择配置的数据对账规则所应用到的表。 说明: 数据表与数据库强相关,基于已选择的数据库。数据库基于已建立的数据连接。 SQL 当“规则类型”选择“自定义规则”时,需要配置该
导出主题时,可以勾选主题目录树上的主题,如果右侧没有勾选主题名称,单击“导出”按钮,则会按照选中的主题进行递归导出。 管理主题设计 图7 主题设计区域 查找 您可以在主题的搜索框中,输入所需查找的关键字进行查找,在公共空间下可查找所有。 编辑 您可以在主题列表中,选择一个对象,然后单击其名称右侧的按钮进行
维度建模”,进入维度建模页面。 单击“事实表”页签,进入事实表页面。 在事实表列表中,单击需要关联数据标准的事实表名称。 在事实表的详情页的表字段列表中,查找需要关联数据标准的字段,单击其所属的,配置单个表字段关联数据标准。数据标准的来源请参考新建数据标准 图9 事实表字段关联数据标准 配置完成后,单击“确定