检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
除作业。 批量导出作业 单击“导出”,弹出批量导出页面,如图1。 图1 批量导出页面 全部作业和连接:勾选此项表示一次性导出所有作业和连接。 全部作业:勾选此项表示一次性导出所有作业。 全部连接:勾选此项表示一次性导出所有连接。 按作业名导出:勾选此项并选择需要导出的作业,单击确认即可导出所选作业。
解析响应消息体中的流 导出作业和导出连接的接口响应消息是一个流,需要转化为一个文件。 您可以参考下面的样例代码: String EXPORT_JOB_URL = "https://{endpoint}/v1/{project_id}/jobs/{job_name}/export";
上次导入页面 导出主题设计信息 在DataArts Studio数据架构控制台,单击左侧导航树中的“主题设计”,进入主题设计页面。 单击上方的“更多 > 导出”将当前已有的主题设计导出到Excel文件中。导出后的文件可用于导入。 导出主题时,可以直接勾选自己想要导出的主题名称,单
字段映射界面无法显示所有列怎么处理? 问题描述 在使用CDM从HBase/CloudTable导出数据时,在字段映射界面HBase/CloudTable表的字段偶尔显示不全,无法与目的端字段一一匹配,造成导入到目的端的数据不完整。 原因分析 由于HBase/CloudTable无
您谨慎操作! 删除集群前,请您确认如下注意事项: 待删除集群确认已不再使用。 待删除集群中所需的连接和作业数据已通过批量管理CDM作业中的导出作业功能进行备份。 对于购买DataArts Studio服务时系统赠送的CDM集群,非常不建议您进行删除操作。该集群删除后无法再次赠送,只能另外购买。
参数原理:通过“Where子句”参数可以配置一个SQL语句(例如:age > 18 and age <= 60),CDM只导出该SQL语句指定的数据;不配置时导出整表。 Where子句支持配置为时间宏变量,当数据表中有时间日期字段或时间戳字段时,配合定时执行作业,能够实现抽取指定日期的数据。
参数原理:通过“Where子句”参数可以配置一个SQL语句(例如:age > 18 and age <= 60),CDM只导出该SQL语句指定的数据;不配置时导出整表。 Where子句支持配置为时间宏变量,当数据表中有时间日期字段或时间戳字段时,配合定时执行作业,能够实现抽取指定日期的数据。
该参数支持配置通配符(*),实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如: SCHEMA*表示导出所有以“SCHEMA”开头的数据库。 *SCHEMA表示导出所有以“SCHEMA”结尾的数据库。 *SCHEMA*表示数据库名称中只要有“SCHEMA”字符串,就全部导出。 SCHEMA_E
该参数支持配置通配符(*),实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如: SCHEMA*表示导出所有以“SCHEMA”开头的数据库。 *SCHEMA表示导出所有以“SCHEMA”结尾的数据库。 *SCHEMA*表示数据库名称中只要有“SCHEMA”字符串,就全部导出。 SCHEMA_E
在使用上较为便捷,但是安全性欠佳。 HTTPS是在HTTP协议上进行了SSL或TLS加密校验的协议,能够有效验证身份以及保护数据完整性。相对的,访问HTTPS的API,需要配置相关的SSL证书或跳过SSL校验,否则将无法访问。 请求方式 HTTP请求方式,表示请求什么类型的操作
EIP访问MySQL。 图1 集群列表 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。 创建MySQL连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面,如图2所示。 图2 选择连接器类型
40 导入导出接口 表9 导入导出接口 API 说明 API流量限制(次/10s) 用户流量限制(次/10s) 导出资源 该接口用于数据质量导出操作,可通过该接口导出质量作业或者对账作业等属于数据质量服务的资源数据。 1800 20 获取导入导出的任务状态 该接口用于获取导出导入任务的进度状态。
单击环境变量配置下的“导出”,导出环境变量。 图5 导出环境变量 导出资源 单击左侧导航上的“资源管理”,进入资源管理页面。 单击资源目录中的,选择“显示复选框”。 图6 显示资源复选框 勾选需要导出的资源,单击 > 导出资源。导出完成后,即可通过浏览器下载地址,获取到导出的zip文件。
单击“确定”,新建的解决方案将在左侧目录中显示。 编辑解决方案 在解决方案目录中,右键单击解决方案名称,选择“编辑”,修改名称和作业。 导出解决方案 在解决方案目录中,右键单击解决方案名称,选择“导出”,导出zip格式的解决方案文件至本地。 导入解决方案 导入解决方案功能依赖于OBS服务,如无OBS服务,可从本地导入。
该参数支持配置通配符(*),实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如: SCHEMA*表示导出所有以“SCHEMA”开头的数据库。 *SCHEMA表示导出所有以“SCHEMA”结尾的数据库。 *SCHEMA*表示数据库名称中只要有“SCHEMA”字符串,就全部导出。 SCHEMA_E
图4 流程设计示例 导出流程 您可以将数据指标中已创建的流程导出到本地的Excel文件中。 在数据指标控制台,单击左侧导航树中的“流程设计”,进入流程设计页面。 单击流程列表上方的“导出”按钮,等待几秒钟后,页面右上角提示“流程导出成功”,可以查看导出的流程。 “流程”作为层级联动性质,导出均默认为全量导出
脚本开发流程 脚本开发功能提供如下能力: 提供在线脚本编辑器,支持进行SQL、Shell、Python等脚本在线代码开发和调测。 支持导入和导出脚本。 支持使用变量和函数。 提供编辑锁定能力,支持多人协同开发场景。 支持脚本的版本管理能力,支持生成保存版本和提交版本。 保存版本时,
步骤2:数据开发处理 本步骤通过BI报表原始数据,分析10大用户关注最多的产品和10大用户评价最差的商品,然后通过作业定期调度执行并将结果每日导出到表中,以支撑信息分析。 分析10大用户关注最多的产品 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
预设数据集成、计算&分析、资源管理、数据监控、其他等多种任务类型,通过任务间依赖完成复杂数据分析处理。 支持多种作业调度方式。 支持导入和导出作业。 支持作业状态运维监控和作业结果通知。 提供编辑锁定能力,支持多人协同开发场景。 支持作业的版本管理能力,支持生成保存版本和提交版本。
进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 单击“环境变量”,在“环境变量配置”页面,选择“导出”,可将环境变量导出到本地。 配置方法 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts