检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建CDM与数据源之间的连接 操作场景 用户在创建数据迁移的任务前,需要先创建连接,让CDM集群能够读写数据源。一个迁移任务,需要建立两个连接,源连接和目的连接。不同的迁移方式(表或者文件迁移),哪些数据源支持导出(即作为源连接),哪些数据源支持导入(即作为目的连接),详情请参见支持的数据源。
数据连接管理 查询数据连接列表 创建数据连接 测试创建数据连接 查询单个数据连接信息 更新数据连接信息 删除数据连接 父主题: 管理中心API
权限应用接口 查询数据开发细粒度连接列表 批量更新数据开发连接细粒度认证状态 测试数据开发连接细粒度连通性 父主题: 数据安全API
回收该队列所有者的权限 查看其他用户具备的权限 : 当前用户可查看其他用户具备的该队列的权限 重启队列 : 重启此队列的权限 规格变更 : 修改队列规格的权限 图6 DLI队列详情 相关操作 删除队列资源:在队列权限目录页面,先单击选择需要删除的队列资源,然后单击目录上方的,即可删除队列资源。
识别规则接口 查询识别规则列表 创建识别规则 查询特定识别规则 删除识别规则 修改识别规则接口 批量删除识别规则接口 修改识别规则状态接口 创建组合识别规则 修改组合识别规则 组合识别规则测试 父主题: 数据安全API
后文提供的各样例数据分别复制粘贴到不同CSV文件中,然后保存CSV文件。 以下是Windows下生成.csv文件的办法之一: 使用文本编辑工具(例如记事本等)新建一个txt文档,将后文提供的样例数据复制进文档中。注意复制后检查数据的行数及数据分行的正确性(注意,如果是从PDF文档
Failed to process the request sent by the agent. CDM无响应。 尝试重启CDM。 可能是CDM升级引起,考虑新买一个CDM。 父主题: 数据服务SDK参考
如果是独立CDM服务,参考创建集群创建CDM集群;如果是作为DataArts Studio服务CDM组件使用,参考创建集群创建CDM集群。 关键配置如下: CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。 CDM集群的VPC必须和云搜索服务集群所在VPC一致,且推荐子网、安全组也与云搜索服务一致。
运行历史 运行历史功能可支持查看脚本、作业和节点的一周(7天)内用户的运行记录。 前提条件 运行历史功能依赖于OBS桶,若要使用该功能,必须先配置OBS桶。请参考配置OBS桶进行配置。 脚本运行历史 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
使用按日历进行自定义工作日期进行周期调度,如果非工作日,作业会进行空跑。例如作业周期调度、补数据。 配置好的调度日历,如果工作日期进行变更,已经在执行的作业实例无法生效,还没生成的作业实例可以立即生效。 监听OBS 打开监听OBS开关后,系统会自动监听OBS路径是否有新作业文件。关闭开关后不再监听OBS路径。
过配置作业节点失败重试及失败告警,尽量减少在集群压力峰值时的作业无法正常运行的情况,即使发生失败也可以及时通知到运维管理人员解决,减少故障升级情况。 配置作业超时告警:通过配置作业超时告警,可以提前发现作业运行的潜在风险问题,判定当天是否能按基线生成业务侧所需要的数据,提高容错窗口时间,降低故障时间。
提交人名称。 task_type 否 integer 任务类型。 1:作业 2:脚本 3:资源 update_type 否 integer 变更类型,默认值1。 1:新增 2:修改 3:删除 表6 发布包审批信息的参数说明 参数名 是否必选 参数类型 说明 user_id 否 String
管理中心 DataArts Studio支持连接哪些数据源? 创建数据连接需要注意哪些事项? DWS/Hive/HBase数据连接无法获取数据库或表的信息怎么办? 为什么在创建数据连接的界面上MRS Hive/HBase集群不显示? DWS数据连接开启SSL时测试连接失败怎么办?
数据集成 数据集成概述 约束与限制 支持的数据源 创建并管理CDM集群 在CDM集群中创建连接 在CDM集群中创建作业 时间宏变量使用解析 优化迁移性能 关键操作指导 使用教程 常见错误码参考
实时处理集成作业开发 实时处理集成作业概述 支持的数据源 新建实时处理集成作业 配置实时处理集成作业 管理并查看监控指标 配置源端和目标端参数 自动建表映射规则 性能调优参数配置 常见问题 父主题: 数据开发
数据服务 数据服务SDK支持的语言? 创建API时提示代理调用失败,怎么办? 数据服务API接口,访问“测试APP”,填写了相关参数,但是后台报错要怎么处理? 使用API时,每个子域名每天可以访问多少次? 数据服务专享版集群正式商用后,如何继续使用公测期间创建的数据服务专享版集群和API?
IF条件判断教程 当您在数据开发模块进行作业开发编排时,想要实现通过设置条件,选择不同的执行路径,可使用IF条件判断。 本教程包含以下三个常见场景举例。 根据前一个节点的执行状态进行IF条件判断 根据前一个节点的输出结果进行IF条件判断 多IF条件下当前节点的执行策略 IF条件的
IF条件判断教程 当您在数据开发模块进行作业开发编排时,想要实现通过设置条件,选择不同的执行路径,可使用IF条件判断。 本教程包含以下三个常见场景举例。 根据前一个节点的执行状态进行IF条件判断 根据前一个节点的输出结果进行IF条件判断 多IF条件下当前节点的执行策略 IF条件的
ests”库。 pip install requests 如果pip安装requests遇到证书错误,请下载并使用Python执行此文件,升级pip,然后再执行以上命令安装。 获取并安装IntelliJ IDEA,如果未安装,请至IntelliJ IDEA官方网站下载。 已在IntelliJ
开发一个MRS Flink作业 本章节介绍如何在数据开发模块上进行MRS Flink作业开发。 场景说明 本教程通过开发一个MRS Flink作业来实现统计单词的个数。 前提条件 具有OBS相关路径的访问权限。 已开通MapReduce服务MRS,并创建MRS集群。 数据准备 下