检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
编辑采集任务 功能介绍 编辑采集任务。 调用方法 请参见如何调用API。 URI PUT /v3/{project_id}/metadata/tasks/{task_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
编辑码表字段值 功能介绍 编辑码表字段值。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/design/code-tables/{id}/values 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项
编辑工作空间用户或用户组 功能介绍 编辑工作空间用户或用户组。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/{workspace_id}/users/{user_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
脚本开发流程 脚本开发功能提供如下能力: 提供在线脚本编辑器,支持进行SQL、Shell、Python等脚本在线代码开发和调测。 支持导入和导出脚本。 支持使用变量和函数。 提供编辑锁定能力,支持多人协同开发场景。 支持脚本的版本管理能力,支持生成保存版本和提交版本。 保存版本时
解锁脚本 脚本/作业解锁涉及到数据开发的编辑锁定功能。 编辑锁定:用于避免多人协同开发脚本/作业时产生的冲突。新建或导入脚本/作业后,默认当前用户锁定脚本/作业,只有当前用户自己锁定的脚本/作业才可以直接编辑、保存或提交,通过“解锁”功能可解除锁定;处于解除锁定或他人锁定状态的脚
解锁作业 脚本/作业解锁涉及到数据开发的编辑锁定功能。 编辑锁定:用于避免多人协同开发脚本/作业时产生的冲突。新建或导入脚本/作业后,默认当前用户锁定脚本/作业,只有当前用户自己锁定的脚本/作业才可以直接编辑、保存或提交,通过“解锁”功能可解除锁定;处于解除锁定或他人锁定状态的脚
通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台,借助DLF的在线脚本编辑、周期调度CDM的迁移作业,也可以实现增量数据迁移。 这里以DWS导入到OBS为例,介绍DLF配合CDM实现增量迁移的流程: 获取CDM作业的JSON
DWS数据连接可视化建表,报错提示“表已存在”,但是展开数据连接看不到该表? 问题原因 可能是权限不足。 解决方案 DWS数据连接的用户没有该表的查看与编辑权限,实际上该表已经存在。 父主题: 数据开发
将作业资源包和数据文件传入OBS桶中。 本例中,WordCount.jar文件上传路径为:lkj_test/WordCount.jar;word.txt 文件上传路径为:lkj_test/input/word.txt。 创建一个数据开发模块空作业,作业名称为“job_MRS_Flink”。 图1 新建作业 进入到作业开发页面,拖动“MRS
停用/恢复API 操作场景 当已发布的API需要编辑、调试时,必须将API从相关环境中停用后才允许操作。停用API会保留原有的授权信息,在停用期间您可以对API进行编辑、调试等操作。 停用后您可以通过恢复API,使该API继续对外提供服务。 停用API将导致此API在指定的时间无
商品的各种数据特征,可为营销决策、广告推荐、信用评级、品牌监控、用户行为预测提供高质量的信息。在此期间,您可以学习到数据开发模块脚本编辑、作业编辑、作业调度等功能,以及DLI的SQL基本语法。 本入门示例涉及DataArts Studio服务的管理中心和数据开发模块,DataArts
Job节点,单击“查看CDM日志”,可以跳转到作业监控页面,查看作业日志打印的详细信息,帮助开发者定界定位作业运行异常原因。 编辑脚本 仅关联了脚本的节点显示该选项。跳转到脚本编辑页面,对关联的脚本进行编辑。 新建便签 为该节点添加便签,每个节点可以有多个便签。 在作业节点上新建便签、显示便签和隐藏便签只
新建Hadoop集群配置 集群配置管理支持新建、编辑或删除Hadoop集群配置。 Hadoop集群配置主要用于新建Hadoop类型连接时,能够简化复杂的连接参数配置,如图1所示。 图1 使用集群配置前后对比 CDM支持的Hadoop类型连接主要包括以下几类: MRS集群:MRS HDFS,MRS
Hive迁移作业长时间卡顿怎么办? 问题描述 Hive迁移作业长时间卡顿怎么办? 解决方案 为避免Hive迁移作业长时间卡顿,可手动停止迁移作业后,通过编辑Hive连接增加如下属性设置: 属性名称:hive.server2.idle.operation.timeout 值:10m 如图所示: 父主题:
式信息(例如密码)。交互式参数之间以空格分隔,Python语句根据交互情况按顺序读取参数值。 在编辑器中编辑Python语句。为了方便脚本开发,数据开发模块提供了如下能力: 脚本编辑器支持使用如下快捷键,以提升脚本开发效率。 F8:运行 F9:停止 Ctrl + /:注释或解除注释光标所在行或代码块
done read -p语法的使用示例: read -p “输入参数1和参数2”变量1 变量2 在编辑器中编辑Shell语句。为了方便脚本开发,数据开发模块提供了如下能力: 脚本编辑器支持使用如下快捷键,以提升脚本开发效率。 F8:运行 F9:停止 Ctrl + /:注释或解除注释光标所在行或代码块
True) #将每个单词 组装成一个tuple 计数1 pairWords = words.map(lambda word:(word,1),True) #使用3个分区 reduceByKey进行汇总 result = pairWords.reduceByKey(lambda
获取下展信息与已发布实体的差异 功能介绍 当已发布的实体被编辑时,其会生成下展,该接口用于获取下展信息与已发布实体的差异。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/approvals/business/{biz_id}/diff
删除实体下展 功能介绍 当已发布的实体被编辑时,其会生成下展,该接口用于删除实体的下展信息。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/design/approvals/business/{biz_id} 表1 路径参数 参数 是否必选
脚本运行完之后,到MRS管理面查看运行详情。 (可选)在编辑器上方,单击“格式化”,格式化SQL语句。创建Flink SQL脚本请跳过此步骤。 在编辑器上方,单击“运行”。如需单独执行某部分SQL语句,请选中SQL语句再运行。SQL语句运行完成后,在编辑器下方可以查看脚本的执行历史、执行结果。Flink