检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
2_resources,3_scripts和4_jobs文件夹内。 备份成功后,在以“备份日期”命名的文件夹内,自动生成backup.json文件,该文件按照节点类型存储了作业信息,支持恢复作业前进行修改。 启动每日备份后,若想结束备份任务,您可以单击右边的“停止每日备份”。 还原资产 在DataArts
10/1.1.1/spark-examples_2.10-1.1.1.jar),此Spark作业是计算π的近似值。 获取Spark作业代码JAR包后,将JAR包上传到OBS桶中,存储路径为“obs://dlfexample/spark-examples_2.10-1.1.1.jar”。 在DataArts
在左侧导航窗格中,单击“委托”,选择对应的委托,单击“授权”,将创建的自定义策略添加到该委托,单击“确定”。 当前用户退出系统,重新登录后,即可正常获取委托列表。 父主题: 数据开发
标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。 说明: 当开启数据集成作业特性后,可勾选数据集成组件,勾选后在数据开
元数据实时同步接口(邀测) 功能介绍 元数据实时同步接口,支持批量。该接口功能处于邀测阶段,后续将随功能公测将逐步开放。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/metadata/async-bulk 表1 路径参数 参数 是否必选 参数类型
描述 否 参数说明。 配置完一个环境变量后,您还可以进行新增、修改或删除等操作。 新增:单击“新增”配置新的环境变量。 修改:参数值为常量时,直接在文本框中修改参数值;参数值为EL表达式时,可以单击文本框后方的编辑EL表达式,修改参数值。修改完成后,请“保存”。 删除:在参数值文本框后方,单击删除环境变量。
DataArts Studio通过加密算法对用户个人敏感数据加密后进行存储。对于用户敏感信息,且均存储于中华人民共和国境内,在服务购买周期到期后14天后将会删除。 数据传输安全 用户个人敏感数据(包括密码)将通过TLS 1.2、TLS1.3进行传输中加密,所有DataArts Studio的API调用都支持
Studio实例网络互通。 已创建CDM集群,详情请参见购买批量数据迁移增量包章节。 创建数据迁移连接 登录DataArts Studio控制台,单击相应工作空间后的“数据集成”。 在集群管理页面,单击所创建集群操作列“作业管理”,进入“作业管理”页面。 图1 作业管理页面 在连接管理页签中,单击“新建
Administrator”和“DLI FullAccess”,单击“下一步”。 图2 勾选Security Administrator 单击“确定”,给委托完成授权。授权后,等待15-30分钟,权限可正常同步到DLI。 父主题: 数据安全
在作业配置窗口中,配置失败重试策略。 失败重试:选择“是”,开启所选择作业中所有节点的失败重试功能。 超时重试:根据实际需要选择,如果作业节点配置了超时时间,则该节点执行超时后,系统支持重试。 最大重试次数:根据实际需要选择,过多重试可能会导致下游作业运行时间被压缩。 重试间隔时间(秒):根据实际需要选择,过大重试
的脚本/MyBatis方式API,系统将默认赋值返回量。如果需要获取特定分页数据,您可以修改如下参数设置分页,其中pageSize表示分页后的页面大小,pageNum表示页码。 图4 分页参数设置 自定义分页的脚本/MyBatis方式API是在创建API时将分页逻辑写到取数SQL中,因此不支持在调用时修改分页设置。
RS集群如果是安全模式(Kerberos认证为开启状态),需要增加MRS Hive配置的白名单,需要配置以下配置项参数,单击保存,滚动重启后让配置生效。请在MRS服务的Hive组件的集群运维管理页面,在基础配置里面配置该参数。具体操作如下: 登录FusionInsight Manager,选择“集群
显示DLI/DWS/MRS Hive数据表的DDL。 删除表:在脚本开发导航栏,选择,展开下方的数据连接至数据表层级,右键单击表名称,选择“删除”后,在弹出的页面中单击“确定”完成删除。 删除操作不可撤销,请谨慎操作。 参数说明 表5 DLI数据表 参数 是否必选 说明 基本属性 表名 是
在数据地图中,可通过关键词搜索数据资产,支持模糊搜索,快速检索,定位数据。 使用数据地图根据表名直接查看表详情,快速查阅明细信息,掌握使用规则。获得数据详细信息后,可添加额外描述。 通过数据地图的血缘分析可以查看每个数据表的来源、去向,并查看每个表及字段的加工逻辑。 对数据资产,可以从业务角度定义分类或标签。
删除”。 在“删除工作空间”对话框中,如果确认删除,请单击“确认”。 如果当前各组件内还有业务资源,则您需要根据失败提示窗口,删除对应业务资源后再次重试删除。 图1 删除失败提示 父主题: 咨询与计费
“创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 选择集群操作列中的“更多 > 下载日志”,选择下载日志类型。 图2 下载日志类型 确认后,即可下载日志到本地。 父主题: 创建并管理CDM集群
再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。 超时重试 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明: 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。 当节点运行超时导致的
的方法请参考以下链接。若您的账号已通过实名认证,可以略过此部分内容。 个人账号如何完成实名认证 企业账号如何完成实名认证 实名认证信息提交后,请耐心等待审核结果,最长3个工作日内完成审核。 实名认证通过后需要40分钟才能生效。
K_AK和SDK_SK,值分别对应4中获取的AppKey和AppSecret。新增完成后,单击“Apply”后再单击“Run”,运行程序。 图5 配置AppKey和AppSecret 运行程序后,查看API调用结果。200消息中的"errCode":"DLM.0"即表示API调用
再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。 超时重试 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明: 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。 当节点运行超时导致的