检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Project 单击“...”,在弹出的对话框中选择解压后的SDK路径,单击“Finish”。 图3 选择解压后的SDK路径 完成工程创建后,目录结构如下。 图4 新建工程的目录结构 “signer.php”为示例代码,请根据实际情况修改参数后使用。具体代码说明请参考调用API示例。
作业中目的连接为DLI连接时,即将数据导入到数据湖探索服务(DLI)时,目的端作业参数如表1所示。 使用CDM服务迁移数据到DLI时,DLI要在OBS的dli-trans*内部临时桶生成数据文件,因此在需要赋予DLI连接中使用AK/SK所在用户对dli-trans*桶的读、写、创建目录对象等权限,否则
获取Spark作业的演示JAR包,并在数据开发模块中关联到此JAR包。 创建数据开发模块作业,通过DLI Spark节点提交Spark作业。 环境准备 已开通对象存储服务OBS,并创建桶,例如“obs://dlfexample”,用于存放Spark作业的JAR包。 已开通数据湖探索服务DLI
如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 无 请求示例 停止作业myJob。 POST /v1/b384b9e9ab9b4ee8994c8633aabc9505/jobs/myJob/stop 响应示例 成功响应
工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 表3 参数说明 参数名 是否必选 类型 描述 jobParams 否 List<JobParam> 作业启动的参数。 start_date 否 Long 启动日期。比如:20241030
/v1/b384b9e9ab9b4ee8994c8633aabc9505/jobs/joba 打开审批开关的情况下,删除作业的示例。 DELETE /v1/b384b9e9ab9b4ee8994c8633aabc9505/jobs/joba { "approvers": [ {
单击配置需要转换的源端数据和目的端数据。 当前支持的源端数据为DLI类型、OBS类型和MySQL类型。 当源端数据为DLI类型时,支持的目的端数据类型为CloudTable(仅华北-北京一支持)、DWS、GES、CSS、OBS、DLI。 当源端数据为MySQL类型时,支持的目的端数据类型为MySQL。
创建数据连接需要注意哪些事项? RDS数据连接方式依赖于OBS。如果没有与DataArts Studio同区域的OBS,则不支持RDS数据连接。 主机连接当前仅支持Linux系统主机。 当所连接的数据湖发生变化(如MRS集群扩容等情况)时,您需要重新编辑并保存该连接。 数据连接中的数据湖认证信息如果发生变化(
APP认证工作原理 构造规范请求。 将待发送的请求内容按照与API网关后台约定的规则组装,确保客户端签名、API网关后台认证时使用的请求内容一致。 使用规范请求和其他信息创建待签字符串。 使用AK/SK和待签字符串计算签名。 将生成的签名信息作为请求消息头添加到HTTP请求中,或
环境准备 已开通弹性云服务器,并创建ECS,ECS主机名为“ecs-dgc”。 本示例主机选择“CentOS 8.0 64bit with ARM(40GB)”的公共镜像,并且使用ECS自带的Python环境,您可登录主机后使用python命令确认服务器的Python环境。 已开
配置委托后,作业执行过程中,以委托的身份与其他服务交互。 说明: 作业级委托优先于工作空间级委托。 日志路径 选择作业日志的OBS存储路径。日志默认存储在以dlf-log-{Projectid}命名的桶中。 说明: 若您想自定义存储路径,请参见(可选)修改作业日志存储路径选择您已在OBS服务侧创建的桶。 请
mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 - 使用本地API 使用数据库本地AP
Studio控制台。 单击“数据服务”模块。 单击左侧菜单“共享版> SDK”或“专享版 > SDK”。 单击SDK使用引导区域里对应语言的SDK,下载SDK包到本地。 进行SDK包完整性校验。Windows操作系统下,打开本地命令提示符框,输入如下命令,在本地生成已下载SDK包的SHA256值,其中,“D:\java-sdk
生成一个新的Signer, 填入AppKey和AppSecret。 1 2 3 4 5 // 认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例以ak和sk保存在环境变量中来实现身份验证为例,运行
新建作业”,开始创建从Oracle导出数据到云搜索服务的任务。 图4 创建Oracle到云搜索服务的迁移任务 作业名称:用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称:选择创建Oracle连接中的“oracle_link”。 模式或表空间:待迁移数据的数据库名称。 表名:待迁移数据的表名。 高级属性里的可选参数一般情况下保持默认即可。
数据目录支持采集哪些对象的资产? 数据目录目前支持采集数据湖的资产,例如MRS Hive、DLI、DWS等,除此之外也支持采集以下数据源的元数据: 关系型数据库,如MySQL/PostgreSQL等(可使用RDS类型连接,采集其元数据) 云搜索服务CSS 图引擎服务GES 对象存储服务OBS MRS
Project 单击“...”,在弹出的对话框中选择解压后的SDK路径,单击“Finish”。 图3 选择解压后的SDK路径 完成工程创建后,目录结构如下。 图4 新建工程的目录结构 node_demo.js:Nodejs示例代码,请根据实际情况修改参数后使用。具体代码说明请参考调用API(Node
默认填充分类为左侧选中的样本分类,您也可以单击选择已有分类。 *选择样本 选择已上传至OBS或HDFS中的样本文件。样本文件只支持txt格式,大小建议不超过10MB,其中的数据可通过换行“\n”、空格“ ”、英文逗号“,”、或分隔符“|”进行分隔。 注意,OBS样本文件只能用于DLI引擎的静态脱
使得存量100T的数据只有4%的利用率。 在将本地的贸易统计数据迁移到华为云之后,基于华为公有云的大数据分析能力,可帮助H公司屏蔽大数据基础设施复杂的构建、维护过程,使其客户人员可以全身心聚焦业务创新,盘活100T的存量数据,使资产最大化变现。 CDM和DLI服务按需收费,帮助H
中密文存放,使用时解密,确保安全,本示例从环境变量中获取。 Method:请求的方法名。根据API实际情况填写,示例代码使用“POST”作为样例。 url:请求的url,不包含QueryString及fragment部分。域名部分请使用API所在的分组绑定的您自己的独立域名。示例