检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
项目ID,获取方法请参见项目ID和账号ID。 多project场景采用AK/SK认证的接口请求,则该字段必选。 Content-Type 否 String 默认值:application/json;charset=UTF-8 可选,有Body体的情况下必选,没有Body体则无需填写和校验。 响应参数 状态码:
项目ID,获取方法请参见项目ID和账号ID。 多project场景采用AK/SK认证的接口请求,则该字段必选。 Content-Type 否 String 默认值:application/json;charset=UTF-8 可选,有Body体的情况下必选,没有Body体则无需填写和校验。 表3 请求Body参数
连接Agent(即CDM集群)和DWS集群之间的网络。 DWS集群名 是 “手动”选择为“集群名模式”时需要配置本参数。 选择DWS集群,系统会显示所有项目ID和企业项目相同的DWS集群。 IP或域名 是 “手动”选择为“连接串模式”时需要配置本参数。 “IP或域名”如果手动填写
项目ID,获取方法请参见项目ID和账号ID。 多project场景采用AK/SK认证的接口请求,则该字段必选。 Content-Type 否 String 默认值:application/json;charset=UTF-8 可选,有Body体的情况下必选,没有Body体则无需填写和校验。 表3 请求Body参数
进入集群“基本信息”页面,单击配置路由项的“新建”按钮,新增物理机的IP地址,如图2所示。 图2 基本信息 操作步骤 购买数据服务专享集群增量包,系统会按照您所选规格自动创建一个数据服务专享集群。 单击已开通实例卡片上的“购买增量包”。 进入购买DataArts Studio增量包页面,参见表1进行配置。
项目ID,获取方法请参见项目ID和账号ID。 多project场景采用AK/SK认证的接口请求,则该字段必选。 Content-Type 否 String 默认值:application/json;charset=UTF-8 可选,有Body体的情况下必选,没有Body体则无需填写和校验。 响应参数 状态码:
配置CDM作业字段映射 操作场景 作业参数配置完成后,将进行字段映射的配置,您可以通过字段映射界面的可自定义新增字段,也可单击操作列下创建字段转换器。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。
用于存储变长的二进制大对象,长度最大为2G-1字节。 0x5236(二进制数据) 不支持 不支持 BFILE 用于指明存储在操作系统中的二进制文件, 文件存储在操作系统而非数 据库中,仅能进行只读访问。 - 不支持 不支持 父主题: 支持的数据源
当您调用API时,如果遇到“APIGW”开头的错误码,请参见API网关错误码进行处理。 错误码 状态码 错误信息 描述 处理措施 Cdm.0000 400 系统错误。 系统错误。 请联系客服或技术支持人员协助解决。 Cdm.0001 400 资源不存在或不合法。 请求的资源不存在或无访问权限。 请联系客服或技术支持人员协助解决。
计算资源规格 资源规格 在DLI Spark资源较为充足的情况下,您可以通过配置Spark任务资源,加快敏感数据发现任务的执行速度。 系统提供3种默认资源规格供您选择,默认A第一种,您也可以自行调整。 说明: 如果申请资源大于可用资源,任务可能会失败! A(8核32G内存;E
您可以通过表1中的处理建议进行下一步操作,处理相应的异常。 错误码说明 表1 错误码说明 错误码 错误信息 处理建议 Cdm.0000 系统错误。 请联系客服或技术支持人员协助解决。 Cdm.0003 Kerberos登录失败。 检查keytab与principal配置文件是否正确。
项目ID,获取方法请参见项目ID和账号ID。 多project场景采用AK/SK认证的接口请求,则该字段必选。 Content-Type 否 String 默认值:application/json;charset=UTF-8 可选,有Body体的情况下必选,没有Body体则无需填写和校验。 表3 请求Body参数
扩展属性,请参见extended_properties参数说明。 scheduleOffTime 否 String 定时关机的时间,定时关机时系统不会等待未完成的作业执行完成。 vpcId 否 String 指定虚拟私有云ID,用于集群网络配置。 name 否 String 集群名称。
API连接或使用集群名模式时,是必选项。 选择所属的MRS集群。仅支持连接MRS云服务,自建Hadoop集群必须在纳管到MRS云服务后才可以选择。系统会显示所有项目ID和企业项目相同的MRS集群。 说明: 当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2
Studio数据连接创建所需连接。 需要测试数据源端和资源组之间网络是否可用,不可用时根据界面提示修改。 选择资源组,集群创建可参见创建CDM集群。 选多个集群时系统会随机下发任务,故需要多个集群时版本规格建议选择集群版本一致的集群,否则可能因为集群版本不一致导致作业失败。 选择已创建的目的端数据连接,
Alter:alter操作权限 All:所有执行权限 Temporary UDF Admin:临时UDF管理权限 Yarn Yarn队列权限: submit-app:提交队列任务权限 admin-queue:管理队列任务权限 HBase HBase列、列族的权限: Read:读权限 Write:写权限
项目ID,获取方法请参见项目ID和账号ID。 多project场景采用AK/SK认证的接口请求,则该字段必选。 Content-Type 否 String 默认值:application/json;charset=UTF-8 可选,有Body体的情况下必选,没有Body体则无需填写和校验。 响应参数 状态码: