检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
URI:配置为H公司HDFS文件系统的Namenode URI地址。 认证类型:安全模式Hadoop选择KERBEROS鉴权,通过获取客户端的principal和keytab文件进行认证。 Principal、Keytab文件:用于认证的账号Principal和keytab文件,可以联系Hadoop管理员获取。
利用并行化处理技术,使用CDM迁移数据的优势如表1所示。 表1 CDM优势 优势项 用户自行开发 CDM 易使用 自行准备服务器资源,安装配置必要的软件并进行配置,等待时间长。 程序在读写两端会根据数据源类型,使用不同的访问接口,一般是数据源提供的对外接口,例如JDBC、原生A
SASL_PLAINTEXT。 当DMS Kafka实例的连接信息中配置SASL认证机制后,需要添加认证方式的属性:属性名称填写为sasl.mechanism,值根据Kafka实例中配置的SASL认证机制填写为PLAIN或SCRAM-SHA-512(同时支持时选择其中任意一种填写即可)。
作权限,导致在查看节点日志时系统提示报错,或者OBS日志文件不存在时系统提示报错。 解决方法 使用管理员用户登录IAM控制台。 在统一身份认证服务的左侧导航窗格中,选择“用户”,单击用户名进入用户信息界面。 查看用户所属的用户组。 图2 用户所属的用户组 在左侧导航窗格中,选择“
调度作业 对已编排好的作业设置调度方式。 如果您的作业是批处理作业,您可以配置作业级别的调度任务,即以作业为一个整体进行调度,支持单次调度、周期调度、事件驱动调度三种调度方式。具体请参见配置作业调度任务(批处理作业)。 如果您的作业是实时处理作业,您可以配置节点级别的调度任务,即
一次可以导入一个或多个连接。执行本接口之前,需要将连接文件放到OBS的桶中。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v1/{project_id}/connections/import 参数说明 表1 URI参数说明
数据保护技术 收集范围 为了确保您的个人数据(例如用户名、密码、手机号码等)不被未经过认证、授权的实体或者个人获取,DataArts Studio对用户数据的存储和传输进行加密保护,以防止个人数据泄露,保证您的个人数据安全。 用户名:用于审批,消息通知,作为用户资产的属性存在,获取委托token的key值以及国际化。
数据服务API API管理接口 申请管理接口 消息管理接口 授权管理接口 服务目录管理接口 网关管理接口 应用管理接口 总览接口 集群管理接口
审核人管理”页面,新建审核人。 安全认证 创建API时,有如下三种安全认证方式可选。三种方式的区别在于认证方式和调用方法不同,推荐使用安全性更高的APP认证。 APP认证:将APP认证方式的API授权给应用后,使用应用的密钥对(AppKey和AppSecret)进行安全认证,支持通过SDK或API调用工具调用,安全级别高,推荐使用。
通过不同方式调用API 调用API方式简介 (推荐)通过SDK调用APP认证方式的API 通过API工具调用APP认证方式的API 通过API工具调用IAM认证方式的API 通过API工具调用无认证方式的API 通过浏览器调用无认证方式的API 父主题: 调用数据服务API
在本地数据中心或ECS上自建的MySQL。本教程为您介绍如何创建MySQL连接器。 前提条件 已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码,且该用户拥有MySQL数据库的读写权限。 本地MySQL数据库可通过公网访问。如果MySQL服务器是在本地数据中心或
Manager的用户密码。 - 开启LDAP认证 通过代理连接的时候,此项可配置。 当MRS Hive对接外部LDAP开启了LDAP认证时,连接Hive时需要使用LDAP账号与密码进行认证,此时必须开启此参数,否则会连接失败。 否 LDAP用户名 当“开启LDAP认证”参数选择为“是”时,此参数是必选项。
数据开发模块的作业执行机制是以启动作业的用户身份执行该作业。对于按照周期调度方式执行的作业,当启动该作业的IAM账号在调度周期内被停用或删除后,系统无法获取用户身份认证信息,导致作业执行失败。 如果作业被低权限的用户启动,也会因为权限不足导致作业执行失败。 若需解决以上两个问题,则可配置作业调度身份。配置
连接到文件服务器时出错。 连接到文件服务器时出错。 请联系客服或技术支持人员协助解决。 Cdm.0413 400 向文件服务器传输数据时出错。 向文件服务器传输数据时出错。 请联系客服或技术支持人员协助解决。 Cdm.0415 400 从文件服务器下载文件出错。 从文件服务器下载文件出错。
审核人管理”页面,新建审核人。 安全认证 创建API时,有如下三种安全认证方式可选。三种方式的区别在于认证方式和调用方法不同,推荐使用安全性更高的APP认证。 APP认证:将APP认证方式的API授权给应用后,使用应用的密钥对(AppKey和AppSecret)进行安全认证,支持通过SDK或API调用工具调用,安全级别高,推荐使用。
OBS桶的Endpoint,可以进入OBS控制台概览页,单击桶名称后查看桶的基本信息获取。 端口 是 主机的SSH端口号。 KMS密钥 是 通过KMS加解密数据源认证信息,选择KMS中已创建的密钥。 绑定Agent 是 DWS为非全托管服务,DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts
配置数据服务审核中心 数据服务平台的审核中心,提供给API开放方和API调用方用以审核API的发布等操作。 在发布API时,会触发审核,审核机制如下: 当发布人不具备审核人权限时,发布API时需要提交给审核人审核。 当发布人具备审核人权限时,可无需审批直接发布API。 待审核的API可在审核中心由发起者执行撤销操作。
从HDFS导出目录时,如果需要创建快照,这里配置的用户需要HDFS系统的管理员权限。 密码:访问MRS Manager的用户密码。 认证类型:访问MRS的认证类型。 运行模式:选择HDFS连接的运行模式。 创建OBS连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理
Manager的用户密码。 - 开启LDAP认证 通过代理连接的时候,此项可配置。 当MRS Hive对接外部LDAP开启了LDAP认证时,连接Hive时需要使用LDAP账号与密码进行认证,此时必须开启此参数,否则会连接失败。 否 LDAP用户名 当“开启LDAP认证”参数选择为“是”时,此参数是必选项。
数据服务SDK参考 数据服务SDK概述 SDK使用前准备 SDK调用常见错误码/错误信息 使用APP认证调用API