正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的部署区域选择,这里我们要授予的是IAM查询指定条件下的委托列表的权限。因IAM是全局级服务,所以作用范围选择“全局级服务”。 “策略配置方式”选择“可视化视图”。 在“策略内容”下配置策略。 选择“允许”。 选择“云服务”为“统一身份认证服务”。 选择“操作”,勾选产品权限(i
选择主题 选择消息通知的主题。 说明: 当前仅支持“短信”、“邮件”这两种协议的订阅终端订阅主题。 单击“下一步”,选择调度方式,支持单次调度和周期调度两种方式,周期调度的相关参数配置请参见表3。 表3 配置周期调度参数 参数名 说明 生效日期 调度任务的生效时间段。 调度周期 选择调度任务的执行周期,并配置相关参数。
在场景开发完成后,如果您不再使用DataArts Studio及相关服务,请及时进行退订和资源删除,避免持续产生费用。 表1 相关服务退订方式 服务 计费说明 退订方式 DataArts Studio DataArts Studio计费说明 DataArts Studio实例仅支持包周期计费。
MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 - 使用本地API 使用数据库本地API加速(系统会尝试启用MySQL数据库的local_infile系统变量)。 是 使用Agent Agent功能待下线,无需配置。
无 加密方式 选择是否对上传的数据进行加密,以及加密方式: 无:不加密,直接写入数据。 KMS:使用数据加密服务中的KMS进行加密。如果启用KMS加密则无法进行数据的MD5校验。 详细使用方法请参见迁移文件时加解密。 KMS KMS ID 写入文件时加密使用的密钥,“加密方式”选择
Hudi作为一种数据格式,元数据存放在Hive中,操作通过Spark进行。在Hudi表开启“同步hive表配置”后,可通过采集MRS Hive元数据的方式采集Hudi表的元数据) 详情请参见支持的数据源。 父主题: 数据目录
业配置中使用SQL语句对字段类型进行转换,转换成CDM支持的类型,达到迁移数据的目的。 操作步骤 修改CDM迁移作业,通过使用SQL语句的方式迁移。 SQL语句格式为:“select id,cast(原字段名 as INT) as 新字段名可以和原字段名一样 from schemaName
待连接数据库的用户。该数据库用户需要有数据表的读写权限,以及对元数据的读取权限。 cdm 密码 用户名密码。 - 使用本地API 可选参数,选择是否使用数据库本地API加速。 创建MySQL连接时,CDM会自动尝试启用MySQL数据库的local_infile系统变量,开启MySQL的LOAD
业配置中使用SQL语句对字段类型进行转换,转换成CDM支持的类型,达到迁移数据的目的。 操作步骤 修改CDM迁移作业,通过使用SQL语句的方式迁移。 SQL语句格式为:“select id,cast(原字段名 as INT) as 新字段名可以和原字段名一样 from schemaName
“OBS支持”设置为“是”时,呈现此参数。 AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面,选择“访问密钥 > 新增访问密钥”,如图1所示。 图1
说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 redis_link Redis部署方式 Redis部署方式: Single:表示单机部署。 Cluster:表示集群部署。 Proxy:表示通过代理部署。 Single Redis服务器列表
仅DWS、DLI数据源支持创建采集任务时添加数据分类,实现自动识别。另外,只可给数据表的列和OBS对象添加分类。 单击“下一步”,选择调度方式,支持单次调度和周期调度两种方式。 单次调度:超时时间表示如果任务运行的时长超过了设置的超时时间,任务会被认定运行失败。 周期调度的相关参数配置请参见表5。
业务场景管理”。 单击“新建”,在弹出的对话框中,配置相关参数,新建场景。 图6 基本配置 图7 规则组配置 单击“下一步”,选择调度方式,支持单次调度和周期调度两种方式。 在业务场景管理列表中,单击操作列的“运行”,再跳转到运维管理模块。 单击“运行结果”,查看具体的指标监控情况。 图8 运行结果
Studio数据血缘实现方案 数据血缘的产生: DataArts Studio数据血缘解析方案包含自动分析血缘和手动配置血缘两种方式。一般推荐使用自动血缘解析的方式,无需手动配置即可生成血缘关系,在不支持自动血缘解析的场景下,再手动配置血缘关系。 自动血缘解析,是由系统解析数据开发作业
Studio数据血缘实现方案 数据血缘的产生: DataArts Studio数据血缘解析方案包含自动分析血缘和手动配置血缘两种方式。一般推荐使用自动血缘解析的方式,无需手动配置即可生成血缘关系,在不支持自动血缘解析的场景下,再手动配置血缘关系。 自动血缘解析,是由系统解析数据开发作业
10次,则会终止调度。 由于联邦用户在只有用户组信息,因此联邦用户无法同步。 由于数据源只会同步自身租户的用户信息,因此对于通过IP连接等方式非当前租户的数据源集群无法同步。 当前用户同步仅支持MRS Hive和DWS数据源,DWS数据源必须进行用户同步,MRS数据源可以按自身需
如需用于数据迁移作业,请购买更高规格的批量数据迁移增量包,详情请参考购买批量数据迁移增量包。 计费方式 包年包月 当前DataArts Studio基础包仅支持包年包月计费方式。 实例名称 DataArts Studio-test 自定义DataArts Studio实例名称。实例名称不支持修改,请提前合理规划。
如需用于数据迁移作业,请购买更高规格的批量数据迁移增量包,详情请参考购买批量数据迁移增量包。 计费方式 包年包月 当前DataArts Studio基础包仅支持包年包月计费方式。 实例名称 DataArts Studio-test 自定义DataArts Studio实例名称。实例名称不支持修改,请提前合理规划。
参考新建离线处理集成作业创建一个单任务数据迁移作业。 在键盘上按F12,打开创建好的单任务数据迁移作业,选择“network”页签。该任务请求方式为getPipeline。 图1 请求方式getPipeline 在“Preview”的jobBody里面的“value”字段获取JSON消息体的内容。 图2 JSON消息体内容
格式转化为“utf8”。 解决方法 用python3解释器,在主机上做一个软连接,如下图所示。 图2 主机上做软连接 在文件中设置标准编码方式。 # -*- coding: utf-8 -*-;或者设置主机的编码格式:在python安装目录的Lib\site-packages文件夹下新建一个sitecustomize