检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
> 脚本开发”。 单击脚本目录中的 > 导入脚本,选择待导入的脚本文件,并配置重名处理策略。 在硬锁策略下,如果锁在其他人手中,重名策略选择了覆盖,则会覆盖失败。软硬锁策略请参考配置软硬锁策略。 图3 导入脚本 单击“下一步”,根据提示导入脚本。 父主题: (可选)管理脚本
单击“确定”,创建完成。 配置云服务访问日志转储 登录数据服务专享版页面,选择集群,选择日志转储,选择LTS云服务日志。 图2 LTS转储 查看访问日志 当您配置了访问日志,可以查看访问日志的详细信息。 通过“云日志服务”控制台,进入日志主题界面,选择相应日志主题名称,在“原始日志”页签下,可查看访问日志。
一可用区内。 详情请参见什么是可用区。 工作空间 选择需要使用批量数据迁移增量包的工作空间。只有在关联了工作空间后,才能在此工作空间中使用创建的CDM集群。 企业项目 当关联了多个工作空间后,需要为CDM集群指定一个企业项目。 集群名称 自定义数据集成集群名称。 实例类型 目前数据集成集群支持以下部分规格供用户选择:
如果导入的作业名有重复,系统会按后面一列来识别,标签标识按照该行来处理。 添加方式:支持追加和覆盖两种。 追加:若该作业已设置了作业标签,新添加的标签不会覆盖原来的标签。 覆盖:若该作业已设置了作业标签,新添加的标签将会直接覆盖原来的标签。 单击“确定”,完成导入。 导出作业标签 在数据开发主界面的左侧导航栏,选择“配置管理
Zone)是同一区域内,电力和网络互相隔离的物理区域,一个可用区不受其他可用区故障的影响。一个区域内可以有多个可用区,不同可用区之间物理隔离,但内网互通,既保障了可用区的独立性,又提供了低价、低时延的网络连接。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以
Studio之外的其它服务授权,IAM支持服务的所有权限请参见系统权限。 约束与限制 DAYU User系统角色为用户提供了实例及工作空间和依赖服务的相关权限,具体工作空间内的业务操作权限由工作空间角色提供。 IAM提供了以下两种授权机制。注意,DataArts Studio仅支持其中的IAM角色方式,不支持IAM策略。
Studio之外的其它服务授权,IAM支持服务的所有权限请参见系统权限。 约束与限制 DAYU User系统角色为用户提供了实例及工作空间和依赖服务的相关权限,具体工作空间内的业务操作权限由工作空间角色提供。 IAM提供了以下两种授权机制。注意,DataArts Studio仅支持其中的IAM角色方式,不支持IAM策略。
列注释模拟数据 table_comment 否 String 表注释模拟数据 table_name 否 String 表名模拟数据 database_name 否 String 库名模拟数据 表5 DataClassificationSingleRuleDTO 参数 是否必选 参数类型
长度小于等于100个字符。连接名称不能重复。 type 是 String 连接类型,包含: DWS DLI SparkSQL HIVE RDS CloudTable HOST config 否 Map<String,String> 连接的配置项,不同类型的连接配置项不同。DLI类
绑定公网域名”,输入已完成域名注册、ICP备案的域名,数据服务调用DNS服务将公网域名与外网地址相关联。注意,绑定公网域名的前提是在集群创建时已开启“公网入口”绑定了弹性公网IP,否则将会绑定失败。另外,每个租户支持添加50个公网域名。 公网域名支持添加主域名及主域名的子域名,即最多支持添加二级域名,例如abc
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
须确保DAYU User角色的IAM用户已在对应的DataArts Studio工作空间中被设置为对应的工作空间角色。 如果您只给用户配置了工作空间的角色,则会出现无权限的报错。 解决方案 您需要检查IAM用户所在的用户组是否已经在IAM控制台中被授予DAYU User或DAYU
无法获得所有列),则可以单击后选择“添加新字段”来手动增加,确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。
记录节点,当文件格式为“JSON_FILE”时此参数有效。对该JSON节点下的数据进行解析,如果该节点对应的数据为JSON数组,那么系统会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割,例如:“data.list”。 fromJobConfig.encodeType
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
长度小于等于100个字符。连接名称不能重复。 type 是 String 连接类型,包含: DWS DLI SparkSQL HIVE RDS CloudTable HOST config 否 Map<String,String> 连接的配置项,不同类型的连接配置项不同。DLI类
指标配置”页面,可以对业务指标进行自定义项设置。 单击“新建”,输入自定义相的参数信息。包含选项名称的中英文、可选值、是否必填、描述等。 如果勾选了“是否必填”,在创建指标定义时,该自定义项参数则为必填项。 可以对自定义项进行增加、删除、上移、下移等操作。 配置好以后,单击“保存”。 父主题:
单击作业目录中的 > 导入作业,选择已上传至OBS或者本地中的作业文件,以及重名处理策略。 在硬锁策略下,如果锁在其他人手中,重名策略选择了覆盖,则会覆盖失败。软硬锁策略请参考配置软硬锁策略。 图3 导入作业定义及依赖 单击“下一步”,根据提示导入作业。 导入作业时,如果作业中存
cloudtable-cdm-zk2.cloudtable.com:2181 IAM统一身份认证 如果所需连接的CloudTable集群在创建时开启了“IAM统一身份认证”,该参数需设置为“是”,否则设置为“否”。 当选择IAM统一身份认证时,需要输入用户名、AK和SK。 否 用户名 登录CloudTable集群的用户名。