检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataArtsStudio实例一键购买接口 功能介绍 DataArtsStudio实例一键购买接口。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/instances/onekey-purchase 表1 路径参数 参数 是否必选 参数类型
据权限功能仅限于存量用户使用。 数据安全组件当前在华东-上海一、华东-上海二、华北-乌兰察布一、华北-北京四、华南-广州和西南-贵阳一区域部署上线。 数据权限模块包含数据目录权限、数据表权限和审批中心三大子模块。具备的功能如下所示: 权限自助申请:用户可以选择自己需要权限的数据表,在线上快速发起申请。
配置作业源端参数 配置MySQL源端参数 配置Hive源端参数 配置HDFS源端参数 配置Hudi源端参数 配置PostgreSQL源端参数 配置SQLServer源端参数 配置Oracle源端参数 配置DLI源端参数 配置OBS源端参数 配置SAP HANA源端参数 配置Kafka源端参数
数据总数,可以支持填写固定值,也可以支持从接口中获取,支持spel表达式。 固定值。 从接口中获取:data.pageCount。 说明: 如果接口不是分页接口,并且只想调用一次,则将数据总数的值设置的小于或者等于每次拉取的数据。 是 固定值时推荐1000 父主题: 配置作业源端参数
确。 图1 资源权限配置页面 单击待创建权限策略HDFS组件下“hacluster”的“配置” ,进入配置界面单击“创建”,新建权限策略。 图2 新建权限策略 在弹出的策略配置页配置相关参数,配置完成单击“确定”,策略配置完成。 图3 配置权限策略 表2 配置HDFS权限策略参数说明
允许用户在具有compute权限的计算子集群上进行弹性计算:compute 配置权限后,在权限视角下支持您对所配置的权限进行编辑、同步或删除等操作。 图7 权限视角权限配置 用户配置:在权限集详情页面,单击“用户配置”进入用户配置页签。 用户配置的含义即为将权限配置中定义的数据权限,与此处的用户绑定起来。您可以
是否需要测试Hive JDBC连通。 否 是否使用集群配置 您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hive_01 单击“显示高级属性
创建并配置简单模式工作空间 创建简单模式工作空间 设置工作空间配额 (可选)修改作业日志存储路径 父主题: 购买并配置DataArts Studio
配置输出处理算子 输出处理算子负责对API工作流的执行结果进行错误码映射、结果集映射和格式转换,以确定最终返回的数据格式。 表1 输出处理算子 参数 是否必选 说明 错误码映射 否 针对数据服务返回的错误码,支持映射为自定义信息。 例如,将“DLM.0”错误码映射为“OK”。 结果集映射
通过以下任意一种方法,进入“绑定API”页面。 在待绑定的流量控制策略所在行,单击“绑定API”。 单击策略名称,进入策略详情页面。在“绑定的API列表”页签中单击“绑定API”。 选择“API分组”和“API名称”,筛选所需的API。 勾选API,单击“绑定”,完成API绑定策略。 在流控策
配置告警规则 操作场景 通过设置实时集成作业的告警规则,用户可自定义监控目标与通知策略,及时了解作业状况,从而起到预警作用。 设置作业的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置实时集成作业告警规则的具体方法。 配置一键告警
Where子句 “使用SQL语句”选择“否”时,显示该参数,表示配置抽取范围的Where子句,不配置时抽取整表。 该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CD
配置Redis源端参数 表1 Redis作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 redis键前缀 对应关系数据库的表名。 TABLENAME 值存储类型 存储类型分STRING、HASH。 STRING 高级属性 键分隔符 用来分隔关系数据库的表和列名。
数据总数 数据总数,支持填写固定值,也支持从接口中获取。 固定值,例如:100000。 支持从返回的结果中,获取数据总量。例如:page.pageCount。 说明: 如果接口不是分页接口,将数据总数的值设置为小于或者等于每次拉取的数据,则接口只会调用一次,否则调用多次可能导致数据重复。
Where子句 “使用SQL语句”选择“否”时,显示该参数,表示配置抽取范围的Where子句,不配置时抽取整表。 该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CD
apiTypeApi:= model.GetApiApiTypeEnum().API_SPECIFIC_TYPE_SCRIPT logFlagApi:= true descriptionApi:= "dws" nameApi:= "create_script_api" catalogIdApi:=
由于文本文件中无法用字符串定义null值,此配置项定义将何种字符串标识为null。 例如:如果配置为null,则数据中如果存在某行某列值为“null”,则会被解析为null值。 - MD5文件名后缀 文件格式为二进制格式时支持此参数。 校验CDM抽取的文件,是否与源文件一致。 .md5 父主题: 配置作业源端参数
数据安全配置数据搬迁 当前暂不支持数据安全数据的导入导出,需要您手动同步各项配置数据和任务。 数据安全的配置数据,需要您按照旧空间的相关配置,手动在新空间进行重新配置。 父主题: DataArts Studio配置数据搬迁实践
_index 分页大小 分页大小。 否 1000 ScrollId超时时间配置 ScrollId超时时间配置,默认5分钟。 否 5 重试次数 单次请求失败重试次数。最大限制重试次数10次。 否 3 父主题: 配置作业源端参数
择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间