检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Doris目的端参数 表1 Doris作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
简易变量集提供了一系列自定义的变量,自定义参数会根据任务调度的业务日期、计划时间及参数的取值格式自动替换为具体的值,实现在任务调度时间内参数的动态替换。 当前系统支持业务日期、计划时间、业务id三类参数的自定义。 业务日期是指在调度时间内,任务预期调度运行时间的前一天(即昨天),精确到天。业务日期可
提交时间。 create_by String 创建者。 l1 String 主题域分组中文名,只读,创建和更新时无需填写。 l2 String 主题域中文名,只读,创建和更新时无需填写。 l3 String 业务对象中文名,只读,创建和更新时无需填写。 approval_time
添加通知配置 通过添加通知配置,可以快速创建作业的通知配置信息。右键单击作业名称,单击“添加通知配置”,此通知配置为作业的新增配置,详细指导请参见配置通知。 如果要对作业已有通知配置进行修改,请进入通知管理页面,按照配置通知指导进行配置修改。单个作业跳转到通知管理页面后,会对该作
如何处理API对应的数据表数据量较大时,获取数据总条数比较耗时的问题? 问题场景 创建API时,已打开“返回总条数”开关。当API对应的数据表数据量较大时,获取数据总条数比较耗时。 图1 返回总条数 解决方案 在分页查询时,您可以通过参数(参数名use_total_num)控制是否计算并返回数据总条数。
规审计、资源跟踪和问题定位等常见应用场景。 CTS可记录的DataArts Studio操作列表详见如何查看审计日志。用户开通云审计服务并创建和配置追踪器后,CTS开始记录操作事件用于审计,用户可查看CTS保存最近7天的审计日志。 CTS支持配置关键操作通知。例如用户可将与IAM
内网域名名称。 enterprise_project_id String 企业项目ID。 create_time Long 创建时间。 create_user String 创建人。 current_namespace_publish_api_num Integer 当前工作空间已发布的API数量。
查看作业运行情况 创建数据连接 登录DataArts Studio控制台,单击相应工作空间后的“管理中心”。 在DataArts Studio管理中心模块中,单击“创建数据连接”,创建DWS数据连接,参数说明请参见DWS数据连接。 图6 创建DWS数据连接 同上述步骤创建MRS Hive数据连接,参数说明请参见MRS
数据服务SDK支持的语言? 数据服务SDK是基于DataArts Studio数据服务创建的数据API封装的SDK包。通过调用此SDK包提供的代码样例,即可进行数据服务中数据API的调用,帮助开发者简单、快速地通过数据API获取到开放数据。 数据服务SDK支持的语言有:C#、Py
复制API 操作场景 您可以通过复制API功能,得到与原API配置相同的API。 前提条件 已创建API。 操作步骤 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。 单击“开发API
REJECT: 已驳回 tb_guid 否 String 表发布后,创建的数据目录技术资产guid,只读,创建和更新时无需填写。 tb_logic_guid 否 String 表发布后,创建的数据目录业务资产guid,只读,创建和更新时无需填写。 dw_type 是 String 数据连
提交时间。 create_by String 创建者。 l1 String 主题域分组中文名,只读,创建和更新时无需填写。 l2 String 主题域中文名,只读,创建和更新时无需填写。 l3 String 业务对象中文名,只读,创建和更新时无需填写。 approval_time
内网域名名称。 enterprise_project_id String 企业项目ID。 create_time Long 创建时间。 create_user String 创建人。 current_namespace_publish_api_num Integer 当前工作空间已发布的API数量。
在左侧导航栏选择服务版本(例如:专享版),进入总览页。 单击“运营管理 > 流控策略”,进入到流量控制信息页面。 单击“创建流控策略”,弹出“创建流控策略”对话框。输入如表1所示信息。 图1 创建流控策略 表1 流控策略信息 信息项 描述 策略名称 API流控策略名称。 时长 流量限制的时长。 与
免费版:免费版定位于试用场景,每个账号在每个区域下仅能有一个免费版实例。使用免费版前,请您了解如下约定: 免费版不自带数据集成集群,而是首次购买时赠送36小时cdm.large规格的CDM集群折扣套餐,1年内有效。使用折扣套餐包时,您需要在“云数据迁移 CDM”服务创建一个与DataArts Studio实例区域一致的cdm
息。 在新版本模式下仅当使用企业版时,才支持配置数据入湖检测规则。旧版本模式使用基础版及更高版本时即可支持。 前提条件 识别规则创建完成,请参考定义识别规则(部分高级特性)。 约束与限制 数据集成(离线作业)的表数据迁移和数据安全敏感数据发现中的推荐识别场景下,仅支持MRS Hive、DWS、DLI和RDS
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
集群更新时间,格式为 ISO8601:YYYY-MM-DDThh:mm:ssZ。 status String 集群状态: 100:创建中。 200:正常。 300:失败。 303:创建失败。 800:冻结。 900:已关机。 910:正在关机。 920:正在开机。 表4 ClusterDetailInstance
字符,长度为1~128个字符。 OBS路径 是 删除OBS桶或目录的路径。 说明: 删除的文件将无法恢复,如需保留文件,请在删除前备份该桶下的数据。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。