检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
主Jar包所依赖的JAR包、properties文件。总的长度不能超过10240个字符。 desc 否 String 描述,长度不能超过255个字符。 directory 否 String 资源所在目录。 通过DataArts Studio管理控制台 > 数据开发,左侧列表选择“配置管理 > 资源管理”。在资源的
主Jar包所依赖的JAR包、properties文件。总的长度不能超过10240个字符。 desc 否 String 描述,长度不能超过255个字符。 directory 否 String 资源所在目录。 通过DataArts Studio管理控制台 > 数据开发,左侧列表选择“配置管理 > 资源管理”。在资源的
复杂网络环境下的数据同步 支持云数据库、本地IDC、ECS自建数据库等多种环境下的数据同步。在配置同步任务前,您可以根据数据库所在网络环境,选择合适的同步解决方案来确保数据集成资源组与您将同步的数据来源端与目标端网络环境已经连通,对应数据库环境与网络连通配置详情请参见:网络打通。 多类场景下的数据同步
在硬锁策略下,如果锁在其他人手中,重名策略选择了覆盖,则会覆盖失败。软硬锁策略请参考配置软硬锁策略。 升级解决方案 在解决方案目录中,右键单击解决方案名称,选择“升级”,导入已上传到OBS中的解决方案文件。升级解决方案时,会停止其中正在运行的作业,系统将依据用户配置的升级重启策略,判断是否在升级完成后重新启动作业。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
导入结果会在“导入流程”对话框的“上次导入”中显示。如果导入结果为“成功”,单击“关闭”完成导入。如果导入失败,您可以在“备注”列查看失败原因,将模板文件修改正确后,再重新上传。 删除流程 您可以将无用的流程删除,注意,删除后无法恢复,请谨慎操作。当流程下面存在子流程时,需先删除子流程。 在数据指标控制台,
空间。 可用区 选择数据服务专享集群所在的可用区。 支持单AZ和多AZ两种部署方式。推荐使用多AZ方式。 单AZ:仅可以选择1个AZ,集群节点部署在同一AZ上。 多AZ:可选择2-10个AZ,集群节点部署在不同AZ上,以提升集群的容灾能力。 详情请参见什么是可用区。 集群名称 -
1704132000000, "task_completion_num": 0 } ] } 失败响应 HTTP状态码 400 { "error_code": "DLF.3051", "error_msg": "The request
开发者操作 开发者作为任务开发与处理的人员,需要开发脚本、开发作业等,相关操作如下表所示。 表1 开发者操作 操作 说明 脚本开发 选择开发环境的数据湖引擎,在开发环境下的调测并发布数据开发脚本,发布到生产环境后系统会自动替换为对应生产环境引擎。 具体请参见脚本开发。 作业开发
对补数据作业运行情况进行监控。可以通过补数据,修正历史中出现数据错误的作业实例,或者构建更多的作业记录以便调试程序等。 具体请参见补数据监控。 通知管理 配置在作业运行异常或成功时能接收到通知。 具体请参见通知管理。 备份管理 支持每日定时备份昨日系统中的所有作业、脚本、资源和环境变量。 具体请参见备份管理。
dli传DLI,dws和mrs-hive传对应的集群id schema_name 否 String schema名称,dws需要传这个字段 database_name 否 String 数据库名称 table_name 否 String 表名称 expire_time 否 Long 权限到期时间时间戳,毫秒。
AppSecret。 APPSecret限制一分钟内重置一次,重置记录可在事件管理内查看。 重置APPSecret会导致已授权的API调用失败,请谨慎操作。 创建APP类型的应用 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。
列中,选择“编辑”。 在API编辑界面,您可以修改API的基础配置或取数逻辑,例如API目录、描述、请求方式、入参、取数方式等,注意API名称、请求path、参数协议、安全认证不支持修改。 图1 修改API的基础配置或取数逻辑 API修改完成后,单击“下一步”进入测试页面。填写相关参数后,进行API测试。
用范围为当前工作空间。 变量是指不同的空间下取值不同,需要重新配置值,比如“工作空间名称”变量,这个值在不同的空间下配置不一样,导出导入后需要重新进行配置。 常量是指在不同的空间下都是一样的,导入的时候,不需要重新配置值。 图1 环境变量 作业参数中支持定义参数和常量,作业参数的作用范围为当前作业。
数据服务API接口,访问“测试APP”,填写了相关参数,但是后台报错要怎么处理? 可能原因 未配置参数header parameter。 解决方案 在调用API时配置参数header parameter。 header parameter: x-Authorization, nvalid
_dws_payment_type_开头,命名规则为“数据库名称_汇总表编码”)中复制的,复制节点后需手动配置该节点的“数据连接”和“数据库”参数,“数据库”需设置为事实表所在的数据库。 数据开发作业自动生成功能需在管理配置中心中勾选“创建数据开发作业”实现。 图14 按付款方式汇总统计节点属性
主Jar包所依赖的JAR包、properties文件。总的长度不能超过10240个字符。 desc 否 String 描述,长度不能超过255个字符。 directory 否 String 资源所在目录。 通过DataArts Studio管理控制台 > 数据开发,左侧列表选择“配置管理 > 资源管理”。在资源的
可见。 审批配置 仅当前工作空间的管理员或者拥有DAYU Administrator、Tenant Administrator权限的用户可以进行审批配置。打开审批开关后,可以对作业或者脚本进行审批配置。 图1 配置审批 选择“数据开发 > 审批中心”,单击“审批配置”页签。 开启