检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
type为DLI SQL时,可以通过查看所有数据库接口获取数据库信息。 type为其他类型的时候,需要通过JDBC方式连上集群,查询数据库信息。默认值为空。 queueName 是 String DLI资源队列名称,当type参数值为DLISQL时,才支持此参数。可以通过查询队列列表接口获取队列信息。默认值为空。
重复上述步骤创建其它迁移目录的作业,参数配置都相同。2个CDM集群的作业个数平均分配,并发执行。 作业执行完成后,可在作业的“历史记录”中查看详细的数据统计。 父主题: 车联网大数据零丢失搬迁入湖
既能满足实际业务使用,也避免了权限过大的风险。 如何查看表行数和库大小 在数据治理流程中,我们常常需要统计数据表行数或数据库的大小。其中,数据表的行数可以通过SQL命令或数据质量作业获取;数据库大小可以直接在数据目录组件中查看,详情可参考本实践。 通过数据质量对比数据迁移前后结果
授权API调用 通过应用授权APP认证方式API 通过应用授权IAM认证方式API 通过白名单授权IAM认证方式API 父主题: 开发数据服务API
同步”,即可立即发起一次任务运行,数据安全开始订阅消费、启动消费、生成策略并同步Ranger。 查看订阅任务详情:在动态脱敏订阅页签,找到需要查看的任务,单击对应任务操作栏中的“详情”即可查看任务详情。 图4 查看任务详情 参考:Kafka消息格式要求 第三方平台的动态脱敏策略需要发布到Kafk
在界面上输入SQL语句,并引入脚本参数。 配置脚本模板参数。参数名称不可修改,参数值可以进行修改。 图1 配置脚本模板 单击“保存”。 您可以对已创建的脚本模板进行查看、修改和删除。 配置参数模板信息。 最大值、最小值仅对sparkSQL脚本/作业配置默认模板时运行程序参数(--driver-memory
称指的是Hetu引擎的资源队列名称。查看Hetu引擎的资源队列名称,需要登录MRS的FusionInsight Manager系统,单击左侧导航的HetuEngine,在基本信息区域,单击HSConsole WebUI链接,在计算实例列表中查看Hetu引擎的资源队列名称。 规则模板
作业任务参数调优 概述 实时数据集成服务底层使用Flink流处理框架进行开发,因此包含了Flink系统中最重要的两个部分:JobManager和TaskManager。 作业任务配置中调整的处理器核数、并发数、执行内存参数等便是用来调整JobManager和TaskManager
和开发环境的两套数据湖服务,用于隔离开发和生产环境: 对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS),DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。因
enabled(OBS表的指定目录或OBS表分区表的分区目录下有子目录时,是否查询子目录的内容;默认不查询) dli.sql.dynamicPartitionOverwrite.enabled(在动态分区模式时,只会重写查询中的数据涉及的分区,未涉及的分区不删除) 队列名称 是 默认选择SQL脚本中设置的DLI队列,支持修改。
请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 表3 参数说明 参数名 是否必选 参数类型 说明 name 是 String
权限集页签。 在子权限集页签,您可以查看到当前权限集下的子权限集。 图9 查看子权限集 日志:在权限集详情页面,单击“日志”进入日志页签。 在日志页签,当权限同步失败后,您可以查看到日志详情。系统每天0点定时删除30天前的日志。 图10 查看日志 权限集配置完成后,权限管控并不会
数据服务API接口,访问“测试APP”,填写了相关参数,但是后台报错要怎么处理? 可能原因 未配置参数header parameter。 解决方案 在调用API时配置参数header parameter。 header parameter: x-Authorization, nvalid
调试API 操作场景 API创建后需要验证服务是否正常,管理控制台提供调试功能,您可以添加HTTP头部参数与body体参数,调试API接口。 后端路径中含有环境变量的API,不支持调试。 API绑定签名密钥时,不支持调试。 如果API已绑定流控策略,在调试API时,流控策略无效。
编排API 编排API简介 配置入口API算子 配置条件分支算子 配置并行处理算子 配置输出处理算子 API编排典型配置 父主题: 开发数据服务API
以指定存储模式: 行模式:表的数据将以行式存储,适用于点查询(返回记录少,基于索引的简单查询),或者增删改比较多的场景。 列模式:表的数据将以列式存储,适用于统计分析类查询(group、join多的场景),或者即席查询(查询条件不确定,行模式表扫描难以使用索引)的场景。 行模式 导入模式
务中的连接信息,避免任务连接失败后的自动重试导致数据库账号被锁定,影响使用。 不同链路、数据库、权限要求不同,可参考以下链接,选择对应链路查看使用须知:使用教程。 连接准备 准备DataArts Studio管理中心数据连接。 说明: 数据连接配置中必须勾选数据集成选项。 数据连
Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 是 table 高级属性 查询筛选 创建用于匹配文档的筛选器。 例如:{HTTPStatusCode:{$gt:"400",$lt:"500"},HTTPMethod:"GET"}。
6000,请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 请求示例 根据指标ID进行指标图谱查询。 GET https://{endpoint}/v2/{project_id}/design/metric-relations/1193199235202428928
创建API 配置方式生成API 脚本/MyBatis方式生成API 注册API 父主题: 开发数据服务API