检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
user_dws 密码 访问DWS数据库的用户密码。 dws_password 获取token 调用其他API前,需要获取token,并设置成环境变量。 curl -H "Content-Type:application/json" https://{iam_endpoint}/v3/auth/tokens
相同名称且相同大小的文件不迁移,所以只会上传每天新增的文件。 单击“保存”,完成CDM的增量同步配置。 父主题: 使用CDM上传数据到OBS
D。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 X-Auth-Token 否 String
开启数据服务集群OBS日志转储 功能介绍 开启数据服务集群OBS日志转储。 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/service/instances/{instance_id}/obs-log-dump 表1 路径参数 参数 是否必选
本传递。参数之间使用空格分隔,例如:a b c。此处的“参数”需要在Python脚本中引用,否则配置无效。 支持设置脚本责任人 单击编辑器右侧的“脚本基本信息”,可设置脚本的责任人和描述信息。 脚本内容大小不能超过16MB。 企业模式下,支持从脚本开发界面快速前往发布。标放置在上
标识空间资源权限策略,为便于策略管理,建议名称中包含资源对象和授权对象。 资源对象 数据连接 选择需要授权的管理中心组件数据连接。如需新建数据连接,请参考创建DataArts Studio数据连接。 说明: 对于未选择的数据连接,则默认该连接权限放开,不做权限管控。 对于选择的数据连接,则非授权对象的普通用户(即非DAYU
D。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 响应消息的Content-
选择是否拆分Rowkey,例如“true”。 fromJobConfig.delimiter 否 String 用于切分Rowkey的分隔符,若不设置则不切分,例如“|”。 fromJobConfig.startTime 否 String 时间区间左边界(包含该值),格式为“yyyy-MM-dd
在左侧导航树中,单击“任务监控”,查看采集任务是否成功。 图6 查看监控任务 当采集任务成功后,在左侧导航栏单击“数据目录”,选择“技术资产”页签,然后设置筛选条件,例如选中连接“mrs_hive_link”,以及选中“Table”,将显示符合条件的所有的表。 图7 技术资产 单击所需要的元数据名称,即可查看详情信息。
Hive开启LDAP认证时配置的密码。 - OBS支持 需服务端支持OBS存储。在创建Hive表时,您可以指定将表存储在OBS中。 否 访问标识(AK) 当“OBS支持”参数选择为“是”时,此参数是必选项。请注意,此处AK/SK对应的账号应具备OBS Buckets Viewer系统权限,否则会无法访问OBS并报“403
该链路目前需申请白名单后才能使用。如需使用该链路,请联系客服或技术支持人员。 Oracle同步到MRS Hudi 消息系统 DMS Kafka 对象存储:OBS DMS Kafka同步到OBS Apache Kafka Hadoop:MRS Kafka(公测中) 说明: 该链路目前需申请白名单后才能使用。如
注意:shell脚本中若引用变量请直接使用$args格式,不要使用${args}格式,否则会导致被作业中同名参数替换。 支持设置脚本责任人 单击编辑器右侧的“脚本基本信息”,可设置脚本的责任人和描述信息。 脚本内容大小不能超过16MB。 企业模式下,支持从脚本开发界面快速前往发布。标放置在上
环比增长率 描述 描述信息。支持的长度为0~600个字符。 表达式 *设定表达式 选择所需要的衍生指标或复合指标,并根据实际需求在“表达式”中设置表达式。 同比增长率 *同比配置 选择年同比、月同比或者周同比。 *设定衍生指标 选择所需要的衍生指标,此处仅展示有时间限定衍生指标。系统
分析数据 通过DLI直接对OBS数据进行贸易统计分析。 前提条件 DLI创建OBS外表,对OBS表数据存储格式有所要求: 使用DataSource语法创建OBS表时,支持orc,parquet,json,csv,carbon,avro类型。 使用Hive语法创建OBS表时,支持TEXTFILE
单击“下一步”进入“规则配置”页面,配置质量作业的相关规则。在“计算范围”的“条件扫描”里面配置数据质量作业参数,如下图所示。 图1 设置数据质量参数 单击“下一步”,依次配置告警、订阅、调度等信息。配置质量作业的详细操作请参见新建质量作业。 单击“提交”。数据质量作业配置完成。
增加,确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。 当作业源端为OBS、迁移CSV文件
增加,确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。 当作业源端为OBS、迁移CSV文件
该链路目前需申请白名单后才能使用。如需使用该链路,请联系客服或技术支持人员。 Oracle同步到MRS Hudi 消息系统 DMS Kafka 对象存储:OBS DMS Kafka同步到OBS Apache Kafka Hadoop:MRS Kafka 说明: 该链路目前需申请白名单后才能使用。如需使用该链路,请联系客服或技术支持人员。
增加,确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。 当作业源端为OBS、迁移CSV文件
密文存放,使用时解密,确保安全; // 本示例以ak和sk保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量SDK_AK和SDK_SK。 String ak = System.getenv("SDK_AK");