检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
列注释模拟数据 table_comment 否 String 表注释模拟数据 table_name 否 String 表名模拟数据 database_name 否 String 库名模拟数据 表5 DataClassificationSingleRuleDTO 参数 是否必选 参数类型
通过API工具调用APP认证方式的API APP认证方式的API接口可以分别绑定不同的应用,安全级别最高。如果您需要API工具调用APP认证方式的API,则需要先通过JavaScript SDK包中的demo.html手动生成认证信息,再使用API工具调用。 本章节以Postma
配置DWS目的端参数 作业中目的连接为DWS连接时,目的端作业参数如表1所示。 表1 目的端为DWS时的作业参数 参数名 说明 取值样例 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 自动创表 只有当源端为
新建复合指标 复合指标是由一个或多个衍生指标叠加计算而成,其中的维度、限定均继承于衍生指标。注意,不能脱离衍生指标、维度和限定的范围,去产生新的维度和限定。 约束与限制 单工作空间允许创建的复合指标个数最多5000个。 前提条件 您已新建衍生指标,并且衍生指标已通过审核,具体操作请参见新建衍生指标。
查询任务完成情况 功能介绍 查询任务完成情况。包括今天,昨天以及近7天的平均任务完成情况。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v2/{project_id}/factory/monitor/task-completion-data
(推荐)通过SDK调用APP认证方式的API APP认证方式的API接口可以分别绑定不同的应用,安全级别最高。而APP认证方式的API使用SDK调用方式,支持Java、Go、Python、JavaScript、C#、PHP、C++、C、Android等多种语言,可帮助您简单、快速地通过数据API获取到开放数据。
好OBS连接。这里保持默认值“否”即可,不记录脏数据。 图8 任务配置 单击“保存并运行”,回到作业管理界面,在作业管理界面可查看作业执行进度和结果。 作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”,可查看作业的日志信息。
作业运行完是否删除:这里保持默认值“不删除”。根据使用场景,也可配置为“删除”,防止迁移作业堆积。 单击“保存并运行”,回到作业管理界面,在作业管理界面可查看作业执行进度和结果。 作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”,可查看作业的日志信息。
消费Kafka时服务器将返回的每个分区的最大字节数。Kafka单条消息大的场景,可以适当调高每次获取的数据量,以提高性能。 properties.max.poll.records int 500 消费者每次poll时返回的最大消息条数。Kafka单条消息大的场景,可以适当调高每次获取的数据量,以提高性能。 目的端优化
否:关闭时能提升写入性能,但如果HBase服务器宕机可能会造成数据丢失。 toJobConfig.transType 否 Boolean true:源端数据库中的Short、Int、Long、Float、Double、Decimal类型列的数据,会转换为Byte[]数组(二进制)写入HBase,
查看作业实例 作业实例的数据保留最近90天的结果。 界面说明 介绍“数据质量监控 > 运维管理”页面中的区域和按键功能。 图1 页面区域说明 表1 运维管理页面 序号 区域 描述 1 导航栏 左侧导航栏,包括数据质量规则的存储目录。 用户可以根据实际需要对规则进行分目录存放,每级
问DataArts Studio。 各组件API的流量限制请参见API概览。 数据集成API的约束如下: CDM的作业数据量太多,会造成数据库压力,建议定时清理不需要的作业。 短时间内下发大量作业,可能会导致集群资源耗尽异常等,您调用API时需要注意。 CDM是批量离线迁移工具,不建议客户创建大量小作业场景。
配置DLI目的端参数 表1 DLI作为目的端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用,您需要在DLI中新建SQL队列。 新建队列操作请参考创建队列。 cdm 数据库名称 写入数据的数据库名称。 dli
作业数据输入总数 展示用户Flink作业的数据输入总数,供监控和调试使用 ≥ records 实时处理集成作业 1分钟 作业数据输出总数 展示用户Flink作业的数据输出总数,供监控和调试使用 ≥ records 实时处理集成作业 1分钟 作业字节输入速率 展示用户Flink作业每秒输入的字节数
配置权限详见配置权限集或配置角色。 DWS联通性测试前,已完成用户同步,然后将当前登录账号切换为IAM子用户账号,且至少具有DWS Database Access权限。 已经为MRS Hive连接和MRS SPARK连接中的用户配置了代理权限,请参考参考:为MRS数据连接用户配置代理权限进行配置。
配置LTS源端参数 表1 LTS作为源端时的作业参数 参数名 说明 取值样例 源连接名称 对应关系数据库的表名。 TABLENAME 单次查询数据条数 一次从日志服务查询的数据条数。 128 日志分组 日志组是云日志服务进行日志管理的基本单位。 _ 日志流 日志流是日志读写的基本单位。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
BINARY:适用于文件迁移场景,不解析数据内容原样传输。 CSV:以CSV格式解析源数据。 fromJobConfig.maxPollRecords 否 String 每次向Kafka请求数据限制最大请求记录数。 fromJobConfig.maxPollInterval 否 String
指标开发概述 指标是衡量业务特征的统计数值,用于体现企业某一业务活动的业务状况。指标通常分为原子指标和衍生指标,与指标相关的参数还包括统计维度和时间周期。衍生指标则是由原子指标 + 统计维度 + 时间周期组成。 原子指标用于明确业务的统计口径及计算逻辑。在本示例中,经营面积和销售额。
指定资源组的下拉框,查看该资源组的VPC网段。 图2 查询资源组网段 172.16.0.0/19 网络配置流程 配置华为云数据库所在安全组规则。 华为云数据库所在安全组需要增加入方向规则,放通Migration资源组VPC网段(例如172.16.0.0/19),使其可以访问数据库监听端口。