检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1表示完整性,2表示唯一性,3表示及时性,4表示有效性,5表示准确性,6表示一致性。 description 否 String 描述。 sql_info 否 String 模板中的sql内容。 result_description 否 String 结果说明。 publish 否 Boolean 是否
1表示完整性,2表示唯一性,3表示及时性,4表示有效性,5表示准确性,6表示一致性。 description 否 String 描述。 sql_info 否 String 模板中的sql内容。 result_description 否 String 结果说明。 publish 否 Boolean 是否
x的连接。使用不匹配的连接版本,测试连接有可能正常,也可能会出现查询库表为空,或者作业失败等不正常场景。 属性配置 hive.storeFormat=textfile 适用组件勾选数据集成后,呈现此参数。 可选参数,单击“添加”可增加多个指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
配置Data_Quality_Monitor节点属性 配置调度周期。 图3 配置调度周期 提交版本并执行调度。 在“作业监控”查看作业运行日志。 图4 查看运行日志 父主题: 数据开发进阶实践
查询当前空间下分配的队列资源 功能介绍 查询当前空间下分配的队列资源。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/permission/queue/assigned-source 表1 路径参数 参数 是否必选 参数类型
查询数据开发细粒度连接列表 功能介绍 查询数据开发细粒度连接列表(全量)。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/fgac/dlf/datawarehouses 表1 路径参数 参数 是否必选 参数类型 描述 project_id
基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明: SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如
基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明: SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如
e_code_开头,命名规则为“数据库名称_汇总表编码”)中复制的,复制节点后需手动配置该节点的“数据连接”和“数据库”参数,“数据库”需设置为事实表所在的数据库。 图15 按费率汇总统计节点属性 按供应商汇总统计节点:为MRS Hive SQL节点,按供应商维度统计汇总截止到当
dw_type 否 String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 create_by 否 String 创建人。 update_by 否 String
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
术实现因素,进行数据库体系结构设计,真正实现数据在数据库中的存放,例如:所选的数据仓库是DWS或DLI。 维度建模 维度建模是从分析决策的需求出发构建模型,它主要是为分析需求服务,因此它重点关注用户如何更快速地完成需求分析,同时具有较好的大规模复杂查询的响应性能。 多维模型是由数
明文档进行配置。 常见配置举例如下: socketTimeout:配置JDBC连接超时时间,单位为毫秒。 mysql.bool.type.transform:配置mysql读取时,是否将tinyint(1)解析成boolean类型,默认为true。 socketTimeout=300
Studio数据开发模块中,新建DLI SQL脚本执行以下SQL命令导入数据,也可以在数据湖探索(DLI)服务控制台中的SQL编辑器中执行以下SQL命令: /* 查看表a数据,其他表数据请修改命令后运行 */ SELECT * FROM a; 将查询到的表数据与给源数据表插入数据步骤中
需要支持文件水印? 本示例不涉及 支持对结构化数据文件注入暗水印,支持对非结构化数据文件注入明水印 需要支持动态水印? 本示例不涉及 支持对Hive和Spark数据源数据配置动态水印策略 8 数据服务 需要开放哪些数据源数据? 本示例不涉及 支持DLI、DWS和MySQL等数据源 每日数据调用量是多少?
您无需具备编码能力,即可在几分钟之内配置好一个数据API。 同时为了满足用户的个性化查询需求,数据服务也提供了自定义SQL的脚本模式,允许您自行编写API的查询SQL,并支持多表关联、复杂查询条件以及聚合函数等功能。 生成API 注册API 将通过数据表生成的API统一管理和发
这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 数据源认证及其他功能配置 用户名 是 数据库的用户名,创建DWS集群时指定的用户名。 密码 是 数据库的访问密码,创建DWS集群时指定的密码。
主题域:互不重叠数据的高层面的数据分类,用于管理其下一级的业务对象。 业务对象:指企业运作和管理中不可缺少的重要人、事、物信息。 流程设计:针对流程的一个结构化的整体框架,描述了企业流程的分类、层级以及边界、范围、输入/输出关系等,反映了企业的商业模式及业务特点。 数仓规划:对数仓分层以及数仓建
创建数据迁移作业,将OBS数据迁移到DWS。 数据开发,包含创建DWS SQL脚本和开发作业。 创建DWS SQL脚本top_rating_movie(用于存放评分最高的Top10电影) 创建DWS SQL脚本top_active_movie(用于存放最活跃的Top10电影) 开