检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
is_release_recently Boolean 是否新品上市(三天内新发布的API)。 is_hot_recently Boolean 是否热销产品(三天内有其他空间用户申请该API)。 success_rate String 7天内调用成功率。 failure_rate String 7天内调用失败率。
式API配置排序参数时的排序参数顺序或脚本/MyBatis方式API SQL中的排序参数顺序为准,调整不生效。 修改升序或降序的排序参数为其他排序方式,则会调用失败,不允许修改。 (可选)在创建API时,如果已打开“返回总条数”开关,则当API对应的数据表数据量较大时,获取数据总
参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 说明: 多个DataArts Studio实例需要指定工作空间。 当工作空间里面没有default工作
Each节点,选中连线图标并拖动,编排图5所示的作业。 配置HIVE SQL节点属性。此处配置为引用SQL脚本,SQL脚本的语句如下所示。其他节点属性参数无特殊要求。 --从student_score表中统计成绩在85分以上的人数-- SELECT count(*) FROM student_score
高级属性”中,系统提供了默认值,请根据实际业务数据的格式设置各项参数。 在本示例中,根据准备数据源中的样例数据格式,需注意以下参数的设置,其他参数经过一一确认均保留默认值即可。 字段分隔符:默认值为逗号,本示例保留默认值即可。 前N行为标题行:设置为“是”,本示例首行是标题行。 标题行数:配置为1。
访问DWS数据库的用户,该用户拥有DWS数据库的读、写和删除权限。 user_dws 密码 访问DWS数据库的用户密码。 dws_password 获取token 调用其他API前,需要获取token,并设置成环境变量。 curl -H "Content-Type:application/json" http
Each节点,选中连线图标并拖动,编排图5所示的作业。 配置HIVE SQL节点属性。此处配置为引用SQL脚本,SQL脚本的语句如下所示。其他节点属性参数无特殊要求。 --从student_score表中统计成绩在85分以上的人数-- SELECT count(*) FROM student_score
DM作业。 如果CDM作业未运行,则按照请求体内容更新同名作业。 如果同名CDM作业正在运行中,则等待作业运行完成。此时该CDM作业可能被其他任务启动,可能会导致数据抽取不符合预期(如作业配置未更新、运行时间宏未替换正确等),因此请注意不要启动或者创建多个同名作业。
ver、executor等多个角色共同调度完成,因此“Executor个数*Executor CPU核数”要小于队列的计算资源CU数,避免其他Spark任务角色无法启动。 Spark作业参数计算公式: CU数=driver CPU核数+Executor个数*Executor CPU核数
如果需要更新驱动文件,则需要先在数据集成页面重启CDM集群,然后通过编辑数据连接的方式重新选择新版本驱动,更新驱动才能生效。 数据源认证及其他功能配置 用户名 是 数据库的用户名,创建集群的时候,输入的用户名。 密码 是 数据库的访问密码,创建集群的时候,输入的密码。 数据集成配置
规则模板”处,新建规则模板。新建的规则模板系统会自动被划分为对应的规则类型(表级、字段级、跨字段级和多表多字段),模板类型显示为自定义模板。新建质量/对账作业应用自定义模板与其他内置模板选择方式相同,规则类型选择为“表级规则”、“字段级规则”、“跨字段级规则”或“多表多字段规则”后即可选择自定义模板,支持进行异常数据输出,不支持质量评分。
来源对象的“规则类型”包括“表级规则”,“字段级规则”和“自定义规则”。字段级规则可针对表中的具体字段配置监控规则。此处选择为表级规则,页面中其他设置项对应为表级规则配置项。 目的对象的“规则类型”由来源对象的规则类型自动生成。 数据连接 来源对象/目的对象支持的数据源类型:DWS、MRS
self_defined_fields 否 Array of SelfDefinedFieldVO objects 自定义项。 configs 否 String 其他配置 model_id 否 String 所属模型ID model 否 WorkspaceVO object 模型信息。 表3 DimensionHierarchiesVO
Studio实例根据不同版本,包含了不同的组件和规格,具体请参见如何选择DataArts Studio版本。 包年包月 DataArts Studio基础包不含其他相关云服务所产生的费用,例如弹性公网IP、对象存储服务等。 DataArts Studio基础包的计费详情,请参见数据治理中心价格详情。 DataArts
table_attributes Array of FactTableAttributeVO objects 事实表所有属性。 configs String 其他配置 physical_table String 生产环境创建表状态 dev_physical_table String 开发环境创建表状态
self_defined_fields 否 Array of SelfDefinedFieldVO objects 自定义项。 configs 否 String 其他配置 model_id 否 String 所属模型ID model 否 WorkspaceVO object 模型信息。 表3 DimensionHierarchiesVO
Ctrl + 鼠标点选:多列模式编辑,多行缩进 Shift + Ctrl + K:删除当前行 Ctrl + →或Ctrl + ←:向右或向左按单词移动光标 Ctrl + Home或Ctrl + End:移至当前文件的最前或最后 Home或End:移至当前行最前或最后 Ctrl + Shift
关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。 当作业源端为OBS、迁移CSV文件时,并且配置“解析首行为列名”参数的场景下显示列名。 当使用二
table_attributes Array of FactTableAttributeVO objects 事实表所有属性。 configs String 其他配置 physical_table String 生产环境创建表状态 dev_physical_table String 开发环境创建表状态
dirty_out_suffix 否 String 异常表后缀。 alias 否 String 别名。 configs 否 String 其他配置。 self_defined_fields 否 Array of SelfDefinedFieldVO objects 自定义项。 api_id