检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表进行权限管控。 用户/用户组和密级共同唯一标识一条密级权限管控策略,因此不支持创建同用户/用户组、同密级的策略。 同用户/用户组如果对应多个密级,则以最高密级为准进行密级权限管控。 创建敏感数据管控策略 在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。
原因分析 这种情况一般是在迁移到DWS时数据有中文,且创建作业时选择了目的端自动建表的情况下。原因是DWS的varchar类型是按字节计算长度,一个中文字符在UTF-8编码下可能要占3个字节。当中文字符的字节超过DWS的varchar的长度时,就会出现错误:value too long
参见配置DLI源端参数。 FTP SFTP 支持以CSV、JSON或二进制格式抽取FTP/SFTP的数据。 参见配置FTP/SFTP源端参数。 HTTP 用于读取一个公网HTTP/HTTPS URL的文件,包括第三方对象存储的公共读取场景和网盘场景。 当前只支持从HTTP URL导出数据,不支持导入。 参见配置HTTP源端参数。
映射关系。 如果是导入到数据仓库服务(DWS),则还需在目的字段中选择分布列,建议按如下顺序选取分布列: 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景,建议设置所有主键作为分布列。 在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。
如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,
如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,
创建者名称。 project_id String 项目ID,获取方法请参见项目ID和账号ID。 domain_id String 租户id,可在IAM侧用户信息中查询账号ID。 instance_id String DataArts Studio实例ID,获取方法请参见实例ID和工作空间ID。
创建者名称。 project_id String 项目ID,获取方法请参见项目ID和账号ID。 domain_id String 租户id,可在IAM侧用户信息中查询账号ID。 instance_id String DataArts Studio实例ID,获取方法请参见实例ID和工作空间ID。
录为1,否则记录为0。如果某单元格为空,导入时系统会按0标记。 导入的文件大小最大支持10Mb。 如果导入的标签名有重复,且标签标识一个为0,一个为1,系统会按1处理。 如果导入的作业名有重复,系统会按后面一列来识别,标签标识按照该行来处理。 添加方式:支持追加和覆盖两种。 追加
新建审核人界面 选择审核人(此处的账户列表来自于工作空间成员),输入正确的手机号码和电子邮箱,单击“确认”完成审核人的添加。 根据需要,可以添加多个审核人。 父主题: 开发数据服务API
间的“数据架构”模块,进入数据架构页面。 在数据架构控制台,单击左侧导航树中的“维度建模”,然后选择“汇总表”页签。 在左侧主题目录中选中一个主题,然后单击“新建”按钮,开始创建汇总表。 在“新建汇总表”页面,完成相关配置。 图1 配置基本信息 图2 配置属性信息 配置完成后,单击保存并进行发布。
数后使用。具体代码说明请参考调用API示例。 调用API示例 在工程中引入sdk。 1 using APIGATEWAY_SDK; 生成一个新的Signer, 填入AppKey和AppSecret。 1 2 3 4 5 6 7 8 // 认证用的ak和sk编码到代码中或者明文存
linkConfig.host 是 String 配置为Elasticsearch服务器的IP地址或域名,包括端口号,格式为“ip:port”,多个地址之间使用分号(;)分隔,例如:192.168.0.1:9200;192.168.0.2:9200。 linkConfig.safemode
名称、平均评分和参与评分用户数。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 创建一个DWS SQL脚本,以通过DWS SQL语句来创建数据表。 图1 新建脚本 在新建脚本弹出的SQL编辑器中输入如下SQL语句,单击“运行”
全量同步阶段: 任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。 增量同步阶段: 增量同步过程中,分库分表场景下,在多个分表执行的DDL,会同步多条数据到Kafka的Topic中。 常见故障排查: 在任务创建、启动、全量同步、增量同步、结束等过程中,如有遇到问题,可先参考常见问题章节进行排查。
数后使用。具体代码说明请参考调用API示例。 调用API示例 在代码中引入sdk。 1 require 'signer.php'; 生成一个新的Signer, 填入AppKey和AppSecret。 1 2 3 4 5 6 7 8 // 认证用的ak和sk编码到代码中或者明文存
映射关系。 如果是导入到数据仓库服务(DWS),则还需在目的字段中选择分布列,建议按如下顺序选取分布列: 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景,建议设置所有主键作为分布列。 在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。
映射关系。 如果是导入到数据仓库服务(DWS),则还需在目的字段中选择分布列,建议按如下顺序选取分布列: 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景,建议设置所有主键作为分布列。 在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。
参数说明 参数 是否必选 类型 说明 fromJobConfig.topicsList 是 String Kafka topic列表,可以为多个topic,以“,”作为分隔符。 fromJobConfig.kafkaConsumerStrategy 是 枚举 从Kafka拉取数据时的初始偏移量设置:
间进行条件筛选快速查询目标事件。 事件类型: 出错:任务运行失败。 变慢:任务本次运行时间相比过去一段时间内的平均运行时间明显变长。 如果一个任务先变慢、再出错,会生成两个事件。 事件状态: 新发现:基线监控的任务产生变慢或者失败。 已恢复:超过基线任务的承诺完成时间,但基线任务最终完成。