检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
”、“<”、“>”等各类特殊字符,长度为1~128个字符。 发送数据 是 发送到Kafka的文本内容。可以直接输入文本或单击使用EL表达式编辑。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。
在CDM作业中通过where子句配置获取最大时间值数据并传递给目的端作业 打开已创建的子作业。 单击CDM作业名称后面的跳转到CDM作业配置界面。 图5 编辑CDM作业 在源端作业配置的高级属性里面,通过配置where子句获取迁移所需的数据,作业运行时,将从源端获取到的迁移数据复制导出并导入目的端。
或回收权限,才能删除相应队列权限。 数据安全无法删除当前正在数据开发中被使用的Yarn队列资源。 编辑策略:在MRS Yarn队列详情页面,单击对应策略操作栏中的“编辑”,即可编辑策略。 删除策略:在MRS Yarn队列详情页面,单击对应策略操作栏中的“删除”,即可删除策略。当需
Administrator、Tenant Administrator权限的用户,至少指定一个审批人,不能指定自己为审批人。单击“审批人管理”可以跳转到“空间管理”页面,单击“编辑”按钮可以维护审批人信息。 可以进行批量发布。发布多个待发布项时,发布流程采用异步发布,可以看到发布任务的过程,最大的发布项个数为100。
于一次全量写入场景。 微批模式为异步分批写入Hoodie,适用于对入库时间SLA要求较为严格的场景,以及对资源消耗较小,对MOR表存储类型在线进行压缩的场景。 说明: 运行-失败重试期间不允许修改此模式。 是 批次数据大小 “全量模式写Hoodie”设置为“否”时,使用微批模式呈现此参数。
开发”模块,进入数据开发页面。 创建一个DWS SQL脚本,以通过DWS SQL语句来创建数据表。 图1 新建脚本 在新建脚本弹出的SQL编辑器中输入如下SQL语句,单击“运行”,从movies_item和ratings_item表中计算出评分最高的Top10电影,将结果存放到top_rating_movie表。
置Bucket桶数,以达到Migration写入性能最佳。 使用Bucket索引:通过在“Hudi表属性全局配置”或在映射后的单表“表属性编辑”中配置index.type和hoodie.bucket.index.num.buckets属性可进行配置。 判断使用分区表还是非分区表。
数据脱敏为样本库脱敏,则测试算法时限制样本文件大小不能超过10kb。 测试结果 相关操作 编辑算法:在脱敏算法页面,单击对应算法操作栏中的“编辑”,即可修改算法参数。 不同算法是否支持编辑和支持修改的参数因实际算法不同有所差异,请以操作界面为准。 测试算法:在脱敏算法页面,单击对
RS 3.2.1以及之后版本的MRS集群时,支持通过可视化方式查看数据库、数据表和字段,但仍不支持可视化方式管理。 在数据开发组件的SQL编辑器运行SQL时,只能以日志形式显示执行结果。 说明: 为保证数据架构、数据质量、数据目录、数据服务等组件能够使用此MRS连接,此处连接方式推荐配置为“通过代理连接”。
10800 120 查看码表详情 通过ID查看码表的详情信息。 21600 240 查看码表字段值 查看码表字段值。 21600 240 编辑码表字段值 编辑码表字段值。 10800 120 流程架构接口 表7 流程架构接口 API 说明 API流量限制(次/min) 用户流量限制(次/min)
创建一个新连接。 - - 查询连接列表(待下线) 查询连接列表。 - - 查询连接详情(待下线) 查询指定连接的配置详情。 - - 修改连接(待下线) 编辑修改连接的配置。 - - 删除连接(待下线) 删除一个连接。 - - 导出连接(待下线) 导出zip压缩包格式的连接文件,包括所有连接的定义。
单击“导入”,选择JSON格式的文件导入或文本导入。 文件导入:待导入的作业文件必须为JSON格式(大小不超过1M)。如果待导入的作业文件是之前从CDM中导出的,则导入前必须先编辑JSON文件,将“Add password here”替换为对应连接的正确密码,再执行导入操作。 文本导入:无法正确上传本地JSON文件时
脚本开发”,选择“新建DLI SQL脚本”。 进入SQL脚本开发页面,在脚本属性栏选择“数据连接”、“数据库”、“资源队列”。 图1 脚本属性 在脚本编辑器中输入以下SQL语句。 INSERT OVERWRITE TABLE trade_report SELECT sum(trade_count)
绑定Agent:已创建的CDM集群。 开发Hive SQL脚本 在“数据开发 > 脚本开发”模块中创建一个Hive SQL脚本,脚本名称为“hive_sql”。在编辑器中输入SQL语句,通过SQL语句来实现业务需求。 图1 开发脚本 关键说明: 图1中的脚本开发区为临时调试区,关闭脚本页签后,开发区的内
L,需要选择表“全部”或者“部分”,“包含库名”默认勾选,单击“确定”可导出所选择的物理表。 编辑 在物理表列表中,选择需要编辑的物理表,单击“操作”列的“编辑”,进入编辑页面进行编辑。 发布历史 在物理表列表中,选择需要查看发布历史的物理表,单击“操作”列的“更多 > 发布历史
图1 全量导出API 打开下载到本地的Excel文件,可以查看导出的API。不同类型的API会分别导出到文件页签中,单击下方页签可以切换查看并编辑。 图2 Excel文件样式 新空间导入数据 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。
Service. 确认其ECS的sshd_config参数如下。 原因分析:由于ssh session超时断开了,因此Shell节点失败。 解决办法 编辑ECS的/etc/ssh/sshd_config文件,添加或者更新如下两个值。 ClientAliveInterval 300 ClientAliveCountMax
15:15:46”,则CDM作业会执行失败,日志提示无法解析日期格式。需要通过CDM配置字段转换器,将日期字段的格式转换为云搜索服务的目的端格式。 解决方案 编辑作业,进入作业的字段映射步骤,在源端的时间格式字段后面,选择新建转换器,如图3所示。 图3 新建转换器 转换器类型选择“表达式转换”,目前
lue”字段获取JSON消息体的内容。 图2 JSON消息体内容 将获取到的消息体内容复制到CDM作业消息体里面,可以对JSON消息体进行编辑。 单击“保存”。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。
开发”模块,进入数据开发页面。 创建一个DLI SQL脚本,以通过DLI SQL语句来创建数据表。 图1 新建脚本 在新建脚本弹出的SQL编辑器中输入如下SQL语句,单击“运行”,从OBS原始数据表中计算出10大用户关注最多的产品,将结果存放到top_like_product表。