检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。 输出字段名:配置输出字段名。 小写/大写:指定进行大写转换或小写转换。 map 是 无 数据处理规则 对字符串值做大小写转换。 传入数据为NULL值,不做转换处理。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下:
输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。 输出字段名:配置输出字段名。 小写/大写:指定进行大写转换或小写转换。 map 是 无 数据处理规则 对字符串值做大小写转换。 传入数据为NULL值,不做转换处理。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下:
chmod +x python-examples -R 在python-examples/pyCLI_nosec.py中的hosts数组中填写安装HiveServer的节点的业务平面IP。 执行以下命令运行Python客户端: cd python-examples python pyCLI_nosec
数据处理规则 将字段值输出到文件。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下: aaa,product bbb,Bigdata 配置“文件输出”算子,分隔符为“,”,将A和B输出到文件中: 输出后的结果如下: aaa,product bbb,Bigdata
据库导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的作业需要
配置字符串空格清除的字段相关信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。 输出字段名:配置输出字段名。 对齐类型:配置清除方式(前空格、后空格、前后空格)。 map 是 无 数据处理规则 清空值两边的空格,支持只清除左边、只清除右边和同时清除左右空格。 传入数据为NULL值,不做转换处理。
样例 通过“CSV文件输入”算子,生成一个字段A。 源文件如下: 配置“分隔转换”算子,“分隔符”为空格,生成三个字段B、C和D: 转换后,依次输出A、B、C和D,结果如下: 父主题: 转换算子
配置并导入Flink样例工程 操作场景 Flink针对多个场景提供样例工程,包含Java样例工程和Scala样例工程等,帮助客户快速学习Flink工程。 针对Java和Scala不同语言的工程,其导入方式相同。 以下操作步骤以导入Java样例代码为例。操作流程如图1所示。 图1 导入样例工程流程
SQL为例进行操作。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 ClickHouse表已创建,确保用户已授权访问作业执行时操作该表的权限。 获取MySQL数据库使用的用户和密码。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的
等运维服务也会停止。续费包括手动续费和自动续费两种方式,您可以根据需求选择。了解更多关于续费的信息,请参见续费概述。 费用账单 您可以在管理控制台选择页面上方的“费用 > 费用账单”,进入费用中心后,在“账单管理”查看与MRS集群相关的流水和明细账单,以便了解您的消费情况。如需了解具体操作步骤,请参见费用账单。
ase导出到关系型数据库。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。 获取关系型数据库使用的用户和密码。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的作业需
该任务指导用户使用Loader将数据从Hive导出到关系型数据库。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的Hive表。 获取关系型数据库使用的用户和密码。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的作业需要使用指定
'/opt/client/Spark/spark/conf/user.keytab' <用于认证的业务用户> user.keytab文件位置请根据自己实际路径填写。 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input(hdfs dfs命令有同样的作用),创建对应目录。
本章节适用于MRS 3.3.0及以后版本。 操作场景 在python3程序代码完成开发后,可以在Windows环境或者上传到Linux环境进行调测,和集群业务平面网络互通时,可以直接在本地进行调测。 操作步骤 参考导入并配置HetuEngine Python3样例工程章节,获取样例代码,获取hetu-jdbc-XXX
样例 通过“CSV文件输入”算子,生成一个字段A。 源文件如下: 配置“分隔转换”算子,“分隔符”为空格,生成三个字段B、C和D: 转换后,依次输出A、B、C和D,结果如下: 父主题: Loader转换类算子
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 影响任务执行和客户端连接FE。 可能原因 FE堆内存过小。 处理步骤 检查堆内存使用率。 登录FusionInsight Manager,选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Doris > CPU和内存 > FE节点堆内存的使用率 (FE)”。
显示Loader连接管理页面。 可单击“管理作业”回到作业管理页面。 单击“新建连接”,进入配置页面,并填写参数创建一个Loader连接。 Loader作业介绍 Loader作业用于管理数据迁移任务,每个作业包含一个源数据的连接,和一个目的数据的连接,通过从源连接读取数据,再将数据保存到目的连接,完成数据迁移任务。
</exclusions> </dependency> 再手动添加指定版本的commons-crypto依赖。根据os架构为x86_64或aarch64填写正确version。 <dependency> <groupId>org.apache.commons</groupId>
示错误的Topic信息。 执行Kafka相关命令,获取Topic分布信息和副本同步信息,观察返回结果。 kafka-topics.sh --describe --zookeeper <zk_host:port/chroot> --topic <topic name> 如下所示,发
选择“本地元数据”。 配置网络配置和节点配置。 表2 网络配置和节点配置 参数名称 参数含义 取值样例 可用区 选择集群工作区域下关联的可用区。 可用区2 虚拟私有云 选择需要创建集群的VPC,单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。如果没有VPC,需要创建一个新的VPC。