检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
teger、Long、Float、Double、String、Date、Decimal 支持的数据格式：parquet、orc 支持的文件系统：obs、hdfs 支持的机型： AMD64、ARM 支持的场景：spark-sql模式 配置参数 在Spark客户端的“{客户端安装目录
Manager新增文件句柄数量监控 MRS Manager新增大数据组件发生重启事件上报 MRS 镜像 解决ECS VNC登录不停打印输出问题 解决操作系统日志转储配置问题 MRS 1.7.1.3 修复问题列表： MRS Manager新增运维通道功能。 MRS 1.7.1.2 修复问题列表：
Hive集群的元数据会默认存储到MRS DBService组件，也可以选择RDS（MySQL）作为外置元数据库。 Hive的业务数据，存储在HDFS文件系统或OBS对象存储中。 图1 Hive数据迁移示意 方案优势 场景化迁移通过迁移快照数据然后再恢复表数据的方法，能大大提升迁移效率。 约束与限制
RDS服务MySQL数据库用户名。 password：RDS服务MySQL数据库用户密码，命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 MySQL引擎使用示例： 连接到RDS服务的MySQL数据库。详细操作可以参考RDS服务MySQL实例连接。
.withFieldDelimiter("|"); // 同步策略，每1000个tuple对文件系统进行一次同步 // HdfsBolt必选参数 SyncPolicy syncPolicy = new Co
成实例启动。 实例启动成功后，使用ClickHouse客户端登录问题节点。命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 clickhouse client --host clickhouse实例IP --user
<directory> [-tf <time-format> -s <sqlfile>]”命令。命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 运行示例： ./export-csv.sh -h x.x.x.x -p 22260 -u test
jar。如果两个Jar包里都包含一个“com.xxx.bigdata.iotdb.UDTFExample”类，当同一个SQL中同时使用到这两个UDF时，系统会随机加载其中一个类，导致UDF执行行为不一致。 UDF查询。 UDF支持对的基础SQL语法为： SLIMIT / SOFFSET LIMIT
已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 操作步骤 在FusionInsight Manager管理界面，选择“系统 > 权限 > 用户”，选择用户flume_hdfs，选择“更多 > 下载认证凭据”下载Kerberos证书文件并保存在本地。 图1 下载认证凭据
Cache中读取小表内容直接与大表join得到结果并输出。 使用Map Join时需要注意小表不能过大，如果小表将内存基本用尽，会使整个系统性能下降甚至出现内存溢出的异常。 Sort Merge Bucket Map Join 使用Sort Merge Bucket Map Join必须满足以下2个条件：
已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 操作步骤 在FusionInsight Manager管理界面，选择“系统 > 权限 > 用户”，选择用户flume_hdfs，选择“更多 > 下载认证凭据”下载Kerberos证书文件并保存在本地。 图1 下载认证凭据
已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 操作步骤 在FusionInsight Manager管理界面，选择“系统 > 权限 > 用户”，选择“更多 > 下载认证凭据”下载用户flume_hdfs的kerberos证书文件并保存在本地。 图1 下载认证凭据
when matched and flag = true then delete when not matched then insert *; 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题： Hudi DML语法说明
下面代码片段仅为演示，具体代码请参见获取样例代码解压目录中“hdfs-c-example/hdfs_test.c”文件。 设置HDFS NameNode参数，建立HDFS文件系统连接。 hdfsFS fs = hdfsConnect("default", 0); fprintf(stderr, "hdfsConnect-
码解压目录中“HDFS/hdfs-c-example/hdfs_test.c”文件。 设置HDFS NameNode参数，建立HDFS文件系统连接。 hdfsFS fs = hdfsConnect("default", 0); fprintf(stderr, "hdfsConnect-
Manager系统，选择“集群 > 待操作集群的名称 > 服务 > Loader > 更多 > 重启服务”，输入管理员密码重启Loader服务。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight Manager系统，具体请参见访问FusionInsight
中HDFS的C样例代码“hdfs-c-example/hdfs_test.c”文件。 设置HDFS NameNode参数，建立HDFS文件系统连接。 hdfsFS fs = hdfsConnect("default", 0); fprintf(stderr, "hdfsConnect-
的C样例代码“HDFS/hdfs-c-example/hdfs_test.c”文件。 设置HDFS NameNode参数，建立HDFS文件系统连接。 hdfsFS fs = hdfsConnect("default", 0); fprintf(stderr, "hdfsConnect-
进行作业开发时，系统支持对作业添加锁的功能，锁定作业的用户具备该作业的所有权限，其他用户不具备被锁定的作业的开发、启动和删除等权限，但可通过强制获取锁来具备作业的所有权限。开启该功能后，可直接通过单击“锁定作业”、“解锁作业”、“强制获取锁”来获取相应的权限。 系统默认开启作业锁功
面。 在HBase全部配置界面查看相关参数。 表1 HBase Index相关参数 配置入口 配置项 默认值 描述 “HMaster > 系统” hbase.coprocessor.master.classes org.apache.hadoop.hbase.hindex.server
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
