Spark基础:数据读写
发布网友
发布时间：2024-10-24 12:57
共1个回答
热心网友
时间：2024-11-03 20:54
在Spark中，数据的读写与处理是一项基础且关键的任务。本文将对Spark中的数据读写方法进行简要说明，包括默认加载和保存方法、手动指定格式、直接基于文件的SQL操作以及数据持久化。
Spark默认使用Parquet作为文件存储格式。通过配置`spark.sql.sources.default`，可以修改默认格式。在手动指定格式时，内置格式如JSON、PARQUET、JDBC、ORC、LIBSVM、CSV、TEXT可以使用简称。而自定义格式则需要全名，如`org.apache.spark.sql.parquet`。在进行转换时，DataFrame将基于不同的格式自动进行。
支持直接基于文件的SQL操作简化了数据操作流程。Spark提供`SaveMode`来配置保存方式，理解各模式如何处理数据，包括可能不具有原子性质的非锁定操作。`Overwrite`模式下数据将被清空并重新写入。
数据持久化可通过`saveAsTable`命令进行，持久化后的数据能够在Hive元数据中保持，从而使得数据即使在Spark重启后仍可访问。操作的表是Hive的外部表，表删除时数据依然保留在HDFS上。如未指定`path`，数据默认存储于Hive路径下。
Spark2.1之后，持久化表维护了分区信息。元数据包含必要信息，且Hive分区DDL无效。需要`MSCK REPAIR TABLE`命令同步当通过`path`写入分区数据时，数据可能不会自动在Hive表中生效。
关于分区与分桶的讨论进一步丰富了数据处理的灵活性。分区通常通过特定字段（如时间）将数据划分到不同目录下，从而加速查询流程，节省查询文件。分区字段使用表外字段，分区字段名称区分大小写，且一个表可以存在多个分区，逐层存储。
分桶则是对单一分区内的数据进行物理切分与排序，使用内部字段和哈希函数，文件数量、分桶字段、排序规则均在建表时指定。Spark同样支持分桶排序，但仅限于持久化表，为优化大规模数据查询提供支持。
通过深入理解这些基本机制，开发者可以更高效地利用Spark进行大数据处理与分析。
