Parquet: Fix vectorized reads for negative decimals (#1736)

API: Fix Expressions.notNull operation (#1722)

Core: Fix NullPointerException in ManifestReader (#1730)

This fixes a NullPointerException that is thrown by a ManifestReader for delete files when there is a query filter. The DeleteFileIndex projects all fields of a delete manifest, so it doesn't call select to select specific columns, unlike ManifestGroup, which selects * by default. When select is not called, methods that check whether to add stats columns fail, but only if there is a row filter because stats columns are not needed if there is no row filter.

Existing tests either called select to configure the reader, or didn't pass a row filter and projected all rows. This adds a test that uses DeleteFileIndex and a test for ManifestReader. This also fixes dropStats in addition to requireStatsProjection.

Co-authored-by: 钟保罗 <zhongbaoluo@shxgroup.net>

Core: Fix NPE in SnapshotManager.validateCurrentSnapshot (#1725)

Build: Ignore json files in licence checks

Docs: Add type compatibility tables for Spark (#1611)

Revert "Spark: Handle null literals in predicates (#1709)"

This reverts commit 552b76713fca5d34a951d2794d74d3d7b8829ff3.

Spark: Handle null literals in predicates (#1709)

Hive: Run StorageHandler tests in both MR and Tez (#1695)

Co-authored-by: Marton Bod <mbod@cloudera.com>

ORC: Fix non-vectorized reader incorrectly skipping rows (#1706)

Revert "Hive: Fix missing table schema in Hive 1.1 query (#1557)" (#1707)

This reverts commit 13d94bc2e4e2dcae3d964b98dbb3aaeee19b46c2.

Co-authored-by: Marton Bod <mbod@cloudera.com>

Core: Check required v2 fields in table metadata parser (#1614)

ORC: Enable predicate pushdown and remove metrics workaround for Timestamps (#1696)

ORC: OrcFileAppender#length should return file size on disk (#1697)

Build: Fix Javadoc in SnapshotSummary

Build: Fix source-release.sh (#1694)

Core: Fix entries metadata tables with delete manifests (#1673)

Core: Do not create an Evaluator in ManifestGroup unless the file filter is used (#1678)

Core: Fix replaced partitions validation in SnapshotManager (#1677)

Core: Fix ArrayIndexOutOfBounds for tables with migrated partition specs (#1676)

Spark: Enable testInsertOverwrite, passing with Spark 3.0.1 (#1679)

Build: Change labeller to more secure pull_request_target (#1692)

Build: Move PR labeler to GitHub action (#1686)

Core: Update FS table version-hint.txt atomically (#1559)

Build: Support builds without .git directory (#1681)

Build: Add ASF licence header to .asf.yaml

Spark: Remove cache expiration in HiveCatalogs cache (#1674)

Fix IN predicate performance (#1672)

Spec: Update the spec for row-level deletes (#1499)

Parquet: Optimize IN predicates in ParquetDictionaryRowGroupFilter (#1664)

Core: Extract the BaseRewriteDataFilesAction for implementing both flink and spark rewrite actions.

Flink: maintain the complete data files into manifest before checkpoint finished. (#1477)

Hive: Add TestHiveShell for parameterized StorageHandler tests (#1631)

Co-authored-by: Marton Bod <mbod@cloudera.com>

Spark: Bump Spark 3 version to 3.0.1 (#1656)

Docs: Fix docs typo in ParquetVectorizedReader (#1658)

Hive: Update test code for Hive4 (#1645)

Co-authored-by: Marton Bod <mbod@cloudera.com>

Parquet: Add test for Arrow buffer reallocation (#1480)

Flink: Load hive-site.xml for HiveCatalog (#1586)

Docs: Document property behavior for Spark REPLACE TABLE (#1644)

Spark: Bump Spark 2 module to 2.4.7 (#1646)

Lint: Fix small issues (#1650)

Spark: Split Actions for Spark 2 and 3 using reflection (#1616)

Parquet: Fix row group filtering with old CDH stats (#1638)

Flink: Support configurable parallelism for write tasks (#1619)

Flink: move convertConstant method from DataIterator to RowDataUtil class (#1625)

Hive: Select ObjectInspectors based on classpath (#1632)

Hive: Make the TestHiveMetastore connection pool size configurable (#1629)

Hive: Fix TestHiveMetastore worker exhaustion (#1620)

Docs: Add ORC to table and writer format configs (#1615)

Flink: Apply row-level deletes when reading (#1517)

Spark: Move Action tests to the correct package (#1609)

Spark: Fix benchmark docs and temp files (#1606)

Spark: Reuse containers when reading Parquet (#1522)

ORC: Remove workarounds after 1.6.5 upgrade (#1561)

Hive: Fix filter conversion with Date (#1579)

MR: Fix NPE when InputSplit.getLocations is called on mappers (#1582)

Spark: Add parameter name to TestPartitionPruning (#1600)

Hive: Add HiveMetaHook to support Hive DDL commands (#1495)

Flink: move hadoop configuration to Loaders from Source/Sink API (#1565)

API: Validate bucket and truncate function parameters (#1569)

Hive: Run StorageHandler tests with Avro (#1585)

Co-authored-by: Marton Bod <mbod@cloudera.com>

Replace Table.toString calls with Table.name (#1580)

Flink: Fix IntLongMath warnings (#1581)

Build: Update autolabeler configuration for new Hive modules (#1577)

Hive: Run storage handler tests for Parquet and ORC (#1570)

Co-authored-by: Marton Bod <mbod@cloudera.com>

Spark: Close final reader in BaseDataIterator (#1563)

Hive: Avoid loading catalog to initialized a serde (#1564)

Docs: Move URI clarification earlier (#1571)

Parquet: Remove hard-coded file paths from tests (#1562)

* Remove hard-coded file paths from tests.

* Fix checkstyle in tests.

Hive: Fix missing table schema in Hive 1.1 query (#1557)

Hive: Add Hive3 module and testing (#1478)

Hive 3 classes are included in the iceberg-hive-runtime Jar.

Core: Add row-level delete validations (#1469)

Add TableMetadata.updateSortOrder. (#1551)

Parallelize reading manifest list files in metadata tables. (#1440)

Spark3: Refresh state in SparkTable for all scans when not caching (#1545)

BaseMetastoreTableOperations shouldn't disable refresh upon NoSuchTableException. Otherwise it might cause unfriendly NPE for callers that don't check null return value from current() method. (#1553)

Co-authored-by: Steven Wu <stevenwu@netflix.com>

Core: Add partition summaries in SnapshotSummary builder (#1367)

Spark: Add end-to-end test for partition pruning (#1487)

Core: Fix error when a DeleteFile is used twice in a task (#1514)

Core: Allow LocationProvider to be customized using reflection (#1531)

Hive: Make HiveCatalog based tables readable from Hive (#1505)

Build: Ignore OverloadMethodsDeclarationOrder rule (#1550)

MR: Apply row-level delete files when reading (#1497)

ORC: Upgrade to 1.6.5 (#1546)

Tests: Add names to parameterized tests (#1539)

Spark: Implement equals and hashCode in SparkTable (#1530)

MR: Use encryption manager for input files (#1532)

API: Add name to Table and Catalog APIs (#1537)

Resolves #658.

Docs: Add Flink sink docs (#1464)

Docs: Add Hive read docs (#1490)

Hive: Fix temporary folder cleanup in TestCatalogs (#1535)

Co-authored-by: Marton Bod <mbod@cloudera.com>

Spark: Add null check for catalog in SparkTestBase (#1529)

ORC: Fix predicate pushdown for notIn and notEqual (#1536)

Spark: Implement equals and hashCode in SparkBatchScan (#1512)

Core: Replace partition field id literal with reference (#1528)

Docs: Add section on writing to a partitioned table in Spark (#1523)

Flink: Integrate Flink reader to SQL (#1509)

API: Add null check to PruneColumns (#1491)

MR: Use HadoopFileIO instead of HadoopInputFile (#1526)

Core: Suppress UnnecessaryAnonymousClass warnings (#1493)