Spark: Update Antlr in Spark 3.2 extensions to 4.8 (#5208)

This will match the Antlr version in Spart 3.2.

Add version.txt for release 0.13.2

Dev: Fix Source Release Script (#4932)

Spark: Extend commit unknown exception handling to SparkPositionDeltaWrite (#4893)

Co-authored-by: Prashant Singh <psinghvk@amazon.com>

Core: Fix query failure when using projection on top of partitions metadata table (#4720) (#4890)

Spark: Fix Alignment of Merge Commands with Mixed Case (#4848) (#4874)

* Spark: Fix Alignment of Merge Commands with Mixed Case

Prior to this a mixed-case insert statement would fail to be marked
as aligned after our alignment rule was applied. This would then fail the
entire MERGE INTO command. The commands were correctly aligned but
our alignment check was always case sensitive.

Spark: Backport CommitStateUnknownException handling for RewriteManifestSparkAction (#4850) (#4854)

Co-authored-by: Prashant Singh <psinghvk@amazon.com>

Core: Backport filter pushdown fix for metadata tables with evolved specs to 0.13 (#4520) (#4569)

Spark: Handle CommitStateUnknown exception in RewriteManifestSparkAction (#4836) (#4852)

Co-authored-by: Prashant Singh <35593236+singhpk234@users.noreply.github.com>
Co-authored-by: Prashant Singh <psinghvk@amazon.com>

Nessie: Fix NPE while accessing refreshed table in nessie catalog (#4509) (#4840)

Co-authored-by: Ajantha Bhat <ajanthabhat@gmail.com>

Flink: Backport upsert delete file metadata fixes to 0.13 (#4786)

Co-authored-by: Kyle Bendickson <kjbendickson@gmail.com>
Co-authored-by: liliwei <hililiwei@gmail.com>
Co-authored-by: wangzeyu <1249369293@qq.com>
Co-authored-by: openinx <openinx@gmail.com>

Spark: Update commit state unknown handling (backport to 0.13) (#4787)

Co-authored-by: Russell Spitzer <rspitzer@apple.com>

Core: Fix transaction retry logic (#4464) (#4783)

Co-authored-by: Ajantha Bhat <ajanthabhat@gmail.com>

Core: Fix delete file handling in upgraded tables with rewritten manifests (#4514) (#4782)

Co-authored-by: vanliu <vanliu@tencent.com>

Spark: Fix NPEs in Spark value converter (#4663) (#4781)

Co-authored-by: Edgar Rodriguez <edgar.rodriguez@airbnb.com>

Core: Fix table corruption from OOM during commit cleanup (#4673) (#4779)

Co-authored-by: Ryan Blue <blue@apache.org>

Flink 1.12: Log a warning message when upsert is enabled (#4754)

Core: Fixes read metadata failed after dropped partition transform for V1 format (#3411) (#4572)

Core: Remove accidentally added method to TableMetadata (#4155)

Core: Fix history timestamp for rollbacks (#4135)

Add version.txt for release 0.13.1

Flink: Ensure temp manifest names are unique across tasks (#3986)

Spark: Fix create table in Hadoop catalog root namespace (#4024)

Spark 3.2: Fix predicate pushdown in row-level operations (#4023)

Add version.txt for release 0.13.0

Spark 3.2: Fix cardinality check for alternative join implementations (#3992)

Docs: Add s3.checksum-enabled to AWS (#3996)

Docs: Fix MapType example (#3993)

Docs: Update release instructions (#3982)

AWS: Support checksum validation with S3 eTags (#3813)

* [S3FileIO] Add capability to perform checksum validations using S3 eTags.

* fix checkstyle error

* Update to move checksum checks to s3 server side

* Enable s3 checksum checks in aws integration tests

* Catch protocol error and log helpful error message

* Use digest bytes instead of MessageDigest and update tests

* Fix checkstyle failure

* Use DigestOutputStream

* Remove redundant spaces

* rename etag to checksum in leftover places

* address

* Remove ununsed import

* Config name change

* minor updates

Docs: Add section to include instructions for Hive on Tez (#3944)

Spark 3.2: Revise distribution and ordering for merge-on-read DELETE (#3970)

Docs: Add Amazon EMR announcement (#3976)

AWS: fix Glue catalog for unknown commit status (#3967)

Spark 3.2: Add tests for copy-on-write MERGE distribution and ordering (#3964)

AWS: show old fields in Glue table (#3888)

Core: Add reserved UUID Table Property and Expose in HMS. (#3914)

Co-authored-by: Karuppayya Rajendran <karuppayya.rajendran@apple.com>
Co-authored-by: Yufei Gu <yufei_gu@apple.com>

AWS: fix Iceberg to Glue schema conversion (#3887)

Core: Fix delete file index with manifests of only existing files (#3943)

Core: Allow removing and adding the same partition field as a noop (#3954)

Hive: Make Iceberg table filter optional in HiveCatalog (#3908)

This adds an option to return all Hive tables, not just Iceberg tables to avoid loading metadata and slowing down the operation.

Parquet: NPE in Parquet Writer Metrics when data value max bound will overflow (#3760)

Previously when writing metrics whose max bound would overflow when incremented. This would result in a null value for the metrics and cause an NPE when put in the Metrics array. Now instead the null values are ignored if returned from truncate.

Python: Fix type for partition_type struct fields (#3939) (#3940)

Signed-off-by: cccs-eric <eric.ladouceur@cyber.gc.ca>

Data: Read metrics in parallel during TableMigration (#3876)

Adds a parameter for reading the metrics of files in parallel, rather than one at a time in TableMigrationUtils.

Co-authored-by: King <wangdongyang@deepexi.com>

Core: Added no-arg constructor in ResolvingFileIO (#3923)

Python: Add FileIO, InputFile, and OutputFile abstract base classes (#3691)

Core: Fix an error message in BinPackStrategy (#3919)

Core: Deprecate the MERGE cardinality check property (#3953)

Fix SparkCatalog time travel check. (#3942)

Spark 3.2: Revise distribution and ordering in copy-on-write UPDATE (#3949)

Spark: Backport Streaming Test Refactors (#3948)

Back-porting test refactor from #3775

Spark 3.2: Revise distribution and ordering in copy-on-write DELETE (#3930)

JMH: Parameterize spark project version for JHM Benchmarks (#3946)

Given that we have multiple Spark project versions in the codebase and
that users might want to run a particular Benchmark from a specific
Spark version, we should make the Spark project version a parameter of
the JMH Benchmark Action.

Hive: Do not skip IO config serialization for metadata queries (#3911)

[Spark] Backport rewrite data files are eliminated by deletes to Spark v3.0 and Spark v3.1 (#3935)

Backport of #3724 to Spark 3.0 and 3.1

Co-authored-by: Jiebao Xiao <xiaojiebao@xiaomi.com>

Flink 1.14: Add tests to check whether should remove meta columns in source reader (#3893)

Flink 1.12: Fix SerializableTable with Kryo (#3926)

Spark: Add helper to register truncate UDF (#3708)

Co-authored-by: zhangxiaotian13 <zhangxiaotian13@jd.com>

Docs: Add compression codec options (#3892)

Python: Fix incorrect single-value encoding for boolean (#3924) (#3927)

Signed-off-by: cccs-eric <eric.ladouceur@cyber.gc.ca>

Python: Fix quote handling in expression parser (#3875)

Flink 1.14: Add Kryo tests for SerializableTable (#3925)

Flink: Fix flaky tests that depend on row order (#3931)

[Spark][Core]: Support RewriteDataFiles when Files are Completely Eliminated by Deletes (#3724)

Previously, RewriteDataFiles would fail if the outcome of a rewrite was the complete removal of all DataFiles, this is actually now a possibility given Merge on Read so it is now allowed.

Co-authored-by: Jiebao Xiao <xiaojiebao@xiaomi.com>

Flink: Fix classloader in Avro ManifestReader (#3906)

Python: Expand primitive types to individual classes (#3839)

Co-authored-by: Sam Redai <sam@tabular.io>

Build: Fix source-release script in actions, add git remote validation (#3915)

Spark 3.2: Add tests for resolving star actions in MERGE by name (#3918)

Co-authored-by: Kyle Bendickson <kjbendickson@gmail.com>

Spark 3.2: Add tests for multiple NOT MATCHED clauses (#3917)

Docs: Add LOCALLY ORDERED BY and DISTRIBUTED BY clauses (#3820)

Co-authored-by: zhangxiaotian13 <zhangxiaotian13@jd.com>

Docs: Link expire_snapshots to table expiration properties (#3878)

Spark 3.2: Implement merge-on-read DELETE (#3763)

Core: Split FileScanTasks on Offsets (#460) (#3292)

Previously FileScanTasks would only be split if the exceed the target split size of requested. This prevented the combination of tasks which were smaller than the split size, but could be combined to make a request closer to the requested split size. To fix this we split all files on their offsets when we are splitting, and then recombine them during the creation of scan tasks to try to hit the desired split sizes.

Spark 3.2: Implement copy-on-write MERGE (#3804)

Spark : Support parallelism in RemoveOrphanFiles (#3872)

Co-authored-by: Steve Zhang <hongyue_zhang@apple.com>

Parquet: Lazily initialize the underlying writer in ParquetWriter (#3780)

Co-authored-by: Tim Steinbach <tim.steinbach@shopify.com>

API: Register existing tables in Iceberg HiveCatalog (#3851)

Co-authored-by: Anton Okolnychyi <aokolnychyi@apple.com>

Bump Nessie from 0.17.0 to 0.18.0 (#3890)

Test: Make sure to delete temp folders (#3790)

Spark: Reduce requests from SparkSessionCatalog.invalidateTable (#3861)

Spark 3.2: Push down partition filter when importing file tables (#3745)

Spark 3.1: Add Spark UI metrics for merge into DynamicFileFilterExec (#3882)

Co-authored-by: zhangchen351 <zhangchen351@jd.com>

Spark 3.1: Fix binary literals in pushdown filters (#3728)

Co-authored-by: zhangxiaotian13 <zhangxiaotian13@jd.com>

Spark 3.0: Add Spark UI metrics for merge into DynamicFileFilterExec (#3863)

Co-authored-by: zhangchen351 <zhangchen351@jd.com>

Allow using a custom NessieClientBuilder implementation (#3877)

Nessie defaults to use the HttpClientBuilder, but certain use cases
require a custom client builder implementation. This change allows
this by having a new configuration option.

Build: Suppress warning about Flink nanosecond access (#3868)

Co-authored-by: zhangchaoming <zhangchaoming@360.com>

Build: Only use scalastyle plugin with scala modules (#3869)

Flink 1.14: Add FLIP-27 Iceberg source split (#3870)

Revert "Flink: Add FLIP-27 Iceberg source split (#3501)" (#3871)

This reverts commit d2c26a02190a16539c8c0621c4d8aac2e9e3ec6c.

Docs: Update copyright year in site mkdocs file to 2022 (#3873)

Spark: Fix table UUID exceptions with CachingCatalog (#3837)

Core: Replace set with bitmap for faster delete filtering (#3535)

Build: Update NOTICE to include copyright to 2022 (#3855)

Flink 1.13: Fix SerializableTable with Kryo (#3857)

Flink: Add FLIP-27 Iceberg source split (#3501)

Build: Upgrade gradle to 7.3.3 (#3793)

Core: Fix partitions metadata table with a column named partition (#3845)

* Partition Metadata table breaks with a partition column named 'partitition'

* address comments

* fix style

* add checkConflicts

* remove TestTables.clearTables in the end of test

* address comments

* checkConflict => checkConflicts

Spec: Initial OpenAPI template for a REST catalog (#3770)

Docs: Fix broken link of Dremio with Iceberg (#3856)

Core: Allow adding a dropped partition column name (#3632)