Add version.txt for release 0.12.1

Spark 3.2: Remove extra parens to fix checkstyle (#3386)

ORC: Fix importing ORC files with float and double columns and test (#3332)

Spark: Fix ClassCastException when using bucket UDF (#3368)

Hive: Fix Catalogs.hiveCatalog method for default catalogs (#3338)

Build: Fix ErrorProne NewHashMapInt warnings (#3260)

This should improve performance by allocating the correct size directly rather than reallocating later.

Avro: Fix file import with correct row count (#3273)

Core: Validate concurrently added delete files in OvewriteFiles (#3199)

Core: Validate concurrently added delete files in RowDelta (#3195)

Hive: Ensure tableLevelMutex is unlocked when uncommitted metadata delete fails (#3264)

Core: Optimize check for referenced data files in BaseRowDelta (#3071)

This change optimizes our check for referenced data files in BaseRowDelta by pushing down the conflict detection filter. Previously, we would open manifests even though they belonged to partitions out of our interest.

Parquet: Fix map projection after map to key_value rename (#3309)

Hotfix: Fix Flink test imports. (#3319)

Flink: Fix CDC validation errors (#3258)

Hive: Fix NoSuchMethodError of OrcTail with Hive3.x and Vectorized ORC (#3155)

AWS: Add check to create staging directory if not exists for S3OutputStream (#3175)

Data: Fix equality deletes with date/time types (#3135)

Co-authored-by: xiaojiebao <xiaojiebao@xiaomi.com>

Core: Fix JDBC properties, only keep keys with jdbc. prefix (#3078)

AWS: Fix DynamoDbCatalog.dropNamespace attr check (#3035)

Core: Fix null value check for table properties (#3052)

Co-authored-by: rawataaryan9 <rawataaryan9@github.com>

Add version.txt for release 0.12.0

Core: Add predicate pushdown for files metadata table (#2926)

Spark: Fix random test failures in TestDeleteReachableFilesAction (#2951)

API: Validate identifier fields in Schema (#2943)

Spark: Fix broken RepartitionByExpression in RewriteDelete for 3.1 (#2954)

The constructor of RepartitionByExpression changed between Spark 3.0 and 3.1.
There was an instance of constructing RepartitionByExpression that was missed in the original commit (#2512).

AWS: Fix concurrent modification integration test (#2948)

Doc: update README local build instructions (#2949)

Docs: Add Hadoop conf overrides in Spark (#2922)

Flink: Add uidPrefix to operator name so that Flink web UI can show names for different iceberg sinks in a job (#2886)

Core: Fix nested schema projection in AllDataFilesTable (#2941)

Spark: Fix nested struct pruning (#2877)

* Spark: Support Nested Struct Pruning in DataTasks

Previously DataTasks would return full schemas for some tables and pruned schemas for others and would rely on the underlying framework to do the actual projection. This moves projection and pruning into the core responsibility of the task. This fixes an issue where Spark would be able to pushdown some nested struct predicates to a metadata table but we wouldn't recognize this when trying to do the projection in the framework. StaticDataTasks now support projection in their creation but only if it does not require pruning fields from within a struct which is an element of a List or Map.

Add list of Github collaborators to asf.yaml (#2909)

Flink: Add FlinkWriterFactory (#2924)

Add thenewstack.io article to list of blog posts (#2930)

Core: Allow creating v2 tables through table property (#2887)

Core: Support nulls in StructLike collections (#2929)

Flink: Switch to using SerializableTable (#2923)

Parquet: Annotate UUID fields (#2913)

The spec mandates that UUID fields in Parquet have logical type "UUID"
(https://iceberg.apache.org/spec/#parquet). This is possible to fulfill
after 236615497bdc2c6fbedbd3acc41a4ed85c4a8bfd, as
`LogicalTypeAnnotation.uuidType` was added in Parquet 1.12.0.

Core: Fix partition field IDs in table replacement (#2906)

Co-authored-by: Jun He <jun-he@users.noreply.github.com>

Docs: Update Slack invite link (#2904)

* Docs: Update Slack invite link.

* Update the intro paragraph as well.

Build: Fix site publishing in .asf.yaml.

Core: Add WriterFactory (#2873)

Api#2880: Close the underlying iterator in ClosingIterator in hasNext() call (#2881)

Core:  Add includeColumnStats option in FindFiles API (#2875)

Core: Fix the NPE in DataFiles.Builder#copy (#2852)

[python] Updating pyarrow dependencies (#2888)

Co-authored-by: tgooch <tgooch@netflix.com>

[Python] support BucketByteBuffer and BucketUUID (#2836)

* [Python] support BucketByteBuffer and BucketUUID

* Add additional unit tests for bucket hash methods.

Docs: Update Slack invite link (#2882)

Docs: Avoid insinuating other file format is supported (#2883)

Docs: Add Tencent blog - Flink + Iceberg: How to Construct a Whole-scenario Real-time Data Warehouse (#2876)

Core: Add validation for row-level deletes with rewrites (#2865)

Build: Run tests against Spark 3.0 and Spark 3.1

Due to an issue with the build.gradle both the spark test and test31 modules were both running with Spark 3.1. Removing the inter dependency fixes the issue and both grade tasks now run with the correct respective spark versions.

Spec: Make contains_nan partition summary field optional in v2. (#2864)

Spec: Add back distinct_counts in data_file metadata (#2805)

* Spec: Add back distinct_counts in data_file metadata.

* Update for review comments.

Docs: Add security page to ASF site (#2813)

This patch adds a page to the site docs which describes the process for
reporting security vulnerabilites found in Apache Iceberg.

Core: Support multiple specs in OutputFileFactory (#2858)

Docs: Add new blog - Apache Iceberg: An Architectural Look Under the Covers (#2856)

Core: Add DataWriter builders (#2857)

Core: Add table properties for Avro and Parquet delete files (#2851)

API: Fix string bucketing with non-BMP characters (#2849)

Core: Adds SortRewriteStrategy (#2609)

A rewrite strategy for data files which aims to reorder data with data files to optimally lay them out
in relation to a column. For example, if the Sort strategy is used on a set of files which is ordered
by column x and original has files File A (x: 0 - 50), File B ( x: 10 - 40) and File C ( x: 30 - 60),
this Strategy will attempt to rewrite those files into File A' (x: 0-20), File B' (x: 21 - 40),
File C' (x: 41 - 60).

Doc: add documentation for JDBC and DynamoDB catalogs (#2831)

Spec: Fix missing negative in binary/fixed hash examples (#2840)

Nessie: Bump Nessie to 0.8.3 / Rename auth_type to auth-type (#2834)

SPARK: Allow spark catalogs to have hadoop configuration overrides p… (#2792)

Previously Iceberg Catalogs loaded into Spark would always use the Hadoop Configuration owned by the underlying Spark Session. This made it impossible to use a different set of configuration values which may be required to connect to a remote Catalog. This patch allows Spark catalogs to have hadoop configuration overrides per catalog permitting different configuration for different underlying Iceberg catalogs.

Move Assert.assertTrue(..) instance checks to AssertJ assertions (#2756)

ORC: Upgrade ORC dependency to 1.6.9 (#2781)

Bump Nessie to 0.8.2 + related changes (#2588)

* Bump Nessie to 0.8.2 + replace Gradle plugin with new JUnit extension

More changes in this PR in following commits.

Replace Gradle plugin with new JUnit extension.
See [Add JAX-RS tests and add JUnit/Jupyter extension](https://github.com/projectnessie/nessie/pull/1566)

* Changes required by Nessie-API changes

Apply changes to Iceberg required by API changes in Nessie:
* [Re-introduce wrapper classes for query params of CommitLog/Entries](https://github.com/projectnessie/nessie/pull/1595)
* [Server-side commit range filtering](https://github.com/projectnessie/nessie/pull/1596)
* [Add hashOnRef query param to support time travel on a named ref](https://github.com/projectnessie/nessie/pull/1589)
* [Only accept NamedRefs in REST API](https://github.com/projectnessie/nessie/pull/1583)

* Bugfix: must send the Contents.id of the existing table

Nessie's `Contents.id` is a random ID generated when the `Contents.Key` is first used (think:
CREATE TABLE) and must not be changed. This change addresses a bug in the Iceberg-Nesie code
that caused a new id for every change.

* Throw `CommitStateUnknownException` for `renameTable` as well

Follow-up of #2515

* Fix race-condition & save one roundtrip to Nessie during "commit"

When commiting a change, the Nessie-API now returns the hash of the commit for the change.
This returned hash should then be used as the "expected hash" for the next commit.

The previous approach was to commit the change to Nessie and then do another request to
retrieve the new hash of HEAD.

This old approach is prone to a race condition, namely when another commit happens after
"this" commit but before retrieving the "new HEAD", so "this" instance would wrongly
ignore the other commit's changes during conflict checks.

See [Let VersionStore.create()+commit() return the current hash](https://github.com/projectnessie/nessie/pull/1089)

Spark: Remove unused FileRewriteCoordinator code (#2819)

Since we changed our implementation of Spark3BinPackStrategy, we no longer need some
of the functionality that was previously in FileRewriteCoordinator. Here we remove
those functions and related test code.

Add support for reading/writing timestamps without timezone.  (#2757)

Previously Spark could not handle Iceberg tables which contained Timestamp.withoutTimeZone. New parameters are introduced to allow Timestamp without TimeZone to be treated as Timestamp with Timezone.

Co-authored-by: bkahloon <kahlonbakht@gmail.com>
Co-authored-by: shardulm94

Core: Use Avro 1.10.1 (#1648)

Co-authored-by: Fokko Driesprong <fdriesprong@ebay.com>

Spark : Add Files Perf improvement by push down partition filter to Spark/Hive catalog (#2777)

Pushes down partition filters in Spark/Hive Import to underlying catalog instead of retrieving all partitions and then filtering.

Docs: Fix link to intellij-java-palantir-style.xml (#2817)

Spark: Add missing deprecation annotations for old actions (#2811)

Spark: Use JavaSparkContext.fromSparkContext instead of constructor (#2812)

API: Use delete instead of remove in action names (#2810)

Spark: Add table property to skip delete snapshots in streaming (#2752)

Spark: Parallelize task init when fetching locality info (#2800)

Upgrade to Tez 0.10.1 (#2790)

Reduce code duplication in VectorizedParquetDefinitionLevelReader

Reduce code duplication in VectorizedPageIterator

Reduce code duplication in VectorizedDictionaryEncodedParquetValuesReader

Reduce code duplication in VectorizedColumnIterator

Refactor VectorizedArrowReader

Don't use deprecated methods

Spark: Reimplement RewriteDatafilesAction with partial progress (#2591)

Build: Upgrade to JUnit 5 (#2797)

Docs: Fixes broken links to old spark doc page (#2801)

Build: Change Spark Versions to Support M1 Processors (#2795)

Spark's Snappy native lib support is missing M1 support in
our current build. Upgrading Spark upgrades Snappy to a version
which has these native libs. This has no effect on actual runtime
Spark for end users since we do not include Spark with our
release jars.

Core: Fix JdbcCatalog CATALOG_TABLE_NAME to be lowercase (#2778)

Build: bump up DiffPlug Spotless version (#2776)

Spec: Update v2 change summary (#2762)

Style: Delete blank line  of CachedClientPool.java (#2787)

Nessie: Properly format code in Nessie module (#2733)

Docs: Describe available Benchmarks and how to run them (#2767)

Spark: RemoveReachableFiles action should fail if GC is disabled (#2763)

Co-authored-by: Karuppayya Rajendran <karuppayya.rajendran@apple.com>

Docs: Fix typo in flink.md (#2772)

Docs: Update for mkdocs 1.2 (#2747)

* Docs: Fix mkdocs use_directory_urls in 1.2.

* Fix broken links and update redirects.

Spark: Add limited support for vectorized reads for Parquet V2 (#2749)

With this change, we have added support for Parquet data written in V2 format.
The only data encodings we support are dictionary and plain.
Vectorized reads against data written using Delta/RLE and other encodings are
not supported. As of this commit, note that the Spark Parquet vectorized reads also don't
support vectorized reads for such encodings.

Docs: Describe how to configure Code formatter for IntelliJ IDEA (#2766)