Spark: Backport CommitStateUnknownException handling for RewriteManifestSparkAction (#4850)

Co-authored-by: Prashant Singh <psinghvk@amazon.com>

Core: Refactor REST catalog to RESTSessionCatalog (#4846)

API: Update SessionCatalog context to use a credentials map (#4845)

Core: Remove Authorization header handling from HTTPClient (#4832)

Core: Add serialization for MetadataUpdate (#4716)

Core: Add OAuth2 helpers for REST catalog (#4833)

Spec: Add more context about OAuth2 to the REST spec (#4843)

Spark: Handle CommitStateUnknown exception in RewriteManifestSparkAction (#4836)

Co-authored-by: Prashant Singh <psinghvk@amazon.com>

Add project method to IcebergGenerics to enable projections by Schema (#4819)

AWS: support Path-Style Access (#4823)

AWS: handle Glue exceptions as iceberg errors instead of commit state unknown (#4821)

Python: Fix the type_string of the NestedField (#4814)

If there is a doc, the rest gets ignored, which is kind of awkward.

Before:
```python
➜  python git:(master) ✗ python3
Python 3.9.12 (main, Mar 26 2022, 15:44:31)
[Clang 13.1.6 (clang-1316.0.21.2)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> from iceberg.types import NestedField, LongType
>>> str(NestedField(
...     field_id=2,
...     name='bar',
...     field_type=LongType(),
...     is_optional=False,
...     doc="Just a long"
... ))
'2: bar: required long'
>>> str(NestedField(
...     field_id=2,
...     name='bar',
...     field_type=LongType(),
...     is_optional=False,
...     doc="Just a long"
... ))
' (Just a long)'
```

Now:
```python
➜  python git:(master) ✗ python3
Python 3.9.12 (main, Mar 26 2022, 15:44:31)
[Clang 13.1.6 (clang-1316.0.21.2)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> str(NestedField(
...     field_id=2,
...     name='bar',
...     field_type=LongType(),
...     is_optional=False,
...     doc="Just a long"
... ))
'2: bar: required long (Just a long)'
```

Spark 3.2: Add positiol and equality delete file count to ExpireSnapshot results (#4629)

Build: Update release scripts publish Spark 3.2 with Scala 2.13 (#4167)

Python legacy: Use process pool for planning (#4745)

Python: Set Python 3.8 as minimum version (#4784)

Flink: Support hadoop-conf-dir for hdfs-site.xml and core-site.xml (#4622)

Core: Use ImmutableMap for catalog properties (#4803)

Python - Add pyline disable super-init-not-called for one line (#4797)

Core: Add request headers to REST client. (#4772)

Core: Allow controlling table properties through catalog config (#4011)

Co-authored-by: Rajarshi Sarkar <srajars@amazon.com>

Change types into dataclasses (#4767)

* Change types into dataclasses

Proposal to change the types into dataclasses.

This has several improvments:

- We can use the dataclasss field(repr=True) to include the fields in the representation, instead of building our own strings
- We can assign the types in the post_init when they are dynamic (List, Maps, Structs etc) , or just override them when they are static (Primitives)
- We don't have to implement any eq methods because they come for free
- The types are frozen, which is kind of nice since we re-use them
- The code is much more consise
- We can assign the min/max of the int/long/float as Final as of 3.8: https://peps.python.org/pep-0591/

My inspiration was the comment by Kyle:
https://github.com/apache/iceberg/pull/4742#discussion_r869494393

This would entail implementing eq, but why not use the generated one since we're comparing all the attributes :)

Would love to get you input

* Remove explicit repr and eq

* Use @cached_property to cache the string

Add missing words to spelling

* Add additional guard for initializing StructType using kwargs

* Replace type with field_type

Spec: Add note about reserved field id 141 in manifests (#4750)

Python: Test for warning of PyLint (#4791)

* Python: Test for warning of PyLint

* Add ignore rule for overriding constructor

Core: Add OAuth2 to REST catalog spec (#4771)

* Core: Add OAuth2 to REST catalog spec.

* Fix OAuth2 requests and responses.

* Add descriptions for token params.

* Core: Add support for form encoding to RESTClient.

* Clarify OAuth2 getToken response fields.

* Rename route to use a plural.

* Ensure headers are always added in HTTPClient.

* Add JWT token type.

* Refactor OAuth in OpenAPI doc.

Flink: Fix comment in BaseDeltaTaskWriter.java (#4788)

Docs: Add zstd for Avro to configuration page (#4790)

Flink: Port #4752 to Flink 1.14 & 1.13 (#4789)

Spec: Clarify manifest length is size in bytes, fix a typo (#4793)

Fix typo in revapi.yml (#4778)

API: Add SessionCatalog interface and base class (#4773)

Core: Add content and delete file counts to manifest tables (#4764)

Remove redundant assignment (#4755)

`refresh()` updates `this.base`.

Docs: Updated version support description for Flink (#4756)

Core: Accept all API changes in master (#4770)

Build: Add binary compatibility checks via revapi gradle plugin  (#4638)

Core: Align snapshot summary property names for delete files (#4766)

Spark 3.2: Clean static vars in SparkTableUtil (#4765)

Python: Add visitor to build Accessor for a Schema (#4685)

Python: Add spellcheck to the CI (#4730)

Python: Add VoidTransform (#4727)

Spark 3.2: Avoid reflection to load metadata tables in SparkTableUtil (#4758)

API: Introduce a new IncrementalAppendScan interface (#4580)

Core: Optimize when not deleting oldest metadata files after commit (#4651)

ORC: Upgrade to 1.7.4 (#4573)

Flink 1.15: Call getCatalogTable directly (#4752)

Flink 1.15: Improve unit tests for sink (#4699)

[SPEC] Fix typ in REST Catalog OpenAPI Spec (#4761)

API: Add expression sanitizer, sanitize scan log messages (#4672)

Spark: Allow use-caching to be disabled in RewriteManifestsProcedure (#4722)

Spark: Support parallel clean up for abort (#4704)

Co-authored-by: xianyangliu <xianyangliu@tencent.com>

Python: test_schema_find_column_name was defined twice (#4729)

Spark 3.2: Remove Thread.sleep in TestRemoveOrphanFilesAction (#4711)

Flink 1.15: Migrate back to use ReusableArrayData (#4712)

Flink: Backport flaky test fix for limit 1 query in TestFlinkTableSource (#4724)

Python: Remove mypy error in Transform (#4728)

Python: Skip missing tox interpreters (#4731)

Core: Support table rename in RESTCatalog (#4448)

Spark 2.4 - 3.X: Backport Fix CommitStateUnknown Handling (#4687) (#4719)

Core: Add JSON parser for UpdateRequirement (#4693)

Core: Fix query failure when using projection on top of partitions metadata table (#4720)

Co-authored-by: Prashant Singh <psinghvk@amazon.com>

Nessie: Use ref.hash parameter to read data at given hash (#4700)

This makes sure that the `NessieCatalog` reads data at the given
`ref.hash` (`NessieConfigConstants.CONF_NESSIE_REF_HASH`) when it's provided. If `ref.hash` is `null`, then this means
that data should be read from whatever the latest `HEAD` is.

Spark: Fix Commit State Unknown Handling (#4687)

Previously the snapshotUpdate operation could potentially throw a
CommitStateUnknownException which would cause Spark's Datasource to call
it's abort method. In this case we cannot remove the underlying data files
since those data files may actually have been successfully committed. We
previously added this code to prevent the removal of metadata files but
this issue is also possible in data file cleanup.

Flink 1.15 - Fix flaky test that has implicit order dependency in TestFlinkTableSource (#4697)

Core: Add all_delete_files and all_files tables (#4694)

Spark 3.x: Support rewrite data files with starting sequence number (#4701) Backports (#3480)

Backport of #3480

Core: Fix incorrect null check in JsonUtils::getIntOrNull and JsonUtils::getLongOrNull (#4696)

Core: Fix filter pushdown for Partitions table with evolved specs (#4637)

Nessie: Support Namespace properties (#4610)

License: Add Apache HTTPComponents to runtime licenses (#4688)

Python: Add UnboundReference class (#4679)

Bump Nessie to 0.28.0 and adopt test code (#4594)

Enhances Iceberg commit conflict detection by maintaining the commit-id from which a
table metadata has been loaded, to use it as the "expected hash" in a Nessie commit.

Makes Nessie specific properties available in `TableMetadata` properties:
* `nessie.content.id` - the Nessie `Content.getId()`
* `nessie.commit.id` - the commit ID used to retrieve the table metadata
* `nessie.reference.name` - the reference name from which the table metadata has been loaded

Also fixes an issue via `org.apache.iceberg.nessie.NessieTableOperations#loadTableMetadata`
that caused too many "previous files", because the `TableMetadata.buildFrom()` assumed that
it's only called for ongoing modifications.

Hive: Log new metadata location in commit (#4681)

Python: Add UnknownTransform (#4684)

Core: Prefer ImmutableList.of to Collections.emptyList (#4691)

Core: Add missing override annotations (#4690)

Flink: Add support for Flink 1.15 (#4553)

Core: Add serialization for AddPartitionSpec, AddSortOrder (#4668)

Flink: Support malformed Parquet lists added by addFiles API (#4555)

Flink 1.13: Backport fix for order dependent flink table source tests (#4682)

Python: Add a skeleton for the BuildPositionAccessors visitor (#4678)

Co-authored-by: Fokko Driesprong <fokko@apache.org>

Core: Fix ConvertEqualityDeleteStrategy::options return type (#4669)

Core: Fix table corruption from OOM during commit cleanup (#4673)

Core: Add eq and pos delete file counts to snapshot summary (#4677)

Python: Specify pip>=21.1 in tox dependencies (#4676)

Spark: Metadata-only delete should throw ValidationException instead of IllegalArgumentException (#4630)

Spark: Fix NPEs in Spark value converter (#4663)

Docs: Default value support feature specification (#4301)

Flink 1.14: Fix order-dependent FlinkTableSource tests that break in 1.15 (#4635)

Spark: Depend on Parquet directly for Spark modules (#4667)

Spec: Add/update required dialect field in View metadata example (#4648)

Infra: Remove Szehon from collaborators (now a committer) (#4643)

Core: Rename test class to match ConfigResponse (#4653)

Spark 3.2: Add property to allow disabling HiddenPathFilter in RemoveOrphansFiles (#4655)

Co-authored-by: Ulrich Konrad <u.konrad@kasasi.de>

Core: Add ByteBufferInputStream and implementations (#4623)

Python: Update docs to avoid InterpreterNotFound errors from tox (#4650)

Core: Add AddSchema, SetCurrentSchema, and SetDefaultPartitionSpec serialization (#4632)

Core: Add TableMetadata to REST serializers (#4641)

Core - Fix field names in LoadTableResponse object to match REST spec (#4642)

Core - Use singleton RESTObjectMapper in REST RequestResponseTestBase class (#4636)

* Core - Use the dedicated RESTObjectMapper in REST request response test base class

* Update tests that previously threw on unrecognized fields as the object mapper is currently permissive - all but one of these cases fail validation anyways

* Fix last failing check