[HUDI-4023] Decouple hudi-spark from hudi-utilities-slim-bundle (#5641)

[HUDI-4040] Bulk insert Support CustomColumnsSortPartitioner with Row (#5502)

* Along the lines of RDDCustomColumnsSortPartitioner but for Row

[HUDI-4145] Archives the metadata file in HoodieInstant.State sequence (part2) (#5676)

[HUDI-3193] Decouple hudi-aws from hudi-client-common (#5666)

Move HoodieMetricsCloudWatchConfig to hudi-client-common

[HUDI-4146] Claim RFC-55 for Improve Hive/Meta sync class design and hierachies (#5682)

[MINOR] Fix a potential NPE and some finer points of hudi cli (#5656)

Merge pull request #3599 from yuzhaojing/HUDI-2207

[HUDI-2207] Support independent flink hudi clustering function

[HUDI-4132] Fixing determining target table schema for delta sync with empty batch (#5648)

[HUDI-2207] Support independent flink hudi clustering function

[HUDI-4135] remove netty and netty-all (#5663)

[HUDI-4145] Archives the metadata file in HoodieInstant.State sequence (#5669)

[HUDI-2473] Fixing compaction write operation in commit metadata (#5203)

[HUDI-4138] Fix the concurrency modification of hoodie table config for flink (#5660)

* Remove the metadata cleaning strategy for flink, that means the multi-modal index may be affected
* Improve the HoodieTable#clearMetadataTablePartitionsConfig to only update table config when necessary
* Remove the modification of read code path in HoodieTableConfig

[HUDI-4084] Add support to test async table services with integ test suite framework (#5557)

* Add support to test async table services with integ test suite framework

* Make await time for validation configurable

[HUDI-4134] Fix Method naming consistency issues in FSUtils (#5655)

[MINOR] Removing redundant semicolons and line breaks (#5662)

[HUDI-3933] Add UT cases to cover different key gen (#5638)

[HUDI-4142] Claim RFC-54 for new table APIs (#5665)

[HUDI-4129] Initializes a new fs view for WriteProfile#reload (#5640)

Co-authored-by: zhangyuang <zhangyuang@corp.netease.com>

[HUDI-4051] Allow nested field as primary key and preCombineField in spark sql (#5517)

* [HUDI-4051] Allow nested field as preCombineField in spark sql

* relax validation for primary key

[HUDI-3890] fix rat plugin issue with sql files (#5644)

[HUDI-4100] CTAS failed to clean up when given an illegal MANAGED table definition (#5588)

[HUDI-3858] Shade javax.servlet for Spark bundle jar (#5295)

Co-authored-by: yuezhang <yuezhang@freewheel.tv>

[MINOR] remove unused gson test dependency (#5652)

[HUDI-4122] Fix NPE caused by adding kafka nodes (#5632)

[MINOR] Minor fixes to exception log and removing unwanted metrics flush in integ test (#5646)

[HUDI-3985] Refactor DLASyncTool to support read hoodie table as spark datasource table (#5532)

[HUDI-4130] Remove the upgrade/downgrade for flink #initTable (#5642)

[HUDI-4119] the first read result is incorrect when Flink upsert- Kafka connector is used in HUDi (#5626)

* HUDI-4119 the first read result is incorrect when Flink upsert- Kafka connector is used in HUDi

Co-authored-by: aliceyyan <aliceyyan@tencent.com>

[HUDI-4114] Remove the unnecessary fs view sync for BaseWriteClient#initTable (#5617)

No need to #sync actively because the table instance is instantiated freshly,
its view manager has empty fiew instantces, the fs view would be synced lazily when
is it requested.

[HUDI-4116] Unify clustering/compaction related procedures' output type (#5620)

* Unify clustering/compaction related procedures' output type

* Address review comments

Revert "[HUDI-3870] Add timeout rollback for flink online compaction (#5314)" (#5622)

This reverts commit 6f9b02decb5bb2b83709b1b6ec04a97e4d102c11.

[HUDI-4111] Bump ANTLR runtime version in Spark 3.x (#5606)

[HUDI-3942] [RFC-50] Improve Timeline Server (#5392)

Clean the marker files for flink compaction (#5611)

Co-authored-by: 854194341@qq.com <loukey_7821>

[HUDI-4109] Copy the old record directly when it is chosen for merging (#5603)

[minor] Some code refactoring for LogFileComparator and Instant instantiation (#5600)

[MINOR] Fixing spark long running yaml for non-partitioned (#5607)

[HUDI-4110] Clean the marker files for flink compaction (#5604)

[HUDI-4087] Support dropping RO and RT table in DropHoodieTableCommand (#5564)

* [HUDI-4087] Support dropping RO and RT table in DropHoodieTableCommand

* Set hoodie.query.as.ro.table in serde properties

[HUDI-4101] BucketIndexPartitioner should take partition path for better dispersion (#5590)

[HUDI-4104] DeltaWriteProfile includes the pending compaction file slice when deciding small buckets (#5594)

[HUDI-3654] Preparations for hudi metastore. (#5572)

* [HUDI-3654] Preparations for hudi metastore.

Co-authored-by: gengxiaoyu <gengxiaoyu@bytedance.com>

[HUDI-4103] [HUDI-4001] Filter the properties should not be used when create table for Spark SQL

[HUDI-4098] Metadata table heartbeat for instant has expired, last heartbeat 0 (#5583)

[HUDI-3123] consistent hashing index: basic write path (upsert/insert) (#4480)

 1. basic write path(insert/upsert) implementation
 2. adapt simple bucket index

fix hive sync no partition table error (#5585)

[HUDI-4001] Filter the properties should not be used when create table for Spark SQL (#5495)

[HUDI-3980] Suport kerberos hbase index (#5464)

- Add configurations in HoodieHBaseIndexConfig.java to support kerberos hbase connection.

Co-authored-by: xicm <xicm@asiainfo.com>

[HUDI-4097] add table info to jobStatus (#5529)

Co-authored-by: wqwl611 <wqwl611@gmail.com>

[HUDI-4072] Fix NULL schema for empty batches in deltastreamer (#5543)

[HUDI-3336][HUDI-FLINK]Support custom hadoop config for flink (#5574)

* [HUDI-3336][HUDI-FLINK]Support custom hadoop config for flink

[HUDI-4078][HUDI-FLINK]BootstrapOperator contains the pending compact… (#5545)

* [HUDI-4078][HUDI-FLINK]BootstrapOperator contains the pending compaction files

[MINOR] Fix a NPE for Option (#5461)

[HUDI-3336][HUDI-FLINK]Support custom hadoop config for flink (#5528)

* [HUDI-3336][HUDI-FLINK]Support custom hadoop config for flink

[HUDI-4018][HUDI-4027] Adding integ test yamls for immutable use-cases. Added delete partition support to integ tests (#5501)

- Added pure immutable test yamls to integ test framework. Added SparkBulkInsertNode as part of it.
- Added delete_partition support to integ test framework using spark-datasource.
- Added a single yaml to test all non core write operations (insert overwrite, insert overwrite table and delete partitions)
- Added tests for 4 concurrent spark datasource writers (multi-writer tests).
- Fixed readme w/ sample commands for multi-writer.

[HUDI-3963][Claim RFC number 53] Use Lock-Free Message Queue Improving Hoodie Writing Efficiency. (#5562)

Co-authored-by: yuezhang <yuezhang@freewheel.tv>

[HUDI-4085] Fixing flakiness with parquet empty batch tests in TestHoodieDeltaStreamer (#5559)

[HUDI-4079] Supports showing table comment for hudi with spark3 (#5546)

[HUDI-4038] Avoid calling `getDataSize` after every record written (#5497)

- getDataSize has non-trivial overhead in the current ParquetWriter impl, requiring traversal of already composed Column Groups in memory. Instead we can sample these calls to getDataSize to amortize its cost.

Co-authored-by: sivabalan <n.siva.b@gmail.com>

[HUDI-4003] Try to read all the log file to parse schema (#5473)

[HUDI-4044] When reading data from flink-hudi to external storage, the … (#5516)

Co-authored-by: aliceyyan <aliceyyan@tencent.com>

[HUDI-3995] Making perf optimizations for bulk insert row writer path (#5462)

- Avoid using udf for key generator for SimpleKeyGen and NonPartitionedKeyGen.
- Fixed NonPartitioned Key generator to directly fetch record key from row rather than involving GenericRecord.
- Other minor fixes around using static values instead of looking up hashmap.

[HUDI-4053] Flaky ITTestHoodieDataSource.testStreamWriteBatchReadOpti… (#5526)

* [HUDI-4053] Flaky ITTestHoodieDataSource.testStreamWriteBatchReadOptimized

Co-authored-by: xicm <xicm@asiainfo.com>

[MINOR] Fixing close for HoodieCatalog's test (#5531)

* [MINOR] Fixing close for HoodieCatalog's test

[HUDI-4055]refactor ratelimiter to avoid stack overflow (#5530)

[MINOR] fixing flaky tests in deltastreamer tests (#5521)

[MINOR] Fixing class not found when using flink and enable metadata table (#5527)

[HUDI-3849] AvroDeserializer supports AVRO_REBASE_MODE_IN_READ configuration (#5287)

[HUDI-3675] Adding post write termination strategy to deltastreamer continuous mode (#5073)

- Added a postWriteTerminationStrategy to deltastreamer continuous mode. One can enable by setting the appropriate termination strategy using DeltastreamerConfig.postWriteTerminationStrategyClass. If not, continuous mode is expected to run forever.
- Added one concrete impl for termination strategy as NoNewDataTerminationStrategy which shuts down deltastreamer if there is no new data to consume from source for N consecutive rounds.

[HUDI-4017] Improve spark sql coverage in CI (#5512)

Add GitHub actions tasks to run spark sql UTs under spark 3.1 and 3.2.

[HUDI-4042] Support truncate-partition for Spark-3.2 (#5506)

[HUDI-2875] Make HoodieParquetWriter Thread safe and memory executor exit gracefully (#4264)

[MINOR] Optimize code logic (#5499)

[HUDI-3667] Run unit tests of hudi-integ-tests in CI (#5078)

[HUDI-4031] Avoid clustering update handling when no pending replacecommit (#5487)

[HUDI-4005] Update release scripts to help validation (#5479)

[MINOR] Update RFC status (#5486)

[HUDI-3211][RFC-44] Add RFC for Hudi Connector for Presto (#4563)

* Add RFC doc

Co-authored-by: Sagar Sumit <sagarsumit09@gmail.com>
* Add note regarding catalog naming

Co-authored-by: Sagar Sumit <sagarsumit09@gmail.com>

[MINOR] Update DOAP for release 0.11.0 (#5467)

[HUDI-3978] Fix use of partition path field as hive partition field in flink (#5434)

* Fix partition path fields as hive sync partition fields error

[HUDI-3862] Fix default configurations of HoodieHBaseIndexConfig (#5308)

Co-authored-by: xicm <xicm@asiainfo.com>

[MINOR] Fix CI by ignoring SparkContext error (#5468)

Sets spark.driver.allowMultipleContexts = true when constructing Spark conf in UtilHelpers

[HUDI-3758] Fix duplicate fileId error in MOR table type with flink bucket hash Index  (#5185)

* fix duplicate fileId with bucket Index
* replace to load FileGroup from FileSystemView

[MINOR] support different cleaning policy for flink (#5459)

[HUDI-3943] Some description fixes for 0.10.1 docs (#5447)

[HUDI-3815] Fix docs description of metadata.compaction.delta_commits default value error (#5368)

Co-authored-by: pusheng.li01 <pusheng.li01@liulishuo.com>

[HUDI-3945] After the async compaction operation is complete, the task should exit. (#5391)

Co-authored-by: y00617041 <yangxuan42@huawei.com>

Claim RFC 52 for Introduce Secondary Index to Improve HUDI Query Performance (#5441)

[HUDI-3977] Flink hudi table with date type partition path throws HoodieNotSupportedException (#5432)

[MINOR] Update alter rename command class type for pattern matching (#5381)

[HUDI-3478] Claim RFC 51 For CDC (#5437)

[HUDI-3972] Fixing hoodie.properties/tableConfig for no preCombine field with writes (#5424)

Fixed instantiation of new table to set the null for preCombine if not explicitly set by the user.

[HUDI-3085] Improve bulk insert partitioner abstraction (#4441)

Revert "[HUDI-3951]support generan parameter 'sink.parallelism' for flink-hudi (#5405)" (#5421)

This reverts commit bda3db078e927421c10932cfcb3019cfddb125b6.

[HUDI-3946] Validate option path in flink hudi sink (#5397)

support generan parameter 'sink.parallelism' for flink-hudi (#5405)

Co-authored-by: hehuiyuan1 <hehuiyuan@jd.com>

[HUDI-3923] Fix cast exception while reading boolean type of partitioned field (#5373)

[HUDI-3948] Fix presto bundle missing HBase classes (#5398)

[HUDI-3950] add parquet-avro to gcp-bundle (#5399)