[hotfix][docs] Add a chinese doc of first_value/last_value in the Table API (#20088)

[FLINK-28036][hive] HiveInspectors should use correct writable type to create ConstantObjectInspector

This closes #19949

[FLINK-28217] Bumps [mysql-connector-java](https://github.com/mysql/mysql-connector-j) from 8.0.27 to 8.0.29.

Flink doesn't bundle this dependency but only uses it for testing. Bumping this dependency will also address false positives for CVE-2022-21363 (direct vulnerability) and CVE-2021-22569 (vulnerability from included dependency).

[FLINK-28195][python] Fix the build wheels

This closes #20085.

[FLINK-28258][runtime] Introduce ExecutionHistory to host historical executions for each execution vertex

This closes #20080.

[FLINK-25097][table-planner] Fix bug in inner join when the filter condition is boolean type

This closes #19579

[FLINK-26762][docs-zh] Translate the doc of overdraft buffers

[hotfix][runtime] Cleanup for the temporary fix of FLINK-13063 which is completely solved by FLINK-16219

1. In FLINK-13063 the chaining strategy of AsyncWaitOperatorFactory is HEAD, AsyncWaitOperatorTest#addAsyncOperatorLegacyChained is for manually setting it to ALWAYS，
and now it is no long needed since FLINK-16219 change the chaining strategy of AsyncWaitOperatorFactory to ALWAYS.

2. test case rename: testStateSnapshotAndRestoreWithObjectReused -> testObjectReused
because the case does not contain the snapshot and restore logic in it.

This closes #19961.

[FLINK-28195][python] Annotate Python3.6 as deprecated in PyFlink 1.16

This closes #20078.

[FLINK-16078] [docs-zh] Translate "Tuning Checkpoints and Large State".

Co-authored-by: Jun He <xuehaijuxian@gmail.com>
This closes #19503.

[FLINK-28226][python] Limit grpcio<1.47 (#20058)

[FLINK-28169] Disabling Flaky  GlueSchemaRegistryJsonKinesisITCase test to unblock build CI

[FLINK-28239][table] Add commons-math3 to owner classpath

[FLINK-27794][connectors/jdbc] Fix the wrong primary key for MysqlCatalog when there are tables with same name in different databases

This closes ##20025.

[FLINK-28193][runtime] Enable to identify whether a job vertex contains source/sink operators

This closes #20043.

[FLINK-28133][runtime] Rework DefaultScheduler to directly deploy executions

This closes #20039.

[FLINK-27933][coordination][tests] Force serialization applies to return value

[FLINK-27933][coordination] Fix/document RPC serializability violations

- allow tests to opt-out of serializability force
- never force serialization in AkkaRpcActorOversizedResponseMessageTest, because it affected the payload size
- DispatcherTest no longer relies on retrieving the same object instance via RPC
- ResourceManager#requestTaskExecutorThreadInfoGateway is just not serializable; see FLINK-27954
- ClassLoaderITCase wrongly assumed that serialization occurs

[FLINK-27933][coordination] OperationResult is serializable

[hotfix][tests] Clarify interface

These 2 methods were never used via the gateway, but are called directly on the instance.
This was misleading because I couldn't figure out why the serialization didn't fail for these methods.

[FLINK-27466][jdbc][docs] Clarify metaspace leak fix

[FLINK-28175][ci] Improve license checker output

[FLINK-27290][docs-zh] Translate the "Data Type" section of "Data Types" in to Chinese.

Co-authored-by: LuNing Wang <rsl4@foxmail.com>

[hotfix][table-api-java][javadoc]fix and unified the example JavaDoc for most DSL methods of Table class

[FLINK-27926][Docs] Translating the `Upgrading Applications and Flink versions` page to Chiinese

[FLINK-27865][docs] Add example for configuring SASL and SSL in Kafka DataStream and SQL connector (#19904)

[FLINK-27766][sql-gateway] Introduce the OperationManager for the SqlGatewayService

[FLINK-27766][sql-gateway] Introduce the basic components for the SqlGatewayService

[FLINK-28194][python] Remove avro sql jar workaround (#20045)

[FLINK-28196][build] Rename hadoop.version property

Prevent conflicts with the hadoop.version property in the Hadoop parent pom, when using Maven 3.8.5+.

[FLINK-28112][filesystems] Fix error message when directly supported file system not able to be handled

[hotfix][javadoc] Misprint in javadoc at QuadFunction.java

`@oaram` => `@param`

[hotfix][legal] Correct module name in NOTICE

[hotfix][docs] Fix the Intellij key nouns.

[hotfix][ci] Update libssl download link

[hotfix][docs] Fix the inaccessible documentation link

[FLINK-27667][yarn-tests] Stabilize flaky YARN integration tests

[FLINK-27972][tests] Forbid multiple state transitions

[FLINK-27972][coordination] Wait until savepoint operation is complete

[hotfix][tests] Cleanup StopWithSavepointTest

fixup! fixup! [FLINK-26762][docs] Document overdraft buffers

fixup! [FLINK-26762][docs] Document overdraft buffers

[FLINK-26762][docs] Document overdraft buffers

[FLINK-28044][runtime][security] Make hadoop filesystems configuration available to all deployment targets

This closes #19953.

[FLINK-28077][checkpoint] Allow buffers to be discarded asynchronously

The dataFuture may never be completed, so waiting for that might cause the task to get stuck.

We now chain the cleanup to the dataFuture instead; if it is complete it will run immediately, otherwise it _may_ run at a later point if the future ever completes.
The latter is a safeguard against potential buffer leaks.

[hotfix] Removed foul language. This closes #18722

[hotfix] Removed foul language. This closes #18722

[FLINK-26762][network] Add the overdraft buffer in ResultPartition

[FLINK-28147][Python] Update httplib2 to at least 0.19.0 to address CVE-2021-21240

[FLINK-28002][python] Fixes the issue that add_jars doesn't work on JDK11

This closes #19947.

[FLINK-28105][Tests] test the copied object in GlobFilePathFilterTest#testGlobFilterSerializable

[hotfix] Rework GlobFilePathFilterTest to be based on AssertJ & JUnit5

[FLINK-27159][table] Support firstValue/lastValue in the Table API

This closes #19958.

[FLINK-27861][table] Introduce ResourceManager to manage JAR resources (#19859)

[FLINK-28107][python][connector/elasticsearch] Support id of document is null

This closes #20002.

[FLINK-27523][runtime] Runtime supports producing and consuming cached intermediate results

This closes #19653.

[FLINK-28114][python] Fix the issue that the Python client interpreter could not point to an archive file in distributed file system

[FLINK-28060][Connector/Kafka] Updated Kafka Clients to 3.1.1 to resolve the issue where Flink is unable to commit its offset back to Kafka in case of Kafka Broker becoming unavailable. This should be resolved when the broker comes back up, but due to KAFKA-13563 that doesn't work. Since that fix has only become available with Kafka Clients 3.1.1, this commit updates the Kafka Clients dependency from 2.8.4 to 3.1.1.

No interfaces needed to be adjusted.

It was necessary to change some of our Bash e2e tests since they still relied on the Zookeeper parameter which has been removed in this version.
The other necessary change was adjusting the KafkaConsumerTestBase class since the level of exception is changed in the new Kafka Clients so exception.getCause().getMessage()  throws an NPE in the test case.

[FLINK-20765][table-planner] Fix ScalarOperatorGens doesn't set proper nullability for result type of generated expressions

This closes #19851

[FLINK-22920][formats] Fix guava version conflict between calcite and hadoop component. (#19965)

[FLINK-28007][bugfix/connectors] Migrated Kinesis Firehose & Streams sink tests to using synchronous http clients..

[FLINK-28095][oss] Replace commons-io IOUtils dependency

[FLINK-18887][python][connector/elasticsearch] Add ElasticSearch connector for Python DataStream API

This closes #19732.

[FLINK-27006][table] Support SingleValueAggFunction for CHAR data type

This closes #19338

[FLINK-27985][table-planner] Introduce FlinkRecomputeStatisticsProgram to compute statistics after filter push and partition pruning

This closes #19939

[FLINK-27987][connector/file] Let FileSystemTableSource extend from SupportsStatisticReport

This closes #19939

[FLINK-27984][table-common] Introduce FileBasedStatisticsReportableInputFormat interface

This closes #19939

[FLINK-27983][table-common] Introduce SupportsStatisticsReport interface

This closes #19939

[FLINK-27932][python] Introduce WatermarkStrategy.no_watermarks and WatermarkStrategy.no_watermarks to align with Java API

This closes #19896.

[FLINK-26941][cep] Support Pattern end with notFollowedBy in case time constraint is defined

This closes #19295.

[FLINK-27881][Connector/Pulsar] Never return null for PulsarMessageBuilder.

[FLINK-28004][ci] Reduce heap memory consumption by 25%

[FLINK-26824][cassandra] Upgrade driver to 3.11.2

[FLINK-28019][table] fix error when retract a staled record if state ttl enabled in RetractableTopNFunction

This closes #19942

[FLINK-27762][connector/kafka] Catch WakeupException and retry KafkaConsumer invocations in split assignment

This closes #19828.

[FLINK-28052][tests] Remove RunFailedJobListener

The RunFailedJobListener had rather obscure semantics.
It considered a job to be terminal after it was restarted. This is awfully specific to a particular test case.
A cleaner approach is to just cancel the job and wait for it to terminate.

Additionally it considered a job as running purely based on the job status, whereas, in particular when checkpointing is involved, waiting for the tasks to be submitted is a better measure.
In fact, testExceptionHistoryWithTaskFailureFromStopWithSavepoint was a broken since a savepoint was never triggered, as not all tasks were running.

[hotfix][tests] Always respond to task cancellation requests

The previous cancel setup doesn't make sense if you aren't aware that one of the tests forces a restart.
We now immediately respond to any task cancellation request instead.

[hotfix][tests] Remove magic number

[hotfix][tests] Streamline SubmissionBufferingTaskManagerGateway

[FLINK-28006][tests] Run prod architecture tests in 1 JVM

[hotfix][build] Introduce property for common surefire arg line

[FLINK-28005][tests] Reduce network memory in UnalignedCheckpointTestBase

[hotfix][tests] Avoid hard-coded class name

[FLINK-27965][table-planner] Fix EXPLAIN PLAN produces wrong query schema for insert clause with static partition

This closes #19940

[FLINK-27819][rest][docs] Use proper operationIds

[FLINK-28018][core] correct the start index for creating empty splits in BinaryInputFormat#createInputSplits

[hotfix] Rework BinaryInputFormatTest to be based on AssertJ

[FLINK-24960][yarn-tests] change order of statements to avoid race condition

[hotfix][docs] Improve HA_MODE description

[FLINK:27808][ha] Allow "kubernetes" as HA_MODE

[FLINK-27895][hive][ci] Enable nightly Hive 3.x tests

[FLINK-27999][hive] Fix Hive3 issues

- VirtualColumn.VIRTUAL_COLUMN_NAMES has a different type in hive2 vs hive3, causing NoSuchFieldErrors since our code is only compiled against hive2
- HiveConf is a singleton that is modified in various ways; adds a band-aid to resolve some issues

[FLINK-24995][tests] Migrate tests to ConsoleReporter#finish

'ConsoleReporter#finish' behaves just like '#printSummary', but is also supported in later versions.
Additionally, we now fail the test if the compiler reported any warnings/errors, as without it the summary business didn't provide a benefit in the first place.

[hotfix] Cleanup EnumValueSerializerCompatibilityTest

- 'in' variable was unused
- 'out' variable was unnecessary because the reporter by default prints to stderr anyway, and there isn't a real benefit in using stdout

[FLINK-27041][connector/kafka] Catch IllegalStateException in KafkaPartitionSplitReader.fetch() to handle no valid partition case

This closes #19456.

[FLINK-27658][runtime] SafetyNetWrapperClassLoader expose addURL method to allow registering jar dynamically

[Hotfix] fix typos

[hotfix][fault-tolerance][docs] Corrected typo in state page

[hotfix][network] Fix the typo about subpartition

[FLINK-27171][runtime][security] Add periodic kerberos delegation token obtain possibility to DelegationTokenManager

[hotfix][docs-zh] Add missing the flame_graphs.md file to debugging.