[FLINK-27214] Fix rescaling benchmark build failed

[FLINK-23399][checkpoint] Add a benchmark for rescaling

[hotfix] Bump Flink to 1.16-SNAPSHOT

[hotfix] Move regression-check script to versioned jenkinsfile

[hotfix] Do not spam slack with successful builds

[FLINK-26682] Add regression detection script

[FLINK-25959] Add micro-benchmarks for the sort-based blocking shuffle

[FLINK-25704] Fix the blocking partition benchmark regression caused by FLINK-25637

FLINK-25637 changed the default blocking shuffle implementation from hash-shuffle to sort-shuffle which caused some benchmark regression. This patch tries to fix the regression by switching back to hash-shuffle for those benchmark tests with regression (NettyShuffleEnvironmentOptions.NETWORK_SORT_SHUFFLE_MIN_PARALLELISM is the config option deciding which blocking shuffle implementation to use. If consumer task parallelism is smaller than this config value, the hash-based blocking shuffle will be used, otherwise, the sort-based blocking shuffle will be used. Integer.MAX_VALUE is set in this patch to always use hash-shuffle). For more information about the regression, please refer to https://issues.apache.org/jira/browse/FLINK-25704.

[FLINK-25891] Upgraded version of flink.shaded.version and netty.tcnative.version

[hotfix] Corrected java11 build name

[FLINK-25246] Added universal jenkins script to repository

[FLINK-25246] Parametrized executable for exec plugin

[FLINK-25039]Remove the flink-examples-batch_2.12 test-jar

[FLINK-24918][Runtime/State Backends]Support to specify the data dir for state benchmark

[hotfix]Fix the tab align problem in pom.xml

[FLINK-25556] Disabled the waiting for final checkpoint for all benchmarks.

This closes #42.

[FLINK-24659] Drop RemoteBenchmarkBase.miniCluster field

Before this change all children of RemoteBenchmarkBase worked incorrectly since they
configured the environment for miniCluster from FlinkEnvironmentContext but in reality,
they used miniCluster from RemoteBenchmarkBase.

[hotfix] Reformat java code

[FLINK-24018] Remove Scala dependencies from flink dependencies

[FLINK-24531] Fix connection time out when checking the backpressure

[hotfix] Reformat CheckpointingTimeBenchmark

[FLINK-24231] Benchmark for buffer debloating multiple gates

[hotfix] Shorten the sleep period in checkpointing benchmarks

This commit replaces a Thread.sleep(1) with busy waiting of ~200ns. The
modifications makes the record flow more stable, which results in a more
stable size of checkpointed channels and thus checkpoints time.

This closes #34

[FLINK-24471] Add microbenchmark for throughput with debloating enabled

[hotfix] Add todos for state benchmarks

[hotfix] Upgrade to scala 2.12

In Flink 1.15 we will drop scala 2.11. Therefore we should upgrade
benchmarks to scala 2.12 as well.

[FLINK-24230] Buffer debloating microbenchmark for single gate

Added a test that first does an environment setup.
1. Submits a job
2. Waits for it being backpressured
3. Waits some extra time for buffer debloating to stabilize
The above steps are not measured. After that we trigger a single
checkpoint and measure the time for it to complete.

[hotfix] Allow FlinkEnvironmentContext#setUp to throw Exception

[hotfix] Optimize imports

[hotfix] Fix a typo in RecordSource

[FLINK-24300] Added benchmarks for idling chained sources

This closes #31

[FLINK-23468] Enable fail benchmark runs on error

[hotfix] Bump Flink to 1.15-SNAPSHOT

[FLINK-23879] Fix compilation issue

[FLINK-23689] Increase ProcessingTimerBenchmark length

Previous 1000 records was forced upon this benchmark because of
very slow production code. After resolving FLINK-23689 we can
safely increase number of records. Otherwise we would be testing
setup time of a Flink job.

[hotfix] Auto format ProcessingTimerBenchmark

[FLINK-23393] Fix logging setup

- remove log4j1 dependencies
- rename log4j.properties files
- rename the production log4j2.properties file to log4j2-test.properties file, because log4j first searches for test configuration files, and the test-jar dependencies put theirs on the classpath
- remove test log4j2-test.properties file, because both prod/test files have the same name, and only the production one was actually used in all cases

[FLINK-23502] Align native netty version

The used version was quite out-dated and no longer compatible with the flink-shaded-netty version used by Flink.
This also implies that the SSL benchmarks were potentially not accurate.

[hotfix] Do not use URI for TMP_DIRS

The tmp dir parsing splits paths containing a scheme, so using URIs provides no value. In fact it provides negative value because consumers may not even use the directory we originally configured!

[FLINK-23491] Remove explicit flink-runtime dependency

[FLINK-23469] Fix MiniCluster leak

[FLINK-23464] Migrate GlobalDataExchangeMode usage

[hotfix] Improve README

[FLINK-23208] Add a benchmark for processing timers

[FLINK-23392] Exclude startup/shutdown time from benchmarks (#22)

Sets up a MiniCluster in the FlinkEnvironmentContext, which all jobs will be run against.
This avoids including MiniCluster setup costs in the benchmarked code.

[FLINK-23398] Exclude signature files from shaded benchmarks.jar (#24)

Co-authored-by: Chesnay Schepler <chesnay@apache.org>

Improve code structure README

[hotfix] Add missing @Override annotations

[FLINK-23383] Prevent duplicate setUp/tearDown calls

[FLINK-23284] Reset the TARGET_COUNT_REACHED_LATCH before each execution of the job

The Level.Iteration is not enough to clear up the LATCH before every run of the readFileSplit method. There might be multiple calls to the benchmarked method within a single iteration. If it is the case, the second invocation did not have the latch properly reset, which resulted in all records being emitted in the finishing stage of the ContinuousFileReadingOperator. This led to testing a different behaviour than the envisioned.

[FLINK-23078]Add teardown method for all scheduler benchmarks

[hotfix] Rename SchedulerBenchmarkBase to SchedulerBenchmarkExecutorBase

[FLINK-23153] Remove the reference of FutureUtils in RecordSource

[hotfix] Remove SchedulerBenchmark#teardown

Update SchedulerBenchmarkBase.java

[FLINK-23078] Fix import

[FLINK-22973] Provide unaligned checkpoint with timeouts benchmark

[hotfix] Fix compilation after 2b2f943fa05b616b343d437aec7685f6aac33752

[FLINK-22881] Parameterize InputBenchmark test to use FLIP-27 source

This closes #13

[hotfix] Fix benchmarks not compiling after FLINK-18934

[hotfix] Bump Flink to 1.14-SNAPSHOT

[FLINK-22290][checkpointing] Use duration for alignment timeout #2.

[FLINK-22290][checkpointing] Use duration for alignment timeout.

[hotfix] Fix Readme instructions that are easy to break

[FLINK-21731] Add benchmarks for DefaultScheduler's creation, scheduling and deploying

[FLINK-21526] Replace scheduler benchmarks with wrapper classes

[FLINK-21658] Adopts JobGraphBuilder to create job graph

[FLINK-21625] Fix compilation errors due to changes related to scheduler benchmarks

The related changes are located at FLINK-21580 and FLINK-21347.

[hotfix] Adjust TaskExecutionState construction

[FLINK-20612] Exclude scheduler benchmarks in pom.xml

[FLINK-20612] Add benchmarks for scheduler

The benchmarks involve the following parts:

* Topology building
* Scheduling
* Deploying
* Failover
* Partition release

[hotfix] Bump Flink to 1.13-SNAPSHOT

[hotfix] Update pom.xml to use test utilities in flink-runtime

[FLINK-19680] Explicitly set alignment timeout to 0 in the existing Unaligned Checkpoints benchmarks

This should fix the current benchmark time outing and will make the benchmark independent of any potential future default value changes.

[FLINK-19884] Add benchmarks for batch-style execution for bounded keyed streams

[hotfix] Fix metadata in pom.xml

This commit adds missing information such as scm, link to licenses etc.
Moreover it adjusts the naming of artifact and group-id to adhere to
other projects under Apache Flink umbrella.

[FLINK-19745][network] Supplement micro-benchmark for bounded blocking partition in remote channel case

The benchmark results as follow:
Benchmark                                                     Mode  Cnt     Score     Error   Units
BlockingPartitionRemoteChannelBenchmark.remoteFilePartition  thrpt   30  7109.649 ± 197.832  ops/ms

[FLINK-19745][refactor] Introduce StreamGraphUtils for building respective job in benchmark

[FLINK-19745][refactor] Introduce RemoteBenchmarkBase for building cluster to perform benchmark via network shuffle

[hotfix] Fix compile error after dropping disableSysoutLogging

Bump default Flink version o 1.12

[FLINK-18905] Provide basic benchmarks for MultipleInputStreamOperator

[hotfix] Do not restart benchmarks in case of failures

This is in order to prevent faulty benchmarkes being restarted indefinetely
effectively dead/livelocking a benchmark.

[FLINK-19003][checkpointing] Add micro-benchmark for unaligned checkpoints

The benchmark results as follows:

Benchmark                                             (mode)   Mode  Cnt   Score   Error    Units
UnalignedCheckpointTimeBenchmark.unalignedCheckpoint  REMOTE  thrpt   30  46.774 ± 3.111  ops/min
UnalignedCheckpointTimeBenchmark.unalignedCheckpoint   LOCAL  thrpt   30  55.811 ± 3.590  ops/min

Benchmark                                             (mode)   Mode  Cnt      Score      Error   Units
RemoteChannelThroughputBenchmark.remoteRebalance    ALIGNED    thrpt   30  14499.562 ± 1019.582  ops/ms
RemoteChannelThroughputBenchmark.remoteRebalance    UNALIGNED  thrpt   30  13393.426 ±  587.422  ops/ms

[FLINK-18631] benchmark for scala ADT source

[FLINK-17287][github] Disable merge commit button

[FLINK-17705][license] set up apache-rat-plugin in mvn

[hotfix] Apply workaround for JDK.11 TLS issue

Prevent "No PSK available" error while fetching
artifacts from maven repo on travis.
See https://bugs.openjdk.java.net/browse/JDK-8213202

[FLINK-16057] Don't end input in ContinuousFileReaderOperator Benchmark

Currently, END_OF_INPUT is sent once all splits were emitted.
Thus, all subsequent reads in ContinuousFileReaderOperator are made in
CLOSING state in a simple loop (MailboxExecutor.isIdle is always true).
Which is not a scenario this benchmark is intended for.

This change makes source to wait until all elements reach sink.

[hotfix] update flink version in README

[FLINK-17704][mvn] allow execution of arbitrary benchmarks via a property

Example:
mvn -Dflink.version=1.11-SNAPSHOT exec:exec -Dbenchmarks="org.apache.flink.benchmark.StreamNetworkThroughputBenchmarkExecutor"

[FLINK-17703][mvn] fix 'benchmark' profile not active by default anymore

This adapts the profiles to include the netty-tcnative dependency set via the
'netty-tcnative.flavor' property which can be overridden for the
statically-linked library if needed. The dynamically-linked dependency does not
need another profile activation and thus 'benchmark' is active by default again.

[FLINK-17057][network] add OpenSSL-based benchmarks

These can be executed either with dynamically-linked OpenSSL libraries or
statically-linked (and manually-provided) ones. Instructions are in README.md.

Current results on my PC:
- JDK 8:
Benchmark                                                   (channelsFlushTimeout)   Mode  Cnt      Score     Error   Units
StreamNetworkThroughputBenchmarkExecutor.networkThroughput          1000,100ms,SSL  thrpt   30  11760.342 ± 282.592  ops/ms
StreamNetworkThroughputBenchmarkExecutor.networkThroughput      1000,100ms,OpenSSL  thrpt   30  27889.053 ± 893.833  ops/ms
- JDK11:
Benchmark                                                   (channelsFlushTimeout)   Mode  Cnt      Score     Error   Units
StreamNetworkThroughputBenchmarkExecutor.networkThroughput          1000,100ms,SSL  thrpt   30  20628.476 ± 628.461  ops/ms
StreamNetworkThroughputBenchmarkExecutor.networkThroughput      1000,100ms,OpenSSL  thrpt   30  27289.926 ± 962.960  ops/ms

[FLINK-17410][benchmarks] Adapt BlockingPartitionBenchmark to latest StreamGraph interface

[FLINK-17299][benchmarks] Add remote channel rebalance benchmark with frequent checkpoint (#57)

The following is the benchmark result:

Benchmark                                                                                 Mode   Cnt      Score
RemoteChannelThroughputBenchmark.remoteRebalance  thrpt    30       18377.411 ± 1774.382  ops/ms

[FLINK-17056][JMH] fix main methods running unrelated benchmarks

[FLINK-16890] add Avro GenericRecord benchmark

[hotfix] fix import order in SerializationFrameworkMiniBenchmarks

[FLINK-16460][benchmark] add Protobuf-based serialization benchmarks

[FLINK-16459][benchmark] add Apache Thrift based serialization benchmarks (#52)

Unfortunately, it is not possible to download the thrift executable from maven
central and use that to compile the data definition into a Java class. Since no
extra runtime dependencies are needed once that is done, we provide the
generated Java classes in the repository.

If you want to create updated Java Thrift classes, you need to install the
thrift binary with a matching version to the dependency inside the pom.xml or
override it and generate classes via

> mvn generate-sources -Pgenerate-thrift -Dthrift.version=0.13.0

or more dynamically:

> mvn generate-sources -Pgenerate-thrift -Dthrift.version=$(thrift --version | rev | cut -d' ' -f 1 | rev)

Be sure to use the same thrift version when compiling and running
tests/benchmarks as well to avoid potential conflicts.