Remove file copy logging

- This makes up almost ALL of the run output which doesn't seem to serve
  any useful purpose.

Add key range support to more benchmarks.

Rename Redis region.

Add ManualRedisTopology test for hosts and ports (#151)

Adds Redis benchmarks. (#150)

* Adds framework for Redis based benchmarks.
* Supports benchmarking Redis, Geode and external Redis like systems.
* Supports Jedis and Lettuce clients.
* Tunable cluster sizing.

Co-authored-by: Dan Smith <dasmith@vmware.com>

GEODE-8321: part 3 - remove adoptopenjdk

GEODE-9176: Pass TEST_HOSTS with benchmark. prefix

It looks like this property was getting passed through with the wrong prefix.
Setting the system property to be benchmark.TEST_HOSTS

GEODE-9176: Automatically pass properties to benchmark JVMs (#149)

Converting all of the system properties we use in the benchmarks to start with the benchmark
prefix. Changing the gradle build to copy all benchmark.* properties as system
properties in the tst.

Getting rid of problematic org.json dependency, and also making
sure we capture *all* system properties that might effect the behavior of the
test.

Adding a way to automatically set system properties in test JVMs. Just add a property
with the prefix benchmark.system.ROLE, where ROLE is the role of jvms to target. Eg

benchmark.system.server.gemfire.disablePartitionedRegionBucketAck=true would set
gemfire.disablePartitionedRegionBucketAck=true  in the server JVMs.

Logging all benchmark properties during test run

GEODE-9177: Adding a new analyzer that dumps data in a tabular format (#148)

This analyzer reads all of the benchmark results and prints one row for each
result. It does not do a comparison with a baseline.  For example:

dump_results.sh resultDir1 resultDir2 resultDir3
> Task :harness:dumpRun
Directory                                Benchmark                      ops/sec          avg latency(ms)  99%% latency(ms)
partition-10-1-thread-1K-values          PartitionBenchmark             52143.62         0.0763           0.1348
partition-10-16-thread-1K-value          PartitionBenchmark             232304.35        0.2747           0.6400
partition-10-4-thread-1K-values          PartitionBenchmark             134713.40        0.1182           0.2440

Disable P2pPartitionedPutLongBenchmark (#140)

- This benchmark is unstable and does not produce reliable results. See
GEODE-8950 for further details.

Authored-by: Donal Evans <doevans@vmware.com>

Prevent Travis build timeout

- Add output after each test completes, as Travis declares a task hung
if no output is written for 10 minutes, which is longer than the build
and tests take to complete

Prevent Travis build timeout

- Add output after each test completes, as Travis declares a task hung
if no output is written for 10 minutes, which is longer than the build
and tests take to complete

Authored-by: Donal Evans <doevans@vmware.com>

Bumping copyright year to 2021

revert change to output file naming (#138)

Adds a router to SNI proxy topology. (#137)

* Update JUnit
* Adds withRouter option.
* Adds withRouterImage option.

Improves on SNI proxy benchmarking. (#136)

* Adds support for Envoy as proxy server.
* Adds support for manually configured and managed proxy.
* Adds ability to switch between proxy implementations.
* Adds support for overriding docker image:tag for proxy implementations.

Moved #cloud-config to be first line so EC2 knows it is a cloud file

License is secondary. Sorry RAT

Co-authored-by: Robert Houghton <rhoughton@pivotal.io>
Co-authored-by: Sean Goller <sgoller@pivotal.io>

Adds peer to peer benchmarks. (#135)

* Adds P2P put test benchmark.
* Adds P2P get test benchmark.
* Adds put bytes benchmark.
* Adds SSL parameters to benchmarks.
* Fixes API access for old releases.

Revert "allow AMI picking with arbitrary username accounts (#132)" (#133)

This reverts commit 3e3bdd3a371e400db0ce2ce2d736ab06f9244ed1.

allow AMI picking with arbitrary username accounts (#132)

* allow AMI picking with arbitrary username accounts
* improved run directory settings

GEODE-8348: Add support for customizable purpose tag. (#131)

* GEODE-8348: Add support for customizable purpose tag.

* GEODE-8348: purpose value fixes.

Revert "Enable long bench"

This reverts commit 4aee6e218dd16c2d41f0f9e0b009236b349e2aae.

Enable long bench

Add liberica JDKs to image.

Authored-by: Sean Goller <sgoller@pivotal.io>

TLS SNI support via "withSniProxy" Option (#129)

Bumping copyright year to 2020

GEODE-8006 Add .asf.yaml to control notifications

Enabling logging for the geode-benchmarks (#128)

The benchmarks we not logging any of the geode logs, they reported "ERROR
StatusLogger No Log4j 2 configuration file found."

I believe this was broken when we switched to having geode-log4j as a separate
module. Adding that module in as a dependency, which reenables standard geode
logging.

GEODE-7716: Use gradlew that does not require a checked in jar

When publishing a source distribution, we should not include any jars in the
distribution. For other geode projects, (eg geode-examples) we use this gradlew
which downloads the gradle-wrapper.jar file was well.

upgrade gradle from 5.0 to 5.4 (#126)

* update gradle from 5.0 to 5.4 to match geode and geode-examples

fix output dir motification (#124)

modify output dir to be unique for running in CI

install JDK11 on image and fix image script issue with dpkg (#123)

Signed-off-by: Sean Goller <sgoller@pivotal.io>

Fixes exclude of LongBenchmarks

exclude flaky LongBenchmarks from running in CI or locally (#122)

Exclude failing NoopBenchmark (#121)

NoopBenchmark has some fundamental issues that make it fail constantly.
In recent testing, it passed significantly more often that it has been
in Apache Geode CI, so it needs to be excluded until it can be fixed.

GEODE-7554: Add retry mechanism for failed tests (#120)

* write failed tests to a file
* enable all benchmarks
* update help message for --ci option in run_against_baseline.sh

Confirm and retry AWS instance allocations. (#119)

Confirm and retry AWS instance allocations.

Retry with timeouts, confirming the expected number of instances have
been allocated.

Retry with timeouts, confirming the expected number of instances are in
the running state.

Signed-off-by: Robert Houghton <rhoughton@pivotal.io>

stabilize putall tests (#118)

rewrite createSecurityGroup method in LaunchCluster to fix logic errors (#117)

retry creating the security group (#116)

retry creating the security group

temporarily exclude flaky tests

exclude broken Noop test until it can be fixed

Uses full dedicated host and adds more configuration options. (#114)

* Use full c5-18-xlarge instance type on dedicated host.
* Adds -PwithThread to override benchmark threads.
* Adds -PwithHeap to override max heap.
* Adds -PwithWarmup to override warmup time.
* Adds -PwithDuration to override test duration.

Fixes target resolution.

Allow repository to by rsync'd from local host rather than cloned.

Adds more command line configuration options. (#112)

* Support for selection GC from CMS, G1, Shenandoah, or Z.
* Support for specifying JMV heap size.

* Refactors JVM argument configuration.
* Improved new GC logging

Get first host by array reference (#109)

Get first host by array reference (#109)

Create dedicated hosts (#109)

Revert "Create dedicated hosts (#109)"

This reverts commit 410f23a16886a3fb33fd5eb5cedc9620e092dcba.

Create dedicated hosts (#109)

Ignore PartitionedFunctionExecutionBenchmark

Revert "Create dedicated hosts (#109)"

This reverts commit 2adaf56de71fd4bdceec97c2387eaacb4639e63c.

Create dedicated hosts (#109)

Co-authored-by: Kamilla Aslami <kaslami@pivotal.io>
Co-authored-by: Jacob Barrett <jbarrett@pivotal.io>

Revert "Prevent too many keys being offered to ssh server (#103)"

This reverts commit 5062dccfa91cb6acebb18cd396810932bce1163a.

This commit appears to cause benchmark task in CI to timeout. Reverting
while we investigate root cause.

Prevent too many keys being offered to ssh server (#103)

Check that security group exists (#107)

* Check that security group exists
* Throw an exception after max retries + refactoring

Add *LongBenchmark (#110)

Add prefill and benchmarks using Longs

Enabled PutAll benchmarks (#106)

Stabilizes query benchmarks (#104)

* Pre-fill region from client so that all servers have PDX instances
* Change query range and number of threads for query benchmarks

Fix hash map keys in PutAllTask (#105)

Stabilizes function benchmarks (#101)

* New LongRange object for managing ranges of longs.
* Only get 1 value.
* Balanced CPU utilization and threads.

Expanding and clarifying readme files for using aws and scripts. (#102)

 Fixed spotless configuration to support groovy and gradle. (#100)

* Fixed spotless configuration to support groovy and gradle
* Spotless applied

Co-authored-by: Murtuza Boxwala <mboxwala@pivotal.io>
Co-authored-by: Kamilla Aslami <kaslami@pivotal.io>
Co-authored-by: Jacob Barrett <jbarrett@pivotal.io>

Remove unattended upgrades so ubuntu doesn't try to upgrade itself mid
job.

Authored-by: Sean Goller <sgoller@pivotal.io>

Lower thread count for improved stability. (#98)

By reducing thread count to 10x CPUs we found that on the same instances we only lose about 4% of throughput but seem more than 40% improvement in latency. More importantly the variation between runs drops significantly. This variation was greater than 10% on Java 11 and 3% on Java 8. When lowered to 10x threads we see closer to 1% variation for both Java 11 and 8.

disable replicated and partitioned putAll benchmark due to flakiness (#95)

Added --baselineDir and branchDir options to analyze_tests script (#93)

User can run benchmarks with SecurityManager (#91)

Co-authored-by: Murtuza Boxwala <mboxwala@pivotal.io>
Co-authored-by: Kamilla Aslami <kaslami@pivotal.io>

Generate a self-signed certificate for SSL (#90)

Co-authored-by: Murtuza Boxwala <mboxwala@pivotal.io>
Co-authored-by: Kamilla Aslami <kaslami@pivotal.io>

User can run benchmarks with alternative JVM (#89)

* Use alternative JVM for benchmark/test
* Use java.home for executing remote jvm.
* Disable GC logging if not Java 8
* Updated the README.md to be clearer.
* Added ClientServerTopologyTest file

Co-authored-by: Murtuza Boxwala <mboxwala@pivotal.io>
Co-authored-by: Kamilla Aslami <kaslami@pivotal.io>

Add option to Gradle command to run benchmark with SSL enabled (#88)

Add an option for running with SSL enabled to benchmark gradle and scripts.

Fixes parallel task execution.

Adds putAll benchmarks (#79)

Set membership timeout to be more resilient to benchmark load (#87)

Automatically choose the new high watermark commit (#86)

Prints potential new high watermark

Updated the README.md to be clearer. (#85)

Merge pull request #84 from mhansonp/ReadMeAddition

Updating the README.md to be clearer.

disable flaky PartitionedNonIndexedQueryBenchmark

Updating the README.md to be clearer.

Minor changes to help message (#83)

Make expire_clusters.sh executable from anywhere. (#82)

Fix expire_clusters to actually do that. (#81)

Add expire_clusters script.

Authored-by: Sean Goller <sgoller@pivotal.io>

Merge pull request #80 from balesh2/fixREADME

fix readme for copy to cluster script

fix readme for copy to cluster script

Disable replicated query and function benchmarks.

Re-enable partitioned.

Disable partitioned query and function benchmarks.

Disable query again

Spotless

Merge pull request #78 from moleske/moleske-patch-1

Remove dead GCP link

Reduce threads on query benchmarks.

Cleanup PDX objects.

Reduces wasted allocations on hashCode().
Reduces wast in allocations on toString().

Re-enable query benchmarks.

Remove dead GCP link

Move threads configuration.
Run fewer threads on function and queries.
Refactor common elements.

Spotless

Disables function benchmarks.

Use larger disk

Always reset geode repo.