Move performance tests to accumulo-testing #1200 (#90)

* Move ManySplitIT as HighSplitCreationPT.
* Move BalanceFasterIT as SplitBalancingPT.
* Move DeleteTableDuringSplitIT as TableDeletionDuringSplitPT.
* Move RollWALPerformanceIT as RollWALPT.
* Use Result.result() instead of Result.parameter() when reporting
resulting values so that they will be put in the appropriate section
when the JSON files are written.

Related: #1200

Fix BulkImport concurrent rwalk

Fix error in Dockerfile. Closes #109

Drop example files (#100)

* Drop .example files
* Remove references to these files from documentation

Use Accumulo 2.0.0 in testing repo

Fix warnings and clean up pom.xml

POM updates:
* Update plugins
* Add m2e profile for ensuring compiler compliance and ignoring plugins
  in Eclipse that Eclipse doesn't understand
* Require minimum java version of 1.8 and Maven 3.5
* Remove unneeded plugins (felix bundle and exec-maven-plugin)

Fix warnings in code:
* Use try-with-resources for TestEnv
* Use Double.parseDouble instead of new Double
* Compute iterable sizes from scanners without unused variables
* Suppress deprecation warnings where needed
* Update BulkPlusOne RW test to use new bulk import API
* Add missing case statement for GET_SUMMARIES in TableOp
* Remove unused variables

Revert to Java 8 for accumulo-testing

Allow accumulo-testing to build and run with Java 8, but support the
release flag on JDK9 and later.

Use non blocking secure random for seeding. (#106)

When attempting to generate bulk data to ingest, map reduce jobs were
timing out.  The jobs were blocked in SecureRandom code for over 10
minutes (likely trying to read /dev/random, but not sure about this).
This change creates a SecureRandom that should be non-blocking
with Java's default configs. With this change generating bulk data no
longer times out.

Update accumulo-testing to use Java 11

Clean up and Minor Changes to ConditionalMutationsPT (#105)

Avoid exceeding maximum log length in Travis

Suppress Downloading messages from Maven to avoid exceeding Travis CI's
maximum log length of 4MB.

Use openjdk8 in Travis (oraclejdk8 gone)

Improve bulk CI docs (#104)

Replace Thrift types with proper API Exception (#99)

Fix #30 Test performance of Conditional Mutations (#79)

Update documented expected CI bulk ingest counts (#103)

After the changes in #101 the counts produced by CI bulk ingest are more predictable.

BulkIngest CI improvements (#101)

* Add job name
* Seed Random with strong seed
* Fix linked list to chain adjacent elements, rather than skip over
  adjacent elements to link to the next element

Fixes from shellcheck. Closes #69 (#102)

Improve scripts (#91)

* Made scripts all call ./bin/build
* Added check for env vars in env.sh
* Print out where the env vars are coming from

Update ci bulk ingest docs (#98)

Fix #88 incorrect argument array indexes (#95)

Update reference to correct position in array for the table name.

update bulk docs (#85)

Fix shellcheck issues in conf dir

Fix #83 Add hadoop conf to CLASSPATH for defaultFS (#87)

Ensure test client code has core-site.xml on its class path so that when
client code calls "new Configuration()" (for example, to qualify HDFS
paths without a scheme), it will use the fs.defaultFS to qualify them.

This fixes issues in bulk import test code that does not properly
qualify Paths as hdfs:// paths, and instead assumes file:// incorrectly.

Fix split point code for bulk ingest

Add type safety to State (#86)

* Clean up code through reuse of new type safe State methods in bulk and concurrent modules
* Allowed removal of a bunch of warning suppresses

Some improvements to rwalk script (#82)

* Some improvements to ./bin/rwalk
* Fix script name

add gcs to docker

add gcs to test list in readme

Add new garbage collection simulation test (#81)

Update checkstyle (#80)

* Fixes CVE-2019-9658

Remove Snappy Property (#77)

Updated Hadoop and Zookeeper versions in the pom file (#76)

Add Durability Performance Test to Fix Durability IT (#74)

Use Uno in upgrade test script and update for 2.0 (#73)

Cleanup Continuous Ingest (#71)

* Add SLF4J logging
* Some minor cleanup

Replace C-style arrays (#70)

Refactored RowHash and TeraSortIngest (#68)

Update Accumulo version to 2.0.0-SNAPSHOT (#66)

Update ClientOpts (#65)

* Reduce the number of options
* Create clients using Accumulo.newClient()
* Remove use MapReduce opts from Accumulo

Made CI bulk import configurable and scriptable (#64)

Apply formatter changes on build

Update pom.xml

Update apache parent pom and update formatting plugins

Creates continuous BulkIngest (#63)

* A new Bulk import MapReduce job run using "cingest bulk"
* Will create a million random keys in Rfiles in the same format as CI
* The keys are in a linked list with the value being the prev row
* Works with CI createTable and verify

Clean up CLI parsing and stop depending on Accumulo internals (#61)

* Remove dependencies on Accumulo internal CLI parsing code
  by addeing ClientOpts and Help
* Remove trace code from TestIngest

Factor RFile and CryptoServiceFactory from Import-Control (#60)

Update CI compaction strat settings (#58)

Update the continuous ingest table settings to reflect the changes made
in apache/accumulo#935

Improve yield+scan exec performance test (#57)

Before this commit the filters running in the background had a very low
chance of returning data.  This did not execercise the use case of an
iterator returning data very slowly.  Returning data very slowly results
in slowly filling a buffer.  The test was modified to run the filter
scans with multiple probabilites which causes data to return with
different velocities.  Also the yield filter was modfied to support
yielding across returning a key/value.

The design of the yield filter was improved so that subclasses do not
have to override init().

Update japi readme and master config (#55)

* Update japi readme and master config

* Update japi-accumulo-master.xml

Remove old jar

Added perf test for yielding+scan dispatching (#56)

Test running lots of short scans while many filters that return little
data are running in the background.  If nothing is done these filters
will prevent the short scans from running.  This test configures
Accumulo so that the short scans should get a chance to run.  It does
three things to facilitate the short scans : the filters yield, there
are two scan executors, and a scan dispatcher sends long running scans
to the second executor. If yielding and dispatching are working
correctly then the short scans should have very short response times.
This happens because the filters should end up in a separate thread pool
than the short scan.

Also fixed some bugs with the performance test framework.

Update japi-accumulo-master.xml

Remove old jar

Update japi readme and master config

Allowed configuring table props for CI table (#54)

Stopped using non public API ClientContext

Needed to do this inorder to build against 2.0.0-alpha-2

Update checkstyle to use import-control for API check (#52)

* Update checkstyle to use import-control for checking use of accumulo API
* Add checkstyle plugin to the build execution to always run
* Add exceptions to API checking to hold the line until we can fix
* Use Guava peeking iterator in place of accumulo peeking iterator

Remove CachedConfiguration to fix build

Improvements made for 2.0.0-alpha-2 CI testing (#51)

* Improvements made for 2.0.0-alpha-2 CI testing

Added ability to set test options on command line. This makes running different
types of ingest from the same docker image easy.  Without this change a new
docker image would need to be created for each different ingest type.

Documented commands for running a long running ingest test.

Made the ingest flush size configurable.  This made it possible to write really
small amounts of data and then pause.  This changes makes testing
for the problem in apache/accumulo#854 possible.

Added docs for how to copy docker image to other nodes if you don't have
a repository handy.

Add commons codec depdency to pom

Tried building against alpha-2 release and it failed to find commons
codec.  Maybe it used to get it transitively from Accumulo.

Updates for starting MapReduce jobs from randomwalk (#49)

* Set additional MapReduce configuration and Hadoop username
* These settings work if running randomwalk on user machine
  or in Docker

Update copyright date to 2019

Updates due to Accumulo 2.0 changes (#48)

* Use new MapReduce API and client classloader
* Use createClient and close client
* Updated codestyle.xml to match file in Accumulo repo

Updated M/R code due to changes in Accumulo

Reduced use of ClientInfo (#47)

Closed clients that weren't being closed (#46)

* Stopped using changeUser
* Closed clients using try-with-resources blocks

Minor bug fixes (#45)

* Fixed bug in creating TEST_LOG4J in env.sh
* Used full HDFS uri in RW bulk import test

Build shaded jar without Hadoop for M/R (#44)

* Hadoop jars get added to CLASSPATH when needed

Major refactor to support running in Docker (#43)

* Multiple test clients are now run in Docker instead of YARN
* Tests can still be run locally but accumulo-testing script
  has been removed and replaced by seperate scripts for
  cingest, rwalk, and agitator
* Project no longer contains multiple Maven modules
* Renamed package to remove 'core' from it
* Renamed accumulo-testing.env to env.sh
* Created Dockerfile

Fixed running continuous ingest in YARN (#41)

* Excluded license directory from shaded jar to prevent
  Twill from failing
* Upgraded Twill to 0.13 and made minor improvement to code.

Updates due to changes in Accumulo 2.0-SNAPSHOT (#40)

* Fixes due to impl package renames
* Fixes due to AccumuloClient builer method renames

fixed peformance test (#39)

Refactor usages of Connector to AccumuloClient (#36)

Updates due to Accumulo 2.0 changes (#35)

- using accumulo-client.properties to create clients

Replace Connector with AccumuloClient (#34)

Update JAPI Compliance Checker definitions for releases 1.8.0 and 1.9.2, and current master branch. (#33)

Remove HdfsZooInstance & formatting

Fix typo in README

Use hints (apache/accumulo#555) in scan executor test (#31)

Add performance test for small scans (#24)

Created performance test framework (#21)

Merge branch '1.9'

Fix package names (#19)

Fixes #16 - Could not run continuous ingest (#18)

* Upgraded Twill to 0.12.1 to fix issue

Clean up shaded jar conflicts (#17)

Merge branch '1.9'

Merge commit 'bb19d3f075f0a138ed28a2470c10b16c8a0badf0'

Added random pausing to continuous ingest (#15)

Merge pull request #14 from mikewalch/minor-fixes

Minor bug fixes

Added TravisCI links

Minor bug fixes

* Removed Accumulo properties that were removed from 2.0
* Hdfs root default now uses 8020
* Fixed Array index out of bounds exception

Updates to work with Accumulo 1.9.1

Updates to Undefined Analyzer made for apache/accumulo#441

Update mapreduce dependency

ACCUMULO-4833 Disable broken randomwalk task

Comment out the replication task in the Concurrent test configuration
for the randomwalk test framework.

ACCUMULO-4848 Fix ClientConfiguration errors

ACCUMULO-4736 Created CONTRIBUTING.md (#10)

ACCUMULO-4717 Update TableOp to handle error codes

ACCUMULO-4717 Fix boolean checks in AlterTablePerm

ACCUMULO-4717 Refactor WalkingSecurity to use API (#9)

Simplified WalkingSecurity by removing the inheritance from server
classes and removing unused code. Now it is simply a helper class and
the other classes in the randomwalk framework call the API directly.
Also added try catch blocks where exceptions are now thrown.

ACCUMULO-4718 Add Hadoop common to shade pom

ACCUMULO-4725 Add modules dir to script help (#8)