[maven-release-plugin] prepare release rel/1.10.0

Fix file permissions in source assembly tarball (#1692)

Fix permissions mangling caused by the latest versions of the assembly
plugin.

Use maven-assembly-plugin-3.1.1 because of MASSEMBLY-941
https://issues.apache.org/jira/browse/MASSEMBLY-941

Update powermock to 2.0.7 (#1691)

Update bouncycastle version to 1.66 (#1690)

Tune timeouts for some flakey tests

Increase default timeouts for some tests which routinely time out during
CI testing on Jenkins.

Fix issues in prep for 1.10 release (#1688)

* Bump snapshot versions to 1.10.0-SNAPSHOT
* Converge the Hadoop 2 and Hadoop 3 assemblies, so only one is
  necessary (tested both on Hadoop 2.6.5, 3.0.3, and 3.3.0 using
  fluo-uno)
* Bumped plugin versions and added timestamp flag for increased build
  reproducibility; timestamp should automatically update during release
  process; verified the built jars differ only in the contents of the
  generated META-INF/DEPENDENCIES file when building with the Hadoop2
  vs. the Hadoop3 profiles, and since this file doesn't matter, they are
  now provably equivalent builds
* Fixed some Hadoop profile issues, and updated Hadoop versions to
  latest patch version in the minor release lines we had previously been
  building with as our minimum supported versions
* Update Guava-related code to work with both Hadoop 2 and 3;
  suppress warnings or migrate code to avoid code paths that won't work
  across Guava versions, for fewer class path surprises related to
  Guava
* Update asciidoc plugin, and fix various doc build issues warned about
  by the plugin
* Use last commons-io that doesn't break vfs2
* Make Guava version configurable at build time, so it's easier to build a
  package that contains a version of guava suitable for Hadoop 3.1 and later.

Fix warnings from #1687

Update commons-* libraries (#1687)

* Update commons-cli to 1.4
* Update commons-codec to 1.14
* Update commons-io to 2.7
* Update commons-lang to 2.6
* Update commons-logging to 1.2

Fix typo in workflow file

Add workflow for triggering a custom build

Add a `workflow_dispatcher` action that can be triggered manually to run
the full ITs, a single test, or anything in-between, on demand.

Fix JCommander warnings from #1684

Update jcommander to 1.78 (#1684)

Update gson to 2.8.6 (#1686)

Support IteratorEnvironment in test harness (#1681)

* Adds the ability to provide a custom IteratorEnvironment to the
  iterator-test-harness
* This fixes a test failure in SummingCombinerTest caused by recent
  changes to Combiner in #1680

Modify Combiner init method to honor all options. Fixes #1678 (#1680)

Move MinorCompaction method call into retry catch block. Fixes #1298 (#1675)

* Fixes the situation when MinorCompactionTask creates a
new File and an IOException leaves the Tablet in a bad state
* Moves the new file code into the try/catch block that will
retry during an IOException

Ignore some warnings in CI workflow (#1671)

Ignore warnings produced by upload-artifact step if no files are
available to upload. Not all jobs in the matrix build are expected to
produce artifacts, so this isn't a problem worth warning about.

Publish test results in CI workflow (#1671)

Fix javadoc html header elements on newer JDKs

As of JDK 13, the javadoc tool's linter requires user headers in
javadocs to start at h2, and checks that h1 appears before h2 in
generated HTML. The side-effect of this check is that any raw (not
generated by javadoc) doc-files html needs to start at h1, before using
h2.

Improve CI workflow (#1671)

* Add timeout
* Make matrix similar across branches
* Better naming of matrix jobs
* Better branch pattern matching
* Exclude accumulo artifacts from cache
* Suppress transfer progress when downloading artifacts

Use GitHub Actions for CI testing (#1671)

Add GitHub Actions for CI and remove Travis CI configuration, for the
1.9/1.10 maintenance branch.

Fix #1663 Missing metrics files running CI tests (#1667)

- excluded hadoop-metrics2-accumulo.properties from jar plugin
- added gc metrics config sample to template

Co-authored-by: Ed Coleman <edcoleman.apache.org>
Co-authored-by: Christopher Tubbs <ctubbsii@apache.org>

Remove obsolete workaround for Eclipse bug

Remove unneeded Maven profile for runtime dependency resolution in the
compile scope while using Eclipse/M2E. Newer versions of Eclipse have
fixed the bug.

Related to #1652 (but for the 1.9 branch).

Close unclosed Scanners

Close unclosed scanners detected by Eclipse IDE

Rename yield method (future restricted identifier)

(Backport of c5ecd474dbed016cc6653870fedcce863550a44f)

Rename a private yield method in SourceSwitchingIteratorTest to avoid
conflicting with future versions of Java. In future Java releases,
'yield' is a restricted keyword.

Verified failure (and fix) using the following on OpenJDK13:

```
mvn clean package -DskipTests -Dmaven.compiler.failOnWarning=true
```

Merge pull request #1646 from ivakegg/ACCUMULO-1644

fixes #1644: minor compaction retry

fixes #1644: minor compaction retry
* Updated the minor compaction to gracefully handle temporary VFS class loader issues while minor compacting

Update spotbugs-maven-plugin (for JDK14)

Update maven-enforcer-plugin (for JDK14)

Fix idempotency bug in importtable (#1555)

* Fix idempotency bug in importtable
The previous implementation would fail when an interrupted importtable
operation was retried by FATE, as it would not find (already moved)
files in the exported directory. Additionally, this commit also removes
a chatty fs.exists() check.

* Use Set operations to streamline code
This code uses set operations to validate if there are missing files in
the exported (source) directory. In addition the usage of sets improves
perf compared to the lambda scanning the file status arrays.

* Fix formatting and use inbuilt Java joiner

Update copyright dates for 2020 releases

Fix unused variable warning from #1536

Improve master metrics rported (#1536)

Adds FATE transaction state and op types reported via hadoop metrics2
Improves metrics tests
Add IT to verify that enabling legacy metrics does not crash master
Added ZooReaderWriter getInstance() for testing.

Fixes #1525 - remove lines added in b67d3f9 in VolumeUtil (#1539)

* Revert optimization that broke special tablet directory volume code
that is still needed in 1.X

Enable logs for accumulo-maven-plugin's IT

Fix #1532 Remove need for Ant on class path

Make MetricsConfiguration use a MapConfiguration with System.getenv()
rather than EnvironmentConfiguration, to get the environment properties.
EnvironmentConfiguration uses Ant code, which is not available on the
class path (typically) to get the environment, so it should be avoided.

Re #1492 Disable unreliable replication tests (#1524)

Fixes #1226 Disables frequently failing CyclicReplicationIT

Decrease recovery cache time from 45s to 15s (#1526)

* This should help timing of ITs which deal with recovery but will
still prevent too many exist calls to NN in production

Fix #1520 Limit UnsynchronizedBuffer max size (#1523)

Limit UnsynchronizedBuffer maximum size to Integer.MAX_VALUE - 8, the
same limit as ArrayList, because of some JVM behavior being unable to
allocate arrays with Integer.MAX_VALUE.

Make Accumulo 1.9 compatible with ZK 3.5 (#1506)

Optimize Tablet volume replacement (#1505)

* Stop volume replacements from checking every file when not used

Clean-up / remove comments in code from gc_metrics_backport when merged. (#1499)

Backport gc metrics to 1.9.x to use hadoop metrics2. (#1406)

* Backport gc metrics to 1.9.x to use hadoop metrics2.

This backport bring the gc metrics from master / 2.0 into the 1.9.x branch. The metrics
can be enabled / disabled with GC_METRICS_ENABLED property (default false for 1.9.x)  The
metrics changes include:

- Publish current gc metrics to hadoop 2 metrics reporting system.
- Add gc run counter that increments on each gc cycle run
- Add metric to track time required for gc post op (compact, flush, none)

Also Includes:

- Move IT resource file for PR #1381 to correct directory so test passes
in CI and on the command-line. Previously, it may have only worked in
some IDEs, because of the way those IDEs put test resources on the class
path.

* checkpoint: warning clean-up

* Code clean-up and prep for review

one open todo - check if metadata consistency check can be added as a metric.

* defer master check reproting

Co-authored-by: Christopher Tubbs <ctubbsii@apache.org>

Fix #1482 Increase timeouts on some slow ITs

Stabilize some ITs by increasing timeouts to values which cause them to
pass more frequently on modest developer hardware and adding a timeout
to one that was missing it.

Also backport the removal of some flakey performance-related tests,
which were already removed in newer branches.

Fix #1491 Stabilize ChaoticBalancerIT in 1.x

Backport fixes from ACCUMULO-4602
(520d23d85dfce9297bab887726322861163a1fb2)

Fix unused var and generics warning

fixes #1474: Option to leave cloned tables offline (#1475)

* Added an optional keepOffline option to TableOperations.clone via a CloneConfiguration
* Updated the shell clone command with a -o option
* Updated the CloneTestIT to test the keepOffline option
* Updated the ShellServerIT to test the -o option

Make ITs override defaultTimeoutSeconds (#1483)

* Some ITs were setting timeout using junit, instead of the miniaccumulo
method defaultTimeoutSeconds which allows use of system prop timeout.factor
* Decrease timeout of DeleteRowsIT

Require x tservers on start (#1158)

* Adding tserver availability blocking on startup

Check for tserver availability when master gets lock and when configured, block until threshold tserver count reached, or wait time-out expires.  Adds two properties:

MASTER_STARTUP_TSERVER_AVAIL_MIN_COUNT - the number of desired tservers
MASTER_STARTUP_TSERVER_AVAIL_MAX_WAIT - the max time willing to wait

Increase timeout for GarbageCollectWALIT to allow recovery

Add color back to travis CI console

Validate ClientOpts instance name and Zookeeper paths (#1478)

* Only override instance name and ZK paths if those were specified by caller.

Update to Java 1.8 and related fixes (#1467)

* Update to maven compiler source and target to Java 1.8
* Add optional dependency to pom for modernizer annotations
* Add SuppressModernizer annotation to uses of Guava Predicate in
AccumuloConfiguration and its subclasses, Optional in VolumeChooser,
and Function in GroupBalancer
* Replace Guava Function, Predicate, Preconditions, Optional and
Iterators where able with java.util equivalents
* Replace core.util.Base64 class with java.util equivalent
* Fix warnings introduced by Java 1.8
* Drop method in MockConfiguration causing compiler warning and made
PropertyFilter in AccumuloConfiguration extend guava Predicate
* Rename execute methods in MasterClient and ServerClient, like the 2.0
changes to fix the overload warnings

Co-Authored-By: Christopher Tubbs <ctubbsii@apache.org>

fixes #1456 by adding rate limiter to shutdown queue (#1457)

Temporarily cache existence of recovery wals (#1462)

For the case where a lot of tablet servers died, the master was
frequently checking for the existence of a recovery log for each tablet.
Its very likely that many tablets point to the same recovery logs and
the existence checks are redundant.  This patch caches the result of
existence checks for a short period.

Turn off trim stacktrace on failsafe plugin (#1452)

Backport license and typo fixes for bloomfilter code

* Remove incorrect redundant license headers from bloomfilter code
* Add exceptions for rat (because it doesn't recognize the style of the
  BSD license header for the bloomfilter code)
* Backport any spelling typos fixed in bloomfilter code in master branch
  back to 1.9

Fix #1308 - Refactor fate concurrency IT (#1414)

fix error that caused test failure.

Fix #1401, trace servlet parameter handling (#1409)

* corrected servlet parameter handling so that it does not break things

This resolves #1401.

I removed the previous implementation of  string sanitization, replacing it with more specific checks at the places where the parameters are used.

BasicTest was deleted because it was exclusively testing the broken
sanitization mechanism.

* Update server/monitor/src/main/java/org/apache/accumulo/monitor/servlets/trace/ShowTrace.java

Added null check to avoid NPE

Co-Authored-By: Christopher Tubbs <ctubbsii@apache.org>
* automatically adjusted formatting

Improved metadata table consitency checking and testing (#1379)

Added unit test to exercise the code that checks the consistency of the
metadata table during GC scans.  Also added a check to ensure the last
tablet was seen.  This should cause an error to be thrown if the scanner
stops returning data for any reason.  These changes were already made in
2.0 in #1266.  However the code in 1.9 is so different that they could
not be back-ported, but had to be re-implemented.

Expanded InputConfigurator permissions checks to include Namespace.READ (#1371)

* created tests to cover #1370

* expanded checks in InputConfigurator.validatePermissions to include Namespace.READ and resolve #1370

* auto-adjusted formatting

* removed unnecessary assertions from testGetSplitsWithNamespaceReadPermission

Add colVis file to ContinuousInputFormat. Fixes #1368 (#1369)

Fix visibilities option in run-bulk-generate.sh

Fix #1345 - Allow gc initiated compaction as option. (#1352)

* Fix #1345 - Allow gc initiated compaction as option.

Added a property - gc.use.full.compaction that defaults to current behaviour. When false,
performs a blocking flush instead.

* fix type in property description.

* wip: use enum, compact, flush or none

* fix test failure by adding PropertyTest

* added timing log messsgae

* update durations to use nanoseconds

Fix #1338 Reduce verbose logging of merge operations in Master log

* reduce merge operations logging of extent info at debug level - issue #1338.

* minor cleanup removed always true param

* address comments, clean-up of MergeStats to use substition.

* code cleanup and logging changes for discussion

* code cleanup and logging changes for discussion

 - address review comments
 - merge changes m.miller removing unused code in TableGroupWatcher

* Stop logging during merges

* address review comments

* clarify comment after clean-up removed empty else clause.

Fix #1347 Update log statement for user compactions without user iterators

Removed unused code in TabletGroupWatcher (#1341)

* Also make some local vars private

Fix importdirectory tab completion (#1335)

Clean up importDirectory IT (remove unneeded method)

Improve importDirectory tests from #1299

* Remove unused variables in test
* Verify mock objects in test

Add optional -t tablename to importdirectory shell command. (#1299)

* Add optional -t tablename to importdirectory shell command.

the -t tablename is optional to preserve original behaviour. Without
the option, the current table is used.

* added getOptions

* wip - tests cmd format, need to evaluate testing functionality

Fix #1314 fixes gc thread issue by creating one timed task instance (#1318)

* issue #1314 - call scanServers directly, no schedule tasks necessary

* create one tserver set with timed task outside of run loop.

* addressed review comment

* Added call to scanServers, updated unit tests.

* updated logging with added detail at trace level.

* merge changes from 1.9

fix #1326 Copy instead of clone metadata table in IT

After the changes in #1309 cloning of metdata table is no longer
allowed. TabletStateChangeIteratorIT relied on cloning and
was changed to copy instead.

Also the test was very sensitive to concurrent chnages in the metadata
table.  Suspect that cloning used to introduce a delay that hid this.
The change from cloning to copying caused the test to fail often
because of these timing issues.  To avoid this, the test was refactored
to tolerate concurrent changes to the metadata table.

Backport BulkIngest test. Closes #1288 (#1312)

* Created classes for running the bulk generate job
* Created run-bulk-generate.sh
* Also updated the example test files

Examine WALs used by root tablet during GC (#1310)

fix #1309 prevent cloning accumulo.metadata (#1311)

Add patch file for Java 11 generated apidocs

Adds javadoc11.patch to patch broken javadoc in Java 11. These were
patched in Java 12 and later, but have not yet been backported to 11 at
the time of this writing, or they have not been patched upstream at all
yet. So, it may be necessary to apply this patch wnen generating
javadocs (using the aggregate-javadocs profile) for the API published on
the accumulo-website, if they were generated using Java 11.

The relevant upstream issues are:

* https://bugs.openjdk.java.net/browse/JDK-8227487 (Missing dejavu font)
* https://bugs.openjdk.java.net/browse/JDK-8214856 (JSZip API misuse)
* https://bugs.openjdk.java.net/browse/JDK-8215291 (Broken search links)

The patch can be applied by doing:

```bash
# generate the javadocs for the site
mvn clean package -DskipTests javadoc:aggregate -Paggregate-javadocs
# apply the patch
patch -p1 < contrib/javadoc11.patch
```

Add wording to experimental (#1307)

Fix #1236 Require Java 11 for building

* Stop building with openjdk8
* Require Java 11 or later for building
  (still targeting 7 for the 1.9 branch)
* Update some plugin versions
* Update bouncycastle test dependency
* Fix javadoc to resolve checkstyle issue in randomwalk Environment
* Remove unnecessary exclusion of bouncycastle from minikdc
* Add exclusion from later branch for nimbus-jose-jwt

Updates to support Java 11 on 1.9 branch (#1295)

This includes partial backports of:
* ec76015d6e357d3a799fc2507ae0c4f33e53bba0 and
* 0e89ab238b14d257f9f901a36a9b87a7491c1ea9

* Build on travis with Java 11
* Update maven-javadoc-plugin
* Drop `<javadocVersion>` from maven-javadoc-plugin configuration
* Replace `<tt>` tags with `<code>`, since the former is no longer supported
* Add `<caption>` for tables (weird Java 11 javadoc requirement)
* Remove unnecessary suppressions with EasyMock updates
* Make ShellServerIT.classpath test handle output under Java 11
* Convert dubious DynamicThreadPoolsIT from an IT to a unit test
  (TabletServerResourceManagerDynamicCompactionPoolTest)
* Give SimpleGarbageCollector 16MB of memory instead of 10MB for its
  gcLotsOfCandidatesIT test, so it doesn't crash under Java 11 before the
  test runs (Java 11 needs slightly more base memory, it appears)
* Fix proxy tests in Java 11 by updating resource loading to be based
  on containing class
* Update compiler compliance settings in Eclipse, in the m2e profile
* Use newer version of minikdc for Kerberos testing

Improve busy tracker handling of reloaded tablets (#1296)

Fix spotbugs when building on Java 11

Also remove NOOP `@Deprecated` tag that does nothing on package elements
(which now generates a warning in JDK9 and later)

Merge pull request #1291 from keith-turner/accumulo-1187

Improved logging of busiest tablets.

Now the deltas of tablets ingest and query counts are used for computing
the busiest N tablets. The previous code used the absolute counts.
Restructured code that so that it is unit testable and found a few bugs
while writing the unit test.  Found the prioQ was not properly tracking
the top N tablets.

Support builds with JDK9 and later

Fix misspelling

Add logging of top tablets to enable better hot spot detection

Limit log size in Travis CI builds

Suppress the downloading messages for maven dependency resolution,
because they result in a very long build log, which causes Travis CI to
fail the build when it exceeds 4MB. These settings will ensure that the
dependency resolver will only show warnings and higher for download
actions.

Update travis-ci configuration

Update formatter-maven-plugin

Update formatter plugin to 2.10.0; resolves a reproducibility issue
where earlier versions would grab transitive dependencies of the plugin
from a range of versions, making the formatter potentially change the
way it formats between two different executions.

fixed time calculation to use nano delta (#1184)

* fixed time calculation to use nano delta

* changed the nanoTime usage in this file to be consistent

Fix xml namespace declarations in pom.xml files

* Fix root pom.xml xmlns:xsi namespace (must be http, not https)
* Update all schemaLocation values for xsi to consistently use current
  canonical location

Ensures correct use of ZooKeeper getAcl (#1185)

This fixes a bug in Accumulo where we were using an unauthenticated
ZooKeeper session to read ACLs on a node that we had previously written.

ZooKeeper 3.4.14 fixed a bug in their code that allowed unauthenticated
connections to read ACLs on paths for which they did not have READ
permission.

Using Accumulo with that version of ZooKeeper exposed the bug in our
code that passed the incorrect ZooKeeper session when retrieving ACLs.

Avoid multiple threads loading same cache block (#990)

Switch POM project xml attrs from HTTP to HTTPS

Closes #1173

fix #1153 preventing multiple threads working on same bulk file (#1157)

fix #1141 adding checks for extra FATE RPC arguments (#1145)

Apply formatter changes for #496

Fix #496 Update formatter

Update formatter
Remove unnecessary checkstyle rules handled by (or competing with) formatter
Remove unnecessary manual formatting to deal with formatter edge cases

Improve logging for session expired events. (#1108)

When a tserver looses lock, the Session expired message is log for every watcher.
  - reduce current message to trace.
  - add summary logging messages that give number of sessions expired