Preparing hbase-operator-tools release 1.0.0RC1; tagging and updates to CHANGES.md and RELEASENOTES.md

HBASE-23057 Add commons-lang3 dependency to HBCK2 (#37)

Signed-off-by: Wellington Chevreuil <wchevreuil@apache.org>

HBASE-23039 HBCK2 bypass -r command does not work

Preparing development version 1.0.0-SNAPSHOT

Preparing hbase-operator-tools release 1.0.0RC0; tagging and updates to CHANGES.md and RELEASENOTES.md

HBASE-23033 Do not run git-commit-id-plugin when .git is missing (#36)

Signed-off-by: Michael Stack <stack@apache.org>

Preparing development version 1.0.0-SNAPSHOT

Preparing hbase-operator-tools release 1.0.0RC0; tagging and updates to CHANGES.md and RELEASENOTES.md

HBASE-23029 Handle hbase-operator-tools releasenotes in release making script (#35)

Remove duplicated entries from currently available RELEASENOTES.md

Signed-off-by: Balazs Meszaros <meszibalu@apache.org>

HBASE-23026 docker run command should not quote JAVA_VOL (#34)

Signed-off-by: Balazs Meszaros <meszibalu@apache.org>

HBASE-23025 Do not quote GPG command (#33)

Signed-off-by: Sean Busbey <busbey@apache.org>

HBASE-23021 [hbase-operator-tools] README edits in prep for release

Main changes:

 * Underline how hbck1 differs from hbck2 and hbck2 philosophy.
 * Make entry and section transitions ore palatable.
 * Try to talk up repair process. Explain fix hbase:meta first and then
 everything else. Bulk up general rules.

HBASE-23003 [HBCK2/hbase-operator-tools] Release-making scripts

Signed-off-by: Peter Somogyi <psomogyi@apache.org>

HBASE-23002 [HBCK2/hbase-operator-tools] Create an assembly that builds an hbase-operator-tools tgz (#30)

Add an hbase-assembly that is just for creating assemblies.
Also changed groupid from org.apache.hbase to
org.apache.hbase.operator.tools so lands into a different area in
repository -- less crowded, easier to differentiate from core
hbase.

Creates a bin assembly (src is made elsewhere in release script).
Adds a first-cut at RELEASENOTES and CHANGES (release script will
fix up what is here based off what is in JIRA to make it suit
the 1.0.0RC0)

Signed-off-by: Peter Somogyi <psomogyi@apache.org>

HBASE-23018 - [HBCK2] Add useful messages when report/fixing missing regions in meta (#31)

Signed-off-by: Michael Stack <stack@apache.org>

HBASE-22999 Fix non-varargs compile warnings (#27)

Signed-off-by: Peter Somogyi <psomogyi@apache.org>

HBASE-22997 Move to SLF4J (#25)

Signed-off-by: Michael Stack <stack@apache.org>

HBASE-22998 Fix NOTICE and LICENSE (#26)

Signed-off-by: Sean Busbey <busbey@apache.org>

HBASE-22567 [HBCK2] Add new methods for dealing with missing regions in META while Master is online

Signed-off-by: stack <stack@apache.org>

HBASE-22984 [HBCK2] HBCKMetaTableAccessor.deleteFromMetaTable throwing java.lang.UnsupportedOperationException at runtime (#24)

Signed-off-by: Sean Busbey <busbey@apache.org>

HBASE-22825 addendum Fix invalid function call (from usage to showErrorMessage) (#23)

Signed-off-by: Sean Busbey <busbey@apache.org>

HBASE-22859 [HBCK2] Fix the orphan regions on filesystem

An edit to remove --internal-classpath recommendation (it doesn't
work) and to point at the new doc on how to fix orphan regions
using the bulkloadcomplet tool over in the refguide.

HBASE-22825 [HBCK2] Add a client-side to hbase-operator-tools that can exploit fixMeta added in server side Fix review comments - Put FixMeta alphabetically Signed-off-by: Sean Busbey <busbey@apache.org> Signed-off-by: stack <stack@apache.org>

HBASE-22951 [HBCK2] hbase hbck throws IOE "No FileSystem for scheme: hdfs" (#22)

Add note on how to add hdfs jars when running filesystem command.
Make note of new 'HBCK Report'. Did general edit.

HBASE-22952 HBCK2 replication command is incompatible with 2.0.x (#20)

Signed-off-by: Michael Stack <stack@apache.org>

HBASE-22957 [HBCK2] reference file check fails if compiled with old v… (#21)

* HBASE-22957 [HBCK2] reference file check fails if compiled with old version but check against new

Move local methods from FSUtils that are used only by hbck1 AND
whose signature was changed in hbase2 minor versions causing
breakage if compiled w/ old version and run w/ a newer hbase
(or vice versa).

* Fix checkstyle complaint

HBASE-22949 [HBCK2] Add lang3 as explicit dependency (#19)

HBASE-22906 Clean up checkstyle complaints in hbase-operator-tools (#17)

Signed-off-by: Jan Hentschel <jan.hentschel@ultratendency.com>

HBASE-22691 Moved Checkstyle suppression file to a different location

Signed-off-by: Sean Busbey <busbey@apache.org>

HBASE-22865 [HBCK2] shows the whole help/usage message after the error message (#15)

Signed-off-by: Sean Busbey <busbey@apache.org>

HBASE-22843 [HBCK2] Add HBCKMetaTableAccessor for hbck2

- A fix after HBASE-22777 & HBASE-22758

Signed-off-by: Stack <stack@apache.org>

HBASE-22717 [HBCK2] Expose replication fixes from hbck1 (#13)

* HBASE-22717 [HBCK2] Expose replication fixes from hbck1

Finds undeleted queues and replication barriers. Removes
them if --fix is passed.

HBASE-22713 [HBCK2] Add hdfs integrity report to 'filesystem' command (#12)

Add check of hdfs 'integrity'. Produces report.

Fix a bug where we'd not run filesystem command.

Cleanup filesystem output to be more explicit
about what it does.

HBASE-21322 Add a scheduleServerCrashProcedure() API to HbckService (#11)

* HBASE-21322 Add a scheduleServerCrashProcedure() API to HbckService

Adds server version check so we fail fast and complain if remote
server does not support feature.

Refactor so we test server version before we use feature/command.

Named feature scheduleRecoveries

Add a new Version class that has Version math and check in it.

Signed-off-by: Wellington Chevreuil <wchevreuil@apache.org>
Signed-off-by: Guanghao Zhang <zghao@apache.org>

HBASE-22688 [HBCK2] Add filesystem fixup to hbck2 (#10)

* HBASE-22688 [HBCK2] Add filesystem fixup to hbck2

Adds a general filesystem check command to the HBCK2 list.
Runs just the offline filesystem checks from the old hbck1
HBaseFsck tool. Checks hfile validity, if references and
hfile links are wholesome, and whether the hbase.version
file is present. Pass '--fix' to do fixup.

Depends on hbck1 HBaseFsck being present in hbck2
(HBASE-22680 adds it so this could go in after it)

Does NOT do regiondir or tabledir fixup or fixing of
orphans in hdfs or plugging holes in hdfs.

A hbase-hbck2/src/main/java/org/apache/hbase/FileSystemFsck.java
 Adds a file to handle filesystem fsck checking and fixing.

M hbase-hbck2/src/main/java/org/apache/hbase/hbck1/HFileCorruptionChecker.java
 Formatting fixes and filling out the MOB report so like the hfile
 report.

Signed-off-by: Sean Busbey <busbey@apache.org>
* Fix checkstyle

* More checkstyle fixes

HBASE-22680 [HBCK2] OfflineMetaRepair for hbase2/hbck2 (#6)

This commit checks-in hbck1 code with modifications under
a new package. Changes included here allow rebuild of meta
from filesystem meta data so the rebuilt hbase:meta works
for hbase2. This facility is exposed via the OfflineMetaRepair
tool with rebuild receipe outlined in the README documentation.
More of hbck1 to be exposed (or removed) in future commits to
address list of wants in parent issue HBASE-21745.

M README.md
 Updated usage. Edit of aspects. Added section on end on how
 to rebuild meta offline.

M pom.xml
 Use hbase testing utility code instead of repro in
 hbck as hbck1 used to do.

M hbase-hbck2/src/main/java/org/apache/hbase/HBCK2.java
 Updated the usage.

A hbase-hbck2/src/main/java/org/apache/hbase/hbck1/HBaseFsck.java
 Remove main from hbck1 fsck so HBaseFsck not directly accessible.
A hbase-hbck2/src/main/java/org/apache/hbase/hbck1/HBaseFsckRepair.java
 Copied from hbck1 and updated to work against hbase2.
 Most goes unused. Subsequent commits will amend/expose/purge
 this class. For now the rebuild meta function is all that is
 used. Some new code added to make it work with hbase2.
 Some code removed and hbasetestingutility equivalents used
 instead.

A hbase-hbck2/src/main/java/org/apache/hbase/hbck1/HFileCorruptionChecker.java
A hbase-hbck2/src/main/java/org/apache/hbase/hbck1/ReplicationChecker.java
A hbase-hbck2/src/main/java/org/apache/hbase/hbck1/TableIntegrityErrorHandler.java
A hbase-hbck2/src/main/java/org/apache/hbase/hbck1/TableIntegrityErrorHandlerImpl.java
 Unmodified except for repackaging.

A hbase-hbck2/src/main/java/org/apache/hbase/hbck1/OfflineMetaRepair.java
 Tool that exposes meta fixup. Some cleanup from original.

Signed-off-by: Wellington Chevreuil <wchevreuil@apache.org>

HBASE-22675 Use the commons-cli from hbase-thirdparty

Should work with any hbase-thirdparty >=2.1.0 and increases
compatibility scope for HBCK2 to more HBase releases.

Closes #4

Signed-off-by: Sean Busbey <busbey@apache.org>
Signed-off-by: stack <stack@apache.org>

HBASE-22687 Added HBase Checkstyle configuration to the project

Signed-off-by: stack <stack@apache.org>

HBASE-22674 precommit docker image installs JRE over JDK (#7)

* remove findbugs because it pulls in a JRE
* remove bats because we don't use it.

HBASE-22183 [hbck2] Update hbck2 README to explain new setRegionState method.

HBASE-21763 [HBCK2] hbck2 options does not work and throws exceptions

Signed-off-by: Wellington Chevreuil <wellington.chevreuil@gmail.com>
Signed-off-by: Sean Busbey <busbey@apache.org>

HBASE-22143 - HBCK2 setRegionState command

Signed-off-by: Josh Elser <elserj@apache.org>

HBASE-21433 Add Apache Yetus integration for hbase-operator-tools repository

HBASE-21484 [hbck2] hbck2 should default to a released hbase version

HBASE-21483 [hbck2] version string checking should look for exactly the version we know doesn't work

HBASE-21378 [hbck2] checkHBCKSupport blocks assigning hbase:meta or hbase:namespace when master is not initialized

Fix formatting error.

Add a building section.

Removed docs dirs. Don't seem to work in spite of INFRA-17171.

Playing w/ docs dir

HBASE-21353 TestHBCKCommandLineParsing#testCommandWithOptions
hangs on call to HBCK2#checkHBCKSupport

Formatting

Formatting

Formatting

More doc on fixing

More playing w/ gh-pages

Playing w/ gh-pages

Fix URLs; had wrong format

Add first cut at doc for hbck2

HBASE-21335 Change the default wait time of HBCK2 tool

Signed-off-by: Michael Stack <stack@apache.org>

HBASE-21317 [hbck2] Add version, version handling, and
misc override to assigns/unassigns

M hbase-hbck2/pom.xml
 Add handling of a hbck.properties file that gets bundle
 up in the jar. During build, interpolation adds version
 and git info via git-commit-id-plugin and filtering.

M hbase-hbck2/src/main/java/org/apache/hbase/HBCK2.java
 Add version emission. Add fail when we go against an hbase
 that does not support hbck2.

 Add assigns/unassigns override. Change 'force' on bypass
 to match. Add a recursive to bypass so if passed a parent
 it will find children and bypass them.

HBASE-21210 Add bypassProcedure() API to HBCK2

Amendment 2: Move where setTableState is listed in usage output.
Keep it alphabetical.

HBASE-21210 Add bypassProcedure() API to HBCK2

Addendum. Fix parse errors.

HBASE-21210 Add bypassProcedure() API to HBCK2

Adds a 'bypass' command that takes --force and
--waitTime options. First command that itself
has options.

Add assigns/unassigns operations. Add tests.

Add assigns/unassigns commands.

Tests are disabled for the moment while figure issue with shaded client.

Fill out setTableStatus. Works against local cluster at least. Edit on poms

Front the hbck1 naming

Fix URL to subproject HBCK2

Add A.K.A hbck1 to hbck mention.

Add pointer down to hbck2 sub-project. Add license and readme to hbck2

Add an HBCK2 tool. Add command-line processing for the one
call that is available in Hbck Service Interface currently.
More to come.

First push: LICENSE, README, hbase-hbck2 module