[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release helix-1.0.3

Change apache source url

enable helix-front

Implement DefaultCloudEventCallbackImpl (#1995)

Implement a default callback implementation for Helix cloud event listeners.

Fix TestCloudEventCallbackProperty by bypassing connecting to zk (#2017)

Due to logical change in ZKHelixManager constructor in a #1986, TestCloudEventCallbackProperty broke because in this test it doesn't connect to zookeeper server.
To fix this test, we separated MockCloudEventAwareHelixManager （previously called MockEventAwareZKHelixManager, nested inside TestCloudEventCallbackProperty）into a class, and include all and only the logics related to cloud events in MockCloudEventAwareHelixManager. More detailed, we mock a cloud config object retrieved from zk to bypass connection to zk.

Enable HelixManager as an event listener (#1978)

Make helix manager cloud event aware by registering a cloud event listener when connect Helix manager

Add event handler and event listener interface (#1976)

This commit creates a skeleton for event handling framework and adds the following classes:
CloudEventListener interface
CloudEventHandler class
CloudEventHandlerFactory class

Improve ZkClientMonitor and ZkClientPathMonitor performance (#2021)

Previously, regex matches were used, which was inefficient. This commit does this following:
Replace String#matches with more efficient String#contains in ZkClientPathMonitor
Refactor record* methods in ZkClientMonitor to avoid repetition and simplify matching logic

add type and reason to cluster config (#2006)

Add type and reason for batch disable/enable instance

Refactor config string processing logic into a util class (#2015)

Refactor config string processing logic into a util class

Fix TestDropResourceMetricsReset (#2011)

Add a temp workaround by manually triggering a CurrentStageChange event for ExternalViewStage computation so that resource monitor can be cleaned up in unit test.

Populate helix cloud property using cloud config (#2005)

Currently when instantiating a zk helix manager, we retrieve cloud config from zk and replace entire HelixCloudProperty object, which may cause some fields that user pass in in HelixCloudProperty that are not included in cloud config get missing. This commit changes the logic to only populate fields in HelixCloudProperty with values that are present in cloud config, and leave other fields unchanged.

Fix web build and deployment Issue (#2014)

fix Broken Logic in perPartitionHealthCheck (#2012)

fix Broken Logic in perPartitionHealthCheck

fix repoducible builds issue (#2013)

Update 0.9.9 to be replaced by 0.9.10

add new error message for customized partition check host connection error  (#1984)

Add new error message for customized partition check host connection error

auto Exit MM for auto EMM test (#2003)

Add instance disable reason  (#1993) (#2004)

Add instance disable reason

Implement deactivate rest API (#1988)

Implement deactivate REST API
Added a new REST API for deactivating cluster from supercluster.

Read cloud config from zk and propagate to HelixManagerProperty in ZkHelixManager constructor (#1986)

Read cloud config from zk and propagate to HelixManagerProperty in ZkHelixManager constructor.

Add Authorization Components to helix-rest (#1967) (#1981)

* Add Authorization Components to helix-rest

* Address some comments

Use ZooKeeper 3.5.9 in zookeeper-api instead (#1977)

With the upgrade of apache zookeeper version, snappy-java was missing in the dependency. This commit adds snappy-java and removes unused imports in osgi declaration. Also, using ZooKeeper 3.5.9 in zookeeper-api instead because 3.6.0+ causes some tests to fail in zookeeper-api.

Add 3 Zookeeper CreateMode types to AccessOption (#1975)

This commit adds the 3 missing CreateMode types to AccessOption
class in helix-core: CONTAINER, PERSISTENT_WITH_TTL, and
PERSISTENT_SEQUENTIAL_WITH_TTL.

Upgrading Zookeeper version to 3.6.13 to enable zk client SSL/TLS

Upgrading Zookeeper version to 3.6.13 to enable zk client SSL/TLS support

[HELIX-862] s/maintainence/maintenance docs fix (#1968)

Add rest endpoint for virtual topology group (#1958)

Implement java API and utils for virtual topology group (#1935)

Add comment to VirtualTopologyGroupService.

Introduce VirtualTopologyGroup and its assignment logic with benchmark. (#1948)

* Cleanup unused assignment schemes and minor change.

* Further refactor and code cleanup.

Fix #1946 -- Refactor and move ClusterTopologyConfig

Move ClusterTopologyConfig from nested to a standalone class in helix/model and to be used by virtual topology group logic.

Use final remaining capacity when computing weighted score (#1961)

WAGED improvement: Use final remaining capacity when computing weighted score

Remove WAGED sorting for each assignment (#1959)

Improve WAGED sorting from n^2 to n*log(n)

remove log before write error message to ZNode (#1955)

Remove message logging before writing ZNode.

Fixes #1802 - messages intended for instances that are no longer in the cluster (#1951)

In MessageGenerationPhase.java, - process() method populates the list of live instances from cache.

But while generateMessage() method has the sessionIdMap information, it still goes through partition/resource/instance map without checking if instance is still part of the cluster or not.

It is possible that cache has stale entry but that logic needs to be worked separately. But while generating message, we should check if the instance is still there.

So this is a simple change. We need to still look further if cache is getting invalidated properly.

To make sure that the cache properly is handled/refreshed under instance being replaced or deletion - have filled another bug: #1956

Let logging framework format exception stack traces (#1954)

Where possible, logging calls are changed so that logging framework handles exception formatting instead of stack trace being manually formatted using Throwable#getStackTrace

Add new metrics to record ZNRecord compression count. (#1943)

This PR determines if a ZK write request is compressed by calling GZipCompressionUtil. This is an indirect method and can be inaccurate. So the decision is based on trade-offs.

Alternatively, the ZkClientMonitor can be passed into the serializer class and then report compressed write internally. However, this will require multiple changes in the serializer interfaces.
Due to the multiple layers (PathBasedZkSerializer, ZkSerializer) of serializer interfaces definition, it would be very costly to implement the alternative without major refactoring.

Fix for - Stale message redundant logs

Avoid printing redundant log messages for unrelated partitions and resources.

Fix Issue#1941 - Incorrect condition caused not to log error message

Properly populate the error log messages for partitions and resource names whose replica status is in ERROR state.

Fix CVE dependency issue (#1927)

Remove dependency to an old Jackson v1 library (org.codehaus.jackson:jackson-mapper-asl) affected by the critical vulnerability: CVE-2019-17267 (#1934)

Fix race condition in scheduler message processing logic. (#1930)

This PR aims to fix the race condition that happens during processing scheduler messages. The previous logic which dynamically delete task partitions in the scheduler message IdealState may cause conflicts and results in inconsistent message status update. Since updating the task partitions is not a necessary step, this PR removes the corresponding logic and simplify the message handling procedure.

This PR will help to stablize TestSchedulerMessage.java.

Daemonize ZkBucketDataAccessor GC_THREAD (#1936)

GC_THREAD (which is actually an ExecutorService, not Thread) is a static field in ZkBucketDataAccessor. The executor is started when ZkBucketDataAccessor class is initialized but it is never shut down. Since ExecutorService threads are generally not daemon threads, not shutting down GC_THREAD prevents JVM from shutting down cleanly.

This commit makes ZkBucketDataAccessor GC_THREAD a daemon thread so it doesn't prevent application shutdown.

Upgrade Log4j to 2.16.0 to address CVE-2021-44228 (#1922)

* HELIX-1921: Upgrade Log4j to 2.16.0 to address CVE-2021-44228
- Upgrade SLF4J API version from 1.7.25 to 1.7.32 (latest)
- Remove use of slf4j-log4j12 package
- Add use of log4j-slf4j-impl package
- Remove unused custom log appender class
- Change direct Log4J reference to SLF4J
- Add -Dlog4j2.formatMsgNoLookups flag to scripts.
- Rename properties files to log4j2.properties and change CLI parameter to log4j2.configurationFile for Log4j2's precedence behavior
- Change properties files to use log4j2 syntax
- Add -Dlog4j2.configurationFile=file://"$BASEDIR"/conf/log4j2.properties to CLIs that were missing it

Improve helix tutorial and code formatting (#1931) (#1932)

Improve helix tutorial and code formatting

Avoid NPE when getting property store through Helix-rest API. (#1929)

This PR aims to fix the ambiguous error return message when user request to get an empty ZK node through the Helix-rest property store access API.
This PR changes the server behavior to response NO_CONTENT instead of internal_server_error in the scenarios described above.

Declare dependency to Zookeeper in zookeeper-api-*.ivy (#1926)

Adds dependency to Zookeeper in the ivy file in zookeeper-api module.

Fix a string operation for custom health check and update test (#1924)

Add take/free instance implementation and test (#1918)

* take & free single instance impl

Make theadpool shutdown timeout configurable for the HelixTaskExecutor. (#1920)

Add TestHelixTaskExecutor.testHandlerResetTimeout() to cover the new changes.
Also refactoring the related code to reduce duplicate and confusing code.

Implement RestSnapShot and substitute the kv maps in HelixDataAccessorWrapper to a RestSnapShot object (#1913)

* implement RestSnapShot and substitute the kv maps in HelixDataAccessorWrapper with RestSnapShot object

Add rest API for take/free instance (#1917)

* add rest API for take/free instance

refactor instanceService to clusterMaintenanceService (#1912)

Fix No Instance Level Throttling (#1908)

Instance level throttling quota never charged. Add the charging logic and tests.

Split BatchGetInstancesStoppableChecks (#1902)

Split BatchGetInstancesStoppableChecks into 2 private util functions.

Add 0.9.9 to menu bar

Missing end quote

Fix site.xml head/footer

Remove 0.9.7 doc folder

Remove 0.9.1, 0.9.4, 0.9.7, 1.0.0 docs to keep only latest 2 releases doc

Remove 0.8 series doc

upgrade maven-site-plugin: fix site.xml head/footer (#1910)

update parent and site plugin (#1909)

Add additional note for release

fix input issue for stoppable rest API (#1905)

Add 0.9.9 release notes

add take/free instance(s) API (#1899)

Create Cluster Maintenance Management service and add API signature and interfaces

Add additional ZK serializer configuration to active ZNRecord compression even the node size is smaller than write size limit.

The property zk.serializer.znrecord.auto-compress.threshold.bytes defines a threshold of ZNRecord size in bytes that the ZK serializer starts to auto compress the ZNRecord for write requests if it's size exceeds the threshold.
If the threshold is not configured or exceed ZKRecord write size limit, default value zk.serializer.znrecord.write.size.limit.bytes (if configured) or 1MB (if no configuration) will be applied.

Fix log format in instanceValidationUtil (#1894)

* fix log format in instanceValidationUtil

Fix test failure TestInstancesAccessor (#1881)

Fix inconsistent behavior beween batch stoppable and single stoppable API (#1879)

Fix TestClusterAggregateMetrics (#1842)

Fix TestClusterAggregateMetrics

Improve Purge Offline Instances API (#1870)

This commit improves the API such that it will also purge any incomplete instance data, such as instance path without InstanceConfig or ParticipantHistory.

Fix adding a task to a job after deleting old tasks (#1875)

In this commit, the issue of dynamically adding a task to a job
in which some of its tasks have been deleted before is being
addressed.

Fix flaky test testClusterFreezeMode (#1871)

The test fails randomly. Root cause is the test used a random cluster from the clusters set which has super clusters and task cluster, so the cluster could be a task cluster and then the test fails. Freeze mode does not apply to task framework.

This commit fixes it by changing the test cluster name with a fixed name TestClusters_0.

Fix error partition blocks load rebalance (#1867)

There are three things fixed:
1. State priority is higher priority with smaller number.
2. When only downward is allowed, any non downward STs must be removed from message and throttled.
3. Even for downward STs should be respect to the throttling as backward compatible behavior.
4. Fix test for TestErrorReplicaPersist

Change our release voting process

Acked from our Apache Helix VP, we will count committers' vote as binding vote for release.

Add input validation for getJobContext (#1864)

* add validation for getJobContext

Fix a potential race condition in MBean unregister logic.

The unregister method should relies on the MBeanServer class to validate if the target MBean has been unregistered or not to avoid race condition.

Upgrade mockito lib version to avoid test case failure due to mock mechanism legacy issues.

Improve TestControllerLeadershipChange test logic to tolerate longer delay when test runs. (#1853)

Change the assert condition to consider real test script execute delay to avoid test failure due to slow test runs.

Remove unpublished 0.9.9

Remove archived 0.6 & 0.7 version docs

Update Menu Bar

Fix management mode history duplicate recording (#1846)

The management mode history has duplicate entries. It does not impact the normal function, but it's good to get it fixed to avoid confusion. This commit fixes the issue by adding a check for the status in metadata store and the calculated status.

Revert "Improve TestControllerLeadershipChange test logic to tolerate longer delay when test runs. (#1853)" (#1860)

This reverts commit a570d0566c42942b6154cb84a3d44f864fde37f0.

Improve TestControllerLeadershipChange test logic to tolerate longer delay when test runs. (#1853)

Change the assert condition to consider real test script execute delay to avoid test failure due to slow test runs.

Throw exception when query partition assignment in Maintenance mode (#1855)

Throw exception for partitionAssignment when cluster in Maintenance mode.

Disable delayed rebalance as default for partitionAssignment (#1852)

Disable delayed rebalance as default for partitionAssignment.

Use activate/DeactivateInstances as keyword in PartitionAssignment API (#1850)

Use activate/DeactivateInstances as keyword in PartitionAssignment API.

Add stop server wait time to be 10 seconds in MockMetadataStoreDirectoryServer to avoid test failure. (#1848)

This change aims to reduce the unexpected test failure due to http endpoint in use. The additional timeout shall help the test terminate server instances gracefully.

Check server field state before shutdown to avoid NPE in MockMetadataStoreDirectoryServer. (#1847)

Check server field state before shutdown to avoid NPE in MockMetadataStoreDirectoryServer.

Remove duplicated notice content

Update Lisence and Notice

Add TF Available Threads Metrics (#1834)

Add metrics about Task Framework available threads in the cluster per job type.

Fix test logic for testExternalViewDiffFromTargetExternalView (#1835)

Stabilize TestInstancesAccessor (#1828)

TestInstancesAccessor is unstable because the cluster might not be
stable while the test runs the stoppable check and cluster config and
instance config can be missing. In this commit, the test waits until the
cluster config and instance config get created and then proceeds for
the stoppable checks.

Fix the JavaDoc about transition priority. (#1831)

Fix the JavaDoc about transition priority.
In addition, update several old code style for simplicity.

Fix TestZkConnectionLost (#1824)

Fix TestZkConnectionLost by adding longer connection timeout and fixing logic that are incorrect.

Co-authored-by: Neal Sun <nesun@nesun-mn1.linkedin.biz>

Add response metadata to response header for partitionAssignment (#1797)

Add response metadata to response header for partitionAssignment.