[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release helix-1.0.1

Remove legacy duplicate metric classes in helix-core (#1147)

As part of ZooKeeper API separation initiative, most metric-related classes were moved to metrics-common module. However, there were some that were left in helix-core for backward-compatibility purposes, but these were causing class conflicts at runtime. This change removes such classes.

Revert "[maven-release-plugin] prepare release helix-1.0.1"

This reverts commit 4231a87ae8bdbe3c71b3ed8ab12853955e5d75b7.

Revert "[maven-release-plugin] prepare for next development iteration"

This reverts commit e60b8c6247352c601b9b5556a72301cd88c6df2c.

Change version to 1.0.0

Fix typo

Enable 1.0.1 docs

Create 1.0.1 web and release note

[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release helix-1.0.1

Enable helix-front for release

Revert "[maven-release-plugin] prepare release helix-1.0.1"

This reverts commit 0a09f9a8b91bfc7137dde0377ea73b31d352ea73.

Revert "[maven-release-plugin] prepare for next development iteration"

This reverts commit e4312f38a7a7d7a2cd2f0ffa079afd6ab2cdc5bc.

[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release helix-1.0.1

Enhance flaky test TestRemoveUserCbHandlerOnPathRemoval (#1104)

TestRemoveUserCbHandlerOnPathRemoval has a flaky assert. Address the assertion in this diff.

Co-authored-by: Kai Sun <ksun@ksun-mn1.linkedin.biz>

Fix leaking Zk path watch and Callbackhandler issue (#1035)

Short term fix #1034. Get rid of dangling CallbackHandlers and its
related current state parent path in Zookeeper. Get rid of leaking
of current state znode path due to async nature of deletion of
current state znode path to installatio of watcher in various
thread in Helix.

Revert "Remove waiting on message deletion if current state is already updated (#1067)"

This reverts commit d6d97c819970d5f6b76d9e3ade441ef8017fdb2f.

Upgrade restlet.jse version

restlet.jse version 2.3.12 contains a security vulnerability fix. Using an older version of this library was causing issues with downloading via certain repositories, so this commit upgrades it.

Add metrics for expired session count (#1101)

Add metrics for expired session count
This change adds a "ExpiredSessionCounter" metrics in ZkClientMonitor.

Remove waiting on message deletion if current state is already updated (#1068)

Remove the waiting logic in message generation phase on message deletion if current state is already updated. This will help increase the rate of P2P message during mastership handoff.

Fix ZkBucketDataAccessor failure due to concurrent modification. (#1107)

Concurrent modification causes two issues.
1. Regular GC task fails due to concurrent list modification and the stale versions are not removed at all.
2. If, by coincident, there is a newer version in the list other then the current version, then because of the modification of the list inside the loop, the final element (the newer version) won't be filtered but being left in the to-be-removed list. Then the GC task removes the most recent version. For example,
  a) Input, current version "2"
  b) Children = [1, 2, 3]
  c) The task avoids checking "2", so the list for loop is: [1, 3]
  d) When checking "1", it is removed from the list. So the list becomes [3]. Then the loop ends, because the first item has already been looped from the for iteration perspective.
  e) The version to be removed is "3"!

This PR fixes the issue by avoiding concurrent modification. Also, it simplifies the logic so as to reduce the pending GC tasks.
The test is also updated accordingly.

Do not ignore the baseline assignment when evaluating in PartitionMovementConstraint. (#1078)

The current implementation of the PartitionMovementConstraint will ignore the baseline assignment completely when the previous best possible assignment has the corresponding record.
Note that since the previous best possible assignment might become invalid, the constraint should refer to the baseline assignment as a secondary option.

This change fixes this issue by prioritizing the baseline and the best possible assignments instead of just ignoring.
This reduces the chance of divergences between the baseline and the best possible assignments. Also, it reduces the possibility of bouncing partition assignments.

Code clean up Topology.java (#1043)

This change did come code refactor work for Topology.java. It extracts the sanity check logic in multiple functions into one single function so it can be used else where as well.

Stabilize TestWorkflowTermination (#1096)

Stabilize TestWorkflowTermination

In this PR, TestWorkflowTermination has been stabilized.
Also, testGetStateModelDef which has not been adjusted
in previous commits is fixed.

Fix the issue that the instance may not be assigned a replica as expected. (#1098)

This is to fix a regression that was introduced by PR #986
The PR tried to prioritize the preference list to avoid unnecessary top state transitions. However, there was a bug in the prioritizing logic and if one participant is skipped due to low priority, it won't be picked up again during the calculating. As a result, this participant won't be assigned with any replica even it is originally in the preference list.
This only happens if the state model has been customized so it is multiple top states and there is an intermediate state with expected count -1 between the top state and the other states.

This fix will ensure the skipped participant being checked again until it gets the assignment.

Stabilize TestTaskThrottling (#1093)

Stabilize TestTaskThrottling

In this PR, the Thread sleeps have been removed from TestTaskThrottling and replaced with TestHelper verify method.

Add monitor to record the abnormal states processing. (#1059)

Example ObjectName of the new monitor MBean: Rebalancer:ClusterName=<clusterName>, EntityName=AbnormalStates.<StateModelDefName>
Attributes,
1. AbnormalStatePartitionCounter: record the total count of the partitions that have been found in abnormal status. Note that if one partition has been found to be abnormal twice, then we will record it twice in this counter as well.
2. RecoveryAttemptCounter: record the total count of successful recovery computation that has been done by the resolver.

Add ExcessiveTopStateResolver to gracefully fix the double-masters situation. (#1037)

Although the rebalancer will fix the additional master eventually, the default operations are arbitrary and it may cause an older master to survive. This may cause serious application logic issues since many applications require the master to have the latest data.
With this state resolver, the rebalancer will change the default behavior to reset all the master replicas so as to ensure the remaining one is the youngest one. Then the double-masters situation is gracefully resolved.

Add Abnormal States Resolver interface and configuration item. (#1028)

The Abnormal States Resolver defines a generic interface to find and recover if the partition has any abnormal current states. For example,
- double masters
- application data out of sync
The interface shall be implemented according to the requirement.

The resolver is applied in the rebalance process according to the corresponding cluster config item. For example,
"ABNORMAL_STATES_RESOLVER_MAP" : {
 "MASTERSLAVE" : "org.apache.helix.api.rebalancer.constraint.MasterSlaveAbnormalStateReslovler"
}
The default behavior without any configuration is not doing any recovery work.

Move serializers to zookeeper-api (#1085)

Some serializer implementations (Chained, ByteArray) were never moved to zookeeper-api. This commit moves them out of helix-core and into zookeeper-api.

Note that this might cause older implementations of Helix applications to no longer build. Since this is an API-level change that simply moves the classes, the user can simply update the package path in the import statements and can make it build again.

Fix NPE for RoutingDataCache.refresh (#1087)

This commit fixes NPE that is thrown in RoutingDataCache.refresh()
method when CUSTOMIZEDVIEW has not being used as an entry of
sourceDataTypeMap.

Fix waitToStop method in TaskDriver (#1083)

Fix waitToStop method in TaskDriver

In this commit, waitToStop has been changed to make sure workflow/queue
is in stopped state.

Implement getStat in ZookeeperAccessor (#1089)

Helix REST doesn't provide a way for users to get the Stat object for a ZNode. This commit enables this with a getStat command. Also, all getData() endpoints embed the stat fields by default.

Fix ReadOnlyWagedRebalancer so that it computes mapping from scratch (#1058)

Previously, ReadOnlyWagedRebalancer would only read from the previously computed best possible mapping and returns it. This commit changes it so that it computes things from scratch - it can read the previously computed best possible mapping but shouldn't just return it without doing any calculation.

Add close method to Helix lock (#1077)

Add a close method to Helix lock interface and current implementation to avoid ZK connection leakage.

Upgrade lodash version to 4.17.12+ for helix-rest (#1081)

There was a security vulnerability found in older versions of lodash. This commit upgrades it to a version containing the fix. For details, see https://snyk.io/blog/snyk-research-team-discovers-severe-prototype-pollution-security-vulnerabilities-affecting-all-versions-of-lodash/

Add delete for PropertyStore in Helix REST (#1079)

This commit adds the delete endpoint for PropertyStore in Helix REST.

Trim non cluster topology related changes in the WAGED rebalancer calculation. (#1065)

Cluster topology fields are considered as the fundamental attributes of the cluster. For example, instance capacity, resource partition count, partition weight, etc.
If the topology related fields are updated, the WAGED rebalancer will trigger the global rebalance process. Otherwise, the rebalancer will only do local (limited) rebalance to avoid unexpected partition movements.
This change introduces HelixProperty Trimmer to filter out the non-topology related fields so the changes in those fields won't trigger the global rebalancing.

Deprecate Raw ZkClient in helix-core (#1070)

We have moved the raw ZkClient to zookeeper-api. As such, we need to deprecate the old one in helix-core. We are leaving the class for backward-compatibility purposes.

Avoid adding JobConfig if queue has reached its capacity limit (#1064)

Avoid adding JobConfig if queue has reached its capacity limit

In this commit, the necessary check has been added in TaskDriver side
to fail creation of JobConfig if the queue has reached its capacity limit.

Add path exists check for customized state (#1033)

Remove stack trace when customized state root does not exist and throws no node exception.
Change logging in Callback handler to be parameterized logging.

Fix rest tests with prefix

Change the error message to be meaningful naming (#1041)

Add more accurate error message for resetPartition  (#1007)

This commit adds more specific messages for failure reason for reserPartion. It also adds a unit test for resetPartition.

Co-authored-by: Xiaoyuan Lu <xialu@xialu-mn1.linkedin.biz>

Fix test testDropInstance (#1053)

Test testDropInstance doesn't assert expected HelixException, so when a live instance is not created, the test still passes. The reason is the test uses a sharedZkClient to create a live instance but fails.

This PR addresses this issue by creating a dedicated zkclient in ZkBaseDataAccessor to create a live instance.

Add PropertyStore write endpoint to Helix REST (#1049)

This commit adds in Helix REST a write endpoint that allows you to either write byte array or a ZNRecord to any path under PropertyStore, which is a directory in cluster metadata in ZK where applications can write custom data.

Clean up lock module dependencies (#1038)

Add getIdealAssignmentForWagedFullAuto in HelixUtil for WAGED rebalancer (#1031)

This commit adds a method, getIdealAssignmentForWagedFullAuto() in HelixUtil that returns to the user the cluster-wide assignment result obtained from running a rebalance using WAGED. The user will be able to use this method to predict how Helix will be rebalancing resources using the WAGED rebalancer.

Fix incorrect name in exception of SharedZkClient (#1024)

There is a typo in the IllegalArgumentException of SharedZkClient which is confusing: DedicatedZkClient should be changed to SharedZkClient.

Fix incorrect exception type and confusing assertion messages (#976)

In TestZNRecordSizeLimit, the assertion message should indicate the data is smaller than 1 MB threshold. HelixException should be ZkMarshallingError because the exception type is changed in ZNRecord serializer.

Remove commented out code in participant manager (#1029)

Fix adding same job multiple times to RuntimeJobDag so parallelJobs config will be honored (#1006)

In this commit, a fix has been implemented to avoid
_readyJobList in RuntimeJobDag to contain multiple
entries of the same job.

The investigation for this fix was motivated by the observation that JobQueues' parallelJobs config wasn't being honored - it was only processing jobs sequentially one by one. This commit fixes this.

Fix conflicting MonitorDomainNames in metrics-common and helix-core (#1023)

There are two MonitorDomainNames classes in modules: helix-core and metrics-common. The one in metrics-common misses a field Rebalancer and would cause RuntimeException error and failure for customers' running if the old class is being used in runtime: java.lang.NoSuchFieldError: Rebalancer.

This commit fixes this issue by updating the class MonitorDomainNames in metrics-common and removing the duplicate one in helix-core

Add timeout for stoppable post request (#1013)

Add timeout for stoppable post request

In this commit, a http timeout has been added for the POST requests
which is mainly used for REST's stoppable check.

Deprecate 1.0.0 release

Fix url link for release note

Add null check in close() of ZkConnectionManager (#1016)

Java objects may not have been fully initialized when their callback/interface methods are called. This adds a null check to ensure that an NPE does not happen.

Update main page

Enforce result check for data accessors batch get calls to prevent partial batch read. (#974)

This will help to ensure the main Helix logic does not calculate based on incomplete input.

Use updaters to update read messages to ZK (#1002)

Use updaters to update messages with READ state to ZK.

Change 0.9.7 release note

Add 0.9.7 to pom

Change release note to 0.9.7

Add 0.9.4, 0.9.5 build

Add 0.9.5 release note

Update SNAPSHOT to 1.0.1

Add 0.9.4 and update main page

Adjust the auto rebalancer state assignment logic to reduce top state transition. (#986)

The old state assignment logic assign the states to selected nodes according to the priority of the current replica state that is on the instance. Moreover, the sorting algorithm is designed to prioritize both current topstate and current secondary states equally. The result is that we will have premature mastership handoff to a current seconardy state host before the real desired master host is ready.
For example,
1. The current states are: [N1:M, N2:S, N3,S]
2. The desired states are: [N4:M, N2:S, N1:S]
3. Due to the sorting logic based on current states, we will have a transient preference list ordered like: [N2, N1, N4]. In which case, the controller will assign master to N2 before N4 has a slave state replica.
4. When N4 finishes the Offline to Slave transition, the same sorting logic will sort the preference list to be: [N4, N2, N1]. Then we have another mastership handoff.
To be clear, we don't want step 3. But only the state transition in step 4.

In this PR, we refactor the sorting logic so that it will only move the master whenever the candidate has a "ready" state replica, in which case, only one mastership handoff happens.

Disable helix-front

Update Ivy file

Add release note for 1.0.0

Revert "Revert "Add async call retry to resolve the transient ZK connection issue. (#970)""

This reverts commit 370e277966f75a7fba45f5b96f7608c127b2905c.

[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release helix-1.0.0

Revert "[maven-release-plugin] prepare release helix-1.0.0"

This reverts commit a71153cfe1e188b0a870a7b113ac3b112cb25a47.

Revert "[maven-release-plugin] prepare for next development iteration"

This reverts commit 0fd189e099389ce8859870212f7539124e0b017f.

Revert "Add async call retry to resolve the transient ZK connection issue. (#970)"

This reverts commit 96ebb27c23004a7a69dc4799b14586ff82d53c9e.

Rearrange zookeeper imports in pom.xml (#995)

This commit makes sure pom.xml is up to date in preparation for the 1.0.X release.

Add async call retry to resolve the transient ZK connection issue. (#970)

If any exceptions happen during the async call, the current design will fail the operation and may eventually return a partial result.
This change makes the ZkClient retry operation if the error is because of a temporary ZK connection issue (CONNECTIONLOSS, SESSIONEXPIRED, SESSIONMOVED).
So the async call has a larger chance to finish the operation. Note that if the exception is due to business logic, the async call will still fail and the right return code will be sent to the callback handler.

[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release helix-1.0.0

Enable helix-front for release

fix version comparison issue in compatibility check stage (#992)

Stabilizing 4 flaky tests (#981)

Four tests has been stabilized in this commit.

These tests are:
1-TestJobFailure
2-TestRebalanceRunningTask
3-TestTaskRebalancerStopResume
4-TestTaskSchedulingTwoCurrentStates

TestJobFailure was unstable because we get ExternalView of a resources and if the ExternalView is not populated yet by the controller, we hit NullPointerException.

TestRebalanceRunningTask was unstable. In this PR, we make sure that the master is existed in two different nodes (master is switched to new instance) and then we check the assigned participants.

TestRebalanceStopAndResume was unstable because of Thread.Sleep usage. Instead of stopping the workflow after some time, we first make sure that workflow and job is IN_PROGRESS and then stop the workflow.

TestTaskSchedulingTwoCurrent has been stabilized by making sure that master has been switched to new instance after modifying IS. After that we make sure that task is assigned to the correct instance and make sure it does not switched to new instance and cancel is not being called incorrectly.

Add 1.0.0 release folder and release notes

Fix failed tests in helix-rest (#966)

In tests: TestZkRoutingDataWriter and TestZkRoutingDataReader, the zkClient is trying to read/write ZNRecords, however, zkClient's serializer is not a ZNRecordSerializer but a BasicZkSerializer. So when read/write a ZNRecord, a ZkMarshallingError is thrown and causes the tests failed.

Improve logging for isClusterSetup (#968)

If isClusterSetup fails, we don't get the errorMsg. This PR improves that behavior by making it a warn log.

Change DistributedLock interface APIs (#961)

Change DistributedLock interface API names to follow Java convention

Rename interface HelixLock to DistributedLock

Remove dependency of LockInfo on HelixProperty

Clean up code

Created LockScope interface

refactor LockInfo and some updates on the HelixLockScope

Added cluster level to HelixLockScope and convert lock path to uppercase

simplified acquireLock logic

Fixed lock path generation

Changed method doc for releaseLock in HelixLock interface

A few fixes on syntax