[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release helix-0.6.8

[HELIX-660]Configurable operation timeout for Helix ZKClient.

Minor tests stablizing

Modify test sleeping time for stablizing tests.

[HELIX-657] Fix unexpected idealstate overwrite when persist assignment is on.

1. Change persist method from set to update in PersistAssignmentStage.
The new updater only overwrites map and list fields that the controller will update during PersistAssignmentStage.
All the other updates from other sources that are made during controller read and write will be kept, as long as those fields are not purposely updated by the controller.
If current node does not exist, new updater return null.
2. Update accessors who relies on updater to check new data before applying the change. If the returned new data is null, should skip updating or creating.

Also, add a test case for PersistAssignmentStage to cover the change.

Allow user to enable persisting preference list and best possible state map into IdealState in full-auto mode.

Add support of setting/updating Cluster/Resource/Instance configs in ConfigAccessor.

Test fixes for release

Minor improvement for batch message test

Fix TestClusterVerifier

Full-Auto verifier requires BestPossibleState to be persisted but this
change hasn’t been synced into the code base from LinkedIn Helix yet.
Patch an ad-hoc fix for TestClusterVerifier, in order to publish new
release quickly. This verifier will be synced with LinkedIn Helix later.

Revert "[maven-release-plugin] prepare release helix-0.6.8"

This reverts commit ebad4c310414c7cc7b331fb662ac94c97bf02398.

Revert "[maven-release-plugin] prepare for next development iteration"

This reverts commit 90781bc64bc6078bb0cf552aa1d9016392be4fb0.

[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release helix-0.6.8

Make map in NotificationContext synchronized

One issue we observed is that when batch messages enabled, it will have NPE in ZNRecord merge record.
Race condition could be the root cause. The only place can have race condition is the current state update map in NotificationContext, which is passed as input for multiple sub tasks in BatchMessageHandler.

[Helix-656] Support customize batch state transition thread pool

To better support batch message handling, we shall make batch state transition thread pool configurable.

[HELIX-631] Fix AutoRebalanceStrategy replica not assigned

In our current AutoRebalanceStrategy, Helix uses greedy algorithm to assign replicas. With the constraint that two replicas from same partition should not assigned to same node and nodes' capacity calculated by evenly distributed. Thus there may some replicas are not assigned.

With this fix, Helix will try to force assign the orphaned replicas to the node with minimum overload. This may cause imbalanced assignment.

Bump to JDK 1.7.

Expose Callbacks that can let async operation of ZkClient function

Current async related operation in ZkClient cannot be utilized as the input arguments are the Callbacks hidden in ZkAsyncCallbacks class.

Add test for testing submessage fail but update status.

Add Test for Batch Message ThreadPool

Update ivy files with new version name.

Creating a separate threadpool to handle batchMessages

Minor fix on the asynchronous group callbacks.

Make more user friendly API change

Current API provide a map that returns resource to disabled partitions that combined in one String. Change to return a map that returns resource to list of disabled partitions.

Auto compress ZNode that are greater than 1MB

Adding support to batch ZK callback optionally by setting sys var asyncBatchModeEnabled=true

Add deprecated clusterStateVerifiers classes back to their original packages for back-compatiblilty, marked them all as deprecated.

Add PropertyPathConfig back to code-base for API dependency backcompatible, will remove the class in next major release.

Add back old getInstanceEnabledForPartition function

Add back old getInstanceEnabledForPartition to make backward compatible.

Test base refactoring and add new synchronize tests

Due to heavy asynchronized tests running in Helix, current tests are running slow. Thus introduce these new synchronized tests to improve the test efficiency.
1. Split out TaskSynchronizedTestBase.
2. Add synchronized test for delay jobs.

Add methods for creating WorkflowContext and JobContext for integration test

Add methods for creating WorkflowContext and JobContext for integration test

Ignore instances with no instance configuration

Ignore instances with no instance configuration when fetching the list
of instances that have a specific tag.

The deletion order in ZKHelixAdmin#dropInstance deletes the instance
configuration before deleting the instance itself. If this is
interrupted midway, the instance configuration is deleted but the
instance is present in the list of instances.

When fetching the list of instances with a given tag, this means that
if an instance has its configuration missing, the instance
configuration will be null and the loop will exit with NPE. This patch
adds a null check to avoid aborting the loop.

Support cancel tasks with synchronized check task status

Currently, in Helix, cancel and stop a job does not check subtasks status. In this rb:
1. Add new API to support sync stopping a workflow/queue
2. Controller side check subtasks are stopped before mark job status.

Fix ResourceConfig validation

Fix validation of resource config for RebalanceConfig check

Fix the java 8 issue.

[HELIX-653] Fix enable/disable partition in instances for resource specific

Helix currently enable/disable partition in instances across all the resources if partition is same. Fix it with resource associated partition enable/disable.

Fix build for package changed

Verifier package has been changed and compile failed.

Import EvaluateCriteria change from master branch

Import partial of code change of:
https://github.com/apache/helix/commit/2a2908ac3d536cf3595bb2eb23d49c8153c51d5e

Added new DataSource values LIVEINSTANCES and INSTANCES and made CriteriaEvaluator support them

Avoid moving partitions unnecessarily when auto-rebalancing using default AutoRebalanceStrategy.

Fix bug in AutoRebalanceStrategy to try to assign orphan replicas to its preferred nodes instead of random nodes.`

Fix a bug in BestPossibleExternalViewVerifier.

Move all options from IdealState to ResourceConfig, add Bulder for building ResourceConfig, and a new RebalanceConfig to hold all rebalance options for a resource.

Persist controller leader change history with timestamp for each leader controller.

Persist the timestamp along with controller leader change history.

Refactor/renames the instances releated methods in ClusterDataCache.

Add cluster-level and resource-level config option to allow disable delayed rebalance of entire cluster or individual resource.

Add more messaging metrics to participant.

Log improvement: add resource name to logs in different places.

New DelayedAutoRebalancer featured with delayed partition movements during rebalancing.

Persist assignment map using specific format for MasterSlave resources (This is a short-term solution, we should get rid of this asap).

Add a messaging monitoring mbean to ParticipantStatusMonitor object.

More refactors on rebalancer releated pipelines. 1) Move get rebalancer and mappingCalculator logics out to separate methods to make the main flow clearer. 2) Move definition of ANY_LIVEINSTANCE from HelixConstants to IdealState.

Rename ParticipantMonitor class

Revert "add a mbean for participant and emit received msgs"

This reverts commit ccff605eb311072644f355686853351a10ff5b95.

Persist participant's offline timestamp in ParticipantHistory.

This is to persist the timestamp when a participant is going offline.
1) If a participant goes offlien gracefully (by calling disconnect()), participant will write a timestamp to its history record.
2) If a participant goes offline without calling disconnect() (e.g, GC, machine crashes),  controller will try to set the timestamp in its pipeline triggered by liveInstanceChanges.

Refactor: add AbstractRebalancer as an abstract class, which contains the default implementations as well as utility functions that will be used by all specific rebalancers.

Add reset() method to MockParticipantManager to allow reuse of the participant.

Refactor: rename ParticipantManagerHelper to ParticipantManager and move all logic to handle new participant session into the ParticipangManager.

Persist session change history with timestamp for each participant.

Add a mbean for participant and emit received msgs

Add logs for session sync messages

participant syncs session id to controller

Fix BestPossibleExternalViewVerifier toString NPE

Add support for flexible hirerachy representation of a cluster topology.

Add StrictMatchExternalViewVerifier that verifies whether the ExternalViews of given resources (or all resources in the cluster) match exactly as its ideal mapping (in idealstate).

Restructure ClusterVerifiers. Add HelixClusterVerifier interface, add abstract class ZkHelixClusterVerifier, and a BestPossibleExternViewVerifier implementation.

Refactor: put all cluster verifiers into a sub-module of tools.

Add Multi-round CRUSH rebalance strategy.

Add option to allow persisting best possible partition assignment in IdealState for semi-auto and full-auto modes.

Deprecated AutoModeISBuilder and AutoRebalanceModeIsBuilder and created SemiAutoISBuilder and FullAutoISBuilder instead.

Support of client's customized threadpool for state-transition message handling.

Minor fix: Do not set MaxPartitionPerNode in IdealState if it is not greater than 0.

Refactor isClusterSetup log structure for debugging purpose

Replace HelixDataAccessor.createProperty with more specific methods

Move HelixUtil.get*Path to PropertyPathBuilder

Rename PropertyPathConfig to PropertyPathBuilder

Assign orders for tests in TestSchedulerMessage

More specific log message when verification is in progress

Add test for SEMI_AUTO

Make synchronized for AsyncCallback.startTimer to avoid race condition

Support delaying jobs schedule with configurable delay time and start time

[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release helix-0.6.7

Fix Java 6 compilation error.

[HELIX-651] Add a method in HelixAdmin to set the InstanceConfig of an existing instance

- Add a setInstanceConfig() method in HelixAdmin interface
- Add an implementation for the same in ZkHelixAdmin
- Add a test in TestZkHelixAdmin

[HELIX-650] Add StateTransitionConfig and Expose API add state transition timeout

1. Add StateTransitionConfig for add state transition properties, such as timeout.
2. Add the new API for setting state transition timeout.
3. Add logics in message generation for timeout setting in message that backward compatible.

[HELIX-649] Fix StateModelDef name is not consistent

The StateModelDef is not consistent as the user provided since it use the ZNRecord id of StateModel

[HELIX-648] Extend WorkflowConfig and JobConfig to ResourceConfig

WorkflowConfig and JobConfig are stored as ResourceConfig but still needs extra conversion in current codebase. Thus we have to extend those two configs to ResourceConfig.

[HELIX-646] DeleteJob from a recurrent job queue should not throw exception if last scheduled queue not exist

When delete a job from recurrent jobqueue, it will delete job from last scheduled one and recurrent template. But the last scheduled one could not started or expired, thus we should ignore the fail of deletion.

[HELIX-645] Fix Task State Model INIT priority number

[HELIX-644] Add accessor method for getting zkSerializer from ZkClient

[HELIX-643] Make instance variables in DistClusterControllerStateModel as protected fields to make them visiable to its subclass.

[HELIX-642] Disable the participant instance once it disconnected due to unstable ZK

When ZK is not stable, the instance connection will be disconnected. Before disconnect from ZK, disable the instance.

[HELIX-641] Add total message recevied for each instance

[HELIX-637] Populate the StateModelDefinition once it is updated

Did a check for StateModeDefinition. Will be rewrite once it is updated.

[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release helix-0.6.6

Revert "[maven-release-plugin] prepare release helix-0.6.6"

This reverts commit 58a98373a214883c13ef0313c70110b481a5c2dd.