[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release helix-1.0.4

Fix release URL

Refactor bump-up.command script and add helix-view-aggregator (#2086)

Refactor bump-up.command script and add helix-view-aggregator

Fix race condition between instance drop and participant history update (#2073)

Fix race condition between instance drop and participant history update

Issue #1970: allow clients to prevent HelixProperty from cloning the ZNRecord (#2072)

fix issue #2064: bug where RuntimeJobDag.generateJobList could loop until parallelism is reached when in JobQueue mode (#2065)

MaintenanceManagementService  improvement - Allow implementation of OperationInterface to return null (#2035)

Allow implementation of OperationInterface to return null

support common input for operational input on Maintenance Management API  (#2055)

support common input for operational input on Maintenance Management API

Do not proceed with cluster creation if addCluster() fails. (#2068)

In Helix-Tools - ClusterSetup::addCluster() doesn't check return value
of HelixAdmin::addCluster() method. It proceeds even when the call
returns failure.
Check the return status of addCluster() and throw an exception if cluster creation fails.

More term cleanup for tutorial website (#2059)

move to Apache Analytics(Matomo)

Signed-off-by: Olivier Lamy <olamy@apache.org>

use reflow version just released and working with recent version maven-site-plugin

Signed-off-by: Olivier Lamy <olamy@apache.org>

fix website deployment

Signed-off-by: Olivier Lamy <olamy@apache.org>

Fix release note for Log4j version

Update menu bar

Add bump snapshot script and bump snapshort

upgrade xstream to security issues (#2046)

Replace non-inclusive terms in quickstart (#2050)

[issue-1728] upgrade guava due to cve (#2042)

upgrade jackson to 2.12.6.1 due to cve (#2043)

Add 1.0.3 releasenote

Replace non-inclusive terms in tutorial.md (#2039)

Code refactor and cleanup on instance validation (#2032)

Unify the usage of checking instance enable/disable using InstanceValidationUtil

Fixed size history for Scheduled Workflow tasks (#2036)

Once we execute scheduled workflow task, we append entry to history.
Each entry is of the format "<taskname>-<timestamp>"

But we never purged old entries.
This will result in hitting size limit of Znode.

Introducing fixed size history of 20 and purge all the previous entries.

upgrade snakeyaml to v1.30 due to cve (#2041)

[issue-1727] upgrade to commons-io 2.11.0 due to cve (#2040)

Remove temp file

Fix website deployment

Remove archived versions

Update dependencies and fix compile errors

Unit test fix and code style improvement.

HELIX-1233: fix broken test in helix view aggregator module

RB=1388194
BUG=HELIX-1233
G=helix-reviewers
R=jxue,lxia,jjwang,hulee
A=lxia

minor improvements

RB=1304338
G=helix-reviewers
R=lxia,jjwang,jxue,erkim
A=jjwang

HELIX-711: implement distributed state model for helix view aggregator

RB=1295025
BUG=HELIX-711
G=helix-reviewers
R=lxia,jjwang,jxue,erkim
A=lxia,jjwang

HELIX-708: adding basic metrics to HelixViewAggregator

RB=1237803
BUG=HELIX-708
G=helix-reviewers
R=lxia,jjwang,jxue,erkim
A=jjwang

HELIX-797: add mssing package def to helix-view-aggregator's pom and ivy files

RB=1233804
BUG=HELIX-797
G=helix-reviewers
R=lxia,jjwang,jxue,erkim
A=jjwang

Change RoutingTableProvider to support direct aggregating routing information from CurrentStates in each liveinstance. When sourceDataType is set as CurrentState, RoutingTableProvider will listen on CurrentStateChanges and refresh routing table from CurrentStates upon changes.

RB=1221442
G=helix-reviewers
A=jxue

HELIX-705: Implement ViewClusterRefresher logic and tests

RB=1213810
BUG=HELIX-776
G=helix-reviewers
R=lxia,jjwang,jxue,erkim
A=jjwang,jxue

HELIX-705: implemented SourceClusterDataProvider's core logic and related tests

RB=1205694
BUG=HELIX-775
G=helix-reviewers
R=lxia,jjwang,jxue,erkim
A=jjwang

HELIX-705: implement view cluster config change related logics and tests

RB=1205359
BUG=HELIX-705
G=helix-reviewers
R=lxia,jjwang,jxue,erkim
A=lxia

HELIX-705: create interfaces and interactions among HelixViewAggregator components

RB=1205300
BUG=HELIX-705
G=helix-reviewers
R=lxia,jjwang,jxue,erkim
A=jjwang,jxue

HELIX-705: created project infrastructure for helix-view-aggregator module

RB=1202163
BUG=HELIX-705
G=helix-reviewers
R=lxia,jjwang,jxue,erkim
A=jxue

Bump jackson-databind in /metadata-store-directory-common (#2029)

Bumps [jackson-databind](https://github.com/FasterXML/jackson) from 2.11.0 to 2.12.6.1.
- [Release notes](https://github.com/FasterXML/jackson/releases)
- [Commits](https://github.com/FasterXML/jackson/commits)

---
updated-dependencies:
- dependency-name: com.fasterxml.jackson.core:jackson-databind
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>
Co-authored-by: dependabot[bot] <49699333+dependabot[bot]@users.noreply.github.com>

Bump moment from 2.22.2 to 2.29.2 in /helix-front (#2025)

Bumps [moment](https://github.com/moment/moment) from 2.22.2 to 2.29.2.
- [Release notes](https://github.com/moment/moment/releases)
- [Changelog](https://github.com/moment/moment/blob/develop/CHANGELOG.md)
- [Commits](https://github.com/moment/moment/compare/2.22.2...2.29.2)

---
updated-dependencies:
- dependency-name: moment
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>
Co-authored-by: dependabot[bot] <49699333+dependabot[bot]@users.noreply.github.com>

Implement DefaultCloudEventCallbackImpl (#1995)

Implement a default callback implementation for Helix cloud event listeners.

Fix TestCloudEventCallbackProperty by bypassing connecting to zk (#2017)

Due to logical change in ZKHelixManager constructor in a #1986, TestCloudEventCallbackProperty broke because in this test it doesn't connect to zookeeper server.
To fix this test, we separated MockCloudEventAwareHelixManager （previously called MockEventAwareZKHelixManager, nested inside TestCloudEventCallbackProperty）into a class, and include all and only the logics related to cloud events in MockCloudEventAwareHelixManager. More detailed, we mock a cloud config object retrieved from zk to bypass connection to zk.

Enable HelixManager as an event listener (#1978)

Make helix manager cloud event aware by registering a cloud event listener when connect Helix manager

Add event handler and event listener interface (#1976)

This commit creates a skeleton for event handling framework and adds the following classes:
CloudEventListener interface
CloudEventHandler class
CloudEventHandlerFactory class

Improve ZkClientMonitor and ZkClientPathMonitor performance (#2021)

Previously, regex matches were used, which was inefficient. This commit does this following:
Replace String#matches with more efficient String#contains in ZkClientPathMonitor
Refactor record* methods in ZkClientMonitor to avoid repetition and simplify matching logic

add type and reason to cluster config (#2006)

Add type and reason for batch disable/enable instance

Refactor config string processing logic into a util class (#2015)

Refactor config string processing logic into a util class

Fix TestDropResourceMetricsReset (#2011)

Add a temp workaround by manually triggering a CurrentStageChange event for ExternalViewStage computation so that resource monitor can be cleaned up in unit test.

Populate helix cloud property using cloud config (#2005)

Currently when instantiating a zk helix manager, we retrieve cloud config from zk and replace entire HelixCloudProperty object, which may cause some fields that user pass in in HelixCloudProperty that are not included in cloud config get missing. This commit changes the logic to only populate fields in HelixCloudProperty with values that are present in cloud config, and leave other fields unchanged.

Fix web build and deployment Issue (#2014)

fix Broken Logic in perPartitionHealthCheck (#2012)

fix Broken Logic in perPartitionHealthCheck

fix repoducible builds issue (#2013)

Update 0.9.9 to be replaced by 0.9.10

add new error message for customized partition check host connection error  (#1984)

Add new error message for customized partition check host connection error

auto Exit MM for auto EMM test (#2003)

Add instance disable reason  (#1993) (#2004)

Add instance disable reason

Implement deactivate rest API (#1988)

Implement deactivate REST API
Added a new REST API for deactivating cluster from supercluster.

Read cloud config from zk and propagate to HelixManagerProperty in ZkHelixManager constructor (#1986)

Read cloud config from zk and propagate to HelixManagerProperty in ZkHelixManager constructor.

Add Authorization Components to helix-rest (#1967) (#1981)

* Add Authorization Components to helix-rest

* Address some comments

Use ZooKeeper 3.5.9 in zookeeper-api instead (#1977)

With the upgrade of apache zookeeper version, snappy-java was missing in the dependency. This commit adds snappy-java and removes unused imports in osgi declaration. Also, using ZooKeeper 3.5.9 in zookeeper-api instead because 3.6.0+ causes some tests to fail in zookeeper-api.

Add 3 Zookeeper CreateMode types to AccessOption (#1975)

This commit adds the 3 missing CreateMode types to AccessOption
class in helix-core: CONTAINER, PERSISTENT_WITH_TTL, and
PERSISTENT_SEQUENTIAL_WITH_TTL.

Upgrading Zookeeper version to 3.6.13 to enable zk client SSL/TLS

Upgrading Zookeeper version to 3.6.13 to enable zk client SSL/TLS support

[HELIX-862] s/maintainence/maintenance docs fix (#1968)

Add rest endpoint for virtual topology group (#1958)

Implement java API and utils for virtual topology group (#1935)

Add comment to VirtualTopologyGroupService.

Introduce VirtualTopologyGroup and its assignment logic with benchmark. (#1948)

* Cleanup unused assignment schemes and minor change.

* Further refactor and code cleanup.

Fix #1946 -- Refactor and move ClusterTopologyConfig

Move ClusterTopologyConfig from nested to a standalone class in helix/model and to be used by virtual topology group logic.

Use final remaining capacity when computing weighted score (#1961)

WAGED improvement: Use final remaining capacity when computing weighted score

Remove WAGED sorting for each assignment (#1959)

Improve WAGED sorting from n^2 to n*log(n)

remove log before write error message to ZNode (#1955)

Remove message logging before writing ZNode.

Fixes #1802 - messages intended for instances that are no longer in the cluster (#1951)

In MessageGenerationPhase.java, - process() method populates the list of live instances from cache.

But while generateMessage() method has the sessionIdMap information, it still goes through partition/resource/instance map without checking if instance is still part of the cluster or not.

It is possible that cache has stale entry but that logic needs to be worked separately. But while generating message, we should check if the instance is still there.

So this is a simple change. We need to still look further if cache is getting invalidated properly.

To make sure that the cache properly is handled/refreshed under instance being replaced or deletion - have filled another bug: #1956

Let logging framework format exception stack traces (#1954)

Where possible, logging calls are changed so that logging framework handles exception formatting instead of stack trace being manually formatted using Throwable#getStackTrace

Add new metrics to record ZNRecord compression count. (#1943)

This PR determines if a ZK write request is compressed by calling GZipCompressionUtil. This is an indirect method and can be inaccurate. So the decision is based on trade-offs.

Alternatively, the ZkClientMonitor can be passed into the serializer class and then report compressed write internally. However, this will require multiple changes in the serializer interfaces.
Due to the multiple layers (PathBasedZkSerializer, ZkSerializer) of serializer interfaces definition, it would be very costly to implement the alternative without major refactoring.

Fix for - Stale message redundant logs

Avoid printing redundant log messages for unrelated partitions and resources.

Fix Issue#1941 - Incorrect condition caused not to log error message

Properly populate the error log messages for partitions and resource names whose replica status is in ERROR state.

Fix CVE dependency issue (#1927)

Remove dependency to an old Jackson v1 library (org.codehaus.jackson:jackson-mapper-asl) affected by the critical vulnerability: CVE-2019-17267 (#1934)

Fix race condition in scheduler message processing logic. (#1930)

This PR aims to fix the race condition that happens during processing scheduler messages. The previous logic which dynamically delete task partitions in the scheduler message IdealState may cause conflicts and results in inconsistent message status update. Since updating the task partitions is not a necessary step, this PR removes the corresponding logic and simplify the message handling procedure.

This PR will help to stablize TestSchedulerMessage.java.

Daemonize ZkBucketDataAccessor GC_THREAD (#1936)

GC_THREAD (which is actually an ExecutorService, not Thread) is a static field in ZkBucketDataAccessor. The executor is started when ZkBucketDataAccessor class is initialized but it is never shut down. Since ExecutorService threads are generally not daemon threads, not shutting down GC_THREAD prevents JVM from shutting down cleanly.

This commit makes ZkBucketDataAccessor GC_THREAD a daemon thread so it doesn't prevent application shutdown.

Upgrade Log4j to 2.16.0 to address CVE-2021-44228 (#1922)

* HELIX-1921: Upgrade Log4j to 2.16.0 to address CVE-2021-44228
- Upgrade SLF4J API version from 1.7.25 to 1.7.32 (latest)
- Remove use of slf4j-log4j12 package
- Add use of log4j-slf4j-impl package
- Remove unused custom log appender class
- Change direct Log4J reference to SLF4J
- Add -Dlog4j2.formatMsgNoLookups flag to scripts.
- Rename properties files to log4j2.properties and change CLI parameter to log4j2.configurationFile for Log4j2's precedence behavior
- Change properties files to use log4j2 syntax
- Add -Dlog4j2.configurationFile=file://"$BASEDIR"/conf/log4j2.properties to CLIs that were missing it

Improve helix tutorial and code formatting (#1931) (#1932)

Improve helix tutorial and code formatting

Avoid NPE when getting property store through Helix-rest API. (#1929)

This PR aims to fix the ambiguous error return message when user request to get an empty ZK node through the Helix-rest property store access API.
This PR changes the server behavior to response NO_CONTENT instead of internal_server_error in the scenarios described above.

Declare dependency to Zookeeper in zookeeper-api-*.ivy (#1926)

Adds dependency to Zookeeper in the ivy file in zookeeper-api module.

Fix a string operation for custom health check and update test (#1924)

Add take/free instance implementation and test (#1918)

* take & free single instance impl

Make theadpool shutdown timeout configurable for the HelixTaskExecutor. (#1920)

Add TestHelixTaskExecutor.testHandlerResetTimeout() to cover the new changes.
Also refactoring the related code to reduce duplicate and confusing code.

Implement RestSnapShot and substitute the kv maps in HelixDataAccessorWrapper to a RestSnapShot object (#1913)

* implement RestSnapShot and substitute the kv maps in HelixDataAccessorWrapper with RestSnapShot object

Add rest API for take/free instance (#1917)

* add rest API for take/free instance

refactor instanceService to clusterMaintenanceService (#1912)

Fix No Instance Level Throttling (#1908)

Instance level throttling quota never charged. Add the charging logic and tests.

Split BatchGetInstancesStoppableChecks (#1902)

Split BatchGetInstancesStoppableChecks into 2 private util functions.

Add 0.9.9 to menu bar

Missing end quote

Fix site.xml head/footer

Remove 0.9.7 doc folder

Remove 0.9.1, 0.9.4, 0.9.7, 1.0.0 docs to keep only latest 2 releases doc