Merge pull request #18 from apache/guard-negative-timedelta

IOQ improvements

Handle stats db conflicts

Since a timestamp is used as the document id, it's possible for e.g.
multiple nodes to attempt to insert the same document, resulting in
logged errors like the following:

[error] 2022-04-05T21:00:35.302496Z node1@127.0.0.1 emulator -------- Error in process <0.588.159> on node 'node1@127.0.0.1' with exit value:
{{nocatch,conflict},[{fabric,update_doc,3,[{file,"src/fabric.erl"},{line,332}]},{ioq_server,save_to_db,0,[{file,"src/ioq_server.erl"},{line,529}]}]}

This catches cases of `error:conflict` and logs them at info level
instead.

Guard against negative time deltas

Despite the use of `erlang:monotonic_time/0`, it is still possible on
some platforms, such as sleeping/awakening laptops, for time to move
in surprising directions. When this happens, and a negative time delta
is passed to `timebin/1`, it crashes with:

bad arithmetic expression at math:log10/1 <= ioq_server:timebin/1(line:480)

This adds a guard to return `0` for negative numbers as well as zero.

Merge pull request #17 from apache/app-env-to-config

Replace app env with config

Replace app env with config

Currently, `stats_db` and `interval` are obtained from vm.args file
via `application:get_env/2`. This is surprising since IOQ already
depends on the config application for most of it's configuration
parameters.

This changes where those configuration values are obtained from
vm.args to .ini files.

Reduce logging noise

Merge pull request #15 from apache/ioq_update_hist

Log from 0 is undefined

Log from 0 is undefined

Merge pull request #13 from apache/allow-for-dynamic-ioq-classes

Allow for dynamic ioq classes

Add dynamic IOQ class documentation

Allow dynamic classes in is_valid_class

This adds support for dynamic classes in IOQ2. Before this change, the
allowed set of classes was fixed and hardcoded, with no way for 3rd
party IO traffic to be prioritized, and similarly, no way for 3rd party
IO traffic to bypass IOQ based on config settings. This change switches
to checking to see if there's a declared IO priority value in the
classes config, and if so it is treated as a valid value. It's worth
noting that because `ioq_config:set_class_config` uses the
`is_valid_class` check, you must use `config:set` directly to declare an
initial priority for the dynamic channel before being able to use the
`ioq_config` helpers.

This change was motivated by not being able to bypass search in the
Dreyfus project, as it piggy-backed off of `interactive` and
`view_update` channels. That was rectified in [1], and now Dreyfus uses
the `search` IOQ channel. As that is not used in CouchDB directly, this
commit adds the dynamic class support based off of config values, rather
than specifically hardcoding search, so that it can be used by any 3rd
party services running IO traffic through IOQ.

[1] https://github.com/cloudant-labs/dreyfus/pull/46/commits/75d86c49c86f4e7e299d2d05a741c4ef68a144fb

Rearrange IOQ config declarations into header file

Merge pull request #12 from cloudant/start-couch_log-in-test

Start couch_log in tests

Start couch_log in tests

Merge pull request #11 from apache/optional-proper

Make PropEr an optional (test) dependency

Make PropEr an optional (test) dependency

Merge pull request #10 from cloudant/fix-compilation-warnings

Fix compiler warnings

Fix compiler warnings

- Replace use of `erlang:now/0` with `erlang:monotonic_time/0`
- Replace use of `random` module with `rand` module

Merge pull request #9 from cloudant/use-cast-for-ioq2-update_config

Use cast to send `update_config` to `ioq2`

Use cast to send update_config to ioq2

Merge pull request #8 from cloudant/update_handle_config_terminate

Reconfigure IOQ on config update

Reconfigure IOQ on config update

Merge pull request #7 from apache/cloudant-ioq

Import Cloudant's full IOQ code

Import Cloudant's full IOQ code

Merge branch 'use-couch-rand-module'

Fixes #6

Use couch_rand compatibility module

Merge remote branch 'cloudant:remove-unused-config-subscriber'

This closes #5

Signed-off-by: Eric Avdey <eiri@eiri.ca>

Remove unused code

We are subscribing both ioq and ioq_sup to config_event,
but while ioq is actually processing config changes,
ioq_sup just sends uncatched messages to unexisting ioq_server.

Merge remote branch 'cloudant:3102-fix-config_subscription'

This closes #4

Signed-off-by: ILYA Khlopotov <iilyak@ca.ibm.com>

Fix a typo in a child name

COUCHDB-3102

Update handle_config_terminate API

COUCHDB-3102

Merge remote-tracking branch 'iilyak/2561-make-config-API-consistent'

This closes #3

COUCHDB-2561

Don't restart event handler on termination

COUCHDB-2561

Update config_listener behaviuor

COUCHDB-2561

Handle {gen_event_EXIT,{config_listener,ioq},shutdown} message

Allow to customize concurrency value

Update state on config changes

Fallback to direct I/O if ioq is not running

new IOQ api

Initial commit

This is substantively the work from branch 1775-feature-io-regulator
but with erlang application paraphenalia.