Moving shard maps _membership endpoint to _shards db handler

Add doc shard info endpoint

Fix _membership/$DBNAME api endpoint

This switches the JSON key to be a binary, as required by jiffy.

Also, remove extraneous <<"parts">> path from the url.

Show full shard range.

Update to use new multi rexi_server protocol

Handle the #doc_info case in changes_enumerator

This is to handle the special case where the user migrates a CouchDB
database to BigCouch and they have not yet compacted the
database. Once the database has been compacted, this #doc_info clause
should never be encountered.

Don't log when ensuring dbs exist

Add function to determine shard membership locally

mem3:belongs/2 allows you to determine if a given doc id belongs to a
given shard (whether a #shard{} record or just the filename of a
shard) without looking up the shard map or making any remote
calls.

Change API to function per level

Switch to couch_log

Add license headers

Add ejson_body to all mem3 open_doc attempts that need it

Remove references to margaret

Build with rebar

Fix up copyright headers

New build system for mem3

Remove Cloudant build system remnants

Merge pull request #43 from cloudant/guard-against-empty-list

Guard against empty list

Guard against empty list

Rotating an empty list gives badarith so add a guard clause, since the
result of rotating an empty list is well known.

BugzID: 17801

Merge pull request #42 from cloudant/17801-spread-the-pain

BugzID: 17801

Spread ushards load to more nodes

In some cases, notably q=1 databases, the current ushards algorithm
will always choose the same replica (because of the lists:sort and
order-preserving orddict). This causes a severely skewed load profile
if you have lots of these cases.

This patch rotates each group of nodes using the crc32 of the database
name, spreading out the load pretty evenly.

The patch is a little obscure because ushards still has remnants of
previous work (breaking nodes into the local, same zone, different
zone, but then deliberately merging local and same zone back together
because that was a silly idea).

BugzID: 17801

Ignore other config changes

Merge pull request #40 from cloudant/13179-refactor-config-registration

Use config app instead of couch_config

Updated the tests too

Use config app instead of couch_config

BugzID: 13179

Merge pull request #38 from cloudant/17185-reduce-log-spam

Replace cache miss log with metrics

BugzID: 17185

Merge pull request #39 from cloudant/15754-mem3-sync-backlog

Add an API for mem3_sync queue lengths

BugzID: 15754

Add an API for mem3_sync queue lengths

Replace cache miss log with metrics

This also adds metrics for cache hits and evictions as well as the miss.

Merge pull request #36 from cloudant/13605-fix-shards-badmatch

Protect against cache_hits on non-existant entries

BugzID: 13605

Protect against cache_hits on non-existant entries

This can happen if we load a shard set from the cache and then eject the
shards before processing the cache_hit '$gen_cast' message. Instead of
trying to be fancy and reinserting the shards into the cache directly we
just rely on the fact that they'll be reinserted normally on the next
request.

Merge pull request #35 from cloudant/15924-dont-resurrect-on-delete

Don't resurrect shards on deletion

Don't resurrect shards on deletion

In bigcouch and bigcouchplus (at least) the deleted property is a
binary, <<"deleted">>, and not an atom, deleted, as it used to
be. This causes mem3_shards to recreate a shard immediately after it
is deleted, leading to profound silliness.

BugzID: 15924

Merge pull request #33 from cloudant/11602-sync-security

BugzID: 11602

Merge pull request #34 from cloudant/explicit_zone_placement

Explicit zone placement

BugzID: 14920

Placement is always specified as a string

Remove cruft

Explicit zone placement

Check security objects during internal replication

If we detect that two shards have different values for a security object
during internal replication we automatically trigger a security object
synchronization.

BugzId: 11602

Relax the mem3_sync_security fix constraint

Instead of requiring that we only have an empty security object and a
single non-empty version that out numbers empties, we relax the fixable
constraint to be a single simple majority of (N/2)+1 objects of a single
value.

BugzId: 11602

Wait for rexi_server before adding a node

The race condition between a nodeup event and rexi_server starting was
causing some superfluous errors. This just waits for rexi_server to boot
before notifying mem3_sync_nodes.

Merge pull request #32 from cloudant/14654-mem3-sync-stuck-replications

Fix stuck internal replications after node down

BugzID: 14654

Fix stuck internal replications after node down

We weren't removing entries from the dict tracking what was in the job
queue. This looks like a bug after the switch from tuples to the #job{}
record which means its probably been around for quite awhile. Simple fix
is simply to use the correct dict key.

BugzId: 14654

Merge pull request #31 from cloudant/14348-node-redirects

Configurable redirect of mem3 push jobs

BugzID: 14348

Configurable redirect of mem3 push jobs

In order to faciliate smoother node replacements, mem3 can be
configured to redirect push jobs intended for one node (the failed
one) to another (its replacement). e.g,

[mem3.redirects]
dbcore@db1.foo.cloudant.com = dbcore@db2.foo.cloudant.com

BugzID: 14348

Remove obsolete appup

Merge 'origin/replicator', closes #16

Conflicts:
src/mem3_rep_manager.erl
src/mem3_sup.erl
src/mem3_util.erl

Case 13884

Add upgrade instructions

Export live_shards/2

Remove unused include_lib

Eventually we should insert the validation function automatically.

BugzID: 13780

Avoid #changes_args.db_open_options for compatibility

We'll add it once we deploy the new version of the #changes_args record.

BugzID: 13780

Look for 'deleted' and <<"deleted">> for compatibility

BugzID: 13780

Fix error causing crash on add_node

Merge branch '1.3.x'

Conflicts:
src/mem3.erl
src/mem3_cache.erl
src/mem3_nodes.erl
src/mem3_rep.erl
src/mem3_sup.erl
src/mem3_sync.erl
src/mem3_sync_event.erl

BugzID: 13780

Merge pull request #30 from cloudant/13606-node-info-ets

Publish node metadata in a protected ets table

BugzID: 13606

Remove remaining references to #state.nodes

Publish node metadata in a protected ets table

This allows for far cheaper access to the zone information.  The
fallback to gen_server:calls is only for the initial hot upgrade and can
be removed afterwards along with the code_change.

BugzID: 13606

Fix edge condition when loading shards from disk

BugzId: 13386

Remove custom appup

Don't include deleted dbs in mem3:fold_shards/2

The `delete` option was passed to couch_db:open_doc/2 which ended up
causing deleted databases to be included in mem3:fold_shards/2. This is
counterintuitive so is being removed.

Merge pull request #29 from cloudant/13511-1.3.x-improve-internal-replicator

Improve internal replicator configuration

BugzID: 13511

Improve internal replicator configuration

This work is needed to support the internal replication requirements for
cluster elasticity. This adds three new options:

  * batch_size - The number of revisions to replicate in a single batch
  * batch_count - The number of batches to replicate. The special value
    `all` means to replicate until finished.
  * filter - A 1-arity function that takes a #full_doc_info{} record and
    returns `keep` or `discard` that determines if that doc should be
    included in the replication.

Put mem3_sync replication exit messages on one line

Merge pull request #28 from cloudant/13529-reconfigure-ring-on-nodeup

Reconfigure ring on nodeup events

BugzID: 13529

Deduplicate lookup of special local databases

Reconfigure ring replications on nodeup

BugzID: 13529

Reply immediately if we already enqeueued the job

Really remove the Job from the Q

Reorder supervision tree to start mem3_nodes earlier

mem3_sync requires mem3_nodes to be running during init.

Merge pull request #20 from cloudant/13470-make-ushards-zone-aware_master

Reimplement mem3:ushards to honor all 5 properties

BugzID: 13470

Add upgrade instructions for .4,.6 -> .7

Merge pull request #27 from cloudant/fix-initial-sync

Add a manager for node syncrhonization

Add a manager for node synchronization

Don't be dumb about response formats

Guard code_change to prevent future surprises

Remove obsolete appup

Merge pull request #26 from cloudant/13504-mem3-sync-large-tables-master

Optimize mem3 synchronization for large partition tables (master)

BugzID: 13504

Make initial_sync block for each replication

It's low priority, and we don't want to overrun the server.  The
implementation is kinda hacky, it sticks the From into #job.pid while
the job is in the waiting queue.

Avoid mesh replication on add_node/nodeup events

BugzID: 13504

Give up on mem3_rep if DB was deleted

Previously we would retry an infinite number of times when this
happened

Sync "dbs" and "_users" with the next live node

The load induced by fully-connected mesh replication increases
quadratically with node count.  For large clusters with high rates of
database creation this ends up being significant.

This patch switches the topology to a ring.  Each node pushes to the
next live node in the ring.  Will deal with the correct action on
'nodeup' events in a separate commit.

Fold over DBs on disk rather than load into memory

This uses the new mem3_shards:fold API to walk the shards from the
on-disk representation.

BugzID: 13504

Merge pull request #24 from cloudant/13504-mem3-sync-large-tables

Optimize mem3 synchronization for large partition tables

BugzID: 13504

Make initial_sync block for each replication

It's low priority, and we don't want to overrun the server.  The
implementation is kinda hacky, it sticks the From into #job.pid while
the job is in the waiting queue.

Avoid mesh replication on add_node/nodeup events

BugzID: 13504

Merge pull request #23 from cloudant/13475-mem3-sync-waiting-queue-13x

Backport use of queue in mem3_sync to 1.3.x

BugzID: 13475

Give up on mem3_rep if DB was deleted

Previously we would retry an infinite number of times when this
happened

Sync "dbs" and "_users" with the next live node

The load induced by fully-connected mesh replication increases
quadratically with node count.  For large clusters with high rates of
database creation this ends up being significant.

This patch switches the topology to a ring.  Each node pushes to the
next live node in the ring.  Will deal with the correct action on
'nodeup' events in a separate commit.

Fold over DBs on disk rather than load into memory

This uses the new mem3_shards:fold API to walk the shards from the
on-disk representation.

BugzID: 13504

Optimize next_replication by using queue:out

Replace waiting list in state with queue for improved performance

BugzID:13475

Update appup

BugzID: 13469

Merge remote-tracking branch 'origin/13469-internal-rep-fix' into 1.3.x

Customize upgrade instructions for .3 -> .4

Merge pull request #19 from cloudant/13414-mem3-cache-lru

BugzID: 13414

Merge pull request #22 from cloudant/13486-fix-zone-shuffle_1.3.x

BugzID: 13486

Merge pull request #21 from cloudant/13486-fix-zone-shuffle_master

BugzID: 13486

Use rand_uniform to fix deterministic zone placement

BugzID: 13486

Use rand_uniform to fix deterministic zone placement

BugzID: 13486

Refactor for testability and reduce node_info calls

Replace mem3_cache with mem3_shards

This change is to address the unbounded cache that existed in
mem3_cache. The module name has been renamed to mem3_shards and it now
contains an API for accessing shards in the cache so that hits can be
registered with the cache.

The cache itself is now a proper LRU with a bounded size. The other
behavior change is to let the cache warm after start instead of
preloading it with the entire contents of the shards database. This
means that shards will be inserted as they are read from disk which
introduces a period of cold cache when the node boots.

BugzId: 13414