Support fetch ddoc logic for filtered changes feeds

Return forbidden error if encountered on any shard

This commit fixes an issue which caused HTTP 500 errors to be
returned when an authorized user attempted to access a database
that they did not have permission to access, when cassim is
disabled.

Instead of returning an internal server error once all shards
have failed to open we add a receive clause so that we throw
a forbidden error if one is encountered on any shard. This is the
same approach we already take for unauthorized errors.

Closes COUCHDB-2948

This closes #38

Add owner of shard to last_seq of changes response

Prior to this commit, there was a bug where the response of a changes
query would include epoch information for every change, but not for the
last sequence. Subsequent shard changes queries would rewind from zero
if the last_seq field was used in the clustered changes query and any
shard had previously been moved.

Fix incorrect size values for view index information

We need to filter overlapping shards to prevent summarizing
all sizes from all the shards, since we actually need the
value from the one.

This bug was introduced in ba27f81.

Update .travis.yml

Fix eunit tests.

 Mock couch_log alongside couch_stats.

fix assertions: first arg is 'expected'

Don't create dbs doc if shard files fail for enametoolong reason

COUCHDB-2821

Merge remote-tracking branch 'smithsz/2819-db-create-check-already-exists'

Check if a DB exists prior to creating

COUCHDB-2819

Added counter metric for fabric-worker-timeout.

This is being done as a good indicator for when mspot is
having issues.  An alert threshold will be set in
centinela.

BugzID: 50369

Revert "add clusterwide compaction for dbs"

This reverts commit 140bcfacbb220bc3b47697fdd7b8b306eb6d7330.

add clusterwide compaction for dbs

PRs:
https://github.com/apache/couchdb-fabric/pull/27
https://github.com/apache/couchdb-chttpd/pull/62

COUCHDB-2492

PR: #27
PR-URL: https://github.com/apache/couchdb-fabric/pull/27
Reviewed-By: Robert Newson <rnewson@apache.org>

Use BigCouch/Cloudant seq format

Let's ease 2.0 transition by not introducing a new sequence format,
it's not even necessary now.

Integrate with Travis CI

Fix type specs

fabric:cleanup_index_files should check mrview/ directories

COUCHDB-2773

Use `couch_db:validate_dbname/1`

Merge branch '2724-chunked-buffering'

Restrict views in the authentication DB to admins

This commit teaches fabric to restrict access to views in the
authentication DB to administrators by calling through to
couch_db_users:after_doc_read/2 after the design doc is read.

COUCHDB-2738

This closes #23

Move is_*_db funs and helpers to fabric_util

This commit moves the is_*_db/1 funs and their helpers from
fabric_doc_update to fabric_util and exports them so they
can be re-used elsewhere in fabric.

COUCHDB-2738

Execute a callback at end of each traversal

We add this notification before entering a (potentially long) wait for
new DB updates so that the client can choose to finalize any processing
it might have been doing on earlier updates. The specific use case in
chttpd is to flush the client's internal buffer in a timely manner.

COUCHDB-2724

Remove meck twig:log/3

Use couch_db:normalize_dbname

COUCHDB-2715

Revert "Module-wide s/proplists:get_value/couch_util:get_value/"

Behaviour of `get_value/2,3` function of couch_util and proplists
modules is completely different when searched key exists and is an
atom, but there is no paired value for it: proplists function
implicitly assumes that a value is `true` while couch_util returns
`undefined` instead.

Such replacement breaks any logic that depends on `true` or
`undefined` result of the function call, so we need to be
careful next time.

This reverts commit 19c273ac54e8f1bec81be3b74c443ecafa01e599.

Module-wide s/proplists:get_value/couch_util:get_value/

export dbname/1

BugzID: 45853

This is a cherry-pick of:

https://github.com/cloudant/fabric/commit/818dd09e9ea645e866fc62fd1a4302ce73b2422a

Add ability to gracefully terminate existing changes feeds

Calling fabric:end_changes() will cause all current changes
feeds to gracefully exit without preventing new changes requests from
starting (unlike maintenance_mode).

BugzID: 45762

This is a cherry-pick of:

https://github.com/cloudant/fabric/commit/1b45cede8f11e209f28e3d06b9fda4cbdcd719cc

Conflicts:
src/fabric.erl
src/fabric_view_changes.erl

Provide an access to a document info

The functions `get_doc_info/3` and `get_full_doc_info/3` were
added to API to provide an access to the records `#doc_info{}`
and `#full_doc_info{}` accordingly.

The functions are re-using `fabric_open_doc` coordinator
and consequently are the subject of the same read quorum rules
as `open_doc/3` function. However the info functions do not trigger
read repair on a not fully complete quorum.

Function `get_full_doc_info/3` accepts an option `deleted` to
allow to provide an information for a deleted document,
similar to `open_doc/3`.

FogBugz: 12933

This is a cherry-pick of:

https://github.com/cloudant/fabric/commit/c85569287ad8f86122b47775adc2ab9218db0322

Conflicts:
src/fabric_rpc.erl

use the right config section for clustered authentication db

Merge remote-tracking branch 'iilyak/2526-pending-updates-info'

This closes #9

COUCHDB-2526

Fix typo

Handle case in fake_db where there's no user context

Call the correct before_doc_update arity

bug introduced in COUCHDB-510

fixes COUCHDB-2630 COUCHDB-2632 COUCHDB-2643

Rename variables for clarification of intend

COUCHDB-2526

Add updates_pending field to get_view_group_info

We also change the beheviour of this function to wait
response from all shards.

COUCHDB-2526

add license file

readme: change to couchdb project

remove compile warning

make `Options` optional :)

Use list of system database names

This closes #15

COUCHDB-2619
COUCHDB-2620

Respect doc_options during _all_docs serialization

When full documents are returned as part of an _all_docs response,
respect doc_options (e.g. attachments=true) during JSON serialization.

This closes #13

COUCHDB-2568

Signed-off-by: Alexander Shorin <kxepal@apache.org>

Fix waterfall of `rexi_server error:badarg` errors

Respect doc_options during _changes serialization

When including full documents in the changes feed response, respect
doc_options (e.g. attachments=true) during JSON serialization.

This closes #12

COUCHDB-2522

Signed-off-by: Alexander Shorin <kxepal@apache.org>

Respect conflicts=true when collecting clustered changes

This correctly reads the conflicts parameter from #changes_args.
Previously we were attempting to look for a conflicts property in
Options which was never set (so always evaluated to false).

Fixes COUCHDB-2518

This closes #11

Signed-off-by: Alexander Shorin <kxepal@apache.org>

Handle empty list of id/revs in fabric_doc_missing_revs:go

When AllIdsRevs is an empty list the result will always be an empty
response. Handle this explicitly given there is no work to do
(attempting to delegate to the shards previously resulted in a timeout).

This closes #10

COUCHDB-2531

Signed-off-by: Alexander Shorin <kxepal@apache.org>

Merge remote-tracking branch 'iilyak/1145-_local_docs-handler'

This closes #8

COUCHDB-1145

Use ADMIN_CTX macro from couch_db.hrl

Fix incomplete spec of fabric:get_view_group_info

COUCHDB-2526

Don't do manual filtering of _design docs

Since namespace support was added we can rely on it instead

COUCHDB-1145

Merge branch '2517-open_revs=all-function_clause'

Fixes #7

Exit early when there is a quorum but list of docs is empty

There is no point to go through repair stage since this set of
conditions meens that the doc with given id doesn't exists.
Besides not going through repair process fixes the case when
we request open_revs=all for non existent document

COUCHDB-2517

Merge branch '2510-add-system-db-handlers'

Fixes #6

Add system db handlers to fabric_doc_update

This hard codes the before_doc_write functions for replicator and user
databases like they are in couch_server. This is mostly motivated by the
fact that couch_users_db:before_doc_update/1 adds random salt values to
user documents when a password is changed. The replicator databases are
included at this level for consistency with couch_server.

COUCHDB-2510

Fix compilation warning

Don't flatten iolist

Return unauthorized error if encountered on any shard

We had a mismatch here that caused us to return an unpleasant 500
status code (after discarding lots of unauthorized events from each
shard).

The mismatch was introduced in "Teach fabric_util:get_db/2 about maintenance
mode".

I also simplified the open_shard function and tuple syntax for further
clarity in this critical section.

Use couch_log instead of ?LOG_*

Restore write_quorum_errors metric collection

Don't receive foreign rexi replies

Teach fabric_util:get_db/2 about maintenance mode

If the node servicing a request does not have a shard for the db
involved then fabric_util:get_db/2 can return a shard from a node
which is in maintenance mode. If that node is a replacement node
that has not yet been brought into the cluster then the security
object will be empty.

Because fabric:get_security/2 calls fabric_util:get_db/2 and is in
the code path for authorizing requests at the HTTP layer, this can
result in live nodes returning 403s.

This commit replaces an rpc:call/4 with a rexi:cast/4 and adds
a new rpc endpoint in fabric_rpc for opening single shards. This
uses set_io_priority which will reply with a rexi_EXIT if
maintenance mode is set.

Closes COUCHDB-2325

Move maintenance_mode to the couchdb section

Allow clients to pass a db record to query_view

The recent updates to use couch_mrview prevented the use of a #db{}
record in concjunction with a binary GroupId because the ddoc_cache
doesn't extract the name from a db record and instead uses it as the key
directly.

Expose new size values

Pass #changes_args.db_open_options to couch_db:open/2

Update fabric to use couch_stats

Add a no-options adapter to all_docs.

Fix use of the rexi:stream2 API

Bit of a mixup during the merge on this one as it included both the
switch to stream2 as well as the switch to using couch_mrview.

Fix merge of new changes behaviors

squashme! stream_last

squashme! use stream2

Consistently log fabric worker timeouts

Write a log line for each worker that did not return a response
when a fabric request times out. The format of the log line is:

    fabric_worker_timeout ENDPOINT,NODE,SHARD_NAME

This is intented to be easily consumable by downstream tools
(e.g., Splunk).

BugzID: 26984

Set non-interactive default for set_security

Prior to this commit, fabric:set_security would default to interactive
IO priority. This would cause all nodes to set the security header
except shards on any nodes which were in MM. Subsequent calls to
fabric:get_security would cause inconsistent security properties to be
applied to the request. This patch sets a non-interactive default for
fabric:set_security, which will cause security updates to be applied to
all nodes regardless of MM by default.

BugzID: 28847

Clear worker references for get_shard_replacements

This function relies on record equality. If a request passes workers
that have references defined it would return all copies of the shard
range incorrectly.

BugzId: 28992

Fix fabric_db_update_listener code upgrades

Changes procesess waiting idle for db update messages will never upgrade
their code. This just adds a timeout before recursing through the module
exports table to load new code.

BugzId: 27660

Include epoch node in seqs and replacement logic

The {Seq, UUID, Node} triplet uniquely identifies an update in a
cluster.  Including the node that originally accepted the update in
sequences allows us to defend against byzantine cases of shards moving
back and forth between the nodes in a cluster.

This patch updates the sequence generation to include the full triplet
in each element of the _changes sequence.  It also uses the epoch node
instead of the node currently hosting the shard when determining the
safe replacement sequence.

BugzID: 27193

Move attachment code into couch_att

This is an attempt to isolate the attachment record and
some related code. This will allow seamless upgrades
over time.

Avoid badarith error during cluster upgrade

BugzID: 26631

Make _changes?descending=true aware of maint. mode

The _changes coordinator was using a one-off thing to get the start
sequence for a database which did not provide any error handling at all.
This patch replaces that one-off with a call to get_db_info/1, which
does include all the normal error handling.

A future enhancement could teach the coordinator to understand a
"sequence" like eof that would cause all the workers to automatically
seek to the end, but I wanted to stay conservative here in order to land
this for the next release.

BugzID: 25944

Fix logging of errors in _all_docs open_doc calls

Our exception handling accidentally captured the successful return
value. Using try/of/catch we can exit from the of clause without
catching.

BugzId: 26162

Don't attempt to replace replacement shards

The old test was looking for {_, _} tuple but that doesn't account for
old since sequences. This just switches to using a negative selection.
The only bad behavior was that we were making lots of log messages about
rewinding from 0 in known conditions.

BugzId: 26125

Only attempt replacement when we have replacements

We weren't checking if we were even provided replacements before using
them. This just adds a guard so we don't end up with a badmatch error on
the `lists:keytake/3`.

BugzId: 26124

Throw errors when starting changes streams

Previously we were calling the user supplied callback on these errors
which caused a badmatch in keep_sending_changes. This just throws the
error and lets chttpd handle formatting it for the user.

BugzId: 26122

Log errors when doc reads fail for _all_docs

This makes sure that we log any errors while opening a doc during an
_all_docs request. It also passes the failed DbName and DocId to the
user supplied callback function.

BugzId: 24580

Be defensive when calcualting pending_count

Its theoretically possible that during the upgrade we end up with a
mixed set of RPC workers. This makes sure that we don't crash the
coordinator with a badarith error.

BugzId: 24236

Collect pending counts and report sum at end

BugzID: 24236

Report number of pending changes in shard

Also refactor the _changes accumulator into a record.

BugzID: 24236

Refactor payload to simplify coordinator

Two things we're doing here:

1) We're unwrapping {doc, {error, Reason}} on the RPC side.
2) We're already suppressing the doc field on the RPC side so we don't
have to duplicate the work on the coordinator.

[2/2] Use proplist instead of #change record

Adjust replacement rewind exclusion

We're wanting to avoid attempting to use existing replacement
information for down shards. The is_integer guard didn't work because
the sequences are {UUID, Seq} tuples so we pattern match on that tuple
shape instead.

BugzId: 22698

[squash] add deprecation info

Use smarter replacements for stream_start failures

This patch enhances the StartFun to search the original list of workers
for the sequence from which the worker being replaced had started.

BugzID: 22698

Use smarter seqs when original shard is down/gone

If a shard that contributes to a sequence a) is on a down node or b) is
no longer part of the shard set we can provide enough detail to the
replacement workers to allow them to choose a smarter replacement
sequence.

This patch does not cover the case where the shard that originally
contributed to the sequence is alive but crashes before initializing the
stream to the coordinator.  In that case we're still firing up
replacement workers and asking them to stream from zero.  The
stream_start semantics make reworking that bit a tad trickier.

BugzID: 22698

Calculate safe worker seq on shard replacement

When a shard is being replaced in the changes feed the RPC workers for
the other shard copies can leverage epoch and checkpoint information to
start from a sequence greater than zero.  This commit (and an associated
one in mem3) make that possible, though we still need to teach the
coordinator to share the fact that the worker is being summoned to
replace another copy that previously contributed to the feed.

BugzID: 22698

Report errors opening documents during _all_docs

All errors are currently ignored in the receive statements and
eventually we timeout.  This patch causes fabric to report the error and
terminate quickly instead of waiting.

BugzID: 24580

Switch from ddoc to id+rev protocol for views

Handle fabric upgrade

We still need to handle direct document passing for older
clients. The new Id+Rev protocol will be a part of a
future upgrade.

Pass document id & rev rather than the whole document

This uses the ddoc_cache support for revisions. It should
reduce bandwidth overhead of copying documents around.

Fix inclusion of "doc":"undefined" in changes feed

We were reusing the wrong variable after removing the default values.

BugzId: 24356

Make all timeouts configurable

BugzID: 24302

Replace read_repair logs with a metric

Successful read repair notices aren't overly informative. To reduce log
spam we'll just switch to using a metric and only log when we don't have
a successful response.

BugzId: 24262