Add a finalize step after rereduce

Currently this is a noop for every reduce function except the HLL
cardinately estimator implemented in _distinct.

COUCHDB-2971

Merge remote-tracking branch 'cloudant/couchdb-3302'

Closes #89

Prevent attachment upload from timing out during update_docs fabric call

Currently if an attachment was large enough or the connection was slow enough
such that it took more than fabric.request_timeout = 60000 milliseconds, the
fabric request would time out during attachment data transfer from coordinator
node to other nodes and the whole request would fail.

This was most evident when replicating database with large attachments.

The fix is to periodically send `attachment_chunk_received` to coordinator to
prevent the timeout.

COUCHDB-3302

Use RealReplyCount to distinguish worker replies and invalid docs

We use {ok, []} in couch_db:open_doc_revs_int/3 as a return value
when the document does not exist and open_revs=all. This leads to an
incorrect all_workers_died error. We use ReplyCount and RealReplyCount
to distinguish between when no workers were actually used in a reply
versus when the document does not exist

COUCHDB-3113

Add Else Clause For Embed Doc

When open_doc or open_revs return an error, we set the doc value
to be an error message. This way we account for errors rather than
transform_row throwing a function_clause.

COUCHDB-3109

Return error when workers crash

Currently, when one worker survives in fabric_open_revs, we return that
as the response. However, when all workers crash, we still return
{ok, []}. This changes the response to an error.

COUCHDB-3113

Add admin ctx on open ddoc in group_info

In open_revs, do not count errors in quorum threshold calculation

Previously quorum check looked just at the number of replies and decided quorum
was met even if it only received errors. For example, if 2 nodes are in
maintance mode it might receive this sequence of replies:

  `rexi_EXIT, rexi_EXIT, ok`

In that case after the first two it would decide quorum (r=2) was met, return
what it had so far ([]) and kill the remaining worker, who was about to return
a valid revision.

The fix is to keep track of error replies and subtract them when deciding if
quorum was met.

COUCHDB-3271

Fix open_revs fabric eunit test

In check_workers_error_skipped last worker should be w3 not w2.

COUCHDB-3271

Handle no_pass message when limit is 0

A view query that uses both a filter and a limit value can appear to
'hang' because the workers continue to run even after the number of
requested items have been returned, as workers that find no more
matches return 'no_pass' messages not 'change' messages, and thus the
short-circuiting code is never activated.

COUCHDB-3269

Merge remote-tracking branch 'willholley/3264-alldocs-keys-conflicts'

Include conflicts parameter in doc_options

When a keys array is passed to _all_docs, fabric translates this
to individual open_doc calls. The conflicts=true query parameter is
specified as a view-level option and is not, by default, parsed as
an option that should be passed to open_doc.

As a workaround, explicitly copy the view-level conflict parameter into
the document options before open_doc is called.

An alternative approach would be to address this when the query
parameters are parsed, setting conflicts=true in both #mrargs and
detail of fabric, I elected to make the change here instead.

Fixes #COUCHDB-3264

Merge remote branch 'cloudant:77984-fixup'

This closes #80

Signed-off-by: ILYA Khlopotov <iilyak@apache.org>

Use upgraded #mrargs{} instead of old one

Merge remote branch 'cloudant:fix-typespecs'

This closes #79

Signed-off-by: ILYA Khlopotov <iilyak@apache.org>

Add `{error, Reason}` to typespecs

`fabric:design_docs/1` and `all_docs/5` can return `{error, Reason}`

Merge remote branch 'cloudant:77984-upgrade-mrargs-record-phase2'

This closes #78

Signed-off-by: ILYA Khlopotov <iilyak@apache.org>

Revert "Revert "Merge remote-tracking branch 'banjiewen/stale-stable-update'""

This reverts commit a8e0e9549bb2a1181538ae433f1de78abadc41d5.

Note: Re-aplying previously reverted merge

Upgrade #mrargs{} record

Merge remote branch 'cloudant:77984-upgrade-mrargs-record-phase1'

This closes #77

Signed-off-by: ILYA Khlopotov <iilyak@apache.org>

Compatibility clause for the record upgrade

Revert "Merge remote-tracking branch 'banjiewen/stale-stable-update'"

This reverts commit 508122c52731a9eac3e83f8d727f2355f019fe1f, reversing
changes made to d68a00fdeba9113bd1a3dd41d8e546b05bb2e533.

Merge remote-tracking branch 'cloudant/3232-all-docs-ctx'

Merge branch 'COUCHDB-3234-open-shard-timeout-counter'

Track open_shard timeouts with a counter

The open_shard RPC endpoint is used to grab security docs. There are
fairly aggressive timeouts on these requests so that when a node is too
busy it'll try the next shard. Rather than log everytime these fail
(which can be substantial under load) lets just use a counter that can
be graphed and alerted on.

COUCHDB-3234

Pass user_ctx down to fabric_rpc

The Options array in fabric_view_all_docs contains the {user_ctx, _}
tuple but we omitted to pass it down to the open_doc command. This
caused several incorrect behaviours for the _users database which has
some special properties for privacy reasons.

COUCHDB-3232

Add optional `fields` to change feed selectors

When using selectors with `include_docs=true` can specify an optional fields
array in the POST request JSON body.

Each element in the array can be a json field (or even a key path
specified as field1.field2...). Resulting documents will contain only the
specified document fields.

For example:
```
http://.../d1/_changes?filter=_selector&include_docs=true

{
    "selector": {"z" : {"$gte" : 1} }, "fields": ["field1", "field2"]
}
```
Will first select only document with "z" value >= 1, then will return only field1 and field2 in documents.

```{ "field1": "field1value", "field2": "field2value"}```

(This is a companion pr. Main pr is in couch repo)

Jira: COUCHDB-2988

Merge remote-tracking branch 'banjiewen/stale-stable-update'

Fix function clause introduced by fix for COUCHDB-3150

Merge branch '3178-fix-fabric-rpc-filtered-changes'

Send a message when filtering a changes row

We managed to miss this change during the great merge as it was a
confusing mess in the cloudant/fabric repository. Its obvious in
hindsight once you see that we have a
`fabric_view_changes:handle_message/3` clause to handle the message.

COUCHDB-3178

Fix compiler warning

Merge remote-tracking branch 'cloudant/COUCHDB-3150-update-all-shards-stale-update-after'

Update all shards with stale=update_after
Trigger an update for all the shards. Will send a message to trigger
an update to shards that won't participate in the response due to not
being a ushard.

COUCHDB-3150

Avoid throwing exception when deleting db in db updater listener

Handle db deletion explicitly. Previously handle_db_event callback returned
`{stop, St}`. That return value was not handled by the caller, instead it
resulted in it being used as reason in an erlang:error, which then ended up in
the log.

Jira: COUCHDB-3149

Merge remote-tracking branch 'will/all_or_nothing_error'

End continuous changes feeds cleanly if database is deleted

COUCHDB-3132

clarify error when all_or_nothing attempted

change the error message so that it doesn't imply
that all_or_nothing is a feature that will be
implemented in the future.

Merge remote-tracking branch 'cloudant/2779-view-cleanup-cluster-aware'

Implement clustered compaction functions

COUCHDB-3099

Merge remote branch 'cloudant:71693-fix-filter-out-not-found'

This closes #65

Signed-off-by: Eric Avdey <eiri@eiri.ca>

Fix reply filter for open_revs

In general, in an absence of latest attribute, we expect
one reply per passed in revision which could be either
doc or not found.

This fix's making sure that we are removing not_found's
only for the revisions that also have {ok, Doc} reply.

COUCHDB-3097

Replace "stale" with "stable" when picking shards

COUCHDB-3063

Merge remote branch 'cloudant:69654-fix-view-info-duplicates'

This closes #61

Signed-off-by: Eric Avdey <eiri@eiri.ca>

Ignore already received replies for same shards

It is possible to get a reply for same shard
from different node sent before its collector
get stopped in remove_overlapping_shards.

This running condition leads to a possibility
of same info to be aggregated multiple times.

fix compilation warnings of unused variables

End the listener if any shard is deleted

If a database is deleted and recreated the underlying shards have a
new name. Since we're watching the old names, we will never again see
an updated event. So, we stop this process if any watched shard is
deleted and it's someone elses job to recreate the listener for the
new shards.

COUCHDB-3054

Merge remote branch 'cloudant:44287-use-correct-sequence-for-shard-replacement'

This closes #62

Signed-off-by: ILYA Khlopotov <iilyak@ca.ibm.com>

Use the correct sequence for shard replacement

The call to unpack the since sequence for _changes incorrectly filtered
the value for any shard that didn't exist. This means that any shard
that was moved ended up requiring a complete rescan which is a bug. This
just sets the update sequence to the range of the shard being replaced
rather than zero.

COUCHDB-3055

Merge remote branch 'cloudant:fix_some_specs'

This closes #60

Signed-off-by: ILYA Khlopotov <iilyak@ca.ibm.com>

Improve fabric:all_docs spec

- fabric:all_docs supports options passed as proplist
- fabric:all_docs return value is controled by a callback therefore it
  should be `{ok, any()}`

fabric:update_docs supports json_obj()

Emit error row for a null doc id in POSTs to _all_docs

This is compatible behavior with CouchDB 1.x

Jira: COUCHDB-3039
BugzID: 68486

Support update_seq=true in reduce views

COUCHDB-2991

Support update_seq=true in _all_docs

Pass security object in fake db

Users can be granted admin access to the special _users and
_replicator databases so we need to pass the security object to the
authorization functions.

COUCHDB-2991

Merge remote branch 'cloudant:fix-doc-open-reply'

This closes #58

Signed-off-by: Eric Avdey <eiri@eiri.ca>

Fix match in fabric_doc_open_revs reply

Message handler in fabric_doc_open_revs returns tagged with 'ok'
list of the replies and not expected {ok, Reply} tuple. This makes
reply to go through 'Else' clause and skip filter_reply function.

Merge remote branch 'cloudant:68151-fix-rexi_DOWN-handler'

This closes #57

Signed-off-by: ILYA Khlopotov <iilyak@ca.ibm.com>

Fix rexi_DOWN and rexi_EXIT handlers

In the cases when we receive rexi_DOWN or rexi_EXIT we call
handle_message with {ok, []}. This crashes lists:min/1. Since it expects
a list with at least one element.

COUCHDB-3037

Merge branch '3036-fix-fabric-db-update-listener-rexi-down'

Fix fabric_db_update_listener rexi_DOWN handling

A recent change that fixed the list comprehension ended up uncovering
the fact that we don't handle rexi_DOWN errors properly. This patch just
tracks the shards that are still listening and uses
`fabric_view:is_progress_possible/1` to know if we are still able to
continue listening for changes.

Fixes COUCHDB-3036

Merge remote branch 'cloudant:2730-fix-compilation-warnings'

This closes #54

Signed-off-by: ILYA Khlopotov <iilyak@ca.ibm.com>

Fix compilation warnings

COUCHDB-2730

Merge remote branch 'cloudant:67266-filter-out-not-found'

This closes #53

Signed-off-by: ILYA Khlopotov <iilyak@ca.ibm.com>

Filter out not_found replies when #doc{} is found

There are places in the codebase which assume that the return from
open_revs is always a list with one element in it. Fix the regression
introduced in 9a1d0c5 by filtering out not_found replies when any of the
returns contains #doc{}.

COUCHDB-3026

Merge remote branch 'cloudant:use_meck_wait'

This closes #52

Signed-off-by: ILYA Khlopotov <iilyak@ca.ibm.com>

Use meck:wait to fix race condition

fabric:update_docs is running in the context of a `read_repair` which is an
independent process started using `erlang:spawn/1`. This leads to a race
when we try to use `meck:history(fabric)`. Use of `meck:wait` ensures that
we call `meck:history` after `fabric:update_docs` has been called.

Merge branch '2863-fix-fabric-doc-open-revs'

Merge remote branch 'cloudant:fix-spec-for-get_all_security'

This closes #51

Signed-off-by: ILYA Khlopotov <iilyak@ca.ibm.com>

Fix return type in get_all_security

Merge remote branch 'cloudant:43260-create-target-shard-if-missing'

This closes #50

Signed-off-by: ILYA Khlopotov <iilyak@ca.ibm.com>

Use create_if_missing option of couch_db:open_int

Fix fabric_doc_open_revs

When a user specified multiple revisions on a single branch to
fabric_doc_open_revs it would throw a function clause exception in
lists:zipwith/3. This was due to a bad assumption that there would only
ever be exactly one revision for every input revision.

Due to the possibility of having zero or more revisions for a given
revision when using latest=true this code had to be changed fairly
significantly.

COUCHDB-2863

Merge remote branch 'cloudant:update-get_doc_count-spec'

This closes #49

Signed-off-by: ILYA Khlopotov <iilyak@ca.ibm.com>

Improve fabric:get_doc_count spec

Merge remote branch 'cloudant:fix-db_update_listener'

This closes #48

Signed-off-by: ILYA Khlopotov <iilyak@ca.ibm.com>

start_update_notifiers returns list of #worker{}

start_update_notifiers returns list of #workers{}. However we expect
`{Node, Reference}`.

Merge remote branch 'github/pr/45'

This closes #45

Signed-off-by: ILYA Khlopotov <iilyak@ca.ibm.com>

Use couch_db:dbname_suffix in path_ends_with

Replace couch_db:normalize_dbname with couch_db:dbname_suffix since the
semantic of normalize_dbname has been changed. couch_db:normalize_dbname
would return all components of the path with shard info removed from it.
couch_db:dbname_suffix on the other hand would return the last component
of the path. It would also ensure that shard's suffix is removed from
the result.

COUCHDB-2983

Honor update_seq=true for map view requests

COUCHDB-2849

Use ICU to compare POSTed view keys when necessary

It's possible for user-supplied view keys to compare equal under ICU
collation but not under Erlang's =:=. Since dict uses =:= for equality
this will result in runtime errors unless we fall back to ICU when
necessary and appropriate.

COUCHDB-2932

Support raw collation in map results

COUCHDB-2900

Support raw collation in reduce results

Also simplify find_next_key/3 and avoid generating a new fun for every
streamed key.

COUCHDB-2900

Add collation to view result collector record

There's no reference to the #mrview when results are being streamed to
the user, so we need a place to store the collation specification while
results are collected.

COUCHDB-2900

Extent fetch ddoc logic for view filtered changes feeds

Avoid spamming logs with write_quorum errors

The three metrics in fabric_doc_update:force_reply/3 were
introduced to replace the write_quorum log message however the
log line was not removed. This commit removes the log message.

Close COUCHDB-2958

This closes #41

Merge remote branch 'github/pr/39'

    - https://github.com/apache/couchdb-fabric/pull/39

    This closes #39

Signed-off-by: ILYA Khlopotov <iilyak@ca.ibm.com>

Remove configurable replicator db name

JIRA: COUCHDB-2954

Merge branch '2938-use-ddoc-cache-in-filtered-changes'

Support fetch ddoc logic for filtered changes feeds

Return forbidden error if encountered on any shard

This commit fixes an issue which caused HTTP 500 errors to be
returned when an authorized user attempted to access a database
that they did not have permission to access, when cassim is
disabled.

Instead of returning an internal server error once all shards
have failed to open we add a receive clause so that we throw
a forbidden error if one is encountered on any shard. This is the
same approach we already take for unauthorized errors.

Closes COUCHDB-2948

This closes #38

Add owner of shard to last_seq of changes response

Prior to this commit, there was a bug where the response of a changes
query would include epoch information for every change, but not for the
last sequence. Subsequent shard changes queries would rewind from zero
if the last_seq field was used in the clustered changes query and any
shard had previously been moved.

Fix incorrect size values for view index information

We need to filter overlapping shards to prevent summarizing
all sizes from all the shards, since we actually need the
value from the one.

This bug was introduced in ba27f81.

Update .travis.yml

Fix eunit tests.

 Mock couch_log alongside couch_stats.

fix assertions: first arg is 'expected'

Don't create dbs doc if shard files fail for enametoolong reason

COUCHDB-2821

Merge remote-tracking branch 'smithsz/2819-db-create-check-already-exists'

Check if a DB exists prior to creating

COUCHDB-2819