Add unsorted_meta callback for delayed meta

Merge remote branch 'cloudant:69654-fix-view-info-duplicates'

This closes #61

Signed-off-by: Eric Avdey <eiri@eiri.ca>

Ignore already received replies for same shards

It is possible to get a reply for same shard
from different node sent before its collector
get stopped in remove_overlapping_shards.

This running condition leads to a possibility
of same info to be aggregated multiple times.

fix compilation warnings of unused variables

End the listener if any shard is deleted

If a database is deleted and recreated the underlying shards have a
new name. Since we're watching the old names, we will never again see
an updated event. So, we stop this process if any watched shard is
deleted and it's someone elses job to recreate the listener for the
new shards.

COUCHDB-3054

Merge remote branch 'cloudant:44287-use-correct-sequence-for-shard-replacement'

This closes #62

Signed-off-by: ILYA Khlopotov <iilyak@ca.ibm.com>

Use the correct sequence for shard replacement

The call to unpack the since sequence for _changes incorrectly filtered
the value for any shard that didn't exist. This means that any shard
that was moved ended up requiring a complete rescan which is a bug. This
just sets the update sequence to the range of the shard being replaced
rather than zero.

COUCHDB-3055

Merge remote branch 'cloudant:fix_some_specs'

This closes #60

Signed-off-by: ILYA Khlopotov <iilyak@ca.ibm.com>

Improve fabric:all_docs spec

- fabric:all_docs supports options passed as proplist
- fabric:all_docs return value is controled by a callback therefore it
  should be `{ok, any()}`

fabric:update_docs supports json_obj()

Emit error row for a null doc id in POSTs to _all_docs

This is compatible behavior with CouchDB 1.x

Jira: COUCHDB-3039
BugzID: 68486

Support update_seq=true in reduce views

COUCHDB-2991

Support update_seq=true in _all_docs

Pass security object in fake db

Users can be granted admin access to the special _users and
_replicator databases so we need to pass the security object to the
authorization functions.

COUCHDB-2991

Merge remote branch 'cloudant:fix-doc-open-reply'

This closes #58

Signed-off-by: Eric Avdey <eiri@eiri.ca>

Fix match in fabric_doc_open_revs reply

Message handler in fabric_doc_open_revs returns tagged with 'ok'
list of the replies and not expected {ok, Reply} tuple. This makes
reply to go through 'Else' clause and skip filter_reply function.

Merge remote branch 'cloudant:68151-fix-rexi_DOWN-handler'

This closes #57

Signed-off-by: ILYA Khlopotov <iilyak@ca.ibm.com>

Fix rexi_DOWN and rexi_EXIT handlers

In the cases when we receive rexi_DOWN or rexi_EXIT we call
handle_message with {ok, []}. This crashes lists:min/1. Since it expects
a list with at least one element.

COUCHDB-3037

Merge branch '3036-fix-fabric-db-update-listener-rexi-down'

Fix fabric_db_update_listener rexi_DOWN handling

A recent change that fixed the list comprehension ended up uncovering
the fact that we don't handle rexi_DOWN errors properly. This patch just
tracks the shards that are still listening and uses
`fabric_view:is_progress_possible/1` to know if we are still able to
continue listening for changes.

Fixes COUCHDB-3036

Merge remote branch 'cloudant:2730-fix-compilation-warnings'

This closes #54

Signed-off-by: ILYA Khlopotov <iilyak@ca.ibm.com>

Fix compilation warnings

COUCHDB-2730

Merge remote branch 'cloudant:67266-filter-out-not-found'

This closes #53

Signed-off-by: ILYA Khlopotov <iilyak@ca.ibm.com>

Filter out not_found replies when #doc{} is found

There are places in the codebase which assume that the return from
open_revs is always a list with one element in it. Fix the regression
introduced in 9a1d0c5 by filtering out not_found replies when any of the
returns contains #doc{}.

COUCHDB-3026

Merge remote branch 'cloudant:use_meck_wait'

This closes #52

Signed-off-by: ILYA Khlopotov <iilyak@ca.ibm.com>

Use meck:wait to fix race condition

fabric:update_docs is running in the context of a `read_repair` which is an
independent process started using `erlang:spawn/1`. This leads to a race
when we try to use `meck:history(fabric)`. Use of `meck:wait` ensures that
we call `meck:history` after `fabric:update_docs` has been called.

Merge branch '2863-fix-fabric-doc-open-revs'

Merge remote branch 'cloudant:fix-spec-for-get_all_security'

This closes #51

Signed-off-by: ILYA Khlopotov <iilyak@ca.ibm.com>

Fix return type in get_all_security

Merge remote branch 'cloudant:43260-create-target-shard-if-missing'

This closes #50

Signed-off-by: ILYA Khlopotov <iilyak@ca.ibm.com>

Use create_if_missing option of couch_db:open_int

Fix fabric_doc_open_revs

When a user specified multiple revisions on a single branch to
fabric_doc_open_revs it would throw a function clause exception in
lists:zipwith/3. This was due to a bad assumption that there would only
ever be exactly one revision for every input revision.

Due to the possibility of having zero or more revisions for a given
revision when using latest=true this code had to be changed fairly
significantly.

COUCHDB-2863

Merge remote branch 'cloudant:update-get_doc_count-spec'

This closes #49

Signed-off-by: ILYA Khlopotov <iilyak@ca.ibm.com>

Improve fabric:get_doc_count spec

Merge remote branch 'cloudant:fix-db_update_listener'

This closes #48

Signed-off-by: ILYA Khlopotov <iilyak@ca.ibm.com>

start_update_notifiers returns list of #worker{}

start_update_notifiers returns list of #workers{}. However we expect
`{Node, Reference}`.

Merge remote branch 'github/pr/45'

This closes #45

Signed-off-by: ILYA Khlopotov <iilyak@ca.ibm.com>

Use couch_db:dbname_suffix in path_ends_with

Replace couch_db:normalize_dbname with couch_db:dbname_suffix since the
semantic of normalize_dbname has been changed. couch_db:normalize_dbname
would return all components of the path with shard info removed from it.
couch_db:dbname_suffix on the other hand would return the last component
of the path. It would also ensure that shard's suffix is removed from
the result.

COUCHDB-2983

Honor update_seq=true for map view requests

COUCHDB-2849

Use ICU to compare POSTed view keys when necessary

It's possible for user-supplied view keys to compare equal under ICU
collation but not under Erlang's =:=. Since dict uses =:= for equality
this will result in runtime errors unless we fall back to ICU when
necessary and appropriate.

COUCHDB-2932

Support raw collation in map results

COUCHDB-2900

Support raw collation in reduce results

Also simplify find_next_key/3 and avoid generating a new fun for every
streamed key.

COUCHDB-2900

Add collation to view result collector record

There's no reference to the #mrview when results are being streamed to
the user, so we need a place to store the collation specification while
results are collected.

COUCHDB-2900

Extent fetch ddoc logic for view filtered changes feeds

Avoid spamming logs with write_quorum errors

The three metrics in fabric_doc_update:force_reply/3 were
introduced to replace the write_quorum log message however the
log line was not removed. This commit removes the log message.

Close COUCHDB-2958

This closes #41

Merge remote branch 'github/pr/39'

    - https://github.com/apache/couchdb-fabric/pull/39

    This closes #39

Signed-off-by: ILYA Khlopotov <iilyak@ca.ibm.com>

Remove configurable replicator db name

JIRA: COUCHDB-2954

Merge branch '2938-use-ddoc-cache-in-filtered-changes'

Support fetch ddoc logic for filtered changes feeds

Return forbidden error if encountered on any shard

This commit fixes an issue which caused HTTP 500 errors to be
returned when an authorized user attempted to access a database
that they did not have permission to access, when cassim is
disabled.

Instead of returning an internal server error once all shards
have failed to open we add a receive clause so that we throw
a forbidden error if one is encountered on any shard. This is the
same approach we already take for unauthorized errors.

Closes COUCHDB-2948

This closes #38

Add owner of shard to last_seq of changes response

Prior to this commit, there was a bug where the response of a changes
query would include epoch information for every change, but not for the
last sequence. Subsequent shard changes queries would rewind from zero
if the last_seq field was used in the clustered changes query and any
shard had previously been moved.

Fix incorrect size values for view index information

We need to filter overlapping shards to prevent summarizing
all sizes from all the shards, since we actually need the
value from the one.

This bug was introduced in ba27f81.

Update .travis.yml

Fix eunit tests.

 Mock couch_log alongside couch_stats.

fix assertions: first arg is 'expected'

Don't create dbs doc if shard files fail for enametoolong reason

COUCHDB-2821

Merge remote-tracking branch 'smithsz/2819-db-create-check-already-exists'

Check if a DB exists prior to creating

COUCHDB-2819

Added counter metric for fabric-worker-timeout.

This is being done as a good indicator for when mspot is
having issues.  An alert threshold will be set in
centinela.

BugzID: 50369

Revert "add clusterwide compaction for dbs"

This reverts commit 140bcfacbb220bc3b47697fdd7b8b306eb6d7330.

add clusterwide compaction for dbs

PRs:
https://github.com/apache/couchdb-fabric/pull/27
https://github.com/apache/couchdb-chttpd/pull/62

COUCHDB-2492

PR: #27
PR-URL: https://github.com/apache/couchdb-fabric/pull/27
Reviewed-By: Robert Newson <rnewson@apache.org>

Use BigCouch/Cloudant seq format

Let's ease 2.0 transition by not introducing a new sequence format,
it's not even necessary now.

Integrate with Travis CI

Fix type specs

fabric:cleanup_index_files should check mrview/ directories

COUCHDB-2773

Use `couch_db:validate_dbname/1`

Merge branch '2724-chunked-buffering'

Restrict views in the authentication DB to admins

This commit teaches fabric to restrict access to views in the
authentication DB to administrators by calling through to
couch_db_users:after_doc_read/2 after the design doc is read.

COUCHDB-2738

This closes #23

Move is_*_db funs and helpers to fabric_util

This commit moves the is_*_db/1 funs and their helpers from
fabric_doc_update to fabric_util and exports them so they
can be re-used elsewhere in fabric.

COUCHDB-2738

Execute a callback at end of each traversal

We add this notification before entering a (potentially long) wait for
new DB updates so that the client can choose to finalize any processing
it might have been doing on earlier updates. The specific use case in
chttpd is to flush the client's internal buffer in a timely manner.

COUCHDB-2724

Remove meck twig:log/3

Use couch_db:normalize_dbname

COUCHDB-2715

Revert "Module-wide s/proplists:get_value/couch_util:get_value/"

Behaviour of `get_value/2,3` function of couch_util and proplists
modules is completely different when searched key exists and is an
atom, but there is no paired value for it: proplists function
implicitly assumes that a value is `true` while couch_util returns
`undefined` instead.

Such replacement breaks any logic that depends on `true` or
`undefined` result of the function call, so we need to be
careful next time.

This reverts commit 19c273ac54e8f1bec81be3b74c443ecafa01e599.

Module-wide s/proplists:get_value/couch_util:get_value/

export dbname/1

BugzID: 45853

This is a cherry-pick of:

https://github.com/cloudant/fabric/commit/818dd09e9ea645e866fc62fd1a4302ce73b2422a

Add ability to gracefully terminate existing changes feeds

Calling fabric:end_changes() will cause all current changes
feeds to gracefully exit without preventing new changes requests from
starting (unlike maintenance_mode).

BugzID: 45762

This is a cherry-pick of:

https://github.com/cloudant/fabric/commit/1b45cede8f11e209f28e3d06b9fda4cbdcd719cc

Conflicts:
src/fabric.erl
src/fabric_view_changes.erl

Provide an access to a document info

The functions `get_doc_info/3` and `get_full_doc_info/3` were
added to API to provide an access to the records `#doc_info{}`
and `#full_doc_info{}` accordingly.

The functions are re-using `fabric_open_doc` coordinator
and consequently are the subject of the same read quorum rules
as `open_doc/3` function. However the info functions do not trigger
read repair on a not fully complete quorum.

Function `get_full_doc_info/3` accepts an option `deleted` to
allow to provide an information for a deleted document,
similar to `open_doc/3`.

FogBugz: 12933

This is a cherry-pick of:

https://github.com/cloudant/fabric/commit/c85569287ad8f86122b47775adc2ab9218db0322

Conflicts:
src/fabric_rpc.erl

use the right config section for clustered authentication db

Merge remote-tracking branch 'iilyak/2526-pending-updates-info'

This closes #9

COUCHDB-2526

Fix typo

Handle case in fake_db where there's no user context

Call the correct before_doc_update arity

bug introduced in COUCHDB-510

fixes COUCHDB-2630 COUCHDB-2632 COUCHDB-2643

Rename variables for clarification of intend

COUCHDB-2526

Add updates_pending field to get_view_group_info

We also change the beheviour of this function to wait
response from all shards.

COUCHDB-2526

add license file

readme: change to couchdb project

remove compile warning

make `Options` optional :)

Use list of system database names

This closes #15

COUCHDB-2619
COUCHDB-2620

Respect doc_options during _all_docs serialization

When full documents are returned as part of an _all_docs response,
respect doc_options (e.g. attachments=true) during JSON serialization.

This closes #13

COUCHDB-2568

Signed-off-by: Alexander Shorin <kxepal@apache.org>

Fix waterfall of `rexi_server error:badarg` errors

Respect doc_options during _changes serialization

When including full documents in the changes feed response, respect
doc_options (e.g. attachments=true) during JSON serialization.

This closes #12

COUCHDB-2522

Signed-off-by: Alexander Shorin <kxepal@apache.org>

Respect conflicts=true when collecting clustered changes

This correctly reads the conflicts parameter from #changes_args.
Previously we were attempting to look for a conflicts property in
Options which was never set (so always evaluated to false).

Fixes COUCHDB-2518

This closes #11

Signed-off-by: Alexander Shorin <kxepal@apache.org>

Handle empty list of id/revs in fabric_doc_missing_revs:go

When AllIdsRevs is an empty list the result will always be an empty
response. Handle this explicitly given there is no work to do
(attempting to delegate to the shards previously resulted in a timeout).

This closes #10

COUCHDB-2531

Signed-off-by: Alexander Shorin <kxepal@apache.org>

Merge remote-tracking branch 'iilyak/1145-_local_docs-handler'

This closes #8

COUCHDB-1145

Use ADMIN_CTX macro from couch_db.hrl

Fix incomplete spec of fabric:get_view_group_info

COUCHDB-2526

Don't do manual filtering of _design docs

Since namespace support was added we can rely on it instead

COUCHDB-1145

Merge branch '2517-open_revs=all-function_clause'

Fixes #7

Exit early when there is a quorum but list of docs is empty

There is no point to go through repair stage since this set of
conditions meens that the doc with given id doesn't exists.
Besides not going through repair process fixes the case when
we request open_revs=all for non existent document

COUCHDB-2517

Merge branch '2510-add-system-db-handlers'

Fixes #6