Whitespace and housekeeping

Add specs to document validate_doc_update/5

Add revs limit for docs passed to filter functions

The existing revs_limit logic only accounts for depth of individual
branches, and ignores the case where you have a lot of branches, for
instance when a doc is heavily conflicted. This patch truncates the list
of revs when passing docs to the JS filter functions, because given
enough revs this can cause the couchjs processes to explode.

Fix crypto deprecations

COUCHDB-2825

Use illegal_docid error for really bad document ids

Use lists:ukeymerge to simplify header deduplication

Modifies COUCHDB-1876 patch

Fix duplicated Content-Type for show/update functions

When a show/update function returned data it added a
"Content-Type: application/json" header by itself. Then
couch_httpd added some default headers (including a yet
another "application/json" one).
This diff will add default chttpd headers only when
same headers are not yet present in the response.

This closes #55

COUCHDB-1876

Signed-off-by: Alexander Shorin <kxepal@apache.org>

Merge remote-tracking branch 'cloudant/remove-csrf'

Remove new CSRF mechanism

Remove new CSRF mechanism

Add libcurl support for Windows

Convert compilation error to 400 Bad Request

COUCHDB-2772

Restrict CSRF check to specific mime types

COUCHDB-2797

Merge remote-tracking branch 'cloudant/2775-post-valid-json-header'

check POST requests for valid json header

validate that all POST requests with json body must have also have valid
json header: {"Content-Type": "application/json"}
This ensures a basic protection against CSRF

JIRA: COUCHDB-2775

Register service

COUCHDB-2796

Remove `ignore_providers` option

COUCHDB-2796

Capture histogram data for _bulk_requests

COUCHDB-2792

Fix crashing filtered _changes request

A filtered call to _changes end-point prompts a node to
pull a peer from the received mochi request record.
This is crashing on the secondary nodes in a clustered
environment since the peer call made on a socket
that is not original for them.

The fix makes use of the fact that by the time of the request
the peer already got resolved on the coordinator node and
passed along as a part of #http record.

This closes the case COUCHDB-2785

No, etap, we don't need in your services anymore

Bind both to IPv4 and IPv6 with special "any" value

This also removes need in special wrapper to handle atom as default
for config:get call.

COUCHDB-2783

Remove duplicate `couch_epi` from couch.app.src

Log when password is wrong but user is valid

COUCHDB-2777

Align csrf cookie refresh with authsession cookie refresh

Merge remote-tracking branch 'cloudant/47059_session_accept_username'

Implement rename_on_delete

Sometimes it is usefull to keep deleted db files around. For backup
reasons for example. This commit implements the feature. The feature is
enabled by specifying `rename_on_delete = true` in `[couchdb]` of the
config.

Make _session endpoint accept username in addition to name

Before _session endpoint was only accepting "name" and "password" parameters
This, makes _session endpoint, in addition,  to accept "username" and
"password" parameters

JIRA: COUCHDB-2754
BugzId: 47059

Add couch_db_plugin:on_delete/2

Tests for 'authentication_handlers' and 'authenticated' on '_session'

Don't do pointless conversion of dbname into list

Make sure we start `setup` app in test

Return `{error, {illegal_database_name, Name}}`

Export couch_db:is_admin/1

Add couch_db_plugin:check_is_admin/1

Add couch_db_plugin:validate_docid/1

Add couch_db_plugin:after_doc_read/2

Add couch_db_plugin:before_doc_update/2

Add couch_db_plugin:validate_dbname/2

Update `#chttpd{}` record

Don't guess authentication handler name

CSRF is not necessary for read operations

COUCHDB-2762

Add option to make CSRF cookie mandatory

When enabled, the CSRF cookie/header is required on all requests
except those to the welcome message at /.

COUCHDB-2762

change couch_httpd_csrf section to csrf

Add CSRF protection

If the request parameter `csrf` is set to `true` when successfully
acquiring a session cookie from `_session` an additional cookie
(`Csrf-token`) is returned. All requests that send this new cookie
must also send a header (`X-Csrf-Token`) with the same value. If the
cookie is sent and the header is missing or different, a 403 response
is generated.

Note that the CSRF token is signed by the server so tampering is
detected and also results in a 403 response.

closes COUCHDB-2762

Avoid arithmetic in `to_hex` function

Merge remote-tracking branch 'cloudant/dont-validate-host-by-default'

Merge remote-tracking branch 'cloudant/dynamic-handlers'

Don't enable host validation by default

Revising original stance. Administrators can enable this feature if
they want, and supply the definitive list of allowed Host values.

When enabled, the default list of valid hosts is empty.

COUCHDB-2752

Merge remote-tracking branch 'cloudant/2752-validate-host'

Validate host header

By default, the Host header must be either localhost or the
fully-qualified domain name of the host.

Administrators can disable this check with;

[httpd]
validate_host = false

Administrators can override the valid host list with;

[httpd]
valid_hosts = foo,bar,baz

COUCHDB-2752

Support Windows compilation for couch_ejson_compare

MSVC uses __declspec(thread) rather than __thread, so created a macro for it.

Merge branch '2735-duplicate-docs'

Ensure doc groups are sorted before merging them

We had been implicitly assuming that clients send us sorted groups, but
unsurprisingly that's not always the case. The additional sorting here
should be redundant, but the consequences of merging unsorted groups are
severe -- we can end up with uniqueness violations on the primary key in
the database -- and so we add an additional sort here.

COUCHDB-2735

Use dynamic handler for `_oauth`

Add dynamic http endpoints

Merge remote-tracking branch 'cloudant/2732-optimize-couch-ejson-compare'

Merge branch 'windows_support'

Support Windows build target

Remove compression's optimization

When a file compression set to snappy, couch is doing an additional
optimization step by also compressing the term with deflate,
comparing the sizes of the result binary and choosing the smaller one.
This leads to a situation when for snappy compresed database the
'winning' deflate compressed term got decompressed and compressed
back into deflate on each document's write.

This patch removes this compression's optimization.
[Basic test](http://nbviewer.ipython.org/gist/eiri/79d91a797af9c6a6ff6d)
demonstrate that the gained with it disk space is not significant
enough to justify empty CPU cycles.

This closes COUCHDB-2726

Track open time without using process dictionary

We were only removing the `{async_open, DbName}` process dictionary entries if
the open is successful. Over time, in busy situations, the process dictionary
can grow very large.

COUCHDB-2749

Optimize couch_ejson_compare NIF

The old nif was allocating a set of collators that were reserved and
released by each scheduler thread. This coordination and the
accompanying mutex turned into a global point of contention when many
schedulers were using couch_ejson_compare.

This change removes the stack based concurrency control in favor of a
`__thread variable`. We end up with the same number of collators but
without any overhead around locking a central mutex.

This increases performance by roughly a factor of five.

COUCHDB-2732

Send 400 Bad Request if request body is missing

better error text for check_docids

Revert "Throw bad request for empty POST request body when filtering by doc_ids"

This reverts commit e858e7dfef06a4d6e6c9228de80628f7166397ef.

Throw bad request for empty POST request body when filtering by doc_ids

JIRA: COUCHDB-2743
BugzID: 48864

erlang R14-18 compatibility

Merge branch '1805-reduce-collation'

COUCHDB-1805

Add a convenience macro for "equal to" test

This macro preserves the expressiveness of ?assertEqual but uses ==
instead of =:=. Useful for situations where the test involves numbers
that may be converted between types (e.g. 1 == 1.0).

Fix pattern matching order in reduce_sizes

Function `upgrade_sizes` recognises both integer and tuple
data size formats, but pattern matching order in `reduce_sizes`
in `couch_db_updater` do not allow tuple representation
ever reaching it.

Rename active_size variable for consistency

Fix `active_size` format conversion in `get_db_info` function

In `active_size` conversion in `couch_db:get_db_info/1` old db reduction's size format assumed to be an integer representing active state, when it also could be a tuple of active and external sizes.

This handeled correctly, for example, in [couch_db_updater.erl](https://github.com/apache/couchdb-couch/blob/master/src/couch_db_updater.erl#L426).

This patch addresses conversion of both possible formats to CouchDB `size_info` record.

This closes issue COUCHDB-2701

Configurable password scheme

This gives the administrator control over which algorithm is used to
hash passwords and a separate control over whether this happens on
successful authentication or only at password change time.

closes COUCHDB-2725

Introduce couch_db:normalize_dbname

Move duplicated logic into couch_db:normalize_dbname. We could use this
helper function anywhere we need to extract dbname from shard path.

COUCHDB-2715

Replace password_scheme and iterations field

Previously we introduced duplicates

COUCHDB-2710

perf: http layer - speedup couchdb version lookup

It turned out that we spend a lot of our time for every request in the
function couch_server:get_version which simply gets the current CouchDB
version.

Instead of fetching a list of all loaded applications an filtering it
we are directly getting the current VSN of CouchDB.

Patched version is 10% faster for a simple /get on a document.

(Almost?) All our of request-handlers are accessing this function so it
should be beneficial for large areas of the http layer.

Allow couch_httpd_cors to be disable by the calling process

In chttpd we call into couch_httpd for the low level http functions
like send_json. The function couch_httpd:send_response/4 calls out to
couch_httpd_cors, which will cause duplicate CORS headers to be set
when we've already gone through chttpd_cors.

This is a bit of a hack but it's a good temporary measure until we
consolidate couch_httpd and chttpd down to one http stack.

Merge remote-tracking branch 'ilya/2689-pass-options-to-test_request'

Merge remote-tracking branch 'ilya/2688-start-lager-from-test'

Fixing a build for Mac OS 10.10 - missing
mozjs185.

Added /usr/local/lib to linker search path because
couchdb suggests using homebrew to install dependancies and that's
where they are put by default.

COUCHDB-2699

add _changes?feed=live sugar for continuous

allow `feed=live` as sugar for `continuous` which is hard to
type. PouchDB already supports `live`.

PRs for the change:
https://github.com/apache/couchdb/pull/307
https://github.com/apache/couchdb-couch/pull/40
https://github.com/apache/couchdb-chttpd/pull/28

closes COUCHDB-2237

Fix global_changes tests

Revert "use existing salt during sha1->pbkdf2 upgrade to avoid conflicts"

This reverts commit 569338222a9ee38c35d2270b2a2a405be26a0828.

I think I'm wrong about conflicts, we update the document before
we write (in fabric).

use existing salt during sha1->pbkdf2 upgrade to avoid conflicts

Pass Opts to put/post/delete of test_request

We need to pass auth in Opts sometimes.

COUCHDB-2689

Include lager into list of extra apps when testing

Starting lager as `lager:start` is an issue since dependencies
started by lager are not included in a list of started applications
so we don't stop them after we are done with current test.

This commit uses test_util:start_applications so all deps of lager are
included into #test_context{}

COUCHDB-2688

Add test suite for global_changes

COUCHDB-2667

Fix broken test suite for COUCHDB-2656

COUCHDB-2656

Week of day for past expiration date 1990-01-01 is Monday

Fixes COUCHDB-2677

Merge remote-tracking branch 'iilyak/2656-use-chttpd-functions'

This closes #43

COUCHDB-2656

Fix error handling in couch_util:with_proc

add couch_util:with_proc/4

BugzId: 2657

Make global_changes database system one

Add CORS test case for couch_mrview_show

COUCHDB-2656

Count HTTP 417 and 501 responses

Temporarily add ?assertNotEqual eunit macro for R14*

Merge remote-tracking branch 'iilyak/2547-fix-broken-tests'

This closes #35

COUCHDB-2547

add license

Fix race in couch_work_queue_test

COUCHDB-2547

Fix compilation warnings

Merge remote-tracking branch 'iilyak/2585-allowed_owner-hook'

This closes #37