Merge branch 'couchdb-2992'

Closes #157

Allow limiting maximum document body size

This is the HTTP layer and some tests. The actual checking is done in couch
application's from_json_obj/1 function.

If a document is too large it will return a 413 response code. The error reason
will be the document ID. The intent is to help users identify the document if
they used _bulk_docs endpoint. It will also help replicator skip over documents
which are too large.

COUCHDB-2992

Merge remote-tracking branch 'cloudant/64299-add-new-request-parameter'

Close #156

Rename max_document_size to max_http_request_size

`max_document_size` is implemented as `max_http_request_size`. There was no
real check for document size. In some cases the implementation was close enough
of a proxy (PUT-ing and GET-ing single docs), but in some edge cases, like
_bulk_docs requests the discrepancy between request size and document size
could be rather large.

The section was changed accordingly from `couchdb` to `httpd`. `httpd` was
chosen as it applies to both clustered as well as local interface.

There is a parallel effort to implement an actual max_document_size check. The
set of commit should be merged close enough together to allow for a backwards
compatible transition.

COUCHDB-2992

Merge remote branch 'cloudant:couchdb-3293'

This closes #155

Signed-off-by: ILYA Khlopotov <iilyak@apache.org>

Mock config module in tests

The tests in chttpd_db_bulk_get_test do not start config app.
The change in https://github.com/apache/couchdb-couch/pull/226
introduces call to config app.
Make sure we mock config so the tests pass.

COUCHDB-3293

Introduce 503 error when nodes are all unavailable.

In rare situations when all nodes are down or in maintenance mode and
no workers can service a request, we return a 503 to the user.

COUCHDB-3289

Handle error return clauses for fabric:open_revs

When calling fabric:open_revs, we don't account for situations where
the function returns an {error, any()} value as specified by the
function specification. This will account for errors thrown.

COUCHDB-3289

allow w parameter for attachments

Fix missing ampersand in rewritten queries

Merge default update response headers with custom ones

This was not ported to chttpd and so wasn't really fixed in 2.0

COUCHDB-1447

Merge remote branch 'cloudant:71810-handle-errors-terms-from-fabric'

This closes #146

Signed-off-by: ILYA Khlopotov <iilyak@apache.org>

Handle error terms from fabric

The fabric returns errors as {Class, Reason, Stack}
(see fabric_util:error_info/2).
Add the clause to error_info to handle it.

COUCHDB-3195

Merge remote branch 'cloudant:78077-pass-user_ctx_to_filter'

This closes #150

Signed-off-by: Eric Avdey <eiri@eiri.ca>

Include user_ctx in db open options

Add ability to return a "features" list in the welcome message.

This could help users quickly discover the presence of an API or mode of
operation.

Features are obtained from a new config API `config:features/0`

System components can enable features via `config:enable_feature/1` API, or
users can directly enable features in the .ini files, and those features
should show up in the "Welcome" message.

COUCHDB-3180

Merge remote branch 'cloudant:fix-cors-max_age'

This closes #110

Signed-off-by: Eric Avdey <eiri@eiri.ca>

Remove an unused test's var to avoid a warning

Fix CORS max_age configuration parameter

Header "Access-Control-Max-Age" used by a browser to define
for how long to keep preflight request's response cached.

This fix makes this parameter configurable through config section
[cors], attribute max_age.

HTTP code 500 instead of 400 for invalid key during document creation

The wrong status code is returned when creating or updating a document
with an invalid key.
Returns:
{u'reason': u'Bad special document member: _invalid_key', u'error':
u'doc_validation'}
HTTPError: 500 Server Error: Internal Server Error
Expected: 400 Bad Request error

COUCHDB-3222

handle timeout in _revs_diff

when fabric workers timeout,
fabric:get_missing_revs returns {error,timeout}
this handles timeout errors

COUCHDB-3220

return a binary so the existing tests pass

Make auth handlers configurable.

Merge branch 'couchdb-3174'

Pass user context when opening doc in db_attachment_req

COUCHDB-3181

Merge remote branch 'cloudant:69425-handle-truncated-req-in-recv_body'

This closes #140

Signed-off-by: ILYA Khlopotov <iilyak@apache.org>

Handle disconnect when receiving body

When any error happen on an underlying socket mochiweb uses
exit(normal). Add catch for exit:normal and convert it to
exit({bad_request, <<"Incomplete">>}).

COUCHDB-3158

Add max_document_size checking for multipart PUT requests

Previously multipart/related PUT requests didn't check maximum request sizes.

This commit checks content-length and compares that with the maximum.

This means keeping the current "semantics" of max_document_size which actually
means "max request size". But this makes the check more efficient and can
be done earlier in request processing time.

PR depends on https://github.com/apache/couchdb-couch/pull/201 make sure to
merge that one first if accepted.

Jira: COUCHDB-3174

Fix eventsource timeout handling

COUCHDB-3164

Fix SSL defaults

Three properties had their defaults changed to a value that
couch_util:parse_terms throws up on.

"nil" was changed to undefined in COUCHDB-2561 as part of normalising
the config API. The change from list to atom was a mistake.

COUCHDB-3162

Merge remote-tracking branch 'will/3090-handle-empty-access-control-request-headers'

Canonicalise ETag response headers

don't send random etag for _list (COUCHDB-3134)

Etag's require quotes (COUCHDB-3134)

Merge branch '2.0-suppress-user-not-found-warning' of https://github.com/wohali/couchdb-chttpd

Merge remote-tracking branch 'will/3017-ETag-not-unique'

Drop logging level for "no record of user %s"

This warning is tripped primarily when an admin is defined in local.ini
and has no associated _users document. This can happen fairly often in
development and testing setups, meaning that every other line in the
logfile is "no record of user admin".

The right thing to do here might be to check if the currently defined
user is a local admin and only complain in that situation, but presently
chttpd only directly depends on couch_auth_cache and to do so would
require unencapsulating how couch_auth_cache handles ini file defined
admin users vs. authentication database users, which feels wrong.

Change suggested by @janl in #couchdb-dev IRC.

fix compilation warning

Merge remote branch 'cloudant:3102-fix-config_subscription'

This closes #137

Signed-off-by: ILYA Khlopotov <iilyak@ca.ibm.com>

Update handle_config_terminate API

COUCHDB-3102

Merge remote-tracking branch 'cloudant/2779-view-cleanup-cluster-aware'

Implement clustered _compact endpoint

COUCHDB-3099

Handle empty "Access-Control-Request-Headers" header

When "Access-Control-Request-Headers" is empty, return an empty
"Access-Control-Allow-Headers" in the response. This is the same
behaviour as when the "Access-Control-Request-Headers" header is
omitted from the request entirely.

Fixes COUCHDB-3090

Don't set "authenticated" if party_mode_handler sets user context

Patch suggested by Ilya.

COUCHDB-3084

Format the changes listener exit Reason

In a multi-query view request, set view type for each query

Namely, a default `reduce` view type can be overridden to behave like a `map`,
if user explicitly sets `reduce=false`.

Previously this didn't happen. For example, a query like this:

```
{
  "queries": [{
    "include_docs": true,
    "reduce": false
  }]
}
```

 would fail with:

```
{"error":"query_parse_error","reason":"`include_docs` is invalid for reduce"}
```

 but it shouldn't, because user explicitly disabled `reduce` and now
`include_docs` is valid for a map view.

To fix, make sure to call `set_view_type` for each query's args.

Jira: COUCHDB-3070

Update logging for new couch_log

The nonce is now included in all log messages when its set. The order of
host and client are also swapped to make more sense.

Tolerate failure of ensure_auth_ddoc_exists call

ensure_auth_ddoc_exists can crash if _users db does not exist, so move
it to the spawned listen_for_changes process where we already tolerate
the possibility of a crash (and have logic to restart after 5 seconds)

COUCHDB-3054

Don't end changes feed listener on heartbeat

There's no need to end and restart the changes feed listener on every
heartbeat, so don't do that.

COUCHDB-3054

Merge remote branch 'cloudant:3000-inject_auth_ddoc'

This closes #115

Signed-off-by: ILYA Khlopotov <iilyak@ca.ibm.com>

Inject _design/_auth on auth_cache startup

We send start_listener event from init to make sure we call
ensure_auth_ddoc_exists as soon as we can. Rather then calling it on
listener restart.

COUCHDB-3000

Handle ssl socket case

COUCHDB-3049

Revert broken fix attempt for ssl sockname

Merge remote branch 'cloudant:69230-fix-epi_handle_error_args'

This closes #129

Signed-off-by: ILYA Khlopotov <iilyak@ca.ibm.com>

Do not pass unknown_error atom to plugin

There is no reason to pass {unknown_error, Error} to plugin and force it to
implement a match on that tuple. We should pass the Error itself and let
the plugin decide what to do with it.

Call appropriate sockname function for socket type

COUCHDB: 3049

Pass user context in couch_doc_open

Fixes bug where a user can't update or delete their own _users doc.

COUCHDB-2991

Merge remote branch 'cloudant:67171-dont-decode-params-in-multiview'

This closes #127

Signed-off-by: Eric Avdey <eiri@eiri.ca>

Don't try to decode params in multi_query_view

Merge remote branch 'cloudant:67171-fix-multi_query_view-response'

This closes #125

Signed-off-by: Eric Avdey <eiri@eiri.ca>

Don't expect #vacc as a response in multi_query_view

When multi_query_view is calling chttpd:end_delayed_json_response/1 it is
passing in the response object it received from query_view's #vacc,
which means it'll get back resp record and not #vacc.

Merge remote branch 'github/pr/123'

This closes #123

Signed-off-by: Eric Avdey <eiri@eiri.ca>

Fix _node/$node/_system endpoint

The endpoint is using same handler as a backdoor interface,
which only works for the requests to a local $node.
For rpc calls to the remote nodes, the same as it's done
on rest of /_node endpoints, handle_node_req handler is getting
{badrpc,{'EXIT',normal}} response and fails with invalid_ejson exception.

The change splits stats gathering from stats responding,
allowing to use former on both /_node/$node/_system
and backend's /_system endpoints.

Merge remote branch 'cloudant:2730-fix-compilation-warnings'

This closes #124

Signed-off-by: ILYA Khlopotov <iilyak@ca.ibm.com>

Fix compilation warnings

COUCHDB-2730

restore 1.x _users and _replicator behaviour

COUCHDB-2991

fix in logic that denies login with conflicted user docs

fix missing transition in cassim revert, sec obj in external calls empty

use shard suffix when generating _changes ETag

In CouchDB 2.0, instance_start_time is always 0.
This means that when generating ETag values derived
from the database info object, the same ETags can be
incorrectly deemed valid between different database
instances with the metadata.

To avoid this we can incorporate the unique shard
suffix for the database instance when generating
the current ETag value.

COUCHDB-3017

disable cassim until fixed

support admin party after d2665ce

Merge branch 'fix-users-doc-in-conflict'

* fix-users-doc-in-conflict:
  restore 1.x behaviour: user docs in conflict cannot login

restore 1.x behaviour: user docs in conflict cannot login

Adds config option chttpd_auth/allow_conflicted_user_docs to toggle
this behaviour. The default is to not allow conflicted user docs to
log in successfully.

restore 1.x behaviour: user docs in conflict cannot login

Adds config option chttpd_auth/allow_conflicted_user_docs to toggle
this behaviour. The default is to not allow conflicted user docs to
log in successfully.

Merge remote branch 'github/pr/109'

This closes #109

Signed-off-by: ILYA Khlopotov <iilyak@ca.ibm.com>

Add `log_format_test` test case

COUCHDB-2973

Log user name of request initiator

Change the log format from chttpd to include username.
The new format is (space separated):

Nonce, Peer, Host, UserName, Method, RawUri, Code, Status, RequestTime

COUCHDB-2973

Reject incorrectly encoded urls

COUCHDB-2748

tolerate failure when inserting auth ddoc

COUCHDB-2986

Create md5 etag for _local docs

This makes a unique ETAG for _local docs, so that they are cached
correctly, and fetched again when the document changes.

fixes COUCHDB-2978

Merge remote branch 'github/pr/108'

This closes #108

Signed-off-by: ILYA Khlopotov <iilyak@ca.ibm.com>

Use couch_tests:setup/1

Use couch_tests applications for chttpd_plugin_tests

Merge remote branch 'github/pr/106'

This closes #106

Signed-off-by: ILYA Khlopotov <iilyak@ca.ibm.com>

Add test suite for chttpd_plugin

COUCHDB-2966

Add chttpd_plugin:before_serve_file/5 EPI hook

COUCHDB-2966

Introduce chttpd_plugin:before_response/4 EPI hook

COUCHDB-2966

Extract handle_response function

COUCHDB-2966

Extract basic_headers/2 function

COUCHDB-2966

Cache favicon for one year

Backport CSP fix from couchdb-couch

Needed for the ace editor icons
See https://github.com/apache/couchdb-couch/pull/2

This closes #68

Eliminate unnecessary apply

Merge remote branch 'github/pr/105'

This closes #105

Signed-off-by: ILYA Khlopotov <iilyak@ca.ibm.com>

Fix dispatch to handle_error EPI hook

Merge remote branch 'github/pr/101'

    This closes #101

Signed-off-by: ILYA Khlopotov <iilyak@ca.ibm.com>

Suppress log of a response for clustered interface

COUCHDB-2945

Treat value passed in Origin as case sensitive

According to CORS spec here https://www.w3.org/TR/cors
The value of the Origin header is not a case-sensitive

COUCHDB-2945

Strip scheme out of Host for cors_section

Value returned by `couch_httpd_vhost:host/1` might not contain scheme.
The cors section is named after vhost name (i.e. without scheme).
For example:

    [cors:partner.com]
    methods =
    headers =
    exposed_headers =
    origins = http://restricted.dev:8000

The origin in origins has to be given with scheme included.

COUCHDB-2945

Introduce vhosts configuration into CORS

In order to remove code duplication we move vhosts support
from couch_http_cors into chttpd_cors. We also dispatch
chttpd:send_response to couch_http which does call chttpd_cors:headers.
In order to avoid double injection of CORS headers we check for existance of
"Access-Control-Allow-Origin" in response headers.

COUCHDB-2945

Merge remote-tracking branch 'github/pr/100'