[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release griffin-0.4.0

update to gitbox.apache.org in pom.xml

Author: William Guo <guoyp@apache.org>

Closes #475 from guoyuepeng/update_scm_in_pom.

update remote

Merge branch 'master' of https://github.com/apache/griffin

Improve deployment manual guide

1.append detailed step's description
2.fix invalid stuffs

Author: Eugene <liujin@apache.org>

Closes #473 from toyboxman/pr-doc.

Merge branch 'master' of https://github.com/apache/griffin

Mysql as storage profile

Author: William Guo <guoyp@apache.org>

Closes #472 from guoyuepeng/mysql_as_storage_profile.

Merge branch 'master' of https://github.com/apache/griffin

Fix asf GitHub sync issue 20181211

Author: William Guo <guoyp@apache.org>

Closes #469 from guoyuepeng/fix_asf_github_sync_issue_20181211.

fix docs

delete disclaimer

Fix version mismatch

Revise build version, remove 'incubating' tag

Author: Eugene <liujin@apache.org>

Closes #467 from toyboxman/version.

Remove incubator

Author: William Guo <guoyp@apache.org>

Closes #466 from guoyuepeng/remove_incubator.

update merge script

skip test csv data file

Author: William Guo <guoyp@apache.org>

Closes #462 from guoyuepeng/fix_rat_license_20181130.

doc improvement

A minor update to give more introduction description

Author: Eugene <liujin@apache.org>

Closes #460 from toyboxman/doc.

[GRIFFIN-213] Custom connector support

Provide ability to extend batch and streaming data integrations
with custom user-provided connectors. Introduces new data connector
type, `CUSTOM`, parameterized with `class` property. Also adds support
for custom data connector enum on service side.

Author: Nikolay Sokolov <chemikadze@gmail.com>

Closes #456 from chemikadze/GRIFFIN-213.

Fix minor literal issues and improve doc content

Author: Bolt <boltzjf@gmail.com>

Closes #459 from boltzjf/master.

[GRIFFIN-212] Add matchedFraction in streaming accuracy metrics

Author: Lionel Liu <bhlx3lyx7@163.com>

Closes #455 from bhlx3lyx7/util-update-0.3.

revert

merge_pr.py python 3 support

1. Import Request/urlopen/HTTPError from urllib.request to support python 3
2. The print statement has been replaced with a print() function

Author: fanqiaoqing <qiaoqing.fqq@gmail.com>

Closes #458 from IAmFQQ/merge_pr_python3_support.

[SERVICE] JobInstace setJobInstanceIdAndUri, update instance.setAppU…

GRIFFIN-211 [Service] JobInstance appUrl error

Author: justACT <xiangrongchen19@163.com>

Closes #454 from justACT/newmaster.

Fixservicetests

Author: William Guo <guoyp@apache.org>

Closes #453 from guoyuepeng/fixservicetests.

[GRIFFIN-209] update param util, add UT for param util

Author: Lionel Liu <bhlx3lyx7@163.com>

Closes #452 from bhlx3lyx7/param-util.

Define griffin plain-vanilla hook.

the purpose of hook is for integration with components outside. Griffin would offer information about internal task status.

Task: GRIFFIN-200

Author: Eugene <liujin@apache.org>
Author: William Guo <guoyp@apache.org>

Closes #444 from toyboxman/hook.

[GRIFFIN-208] log exception details when it makes sense

Sometimes error messages are not descriptive enough and do not allow
to pinpoint exact issue. Exception stack traces should make it easier
to troubleshoot issues.

Author: Nikolay Sokolov <chemikadze@gmail.com>

Closes #448 from chemikadze/GRIFFIN-208.

[GRIFFIN-203] Plaintext mode" for measure creation

Created json/yaml measure creation flow:

Added ability to view measure as yaml:

I did not add any input validation, for now only server side validation is working. I'm not quite sure if copying validation from service side is a good choice.

Author: Arthur Gavlyukovskiy <agavlyukovskiy@gmail.com>

Closes #446 from gavlyukovskiy/raw-measures.

Document compression, SSL and LDAP conf

Author: Nikolay Sokolov <chemikadze@gmail.com>

Closes #450 from chemikadze/patch-2.

[GRIFFIN-194] single call to fetch all tables of all dbs

Significantly improves opening speed for measure dialogs.
Previously taking 10+ seconds on huge schemas, with this call
it takes fraction of second to load.

Author: Nikolay Sokolov <chemikadze@gmail.com>

Closes #447 from chemikadze/GRIFFIN-194.

Support "cache" field on rules in service module

Measure module exposes "cache" flag on rules, but it's not possible to store and schedule such a job in service module.

Author: Nikolay Sokolov <chemikadze@gmail.com>

Closes #442 from chemikadze/service-cache.

Update deploy-guide.md

Update for psql command -p option explaination.

Author: RichFy <43976743+RichFy@users.noreply.github.com>

Closes #445 from RichFy/master.

Fix conventions in batch-sample

Bring conventions for enums in measure-batch-sample in sync with service module.
While measure accepts any case, service requires them capitalized.

Author: Nikolay Sokolov <chemikadze@gmail.com>

Closes #443 from chemikadze/patch-1.

[GRIFFIN-207] LDAP login service improvements

  - allow non-CN usernames
  - allow disabling certificate checks
  - allow limiting set of login users
  - improve logging

Author: Nikolay Sokolov <chemikadze@gmail.com>

Closes #441 from chemikadze/GRIFFIN-207.

Update recommended ES index schema

Author: Nikolay Sokolov <chemikadze@gmail.com>

Closes #440 from chemikadze/patch-1.

Complement stuffs to docker guide.

Author: Eugene <liujin@apache.org>

Closes #439 from toyboxman/doc/docker.

update measure documents

Author: Lionel Liu <bhlx3lyx7@163.com>

Closes #438 from bhlx3lyx7/doc-update.

[GRIFFIN-202] Show raw rules on UI

[GRIFFIN-202] Creates section on Measure Detail page, showing formatted JSON of the rule.


Author: Nikolay Sokolov <chemikadze@gmail.com>

Closes #437 from chemikadze/GRIFFIN-202.

always use apache griffin together as our mark

Author: William Guo <guoyp@apache.org>

Closes #436 from guoyuepeng/use_apache_griffin_as_trademark.

[GRIFFIN-206] fix job timezone when creating from UI

Demonstration of the problem:
```
> new Date()
Wed Oct 10 2018 11:30:48 GMT-0700 (Pacific Daylight Time)
> new Date().getTimezoneOffset()/60
7
```

Author: Nikolay Sokolov <chemikadze@gmail.com>

Closes #435 from chemikadze/GRIFFIN-206.

Fix a little doc bug concerning measure part.

fix linguistic error and improve content

Author: Eugene <liujin@apache.org>

Closes #432 from toyboxman/doc/measure.

[GRIFFIN-205] accuracy matched fraction

https://issues.apache.org/jira/browse/GRIFFIN-205

This pull request covers only batch dq type.
We need to decide is it worth to add "matched fraction" to streaming type.

Accuracy transformation tests added.

Author: ashutak <ashutak@griddynamics.com>

Closes #434 from ashutakGG/GRIFFIN-205-accuracy-matchedFraction.

Fix a bug in postman script

postman collection is not up to date, some APIs don't work well.
script has been refreshed in this patch by postman 2.1 standard.

Jira task: GRIFFIN-204

Author: Eugene <liujin@apache.org>

Closes #433 from toyboxman/doc/postman.

[GRIFFIN-195] Don't list all tables from UI

[GRIFFIN-195]
Initially, load only list of databases and list of table names.
Table information is loaded only if user clicks on specific table.

[GRIFFIN-196]
Search by table names.

Author: Nikolay Sokolov <chemikadze@gmail.com>

Closes #431 from chemikadze/GRIFFIN-193.

Fix doc issue.

dsl-guide describes two kinds of rules, Uniqueness and Distinctness. actually they are similiar rule, so we merely keep Uniqueness rule.

Author: Eugene <liujin@apache.org>

Closes #420 from toyboxman/doc/dsl-guide.

remove duplicated cache settings

Author: William Guo <guoyp@apache.org>

Closes #430 from guoyuepeng/remove_dup_cache_in_travis.

Fix timeout failure in travis CI.

Build times out because no output was received.

'travis_wait mvn clean verify -q' will spawn a process to deal with mvn task
-q,--quiet     Quiet output - only show errors

-q probably leads no output caught by travis, so timeout failure happens

refer to:
https://docs.travis-ci.com/user/common-build-problems/#limitations-of-travis_wait

Author: Eugene <liujin@apache.org>

Closes #429 from toyboxman/build/tarvis.

Increase build silence timeout

According to experiment, resolving dependencies takes longer
than default build timeout of 20 minutes. Increasing to 30.

[Experiment](https://travis-ci.org/apache/incubator-griffin/builds/435326777) shown that sometimes it takes more than 20 minutes to download all the dependencies and start executing tests. In that particular experiment it took 22 minutes in order to get to test execution.

Author: Nikolay Sokolov <chemikadze@gmail.com>

Closes #428 from chemikadze/increase-build-timeout.

Fix code bug.

1.add java method description
2.reformat import statements violating Griffin's code rule https://github.com/apache/incubator-griffin/blob/master/griffin-doc/dev/code-style.md

Author: Eugene <liujin@apache.org>

Closes #426 from toyboxman/src/service.

[GRIFFIN-197] Treat non-existing YARN app as FAILED

This avoids jobs becoming stuck in UNKNOWN state on Service side.
Also, improves logging for YARN client errors.

Author: Nikolay Sokolov <chemikadze@gmail.com>

Closes #421 from chemikadze/GRIFFIN-197.

Fix case clauses

Author: William Guo <guoyp@apache.org>

Closes #425 from guoyuepeng/fix_case_clauses.

Adjust error msg when failing to create job

Author: Li, Juan <sunshinejuanl@gmail.com>

Closes #423 from icesmartjuan/ui_createJobFailure_msg.

Minor UI fixes

"Back" button text alignment
<img width="102" alt="screen shot 2018-09-21 at 6 02 19 pm" src="https://user-images.githubusercontent.com/867294/45912572-79de5680-bdd8-11e8-9acb-19670b7ca3d7.png">
<img width="86" alt="screen shot 2018-09-21 at 6 02 25 pm" src="https://user-images.githubusercontent.com/867294/45912573-7e0a7400-bdd8-11e8-9421-ef6dafc0d805.png">

footer line intersecting with content
<img width="175" alt="screen shot 2018-09-21 at 7 38 27 pm" src="https://user-images.githubusercontent.com/867294/45912578-92e70780-bdd8-11e8-8b39-2485047b422d.png">
<img width="162" alt="screen shot 2018-09-21 at 7 36 47 pm" src="https://user-images.githubusercontent.com/867294/45912580-97abbb80-bdd8-11e8-9a08-2b27b92a272b.png">

title rendering on sidebar
<img width="294" alt="screen shot 2018-09-21 at 7 29 53 pm" src="https://user-images.githubusercontent.com/867294/45912584-a4301400-bdd8-11e8-9ffe-e726dd912813.png">
<img width="323" alt="screen shot 2018-09-21 at 8 07 46 pm" src="https://user-images.githubusercontent.com/867294/45912670-0dfced80-bdda-11e8-87ae-b1985f55754e.png">

Author: Nikolay Sokolov <chemikadze@gmail.com>

Closes #422 from chemikadze/ui-fixes.

[GRIFFIN-198] Fix caching of incomplete results in HiveMetaStoreService

Avoiding polluting cache with empty or null values.
Test caching behavior of HiveMetaStoreServiceImpl.
Verified that cache population in evictHiveCache() is not happening, added unittest.

This is only partial fix, getAllTable() calls still can return and cache incomplete results.

Author: Nikolay Sokolov <chemikadze@gmail.com>

Closes #419 from chemikadze/hive-caching.

Make Rule table MySQL-compatible

OUT is reserved word in MySQL, so it should be quoted in queries.

Author: Nikolay Sokolov <chemikadze@gmail.com>

Closes #418 from chemikadze/fix-mysql.

Deployment and compose doc improvements

Author: Nikolay Sokolov <chemikadze@gmail.com>

Closes #417 from chemikadze/deployment-documentation.

Fix rest api bug in service component

GET /api/v1/version returns mistaken release version 0.2.0 instead of 0.3.0

Author: Eugene <liujin@apache.org>

Closes #416 from toyboxman/src/service.

Support for HDP

Added parameter for CISF protection in Ambari. Can be provided in a separate branch.

Author: Sparsh Singhal <sparsh.singhal@hashmapinc.com>

Closes #409 from SparshSinghalHM/patch-4.

Bring persist/sink documentation up to date

Another followup after 7b749ad72a78eb4244bcf47a80a52f2a6e3f222f

Author: Nikolay Sokolov <chemikadze@gmail.com>

Closes #415 from chemikadze/sink-documentation.

fix startup failure bug

Griffin starts up failure, as it  is could not resolve placeholder 'fs.defaultFS' in string value "${fs.defaultFS}". Add fs.defaultFS filed in application.properties  to fix the failure.

Author: ahutsunshine <ahutsunshine@gmail.com>

Closes #413 from ahutsunshine/master.

Fix API doc bug and complement some stuffs

Author: Eugene <liujin@apache.org>

Closes #412 from toyboxman/api.

Improve document quality

Revise docker guide document and append more descriptions.

Author: Eugene <liujin@apache.org>

Closes #411 from toyboxman/doc/docker.

Fix download table bug

Author: Li, Juan <sunshinejuanl@gmail.com>

Closes #410 from icesmartjuan/fix_ui_bug_2018905.

update docker document for zookeeper image unaccessable in china

Author: Lionel Liu <bhlx3lyx7@163.com>

Closes #408 from bhlx3lyx7/docker-doc.

Updated documentation for outputs

Documentation is out of sync with code after 7b749ad72a78eb4244bcf47a80a52f2a6e3f222f.
Updating measuring examples and format description accordingly.

Author: Nikolay Sokolov <chemikadze@gmail.com>

Closes #414 from chemikadze/out-documentation.

[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release griffin-0.3.0-incubating

In order to improve readability, complement some stuffs into readme doc

Author: Eugene <liujin@apache.org>

Closes #407 from toyboxman/doc.

fix download disable items issue

fix the issue that one column is not disabled while in downloading

Author: Li, Juan <sunshinejuanl@gmail.com>

Closes #406 from icesmartjuan/fix_ui_bug.

update gpg keys

Author: William Guo <guoyp@apache.org>

Closes #405 from guoyuepeng/update_gpg_keys.

fix license header

Author: William Guo <guoyp@apache.org>

Closes #404 from guoyuepeng/fix_service_header.

update docker image source and docker compose file

we've transferred the docker image to docker hub of apachegriffin

Author: Lionel Liu <bhlx3lyx7@163.com>

Closes #403 from bhlx3lyx7/docker-update.

set the fields in configuration classes private

in configuration case classes, get*** functions are defined to access to the fields, so for consistency, make the fields private

Author: grant-xuexu <grant.xuexu@gmail.com>

Closes #396 from grant-xuexu/configuration.

update docker guide document

for the latest docker image version

Author: MintL617 <mintlee617@gmail.com>

Closes #402 from MintL617/dev.

Fix UI bugs

1. In profiling, when selecting rule on UI, for "Enum detection Top5 count", it generates rule like:
{
    "rule": "source.desc, desc, count(*) AS count GROUP BY source.desc ORDER BY count DESC LIMIT 5",
    "dsl.type": "griffin-dsl",
    "dq.type": "PROFILING"
}
Actually, we need it to be like:
{
    "rule": "source.desc AS desc, count(*) AS count GROUP BY source.desc ORDER BY count DESC LIMIT 5",
    "dsl.type": "griffin-dsl",
    "dq.type": "PROFILING",
    "out": [
     {
            "type": "metric",
            "name": "desc_group",
            "flatten": "array"
        }
    ]
}
To flatten the group by metric as an array, and naming it as "${the group column name}_group". Then the metric will be like:
{"name":"prof_job","tmst":1534768500000,"value":{"desc_group":[{"desc": "aaa", "count": 3}, {"desc": "bbb", "count": 5}]}}

Please notice that there're 2 mistakes in current enum rule, one is the "rule" content, the other one is the lack of "out" field.

2. There's a bug in Dashboard page, when refreshing, it works good, and a metric chart is painted. But after select the measure drop-down box, the chart size is collapsed into a line, which is terrible.

3. In "partition configuration" pages of creating accuracy measure, the item "Time Zone" is blank by default, but in the same page of creating profiling measure, the item "Time Zone" has a default value, which should act the same as the accuracy measure creation page.

4. In "Select Models" page of creating profiling measure, when you select "Regular Expression Detection Count" as a rule for a string column, there will be a text box below, for regular expression. I think the UI is not bad so far.
However, it doesn't work in a right way. The rule it generates is like:
{
        "rule": "count(source.desc RLIKE '^[0-9]{4}$') AS `desc_regexcount`",
        "dsl.type": "griffin-dsl",
        "dq.type": "PROFILING"
    }
After test, it returns total count of the column, which means the statement "RLIKE" doesn't work. We need to change it like this:
{
        "rule": "count(source.desc) AS `desc_regexcount` WHERE source.desc RLIKE '^[0-9]{4}$'",
        "dsl.type": "griffin-dsl",
        "dq.type": "PROFILING"
    }
I've tested the latter, it works.

5. For "Download Miss Sample" page, the item list seems a litte strange, it would be better to list them in a table and hover with a hand pointer rather than a text cursor. Besides, sometimes it's slow for the downloading, I think it's better to tell user to wait after a click.

Author: Li, Juan <sunshinejuanl@gmail.com>

Closes #401 from icesmartjuan/fix_ui_bugs.

fix bugs of measure and service module for new json format

Author: Lionel Liu <bhlx3lyx7@163.com>

Closes #400 from bhlx3lyx7/json-update-new.

Initialize java code checks rules for griffin

this config could be used by maven checkStyle plugin

Author: Eugene <toyboxman0001@163.com>

Closes #384 from toyboxman/checkstyle.

make ui style consistent

make ui module code style consistent

Author: William Guo <guoyp@apache.org>

Closes #398 from guoyuepeng/2018_08_20_make_ui_style_consistent.

Update deploy-guide.md

Updated document with new configuration files.

Author: Sparsh Singhal <sparsh.singhal@hashmapinc.com>

Closes #393 from SparshSinghalHM/patch-3.

Removed bug

Updated property to remove space.

Author: Sparsh Singhal <sparsh.singhal@hashmapinc.com>

Closes #397 from SparshSinghalHM/patch-2.

Fix bugs about code style violation against Griffin rules

Author: Eugene <toyboxman0001@163.com>

Closes #388 from toyboxman/wrap.

merge pr382 and pr389

add out.dataframe.name in accuracy and profiling measure

Author: Li, Juan <sunshinejuanl@gmail.com>

Closes #391 from icesmartjuan/mergepr389382.

update measure field to support new format and ut

1.update env_batch.json and env_streaming.json
2.Rule
- add "inDataFrameName" and "outDataFrameName", remove "name"
-  add "out" param array, move "metric", "record" param inside "out" array
DataSource
- add boolean field "baseline"
- change "cache" to "checkpoint"
DataConnector
- add "dataFrameName"
Measure
- add "sinks" string array
- update dqType from String to enum
JobServiceImpl
- change "persist" to "sinks"
-  compare literal string "hdfs" case insensitively

3.update measure ut and fix predicate ut bug

Author: ahutsunshine <ahutsunshine@gmail.com>

Closes #389 from ahutsunshine/master.

Modify measure module to support updated env and config json files format

Some important modification in env.json
- "info.cache" -> "griffin.checkpoint"
- "persist" -> "sinks"
- "log" -> "console"
- "http" -> "elasticsearch"
- remove "cleaner"

Some important modiffication in dq.json
- add "baseline" in data source
- add "dataframe.name" in data connector
- in data source,"cache" -> "checkpoint"
- in rule and pre-proc rule, add "in.dataframe.name" and "out.dataframe.name", remove "name"
- in rule, add "out" param array, move "metric", "record" param inside "out" array
- add "sinks" string array as filter of sinks in env.json

Author: Lionel Liu <bhlx3lyx7@163.com>

Closes #382 from bhlx3lyx7/json-update.

fix container problem in macOs

fix container problem in macOs

Author: jasonliaoxiaoge <181276056@qq.com>

Closes #387 from jasonliaoxiaoge/master.

Trim and reformat resource files

Author: Eugene <toyboxman0001@163.com>

Closes #386 from toyboxman/property.

Fix import violations by Griffin code check rules

Author: Eugene <toyboxman0001@163.com>

Closes #385 from toyboxman/import.

Fix code style violations and improve quality

Author: Eugene <toyboxman0001@163.com>

Closes #383 from toyboxman/EnvConfig.

[GRIFFIN-164][GRIFFIN-186][GRIFFIN-187] Profiling Re-factor + Regex/Empty String Support

We've been working away on Griffin here at Credit Karma, and we'd love to contribute back!

This PR tackles three separate tasks:

- [GRIFFIN-164](https://issues.apache.org/jira/browse/GRIFFIN-164): Regex Support
- [GRIFFIN-186](https://issues.apache.org/jira/browse/GRIFFIN-186): Create Profiling Measure Re-Factor
- [GRIFFIN-187](https://issues.apache.org/jira/browse/GRIFFIN-187): Empty String Support

The details for each of these tasks can be found in the JIRA tickets linked above!

Author: Spencer Hivert <spencer.hivert@creditkarma.com>

Closes #381 from spencer-hivert-ck/shivert/profiling-refactor-and-regex-support.

Fix java import style violations in codes by code style suggested by s…

…un/google

Author: Eugene <toyboxman0001@163.com>

Closes #380 from toyboxman/importStyle.

Fix code style bug in MeasureRepo

Author: Eugene <toyboxman0001@163.com>

Closes #379 from toyboxman/MeasureRepo.

Fix code bugs and correct code style

Author: Eugene <toyboxman0001@163.com>

Closes #378 from toyboxman/SimpleCORSFilter.

Remove unused method and clean codes

Author: Eugene <toyboxman0001@163.com>

Closes #377 from toyboxman/measure.

update dq job spec

Author: William Guo <guoyp@apache.org>

Closes #376 from guoyuepeng/update_griffin_job_spec.

Fix code bug and improve code quality

Author: Eugene <toyboxman0001@163.com>

Closes #375 from toyboxman/measure/fix.

Remove duplicate jackson annotation

Author: DongfangLu <donlu@ebay.com>
Author: louise <ayludongfang@163.com>

Closes #369 from ludongfang/master.

Fix doc bug and make it more clear and understandable

Author: Eugene <toyboxman0001@163.com>

Closes #372 from toyboxman/doc/fix2.

Fix doc bug and improve doc readability

Author: Eugene <toyboxman0001@163.com>

Closes #371 from toyboxman/doc/fix1.

delete single thread pool for hivemetastoreclient and print full log stack trace in log4j

delete single thread pool for hivemetastoreclient and print full log stack trace in log4j

Author: jasonliaoxiaoge <181276056@qq.com>

Closes #370 from jasonliaoxiaoge/master.

Fix doc bug and improve readability of Griffin project introduction

Author: Eugene <toyboxman0001@163.com>

Closes #368 from toyboxman/doc/fix2.