incubator-pinot.git
2 hours agoFilter out virtual-columns in realtime segment conversion path (#3607) master
Sunitha Beeram [Sat, 15 Dec 2018 02:05:36 +0000 (18:05 -0800)] 
Filter out virtual-columns in realtime segment conversion path (#3607)

* Fix VirtualColumns being written out while segment is built

5 hours agoAdd ControllerLeadershipManager as single place to check controller leadership change...
Neha Pawar [Fri, 14 Dec 2018 23:07:20 +0000 (15:07 -0800)] 
Add ControllerLeadershipManager as single place to check controller leadership changes (#3604)

7 hours agoAdding a class to get statistics about a request (query) processed by… (#3614)
Subbu Subramaniam [Fri, 14 Dec 2018 21:31:27 +0000 (13:31 -0800)] 
Adding a class to get statistics about a request (query) processed by… (#3614)

* Adding a class to get statistics about a request (query) processed by Pinot

This will enable us to publish such statistics about each request to a stream.
This stream can eventually be consumed by Pinot, and data from the stream
analyzed on a per-table basis.

* Addressed review comments

Removed all query-description-related parameters from RequestStatistics.
Added other timing related parameters that we can add now.

* Addresed review comments

28 hours ago[TE] subscription groups endpoint (#3616)
Jihao Zhang [Fri, 14 Dec 2018 00:33:21 +0000 (16:33 -0800)] 
[TE] subscription groups endpoint (#3616)

28 hours ago[TE] tracking - increase datasource performance output (#3615)
Alexander Pucher [Fri, 14 Dec 2018 00:26:58 +0000 (16:26 -0800)] 
[TE] tracking - increase datasource performance output (#3615)

35 hours agoAdd config to set batchMessageMode on ideal state of new tables (#3613)
Neha Pawar [Thu, 13 Dec 2018 17:28:09 +0000 (09:28 -0800)] 
Add config to set batchMessageMode on ideal state of new tables (#3613)

2 days agoFix segment merge command. (#3611)
Subbu Subramaniam [Wed, 12 Dec 2018 17:02:55 +0000 (09:02 -0800)] 
Fix segment merge command. (#3611)

Some old pinot segments were allowed with 0 documents. Considering those documents for start/end time
causes minStartTime to become 0, an invalid value if auto-naming of segments is chosen.

Also, the multi-reader did not allow for the fact that some segments may be smaller than others, so
we need to iterate through all segments before throwing an exception.

3 days ago[TE] yaml - create alert endpoint (#3609)
Jihao Zhang [Wed, 12 Dec 2018 01:00:10 +0000 (17:00 -0800)] 
[TE] yaml - create alert endpoint (#3609)

- The endpoint to set up detection and notification at the same time.
- Endpoints to get a single yaml
- Swagger docs

3 days ago[TE] detection - convert algo timestamps to dataset timezone (#3608)
Alexander Pucher [Wed, 12 Dec 2018 00:30:42 +0000 (16:30 -0800)] 
[TE] detection - convert algo timestamps to dataset timezone (#3608)

3 days ago[PINOT-7476] Add metrics to track cases where segment refresh/reloads fail (#3606)
Sunitha Beeram [Tue, 11 Dec 2018 21:10:32 +0000 (13:10 -0800)] 
[PINOT-7476] Add metrics to track cases where segment refresh/reloads fail (#3606)

* [PINOT-7476] Add metrics to track cases where segment refresh/reloads fail

3 days agoCleanup: update code to return only physical columns for select * queries (#3602)
Sunitha Beeram [Tue, 11 Dec 2018 20:51:35 +0000 (12:51 -0800)] 
Cleanup: update code to return only physical columns for select * queries (#3602)

* Cleanup: update code to return only physical columns for select * queries

4 days ago[TE] Endpoints for create and edit alert yaml along with validators (#3603)
Akshay Rai [Tue, 11 Dec 2018 01:54:43 +0000 (17:54 -0800)] 
[TE] Endpoints for create and edit alert yaml along with validators (#3603)

4 days ago[TE] frontend - update default yaml (#3599)
Jihao Zhang [Mon, 10 Dec 2018 23:58:10 +0000 (15:58 -0800)] 
[TE] frontend - update default yaml (#3599)

* [TE] frontend - change default yaml

* comments

4 days ago[TE] datasource - correction for maxtime offset in pinot datasource (#3598)
Alexander Pucher [Mon, 10 Dec 2018 22:35:14 +0000 (14:35 -0800)] 
[TE] datasource - correction for maxtime offset in pinot datasource (#3598)

This PR fixes the time offset as computed by the pinot data source max time fetcher. Previously, this method computed offsets from epoch without considering the time zone of the underlying data set. Additionally, the PR adds a sanity cutoff for the max time within 1 day in the future from the current timestamp. As a consequence this PR also fixes retrieval of dimension filter keys and values on data sets with a time granularity > 1 week.

4 days ago[TE] detection - yaml validation (#3597)
Jihao Zhang [Mon, 10 Dec 2018 22:05:38 +0000 (14:05 -0800)] 
[TE] detection - yaml validation (#3597)

- Detection yaml config validation, both syntactically and semantically
- Yaml edit endpoint
- Use wow baseline if baseline provider not specified.

4 days agoAllow completing segments to finish before stopping LLC Segment Manager (#3593)
Subbu Subramaniam [Mon, 10 Dec 2018 21:37:40 +0000 (13:37 -0800)] 
Allow completing segments to finish before stopping LLC Segment Manager (#3593)

Added a stop() method to LLC segment manager, so that we can allow the segments
that are completing to be done, and not allow new segments to start their
completion process while controller is shutting down

4 days ago[TE] Translator - Yaml Alert Config to DetectionAlertConfigDTO (#3595)
Akshay Rai [Mon, 10 Dec 2018 20:02:28 +0000 (12:02 -0800)] 
[TE] Translator - Yaml Alert Config to DetectionAlertConfigDTO (#3595)

4 days ago[TE] rootcause - pin predicted baseline time offsets to PT too (#3596)
Alexander Pucher [Mon, 10 Dec 2018 19:32:19 +0000 (11:32 -0800)] 
[TE] rootcause - pin predicted baseline time offsets to PT too (#3596)

7 days ago[TE] Update alert schemes and suppressors in the annotation alert registry (#3590)
Akshay Rai [Sat, 8 Dec 2018 00:50:04 +0000 (16:50 -0800)] 
[TE] Update alert schemes and suppressors in the annotation alert registry (#3590)

7 days ago[PINOT-7461] Fix segment deletion when folder under Deleted_Segments location does...
Sunitha Beeram [Fri, 7 Dec 2018 14:16:01 +0000 (06:16 -0800)] 
[PINOT-7461] Fix segment deletion when folder under Deleted_Segments location does not exist (#3589)

8 days agoAdd the bloom filter to equals() and hashCode() in IndexingConfig (#3588)
Seunghyun Lee [Fri, 7 Dec 2018 00:19:39 +0000 (16:19 -0800)] 
Add the bloom filter to equals() and hashCode() in IndexingConfig (#3588)

1. add bloom filter for equals, hashCode function in indexing config
2. added a unit test for serialization/deserialization of bloomfilter
   config

8 days agoadd kafka simple consumer buffer and timeout to stream config (#3584) SNAPSHOT-2018-12-06T224102Z
James Shao [Thu, 6 Dec 2018 21:40:13 +0000 (13:40 -0800)] 
add kafka simple consumer buffer and timeout to stream config (#3584)

* add kafka simple consumer buffer and timeout to stream config

* add missing header, optimize imports

* update based on feedback

8 days ago[TE] detection pipeline - multiple improvements (#3586)
Jihao Zhang [Thu, 6 Dec 2018 18:18:28 +0000 (10:18 -0800)] 
[TE] detection pipeline - multiple improvements (#3586)

- Change the pipeline baseline and predicted values filling so that it's consistent with RCA
- Replay moving window
- Replay endpoint for the new pipeline with legacy behaviors
- Add window size, window unit, WoW rule, min-max threshold migration to YAML migration endpoint
- Baseline filling merger handles anomalies per detector per dimension
- Baseline filling merger injects detector to the next level detector wrapper
- Other fixes
- Tests

8 days agoFix the bug in broker logging for execution statistics (#3587)
Seunghyun Lee [Thu, 6 Dec 2018 06:44:26 +0000 (22:44 -0800)] 
Fix the bug in broker logging for execution statistics (#3587)

PR #3525 introduced the bug on broker log for execution statistics.
This pr resolves the issue.

9 days ago[TE] rootcause - baseline monthly, daily, hourly support (#3585)
Alexander Pucher [Wed, 5 Dec 2018 20:25:34 +0000 (12:25 -0800)] 
[TE] rootcause - baseline monthly, daily, hourly support (#3585)

This PR adds support for other month-over-month, day-over-day, and hour-over-hour baselines in the RCA GUI. The UI changes are unobtrusive to enable us to pilot these changes with select users

10 days agoAdd segment selector for merged segments (#3583)
Seunghyun Lee [Wed, 5 Dec 2018 01:56:54 +0000 (17:56 -0800)] 
Add segment selector for merged segments (#3583)

* Add segment selector for merged segments
Once the merge lineage information is written to the property store,
broker will read the lineage and pick only segments that are required
for answering the query. This PR adds the segment selector for merged
segments.
1. Add segment selector interface
2. Add merged segment selector implementation
3. Add unit tests

* Addressed comments

10 days agoHandle invalid durations in the duration DSL (#3505)
Jean-François Im [Tue, 4 Dec 2018 22:15:47 +0000 (14:15 -0800)] 
Handle invalid durations in the duration DSL (#3505)

Handle invalid durations in the duration DSL by removing invalid values
when loading (eg. "null DAYS" or "null null"). These values come from
invalid old-style configurations that got migrated to the new config
format.

This does not fully round-trip. For example, an old config with timeUnit
of DAYS and timeValue of null will lose the DAYS qualifier, although
this configuration was invalid (and ignored) in the first place.

10 days agoMinor deserialization fixes (#3508)
Jean-François Im [Tue, 4 Dec 2018 20:41:07 +0000 (12:41 -0800)] 
Minor deserialization fixes (#3508)

- Add a missing conversion from ArrayList to Set
- Avoid an NPE from being thrown during value injection. The injection
  behavior stays the same, this just removes the NPE.

10 days agoConfig loader includes also look in profiles (#3507)
Jean-François Im [Tue, 4 Dec 2018 20:40:45 +0000 (12:40 -0800)] 
Config loader includes also look in profiles (#3507)

When including configuration files from a table configuration or another
configuration file, look in both the current directory and the profiles
directory for the file to include.

10 days agoChange profile separator to triple underscores (#3504)
Jean-François Im [Tue, 4 Dec 2018 20:40:06 +0000 (12:40 -0800)] 
Change profile separator to triple underscores (#3504)

Change the profile separator in the configuration to be triple
underscores, to avoid issues with tables that have underscores in their
table schemas.

10 days agoFix NPE on configs with per-profile table types (#3503)
Jean-François Im [Tue, 4 Dec 2018 20:39:50 +0000 (12:39 -0800)] 
Fix NPE on configs with per-profile table types (#3503)

Fix NPEs on configurations that have per-profile table types, leading to
a merged output that has table-type specific keys for profiles that have
only one table type when other profiles have two table types.

10 days agoAdd new config API Java-properties format output (#3502)
Jean-François Im [Tue, 4 Dec 2018 20:39:35 +0000 (12:39 -0800)] 
Add new config API Java-properties format output (#3502)

Add an option for the new config API to output Java properties-style
HOCON formatted table configurations through HTTP content-type
negotiation.

10 days agoFix NPE while unparsing single key DSL output (#3501)
Jean-François Im [Tue, 4 Dec 2018 20:39:16 +0000 (12:39 -0800)] 
Fix NPE while unparsing single key DSL output (#3501)

Fix NPE that can happen if unparsing of a single key DSL fails.

10 days agoChange format of the ApplyConfig computed config (#3500)
Jean-François Im [Tue, 4 Dec 2018 20:38:54 +0000 (12:38 -0800)] 
Change format of the ApplyConfig computed config (#3500)

Change the format of the computed config in ApplyConfig to make it
easier to be reused by external tools. The new format is Java
properties-style HOCON as opposed to the nested structure HOCON format.

10 days ago[TE] frontend - harleyjj/manage - align startDate at startOf() instead of endOf(...
Harley Jackson [Tue, 4 Dec 2018 18:26:12 +0000 (10:26 -0800)] 
[TE] frontend - harleyjj/manage - align startDate at startOf() instead of endOf() (#3582)

This accomplishes two things:
1) Starting timestamp is now aligned at 00:00, which should invoke better response from endpoint
2) Defaults date picker time to 00:00

The trailing zero issue on the graph is resolved in some cases, but not all

10 days ago[TE] rootcause - Round end time after adjusting with the maxDateTime (#3581)
Xiaohui Sun [Tue, 4 Dec 2018 05:49:08 +0000 (21:49 -0800)] 
[TE] rootcause - Round end time after adjusting with the maxDateTime (#3581)

* [TE] rootcause - Round end time again to fix last zero data point in alert page

* [TE] rootcause - move round end time after adjusting with max data time

11 days agoSegment merge lineage data structure (#3543)
Seunghyun Lee [Tue, 4 Dec 2018 03:18:14 +0000 (19:18 -0800)] 
Segment merge lineage data structure (#3543)

* Segment merge lineage data structure
1. Added segment merge lineage that is a wrapper class of ZNRecord
2. Added segment merge group that will be used by broker during segment
   selection process
3. Added a unit test

* Addressing comments and added more descriptions

11 days ago[TE] Support sendOnce in LegacyAlertFilter (#3580)
Akshay Rai [Tue, 4 Dec 2018 00:42:57 +0000 (16:42 -0800)] 
[TE] Support sendOnce in LegacyAlertFilter (#3580)

11 days ago[TE] frontend - default redirect to home dashboard (#3579)
Alexander Pucher [Tue, 4 Dec 2018 00:30:32 +0000 (16:30 -0800)] 
[TE] frontend - default redirect to home dashboard (#3579)

11 days agoChanging segmentCommitEnd to support deep storage (#3578)
Jennifer Dai [Mon, 3 Dec 2018 23:31:04 +0000 (15:31 -0800)] 
Changing segmentCommitEnd to support deep storage (#3578)

* Changing the way we move file to final location to use pinotFS so that we can support different storage backends
* Testing covered by realtime integration tests
* Part 2 will be making the metadata portion backwards compatible as well

11 days agoApplied humanizeFloat to anomaly-graph component (#3577)
Harley Jackson [Mon, 3 Dec 2018 21:03:33 +0000 (13:03 -0800)] 
Applied humanizeFloat to anomaly-graph component (#3577)

11 days ago[TE] Minor fix in legacy alert filter (#3576)
Akshay Rai [Mon, 3 Dec 2018 18:45:19 +0000 (10:45 -0800)] 
[TE] Minor fix in legacy alert filter (#3576)

11 days ago[TE] frontend - harleyjj/rootcause - use humanizeFloat to change formatting of y...
Harley Jackson [Mon, 3 Dec 2018 18:24:59 +0000 (10:24 -0800)] 
[TE] frontend - harleyjj/rootcause - use humanizeFloat to change formatting of y-axis and prevent apparent duplicates (#3575)

2 weeks agoAdding support for bloom filter (#3528)
Kishore Gopalakrishna [Sat, 1 Dec 2018 02:52:01 +0000 (18:52 -0800)] 
Adding support for bloom filter (#3528)

* Adding support for bloom filter

* Fixing failing test cases

* Updated bloom filter implementation
1. Changed the implementation to use Guava BloomFilter library
2. Added unit test for bloom filter
3. Enforcing the maxmimum size of bloom filter to 1MB

* Adding bloom filter to integration tests

2 weeks agoImprove the logging for segment merge command (#3573)
Seunghyun Lee [Sat, 1 Dec 2018 01:49:30 +0000 (17:49 -0800)] 
Improve the logging for segment merge command (#3573)

1. add min start / max end time for input segments and merged segment
2. added the total number of documents for input and merged segment

2 weeks ago[TE] rootcause - hide heatmap tooltip on click (#3574)
Alexander Pucher [Sat, 1 Dec 2018 00:53:52 +0000 (16:53 -0800)] 
[TE] rootcause - hide heatmap tooltip on click (#3574)

Hides dimension heatmap tooltip on click. This prevents the tooltip from lingering over the heatmap (or the content of other tabs) after re-drawing the heatmap without any cursor activity.

2 weeks ago[TE] Configure Filters per Alert in Legacy Alerter (#3572)
Akshay Rai [Fri, 30 Nov 2018 23:54:04 +0000 (15:54 -0800)] 
[TE] Configure Filters per Alert in Legacy Alerter (#3572)

2 weeks ago[TE] rootcause - change frontend hack for baseline for new pipeline (#3571)
Alexander Pucher [Fri, 30 Nov 2018 22:40:42 +0000 (14:40 -0800)] 
[TE] rootcause - change frontend hack for baseline for new pipeline (#3571)

2 weeks agoDocs: Fix formatting for UDF docs. (#3569)
Mayank Shrivastava [Fri, 30 Nov 2018 05:38:18 +0000 (21:38 -0800)] 
Docs: Fix formatting for UDF docs. (#3569)

Fixing formatting issues for the UDF doc that got introduced in the
conversion from markdown to sphinx format.

2 weeks ago[TE] detection - filter out child anomaly in anomaly fetching (#3570)
Jihao Zhang [Fri, 30 Nov 2018 01:16:10 +0000 (17:16 -0800)] 
[TE] detection - filter out child anomaly in anomaly fetching (#3570)

- Filter out child anomaly in data provider anomaly fetching
- Fill in timezone/bucket for anomaly filter
- The final child keeping merger does not fetch anomalies from the database.
- Replay remove anomaly flag.

2 weeks ago[TE] rootcause - rich metric selector (#3567)
Alexander Pucher [Fri, 30 Nov 2018 00:31:22 +0000 (16:31 -0800)] 
[TE] rootcause - rich metric selector (#3567)

Improve visualization of metrics selector on root cause page. Displays metric names similar to metrics table, with dataset subscript and dimension values. Also enables quick-selection of metrics with pre-existing dimensions.

2 weeks agoAdd metric gauge to track the number of llc simultaneous segment builds (#3566)
Jialiang Li [Thu, 29 Nov 2018 23:27:10 +0000 (15:27 -0800)] 
Add metric gauge to track the number of llc simultaneous segment builds (#3566)

2 weeks ago[TE] Legacy Alert Filter should pick recipients from new alerter configs (#3565)
Akshay Rai [Thu, 29 Nov 2018 19:25:23 +0000 (11:25 -0800)] 
[TE] Legacy Alert Filter should pick recipients from new alerter configs (#3565)

2 weeks ago[TE] frontend - harleyjj/create-alert - make minor improvements to YAML alert creator...
Harley Jackson [Thu, 29 Nov 2018 18:30:29 +0000 (10:30 -0800)] 
[TE] frontend - harleyjj/create-alert - make minor improvements to YAML alert creator (#3564)

Toggle button displays what you would toggle too (i.e. clicking when it says YAML changes to YAML)
If you click 'cancel' on YAML, it clears the info you typed and toggles back to form
If you toggle to the form after you typed into YAML, info you typed is preserved when you toggle back

2 weeks agoRe-org documentation (#3563)
Subbu Subramaniam [Thu, 29 Nov 2018 00:58:23 +0000 (16:58 -0800)] 
Re-org documentation (#3563)

* Re-org documentation

Combined the sections on creating pinot segments into one.
Removed extra pictures from pluggable stream section, referencing the realtime design instead.
Created a new top level section on customizing pinot
Other minor edits and warning fixes

* Addressed some of the comments

2 weeks ago[TE] detection - copy nested property in wrapper (#3562)
Jihao Zhang [Wed, 28 Nov 2018 01:57:51 +0000 (17:57 -0800)] 
[TE] detection - copy nested property in wrapper (#3562)

2 weeks agoAdding pluggable storage support for realtime upload (#3541)
Jennifer Dai [Wed, 28 Nov 2018 01:08:29 +0000 (17:08 -0800)] 
Adding pluggable storage support for realtime upload (#3541)

* First phase of pluggable storage support for realtime includes replacing filesystem-level calls with pinotFS calls.
* See Issue #3420 for more details

2 weeks agoRemoving warnings in docs (#3560)
Jennifer Dai [Wed, 28 Nov 2018 00:38:43 +0000 (16:38 -0800)] 
Removing warnings in docs (#3560)

* Removing some warnings when new documentation is compiled

2 weeks agoFixes to doc (#3558)
Subbu Subramaniam [Wed, 28 Nov 2018 00:38:22 +0000 (16:38 -0800)] 
Fixes to doc (#3558)

2 weeks ago[TE] pom - fix javassist dependency (#3559)
Jihao Zhang [Tue, 27 Nov 2018 23:59:33 +0000 (15:59 -0800)] 
[TE] pom - fix javassist dependency (#3559)

2 weeks ago[TE] frontend - harleyjj/manage - pass correct granularity to buildMetricDataUrl...
Harley Jackson [Tue, 27 Nov 2018 23:16:36 +0000 (15:16 -0800)] 
[TE] frontend - harleyjj/manage - pass correct granularity to buildMetricDataUrl (#3557)

2 weeks ago[TE] Make new alerter tag old anomalies as notified (#3554)
Akshay Rai [Tue, 27 Nov 2018 23:00:20 +0000 (15:00 -0800)] 
[TE] Make new alerter tag old anomalies as notified (#3554)

The current UI relies on notified tag to fetch and display the anomalies.Due to this behavior, when an old pipeline anomaly is alerted using the new alerter it doesn't show up on the UI. The notified tag needs to be cleaned up after the migration.

2 weeks agoFixing TODOs in new documentation (#3555)
Jennifer Dai [Tue, 27 Nov 2018 22:13:39 +0000 (14:13 -0800)] 
Fixing TODOs in new documentation (#3555)

* Adding some pictures and referencing some documents

2 weeks ago[TE] rootcause - preselect metric name in metric dropdown (#3553)
Alexander Pucher [Tue, 27 Nov 2018 22:13:01 +0000 (14:13 -0800)] 
[TE] rootcause - preselect metric name in metric dropdown (#3553)

2 weeks agoCleaning data dir so URI construction works as expected (#3549)
Jennifer Dai [Tue, 27 Nov 2018 21:40:47 +0000 (13:40 -0800)] 
Cleaning data dir so URI construction works as expected (#3549)

* Currently, in retention manager (and I am sure other places in the future), we have switched to deep storage. As a result, we have to construct URIs out of path strings, and we do not expect for these paths to already end with slashes. So that users can still declare whatever data directory they desire, we will clean this data directory before using it.

2 weeks agoFix the wrong number reported by numSegmentsQueried (#3552)
Seunghyun Lee [Tue, 27 Nov 2018 02:34:45 +0000 (18:34 -0800)] 
Fix the wrong number reported by numSegmentsQueried (#3552)

Current code will report numSegmentsQueried & numSegmentsProcessed the same. This pr fixes the issue.

2 weeks ago[TE] Alerts created by YAML to show up in the alert list (#3551)
Jihao Zhang [Tue, 27 Nov 2018 01:37:00 +0000 (17:37 -0800)] 
[TE] Alerts created by YAML to show up in the alert list (#3551)

The alerts created by YAML editor to show up in the alert list.

2 weeks agoOptimize all filter predicates by adding isAlwaysTrue() (#3535)
Xiaotian (Jackie) Jiang [Tue, 27 Nov 2018 01:30:07 +0000 (17:30 -0800)] 
Optimize all filter predicates by adding isAlwaysTrue() (#3535)

When filter predicate is always evaluated to true, we can optimize the filter operator by replacing it with MatchAllFilterOperator.
This is especially useful for range filters on time column which spans a very long time range.
Also added method isResultMatchingAll() in BaseFilterOperator for the optimization.

2 weeks ago[TE] rootcause - default millisecond datasets to 15min granularity (#3550)
Alexander Pucher [Mon, 26 Nov 2018 23:19:49 +0000 (15:19 -0800)] 
[TE] rootcause - default millisecond datasets to 15min granularity (#3550)

2 weeks agoAdding execution stats for numSegmentsQueried/Processed/Matched (#3525)
Kishore Gopalakrishna [Mon, 26 Nov 2018 21:51:40 +0000 (13:51 -0800)] 
Adding execution stats for numSegmentsQueried/Processed/Matched (#3525)

* Adding execution stats for numSegmentsQueried/Processed/Matched

* Handling review comments. Inverting segmentsNotMatched to segmentsMatched

* Changing the order in response json

* Changing the order in response json

* Emitting metrics numSegmentsQueried, numSegmentsProcessed, numSegmentsMatched

* Handling review comments, added test case for offline and realtime

* Fixing variable name

2 weeks agoFirst cut documentation. (#3545)
Subbu Subramaniam [Mon, 26 Nov 2018 20:45:08 +0000 (12:45 -0800)] 
First cut documentation. (#3545)

Things done in this commit:
- Re-worded the architecture section to omit design and class level details from it
- Modified realtime pictures to remove kafka, and referenced same pictures in all docs
- Converted existing design documents into sphinx format.

Major TODOs:
  We still need to re-organize the docs and verify that the conversions are working as intended in
  the original documentation wiki.

  Need to move some of the notes from original architecture into detailed design section if we want.

  General language and grammar check

  Address various TODOs

  Use the references feature appropriately and remove some duplicate texts

2 weeks ago[TE] frontend - harleyjj/rootcause - warning value uses aggregate multiplier and...
Harley Jackson [Mon, 26 Nov 2018 20:41:03 +0000 (12:41 -0800)] 
[TE] frontend - harleyjj/rootcause - warning value uses aggregate multiplier and can be turned off if aggregates change without slider being adjusted (#3548)

2 weeks ago[TE] rootcause - redo route hooks (#3547)
Alexander Pucher [Mon, 26 Nov 2018 20:28:16 +0000 (12:28 -0800)] 
[TE] rootcause - redo route hooks (#3547)

This PR reworks the query params for initial setup of RCA to avoid namespace clashes and fix anomalyRange and analysisRange

2 weeks ago[TE] rootcause - remove tooltipEntities property (#3546)
Alexander Pucher [Mon, 26 Nov 2018 20:27:59 +0000 (12:27 -0800)] 
[TE] rootcause - remove tooltipEntities property (#3546)

2 weeks ago[TE] Display Holidays only from Top Countries (#3544)
Akshay Rai [Mon, 26 Nov 2018 20:27:39 +0000 (12:27 -0800)] 
[TE] Display Holidays only from Top Countries (#3544)

Instead of listing all the holidays in the email, display holidays from a whitelist of countries.

2 weeks ago[TE] Pipeline migration - fill in metric timezone (#3542)
Jihao Zhang [Mon, 26 Nov 2018 20:00:23 +0000 (12:00 -0800)] 
[TE] Pipeline migration - fill in metric timezone (#3542)

- fill in timeZone information for algorithm detector and anomaly filter
- error handling in the detection

2 weeks ago[TE] detection - add more logs for merger for debugging (#3540)
Xiaohui Sun [Mon, 26 Nov 2018 18:14:07 +0000 (10:14 -0800)] 
[TE] detection - add more logs for merger for debugging (#3540)

3 weeks ago[TE] rootcause - prevent metric selection change on dimension table tab change (...
Alexander Pucher [Wed, 21 Nov 2018 18:53:31 +0000 (10:53 -0800)] 
[TE] rootcause - prevent metric selection change on dimension table tab change (#3536)

3 weeks ago[TE] Anomaly function to new pipeline YAML converter (#3537)
Jihao Zhang [Wed, 21 Nov 2018 18:53:15 +0000 (10:53 -0800)] 
[TE] Anomaly function to new pipeline YAML converter (#3537)

- The endpoint to convert a legacy anomaly function to new pipeline YAML
- New dimension wrapper to support legacy data filter minLiveZone

3 weeks ago[TE] frontend - harleyjj/rootcause - fix data inconsistency warning t… (#3532)
Harley Jackson [Wed, 21 Nov 2018 18:29:18 +0000 (10:29 -0800)] 
[TE] frontend - harleyjj/rootcause - fix data inconsistency warning t… (#3532)

The data inconsistency warning:

-will not be triggered by changing the date range
-will display only the original values that triggered it (value does not change based on date range)
-will remain displayed when the user changes the date range, if the original values merit the warning

3 weeks ago[TE] roocause - fix dimension table metric select/unselect (#3533)
Alexander Pucher [Wed, 21 Nov 2018 18:27:32 +0000 (10:27 -0800)] 
[TE] roocause - fix dimension table metric select/unselect (#3533)

3 weeks ago[TE] Some more minor changes to the look of the template (#3534)
Akshay Rai [Wed, 21 Nov 2018 18:27:22 +0000 (10:27 -0800)] 
[TE] Some more minor changes to the look of the template (#3534)

3 weeks ago[TE] rootcause - support remove metric from chart label (#3531)
Alexander Pucher [Tue, 20 Nov 2018 22:35:02 +0000 (14:35 -0800)] 
[TE] rootcause - support remove metric from chart label (#3531)

Add support from removing metrics from the current selection directly from the chart label.

3 weeks ago[TE] rootcause - primary metric selection from legend label (#3529)
Alexander Pucher [Tue, 20 Nov 2018 22:03:27 +0000 (14:03 -0800)] 
[TE] rootcause - primary metric selection from legend label (#3529)

Similar to #3526, this PR enables primary metric selection from the legend label. It also removes the unused batch toggle links in the legend

3 weeks ago [TE] datasource - aggregate to one minute level for epoch timestamp (#3530)
Xiaohui Sun [Tue, 20 Nov 2018 22:02:54 +0000 (14:02 -0800)] 
 [TE] datasource - aggregate to one minute level for epoch timestamp (#3530)

Pinot uses UTC time which causes metrics shown inconsistently in ThirdEye which is PST/PDT by default. This aggregates to one minute level instead of the actual aggregation granularity.

3 weeks agoIgnore generated documentation files while checking for license headers (#3524)
Subbu Subramaniam [Tue, 20 Nov 2018 21:21:00 +0000 (13:21 -0800)] 
Ignore generated documentation files while checking for license headers (#3524)

3 weeks ago[TE] Attempt to organize and cleanup the email template (#3527)
Akshay Rai [Tue, 20 Nov 2018 21:20:14 +0000 (13:20 -0800)] 
[TE] Attempt to organize and cleanup the email template (#3527)

Changes:
* Display metrics new line separated in the main alert message
* Readjusted and used consistent padding and margins throughout the template
* Other minor style changes.

Testing:
* Tested locally

3 weeks ago[TE] rootcause - support metric selection from chart labels (#3526)
Alexander Pucher [Tue, 20 Nov 2018 19:56:20 +0000 (11:56 -0800)] 
[TE] rootcause - support metric selection from chart labels (#3526)

This PR enables users to change/select the primary metric by clicking on the metric labels in the chart area.

3 weeks agoAdded a log message on pinot-server when controller leadership change is read from...
Subbu Subramaniam [Tue, 20 Nov 2018 16:46:53 +0000 (08:46 -0800)] 
Added a log message on pinot-server when controller leadership change is read from zookeeper. (#3522)

Recently we saw a case where the server was repeatedly reporting that it received NOT_LEADER
responses from the controller. On further look at the logs, it turned out that the controller
did not get a helix notification that it became leader, so the server was logging what it saw
in zookeeper.

The behavior did lead us into looking at other things before we found the root cause.

This log will clearly identify how the server concludes who it thinks the leader is.

3 weeks agoFix the bug where time conversion is skipped when incoming and outgoing time column...
Xiaotian (Jackie) Jiang [Tue, 20 Nov 2018 02:16:12 +0000 (18:16 -0800)] 
Fix the bug where time conversion is skipped when incoming and outgoing time column name are the same (#3484)

1. Refactor TimeConverter to based on single time granularity spec
2. Refactor TimeTransformer so it can automatically detect whether the conversion is needed (based on the value in the record)
Added tests for the new TimeConverter and TimeTransformer

3 weeks ago[TE] rootcause - fix filter processing for predicted baseline (#3523)
Alexander Pucher [Tue, 20 Nov 2018 01:38:58 +0000 (17:38 -0800)] 
[TE] rootcause - fix filter processing for predicted baseline (#3523)

3 weeks ago[TE] Some minor bug fixes (#3521)
Akshay Rai [Tue, 20 Nov 2018 01:36:29 +0000 (17:36 -0800)] 
[TE] Some minor bug fixes (#3521)

3 weeks ago[TE] Organize the Holiday list in the alert email (#3520)
Akshay Rai [Tue, 20 Nov 2018 00:06:47 +0000 (16:06 -0800)] 
[TE] Organize the Holiday list in the alert email (#3520)

3 weeks agoDeleting extra check for deletedDir during retention (#3516)
Jennifer Dai [Tue, 20 Nov 2018 00:05:54 +0000 (16:05 -0800)] 
Deleting extra check for deletedDir during retention (#3516)

3 weeks ago[TE] rootcause - prevent line-break of exclude/hide links in filter selector (#3519)
Alexander Pucher [Mon, 19 Nov 2018 23:53:33 +0000 (15:53 -0800)] 
[TE] rootcause - prevent line-break of exclude/hide links in filter selector (#3519)

3 weeks ago[TE] rootcause - prevent add-to-chart popup by default (#3517)
Alexander Pucher [Mon, 19 Nov 2018 23:51:41 +0000 (15:51 -0800)] 
[TE] rootcause - prevent add-to-chart popup by default (#3517)

3 weeks ago[TE] rootcause - fix chunking offset cache (#3518)
Alexander Pucher [Mon, 19 Nov 2018 23:45:46 +0000 (15:45 -0800)] 
[TE] rootcause - fix chunking offset cache (#3518)

3 weeks ago[TE] rootcause - request chunking for aggregates and scores (#3496)
Alexander Pucher [Mon, 19 Nov 2018 22:22:57 +0000 (14:22 -0800)] 
[TE] rootcause - request chunking for aggregates and scores (#3496)

The RCA dashboard currently loads multiple offsets per metric at once. Unfortunately, this is still insufficient for very large dashboards with 1000+ metrics. This PR adds batching of both metrics and offsets within a single request. Additionally, it enables batching for on-demand scoring of metrics for outliers. This trades off responsiveness for a larger pipe - ultimately this should be superseded by a websocket-like implementation.

3 weeks ago[TE] alert performnace - resilience to missing alert (#3497)
Steve McClung [Mon, 19 Nov 2018 22:22:36 +0000 (16:22 -0600)] 
[TE] alert performnace - resilience to missing alert (#3497)

Rather than halting the display of alert performance metrics by Application to display "bad ids", we are now simply ignoring them. Further improvements here can be lazy-loading the perf table, and using concurrency tasks for these calls.

3 weeks ago[TE] Percentage and absolute change rule filter (#3514)
Jihao Zhang [Mon, 19 Nov 2018 21:43:32 +0000 (13:43 -0800)] 
[TE] Percentage and absolute change rule filter (#3514)

Percentage and absolute change rule filter in the new pipeline.