flume.git
6 weeks agoRemove outdated reference to 0.9.x and 1.4.x line from the User Guide trunk 46/head
Denes Arvay [Mon, 10 Dec 2018 03:17:48 +0000 (04:17 +0100)] 
Remove outdated reference to 0.9.x and 1.4.x line from the User Guide

This closes #255

(Denes Arvay via Ferenc Szabo)

6 weeks agoMake sign-checksum-artifact.sh executable
Mike Percy [Thu, 6 Dec 2018 08:37:37 +0000 (00:37 -0800)] 
Make sign-checksum-artifact.sh executable

This script was checked in without the execute bit set.

This closes #258

Reviewers: Bessenyei Balázs Donát, Peter Turcsanyi

6 weeks agoMake license-diff.sh work on macOS
Mike Percy [Thu, 6 Dec 2018 08:36:59 +0000 (00:36 -0800)] 
Make license-diff.sh work on macOS

readlink -f is not portable

Reviewers: Bessenyei Balázs Donát, Peter Turcsanyi

7 weeks agoFLUME-3285 Updating trunk version to 1.10.0-SNAPSHOT for Flume 1.9.0 release
Ferenc Szabo [Thu, 29 Nov 2018 15:02:27 +0000 (16:02 +0100)] 
FLUME-3285 Updating trunk version to 1.10.0-SNAPSHOT for Flume 1.9.0 release

7 weeks agoUpdating Flume version in RELEASE-NOTES for release 1.9.0
Ferenc Szabo [Thu, 29 Nov 2018 14:37:23 +0000 (15:37 +0100)] 
Updating Flume version in RELEASE-NOTES for release 1.9.0

7 weeks agoFLUME-3289 Update ChangeLog for 1.9.0 Release
Ferenc Szabo [Thu, 29 Nov 2018 10:50:03 +0000 (11:50 +0100)] 
FLUME-3289 Update ChangeLog for 1.9.0 Release

7 weeks agoFLUME-3287 Update License file for 1.9 release
Ferenc Szabo [Thu, 29 Nov 2018 14:30:00 +0000 (15:30 +0100)] 
FLUME-3287 Update License file for 1.9 release

Updating the LICENSE file.
Adding a helper script to dev-support

This closes #251

Reviewers: Endre Major, Denes Arvay

(Ferenc Szabo via Ferenc Szabo)

7 weeks agoFLUME-3299 Fix log4j scopes in pom files
Ferenc Szabo [Wed, 28 Nov 2018 09:31:38 +0000 (10:31 +0100)] 
FLUME-3299 Fix log4j scopes in pom files

Moving log4j dependencies to test scope.
Adding log4j as dependency to flume-ng-dist to pack it in the binary tarball.

This closes #249

Reviewers: Endre Major, Peter Turcsanyi

(Ferenc Szabo via Ferenc Szabo)

7 weeks agoFLUME-3298 Make hadoop-common optional in hadoop-credential-store-config-filter
Ferenc Szabo [Mon, 26 Nov 2018 14:54:32 +0000 (15:54 +0100)] 
FLUME-3298 Make hadoop-common optional in hadoop-credential-store-config-filter

hadoop-common should be optional as in the hdfs-sink

This closes #248

Reviewers: Endre Major, Peter Turcsanyi

(Ferenc Szabo via Ferenc Szabo)

8 weeks agoFLUME-3183 Maven: generate SHA-512 checksum during deploy
Ferenc Szabo [Fri, 23 Nov 2018 14:47:14 +0000 (15:47 +0100)] 
FLUME-3183 Maven: generate SHA-512 checksum during deploy

Addung SHA-512 checksum generation to maven
Removed deprecated checksums
Updated documentation

This closes #247

Reviewers: Endre Major, Peter Turcsanyi

(Ferenc Szabo via Ferenc Szabo)

8 weeks agoFLUME-2989 added 2 KafkaChannel metrics
Endre Major [Fri, 23 Nov 2018 13:25:33 +0000 (14:25 +0100)] 
FLUME-2989 added 2 KafkaChannel metrics

KafkaChannel was missing some metrics:
  eventTakeAttemptCount, eventPutAttemptCount

This PR is based on the patch included in the issue that was the work
of Umesh Chaudhary.
I reworked the test a bit to use Mockito, and made some other minor
modifications to the test.

This closes #244

Reviewers: Peter Turcsanyi, Ferenc Szabo

(Endre Major via Ferenc Szabo)

8 weeks agoFLUME-1342 adding jmx metrics tables to docs
Endre Major [Fri, 23 Nov 2018 10:47:15 +0000 (11:47 +0100)] 
FLUME-1342 adding jmx metrics tables to docs

This PR adds a few tables to the User Guide that describe the metrics
published by sorurces, sinks and channels.
I used simple unix tools to gather the data then I wrote a small utility to
convert it to csv.
Then I used an online converter https://www.tablesgenerator.com/ to generate
the rst tables and then a little manual editing.
I discovered some rst formatting problems in the FlumeUserGuide.rst,
corrected them, too.
It was rather painful process to gather the data and find a decent
representation.
So far this PR only contains the end result. I would be happy to share the
utilities, just don't know what would be the best way.

This closes #242

Reviewers: Denes Arvay, Ferenc Szabo

(Endre Major via Ferenc Szabo)

8 weeks agoFLUME-2723 batch size trans cap doc update
Endre Major [Fri, 23 Nov 2018 10:13:57 +0000 (11:13 +0100)] 
FLUME-2723 batch size trans cap doc update

An update to the configuration section of the user guide.

This closes #246

Reviewers: Peret Turcsanyi, Ferenc Szabo

(Endre Major via Ferenc Szabo)

8 weeks agoFLUME-3243 hdfs.callTimeout deafault increased and deprecated
Endre Major [Fri, 23 Nov 2018 10:05:17 +0000 (11:05 +0100)] 
FLUME-3243 hdfs.callTimeout deafault increased and deprecated

The default hdfs.callTimeout used by the HDFS sink was too low only 10 seconds
that can cause problems on a busy system.
The new default is 30 sec.
I think this parameter should be deprecated and some new more error tolerant
solution should be used. To enable the future change I indicated this in the
code and in the Users Guide.
Tested only with the unit tests.

This closes #243

Reviewers: Ferenc Szabo, Peret Turcsanyi

(Endre Major via Ferenc Szabo)

8 weeks agoFLUME-3294 Fix polling logic in TaildirSource
Peter Turcsanyi [Thu, 22 Nov 2018 20:51:28 +0000 (21:51 +0100)] 
FLUME-3294 Fix polling logic in TaildirSource

TaildirSource.process() implements the correct polling logic now. It returns
Status.READY / Status.BACKOFF which controls the common backoff sleeping
mechanism implemented in PollableSourceRunner.PollingRunner (instead of
always returning Status.READY and sleeping inside the method which was
an incorrect behaviour).

This closes #241

Reviewers: Endre Major, Denes Arvay

(Peter Turcsanyi via Ferenc Szabo)

8 weeks agoFLUME-3101 Add maxBatchCount config property to Taildir Source.
Peter Turcsanyi [Thu, 22 Nov 2018 16:12:57 +0000 (17:12 +0100)] 
FLUME-3101 Add maxBatchCount config property to Taildir Source.

If there are multiple files in the path(s) that need to be tailed and there
is a file written by high frequency, then Taildir can read the batchSize size
events from that file every time. This can lead to an endless loop and Taildir
will only read data from the busy file, while other files will not be
processed.
Another problem is that in this case TaildirSource will be unresponsive to
stop requests too.

This commit handles this situation by introducing a new config property called
maxBatchCount. It controls the number of batches being read consecutively
from the same file. After reading maxBatchCount rounds from a file, Taildir
will switch to another file / will have a break in the processing.

This change is based on hunshenshi's patch.

This closes #240

Reviewers: Ferenc Szabo, Endre Major

(Peter Turcsanyi via Ferenc Szabo)

8 weeks agoFLUME-2799 Kafka Source - Add message offset to headers
Ferenc Szabo [Thu, 22 Nov 2018 14:45:52 +0000 (15:45 +0100)] 
FLUME-2799 Kafka Source - Add message offset to headers

It seems when solving https://issues.apache.org/jira/browse/FLUME-2799 ,
an oversight resulted in the message offset not being added to the header.

This change corrects this.

This closes #238

Reviewers: Ferenc Szabo, Peter Turcsanyi

(Jehan Bruggeman via Ferenc Szabo)

8 weeks agoFLUME-2988 Kafka Sink metrics missing eventDrainAttemptCount
Ferenc Szabo [Thu, 22 Nov 2018 09:51:56 +0000 (10:51 +0100)] 
FLUME-2988 Kafka Sink metrics missing eventDrainAttemptCount

Adding missing counter to KafkaSink

Reviewers: Denes Arvay, Attila Simon, Ferenc Szabo

(Udai Kiran Potluri via Ferenc Szabo)

8 weeks agoFLUME-2464 Remove hadoop and hbase profiles.
Peter Turcsanyi [Thu, 22 Nov 2018 09:38:56 +0000 (10:38 +0100)] 
FLUME-2464 Remove hadoop and hbase profiles.

Hadoop 1/2 profiles were obsolete and had not been used for a long time,
so they have been deleted.
HBase profile was always active, so its content has been moved to
top level.
Additional clean-ups: some version declarations moved to the parent pom,
redundant version declarations and exclusions deleted.

This closes #239

Reviewers: Ferenc Szabo

(Peter Turcsanyi via Ferenc Szabo)

2 months agoFLUME-3281 Update to Kafka 2.0
Endre Major [Tue, 20 Nov 2018 16:16:51 +0000 (17:16 +0100)] 
FLUME-3281 Update to Kafka 2.0

This has been tested with unit tests. The main difference that caused the most
problems is the consumer.poll(Duration) change. This does not block even when
it fetches meta data whereas the previous poll(long timeout) blocked
indefinitely for meta data fetching.
This has resulted in many test timing issues. I tried to do minimal changes at
the tests, just enough to make them pass.

Kafka 2.0 requires a higher version for slf4j, I had to update it to 1.7.25.

Option migrateZookeeperOffsets is deprecated in this PR.
This will allow us to get rid of Kafka server libraries in Flume.

Compatibility testing.
Modified the TestUtil to be able to use external servers. This way I could test
against a variety of Kafka Server versions using the normal unit tests.
Channel tests using 2.0.1 client:
Kafka_2.11_0.9.0.0 Not compatible
Kafka_2.11_0.10.0.0 Not compatible
Kafka_2.11_0.10.1.0 passed with TestPartition timeouts
(rerunning the single test passes so it is a tes isolation issue)
Kafka_2.11_0.10.2.0 passed with TestPartition timeouts
(rerunning the single test passes so it is a tes isolation issue)
Kafka_2.11-0.11.0.3 - timeouts in TestPartitions when creating topics
Kafka_2.11-1.0.2 - passed
Kafka_2.11-1.1.1 - passed
Kafka_2.11-2.0.1 - passed

This closes #235

Reviewers: Tristan Stevens, Ferenc Szabo, Peter Turcsanyi

(Endre Major via Ferenc Szabo)

2 months agoFLUME-3282 Use slf4j in every component
Ferenc Szabo [Mon, 19 Nov 2018 15:46:42 +0000 (16:46 +0100)] 
FLUME-3282 Use slf4j in every component

Changed http sink to log with slf4j instead of log4j.
Changed some test to use slf4j as well.

This closes #233

Reviewers: Peter Turcsanyi, Endre Major

(Ferenc Szabo via Ferenc Szabo)

2 months agoFLUME-2653 Allow hdfs sink inUseSuffix to be empty
Endre Major [Mon, 19 Nov 2018 11:16:26 +0000 (12:16 +0100)] 
FLUME-2653 Allow hdfs sink inUseSuffix to be empty

This is based on the contributions for FLUME-2653 regarding a new feature
for the hdfs sink.
Added a new parameter hdfs.emptyInUseSuffix to allow the output file name
to remain unchanged. See the user guide changes for details.
This is desired feature from the community.

I added a new junit test case for testing.
Temporarily modified old test cases in my ide to use the new flag, and
they passed. I did this just as one of test, to be on the safe side.
It is not in this PR.

This closes #237

Reviewers: Peter Turcsanyi, Ferenc Szabo

(Endre Major via Ferenc Szabo)

2 months agoFLUME-3253 Update jackson-databind dependecy to the latest version
Peter Turcsanyi [Wed, 14 Nov 2018 15:55:13 +0000 (16:55 +0100)] 
FLUME-3253 Update jackson-databind dependecy to the latest version

Reason: 2.8.9 has a vulnerability issue, fixed in 2.8.11+

This closes #236

Reviewers: Ferenc Szabo

(Peter Turcsanyi via Ferenc Szabo)

2 months agoFLUME-2071 Flume Context doesn't support float or double configuration values.
Ferenc Szabo [Wed, 14 Nov 2018 13:52:40 +0000 (14:52 +0100)] 
FLUME-2071 Flume Context doesn't support float or double configuration values.

Adding support for getFloat() and getDouble() on context

Reviewers: Mike Percy, Ferenc Szabo

(Hans Uhlig via Ferenc Szabo)

2 months agoFLUME-3133 Add client IP / hostname headers to Syslog sources.
Peter Turcsanyi [Wed, 14 Nov 2018 12:25:06 +0000 (13:25 +0100)] 
FLUME-3133 Add client IP / hostname headers to Syslog sources.

In the newer version of the Syslog message format (RFC-5424) the hostname
is not a mandatory header anymore so the Syslog client might not send it.
On the Flume side it would be a useful information that could be used
in interceptors or for event routing.
To keep this information, two new properties have been added to the Syslog
sources: clientIPHeader and clientHostnameHeader.
Flume users can define custom event header names through these parameters
for storing the IP address / hostname of the Syslog client in the Flume
event as headers.
The IP address / hostname are retrieved from the underlying network sockets,
not from the Syslog message.

This change is based on the patch submitted by Jinjiang Ling which has been
rebased onto the current trunk and the review comments have been implemented.

This closes #234

Reviewers: Ferenc Szabo, Endre Major

(Peter Turcsanyi via Ferenc Szabo)

2 months agoFLUME-3087 Change log level from WARN to INFO
Ferenc Szabo [Tue, 13 Nov 2018 16:29:44 +0000 (17:29 +0100)] 
FLUME-3087 Change log level from WARN to INFO

when using default "maxIOWorkers" value.

Reviewers: Denes Arvay, Ferenc Szabo

(Takafumi Saito via Ferenc Szabo)

2 months agoFLUME-3228 Incorrect parameter name in timestamp interceptor docs
Ferenc Szabo [Tue, 13 Nov 2018 16:23:54 +0000 (17:23 +0100)] 
FLUME-3228 Incorrect parameter name in timestamp interceptor docs

Fixing the documentation

(Ferenc Szabo via Ferenc Szabo)

2 months agoFLUME-3280 Improve maven build to help code reviews by adding static …
Ferenc Szabo [Thu, 8 Nov 2018 17:11:27 +0000 (18:11 +0100)] 
FLUME-3280 Improve maven build to help code reviews by adding static …

…code analyzer

Adding spotbugs, pmd to the build.
moving flume-checkstyle to a new build-support module that contains
any future build tool configuration.

Fixed some trivial checkstyle issues.

Updated apache parent version and maven plugin versions.
Added maxAllowedViolations so this commit could contain only the new checks
and not any code change.

Did some cleanup in the pom files.

This closes #232

Reviewers: Peter Turcsanyi, Endre Major

(Ferenc Szabo via Ferenc Szabo)

2 months agoFLUME-3278 Handling -D keystore parameters in Kafka components
Peter Turcsanyi [Mon, 29 Oct 2018 13:28:53 +0000 (14:28 +0100)] 
FLUME-3278 Handling -D keystore parameters in Kafka components

Kafka client does not handle -D keystore parameters directly so Flume has to
pass them explicitly in Kafka properties (like ssl.keystore.location, etc).
Also using the same method for the truststore (in order to handle
keystore/truststore in the same way).

This closes #231

Reviewers: Denes Arvay

(Peter Turcsanyi via Ferenc Szabo)

3 months agoFLUME-3182 add support for SSL/TLS for syslog (tcp) sources
Ferenc Szabo [Thu, 18 Oct 2018 11:44:21 +0000 (13:44 +0200)] 
FLUME-3182 add support for SSL/TLS for syslog (tcp) sources

Adding SSL/TLS support for syslog and multi port syslog sources
This change also contains some refactoring to avoid code duplication in
sources with SSL/TLS support

As SSL/TLS handling is refactored it is convinient to
add the possibility to specify enabled protocol list FLUME-3275 and
add the possibility to specify enabled cipher suite list FLUME-3276

This closes #230

Reviewers: Peter Turcsanyi, Endre Major

(Ferenc Szabo via Ferenc Szabo)

3 months agoFLUME-3223 Flume HDFS Sink should retry close prior recover lease
Endre Major [Mon, 15 Oct 2018 09:18:41 +0000 (11:18 +0200)] 
FLUME-3223 Flume HDFS Sink should retry close prior recover lease

This is based on @mcsanady 's original pull request #202
I took the test changes from him but reworked the new feature implementation
since it failed some unit tests.
Previously when a close failed we immediately did a recover lease.
This PR introduces a background retry mechanism. It uses the already
existing "hdfs.closeTries" parameter. Unfortunately it has infinite retries
by default, that seems a bit too long for me.

I also did a minimal code clean up. The most important is that
HDFSWriter writer in BucketWriter became final. This is essential for later use
in inner classes. Only some testing solutions made it not final.
I reworked those to use the constructor.

This closes #229
This closes #202

Reviewers: Peter Turcsanyi, Ferenc Szabo

(Endre Major via Ferenc Szabo)

3 months agoFLUME-3269: Support JSSE keystore/trustore -D system properties
Peter Turcsanyi [Fri, 5 Oct 2018 09:40:28 +0000 (11:40 +0200)] 
FLUME-3269: Support JSSE keystore/trustore -D system properties

It makes possible to specify global/common SSL keystore parameters (path,
password and type) at Flume agent (process) level for all sources/sinks.
In this way, it is not necessary to define (=copy) the SSL config for each
component in the agent config.

The global SSL parameters can be specified through the standard -D JSSE
system properties or in environment variables.
Component level configuration is still possible.

Priority:
 1. component parameters in agent config
 2. -D system properties
 2. environment variables

This closes #228

Reviewers: Ferenc Szabo, Tristan Stevens, Endre Major

(Peter Turcsanyi via Ferenc Szabo)

3 months agoFLUME-2973 Deadlock in hdfs sink
Endre Major [Thu, 4 Oct 2018 14:16:41 +0000 (16:16 +0200)] 
FLUME-2973 Deadlock in hdfs sink

This PR is based on Yan Jian's fix and his test improvements.
Also contains the deadlock reproduction contributed by @adenes.
I have made minimal changes to those contributions.
Denes's test was used for checking the fix.
Yan's fix contains an optimization as it first calls the callback function
that removes the BucketWriter from the cache.
This is useful, should help to avoid some errors.

This closes #226

Reviewers: Peter Turcsanyi, Ferenc Szabo

(Endre Major, Yan Jian, Denes Arvay via Ferenc Szabo)

4 months agoFLUME-3270: Close JMS resources in JMSMessageConsumer constructor in
Peter Turcsanyi [Tue, 4 Sep 2018 08:16:26 +0000 (10:16 +0200)] 
FLUME-3270: Close JMS resources in JMSMessageConsumer constructor in

case of failure

This closes #227

Reviewers: Endre Major, Ferenc Szabo

(Peter Turcsanyi via Ferenc Szabo)

4 months agoFLUME-3033: Documented JMS Source SSL/TLS setup.
Peter Turcsanyi [Wed, 29 Aug 2018 06:57:06 +0000 (08:57 +0200)] 
FLUME-3033: Documented JMS Source SSL/TLS setup.

This closes #224

Reviewers: Ferenc Szabo

(Peter Turcsanyi via Ferenc Szabo)

4 months agoFLUME-3246 Validate flume configuration to prevent larger source batchsize than
Endre Major [Tue, 19 Jun 2018 12:54:50 +0000 (14:54 +0200)] 
FLUME-3246 Validate flume configuration to prevent larger source batchsize than
the channel transaction capacity

The loadSources() method seemed like an appropriate place to check this.
Added 2 new interfaces for getting the transaction capacity and the batch size
fields. The check is only done for channels that implement the
TransactioCapacitySupported interface and sources and sinks that implement
the BatchSizeSupported interface.

This closes #212

Reviewers: Ferenc Szabo, Peter Turcsanyi

(Endre Major via Ferenc Szabo)

4 months agoFLUME-2977 Upgrade RAT to 0.12
Attila Simon [Tue, 28 Aug 2018 12:24:45 +0000 (14:24 +0200)] 
FLUME-2977 Upgrade RAT to 0.12

Git ignored files are not checked anymore.
Files with licence error are logged to the console which is more accessable
during development than opening the report file

4 months agoFLUME-3050 add counters for error conditions and expose to monitor URL
Endre Major [Tue, 28 Aug 2018 11:25:08 +0000 (13:25 +0200)] 
FLUME-3050 add counters for error conditions and expose to monitor URL

By introducing error counters it will be easier to monitor problems.
Also errors are categorized, hopefully this will help setting up better
monitoring solutions.

Concept: an error is when an Exception is thrown or an ERROR level log is
written during event processing. In case of an error at least 1 error counter
is increased at least once. (Preferably 1 counter once).
Errors during event processing are counted.
Initialization errors are not handled here.
3 types of errors are differentiated.
- Channel read/write errors from the channel when the channel
  throws a ChannelException.
- Event read/write errors. E.g: A source cannot read an event due to
- Generic errors - e.g.: TaildirSource cannot write position file.

This closes #222

Reviewers: Peter Turcsanyi, Ferenc Szabo

(Endre Major via Ferenc Szabo)

5 months agoFLUME-3239 Do not rename files in SpoolDirectorySource
Endre Major [Fri, 17 Aug 2018 13:12:47 +0000 (15:12 +0200)] 
FLUME-3239 Do not rename files in SpoolDirectorySource

Added functionality to track files in the meta directory
rather than renaming them.
Improved tests for checking multilevel directories.

This closes #214

Reviewers: Ferenc Szabo, Peter Turcsanyi

(Endre Major via Ferenc Szabo)

5 months agoFLUME-3227 Add Rate Limiter to stresssource
Tristan Stevens [Fri, 17 Aug 2018 11:43:01 +0000 (13:43 +0200)] 
FLUME-3227 Add Rate Limiter to stresssource

Currently the StressSource just runs flat out (on modern hardware
can generate 20M events per second with no problems),
relying on backpressure from the channel to regulate itself.

Adding a shaded version of the guava rate limiter and includes unit tests.

This closes #203

Reviewers: Ferenc Szabo, Endre Major, Peter Turcsanyi

(Tristan Stevens via Ferenc Szabo)

6 months agoFLUME-3237: Handling RuntimeExceptions coming from the JMS provider in JMSSource
Ferenc Szabo [Wed, 11 Jul 2018 11:56:02 +0000 (13:56 +0200)] 
FLUME-3237: Handling RuntimeExceptions coming from the JMS provider in JMSSource

Handling RuntimeExceptions in the same way as JMSExceptions in order to trigger
the reconnecting mechanism in JMSSource.

This closes #210

Reviewers: Endre Major, Ferenc Szabo

(Peter Turcsanyi via Ferenc Szabo)

7 months agoFLUME-3142: Adding HBase2 sink
Ferenc Szabo [Fri, 8 Jun 2018 08:10:26 +0000 (10:10 +0200)] 
FLUME-3142: Adding HBase2 sink

HBase2Sink is the equivalent of HBaseSink for HBase version 2.
HBaseSink used some API calls which were deprecated in HBase 1.x
and they are not available in HBase 2.x any more.

HBase2Sink has been implemented by copying the existing
flume-ng-hbase-sink module to the new flume-ng-hbase2-sink module,
then adjusting the incompatible API calls to HBase 2.
The package and class names have also been modified to have
the hbase2/HBase2 tag. "Hbase" typos have been fixed too.

The functionality provided by HBase2Sink and the configuration parameters
are the same as in case of HBaseSink (except the hbase2 tag in the sink type
and the package/class names).

HBaseSink has not been modified, so it works with HBase 1.x as before.

This closes #209

Reviewers: Denes Arvay, Endre Major, Ferenc Szabo

(Peter Turcsanyi via Ferenc Szabo)

7 months agoFLUME-3222 Fix for NoSuchFileException thrown when files are being deleted
Ferenc Szabo [Tue, 5 Jun 2018 08:29:11 +0000 (10:29 +0200)] 
FLUME-3222 Fix for NoSuchFileException thrown when files are being deleted
from the TAILDIR source

We fetch file names from a directory and later we fetch inodes.
If there is a delete between these operations this problem occurs.
Reproduced from unit test.
Added exception handling to handle this case.
It is enough to ignore the NoSuchFileException and continue.

this closes #208

reviewers: Ferenc Szabo, Peter Turcsanyi

(Endre Major via Ferenc Szabo)

7 months agoFLUME-2976 Exception when JMS source tries to connect to a Weblogic server without...
Ferenc Szabo [Wed, 30 May 2018 16:42:30 +0000 (18:42 +0200)] 
FLUME-2976 Exception when JMS source tries to connect to a Weblogic server without authentication

changing the default "" value of the password to null

Reviewers: Bessenyei Balazs Donat, Peter Turcsanyi, Ferenc Szabo

(Denes Arvay via Ferenc Szabo)

8 months agoFLUME-2894: Flume components should stop in the correct order (graceful shutdown)
Laxman Ch [Thu, 3 May 2018 11:21:13 +0000 (13:21 +0200)] 
FLUME-2894: Flume components should stop in the correct order (graceful shutdown)

This closes #101

Reviewers: Bessenyei Balazs Donat, Ferenc Szabo

(Laxman Ch via Ferenc Szabo)

10 months agoFLUME-2786 FLUME-3056 FLUME-3117 Application enters a deadlock when stopped while...
Andras Beni [Fri, 9 Mar 2018 11:06:25 +0000 (12:06 +0100)] 
FLUME-2786 FLUME-3056 FLUME-3117 Application enters a deadlock when stopped while handleConfigurationEvent

Adding better locking mechanism to Application class to prevent deadlock.

this closes #108
this closes #144

Revievers: Denes Arvay, Attila Simon, Benedict Jin, Ferenc Szabo

(Andras Beni, Yan Jian via Ferenc Szabo)

10 months agoFLUME-3218 fixing executable permission in test case in a more portab way
Ferenc Szabo [Fri, 23 Feb 2018 09:35:02 +0000 (10:35 +0100)] 
FLUME-3218 fixing executable permission in test case in a more portab way

This closes #199

Reviewers: Denes Arvay

(Ferenc Szabo via Ferenc Szabo)

10 months agoFLUME-2442 Need an alternative to providing clear text passwords in flume config
Ferenc Szabo [Thu, 22 Feb 2018 08:07:09 +0000 (09:07 +0100)] 
FLUME-2442 Need an alternative to providing clear text passwords in flume config

Adding an interface with 3 implementations to provide functionality at the
configuration level to replace variables/keys from external sources. This
component is capable of hiding sensitive information or injecting generated
data into the configuration.

The implementation affects only the configuration layer so existing components
(sinks/sources/channels/etc) do not have to change and new components can
already have it through the configuration.

New custom implementations can be easily added even in plugin form.

Each implementation has unit tests in their module and an integration test in
the flume-ng-tests module.

This closes #197

Reviewers: Miklos Csanady, Denes Arvay

(Ferenc Szabo via Denes Arvay)

11 months agoFLUME-2957. Remove Guava from our public API
Denes Arvay [Tue, 6 Feb 2018 09:53:27 +0000 (10:53 +0100)] 
FLUME-2957. Remove Guava from our public API

The only Guava class used in public API is the ImmutableMap in the

org.apache.flume.Context,
org.apache.flume.node.MaterializedConfiguration and
org.apache.flume.node.SimpleMaterializedConfiguration

classes.

This commit replaces these with java.util.Map.

Note: this is a breaking change as it modifies
the return type of a method on a public interface.

This closes #195

Reviewers: Ferenc Szabo, Mike Percy

(Denes Arvay via Ferenc Szabo)

11 months agoFLUME-3115. Update netty library flume-1.x 261/head
Ferenc Szabo [Fri, 18 Aug 2017 13:06:02 +0000 (15:06 +0200)] 
FLUME-3115. Update netty library

This change upgrades the netty library to 3.10.6 and also adds netty-all 4.1.17

This closes #155

Reviewers: Miklos Csanady

(Ferenc Szabo via Denes Arvay)

11 months agoFLUME-3201. Fix SyslogUtil to handle RFC3164 format in December correctly
Ferenc Szabo [Wed, 6 Dec 2017 08:39:51 +0000 (09:39 +0100)] 
FLUME-3201. Fix SyslogUtil to handle RFC3164 format in December correctly

This closes #188

Reviewers: Tristan Stevens, Miklos Csanady

(Ferenc Szabo via Denes Arvay)

11 months agoFLUME-3194 upgrade derby to the latest version
Miklos Csanady [Tue, 5 Dec 2017 13:27:11 +0000 (14:27 +0100)] 
FLUME-3194 upgrade derby to the latest version

Current derby version contains security vulnerabilities.
This update will upgrade to a later version.

This closes #184

Reviewers: Ferenc Szabo

(Miklos Csanady via Ferenc Szabo)

11 months agoFLUME-3158: Upgrade surefire version and config
Miklos Csanady [Tue, 21 Nov 2017 10:27:53 +0000 (11:27 +0100)] 
FLUME-3158: Upgrade surefire version and config

Set surefire version to the latest and configure it
to rerun failed tests.
This way the flaky tests will not break the build as often.

This closes #182

Reviewers: Ferenc Szabo

(Miklos Csanady via Ferenc Szabo)

11 months agoFLUME-3195. Split the KafkaChannelTest to avoid timeouts
Viktor Somogyi [Thu, 16 Nov 2017 12:01:12 +0000 (13:01 +0100)] 
FLUME-3195. Split the KafkaChannelTest to avoid timeouts

KafkaChannelTest had quite a few test methods so during the build sometimes it
caused a timeout. Refactoring it to smaller test classes decrease the chance of
timeouts.

This closes #183

Reviewers: Miklos Csanady, Ferenc Szabo

(Viktor Somogyi via Ferenc Szabo)

11 months agoFLUME-2050. Upgrade to Log4j 2.10.0
Ralph Goers [Fri, 3 Nov 2017 06:01:58 +0000 (23:01 -0700)] 
FLUME-2050. Upgrade to Log4j 2.10.0

This closes #181

Reviewers: Ferenc Szabo

(Ralph Goers via Denes Arvay)

14 months agoFLUME-199. Remove hardcoded ports from unit tests
Andras Beni [Thu, 26 Oct 2017 22:31:04 +0000 (15:31 -0700)] 
FLUME-199. Remove hardcoded ports from unit tests

Many unit tests use hardcoded port numbers which leads to flakiness and causes
problems when running builds in parallel.
This patch fixes this issue by searching for available ports instead of the
hardcoded ones.

This closes #124

Reviewers: Miklos Csanady, Ferenc Szabo

(Andras Beni via Denes Arvay)

14 months agoFLUME-2698. Upgrade Jetty Version
Tristan Stevens [Wed, 25 Oct 2017 17:56:42 +0000 (10:56 -0700)] 
FLUME-2698. Upgrade Jetty Version

Update Jetty version to 9.4.6.
Beside the version upgrade this patch exposes the new Jetty's configuration
variables on the HTTPSource to provide users the possibility of fine-tuning
the HTTPSource.

This closes #158

Reviewers: Ferenc Szabo, Mike Percy, Miklos Csanady, Denes Arvay

(Tristan Stevens via Denes Arvay)

15 months agoFLUME-3186. Make asyncHbaseClient config parameters available from Flume config
Miklos Csanady [Thu, 19 Oct 2017 16:21:16 +0000 (18:21 +0200)] 
FLUME-3186. Make asyncHbaseClient config parameters available from Flume config

This patch adds the ability to set the asyncHbaseClient's config parameters via
the Flume configuration.

This closes #178

Reviewers: Ferenc Szabo, Denes Arvay

(Miklos Csanady via Denes Arvay)

15 months agoFLUME-3159. Setting JdbcChannel test connection to in-memory derby
Ferenc Szabo [Sun, 1 Oct 2017 20:02:31 +0000 (22:02 +0200)] 
FLUME-3159. Setting JdbcChannel test connection to in-memory derby

This patch changes the JdbcChannel tests to use in-memory derby to make parallel
test run possible.

This closes #177

Reviewers: Denes Arvay

(Ferenc Szabo via Denes Arvay)

16 months agoFix source assembly
Denes Arvay [Fri, 15 Sep 2017 11:33:20 +0000 (13:33 +0200)] 
Fix source assembly

flume-checkstyle breaks the assembly because its parent is not the flume-parent
Removing the moduleSets definition from the src assembly solved the issue.
Files are added based on fileSets, the resulting tarball's content equals
to the result of the dev-support/generate-source-release.sh in a clean
working directory.

This closes #175

Reviewers: Miklos Csanady, Ferenc Szabo

(Denes Arvay via Denes Arvay)

16 months agoAdd README.md and doap_Flume.rdf to the generated release artifacts
Bessenyei Balázs Donát [Wed, 12 Oct 2016 16:32:03 +0000 (18:32 +0200)] 
Add README.md and doap_Flume.rdf to the generated release artifacts

This closes #69

(Cherry-picked from flume-1.7 branch by Denes Arvay)

16 months agoFLUME-3164. Update version to 1.9.0-SNAPSHOT in pom.xmls and documentation files
Denes Arvay [Wed, 13 Sep 2017 16:17:26 +0000 (18:17 +0200)] 
FLUME-3164. Update version to 1.9.0-SNAPSHOT in pom.xmls and documentation files

16 months agoFLUME-3166. Update LICENSE
Denes Arvay [Wed, 13 Sep 2017 15:45:59 +0000 (17:45 +0200)] 
FLUME-3166. Update LICENSE

Adding geronimo-jms_1.1_spec jar to the Apache licensed list.

16 months agoFLUME-3178. Update RELEASE-NOTES for 1.8.0
Denes Arvay [Tue, 12 Sep 2017 14:37:55 +0000 (16:37 +0200)] 
FLUME-3178. Update RELEASE-NOTES for 1.8.0

16 months agoFLUME-3168. Update CHANGELOG for 1.8.0
Denes Arvay [Tue, 12 Sep 2017 14:36:00 +0000 (16:36 +0200)] 
FLUME-3168. Update CHANGELOG for 1.8.0

16 months agoChanging javax.jms to geronimo jms spec
Ferenc Szabo [Wed, 13 Sep 2017 15:24:27 +0000 (17:24 +0200)] 
Changing javax.jms to geronimo jms spec

javax.jms has GNU GPL licence which is not compatible with Apache

This closes #172

Reviewers: Miklos Csanady, Denes Arvay

(Ferenc Szabo via Denes Arvay)

16 months agoSet the copyright date dynamically in documentation footer
Denes Arvay [Tue, 12 Sep 2017 15:44:13 +0000 (17:44 +0200)] 
Set the copyright date dynamically in documentation footer

Display "2009-current year" instead of the hardcoded "2009-2012".

This closes #171

Reviewers: Ferenc Szabo

(Denes Arvay via Denes Arvay)

16 months agoFLUME-3175. Turn off doclint for javadoc generation
Denes Arvay [Mon, 11 Sep 2017 19:58:14 +0000 (21:58 +0200)] 
FLUME-3175. Turn off doclint for javadoc generation

With Java 8's new doclint feature the javadoc generation breaks due to the
strict checking so adding -Xdoclint:none to the maven-javadoc-plugin's
configuration.

This closes #168

Reviewers: Bessenyei Balázs Donát, Ferenc Szabo

(Denes Arvay via Denes Arvay)

16 months agoFLUME-3046. Kafka Sink and Source Configuration Improvements
Tristan Stevens [Tue, 12 Sep 2017 19:42:57 +0000 (21:42 +0200)] 
FLUME-3046. Kafka Sink and Source Configuration Improvements

This patch fixes the infinite loop between Kafka source and Kafka sink
by introducing the following configuration parameters in those components:
- topicHeader in Kafka source to specify the name of the header where it
  stores the topic name where the event comes from.
- setTopicHeader in Kafka source to control whether the topic name is stored
  in the given header.
- topicHeader in Kafka sink to configure the name of the header which
  is used to specify in which topic to send the event.
- allowTopicOverride in Kafka sink to control whether the target topic's name
  can be overridden by the specified header.

This closes #105

Reviewers: Attila Simon

(Tristan Stevens via Denes Arvay)

16 months agoFix NetCat UDP Source table in FlumeUserGuide.rst
Denes Arvay [Tue, 12 Sep 2017 12:49:13 +0000 (14:49 +0200)] 
Fix NetCat UDP Source table in FlumeUserGuide.rst

This closes #170

Reviewers: Ferenc Szabo

(Denes Arvay via Denes Arvay)

16 months agoFLUME-3173. Upgrade joda-time to 2.9.9
Miklos Csanady [Tue, 12 Sep 2017 13:19:10 +0000 (15:19 +0200)] 
FLUME-3173. Upgrade joda-time to 2.9.9

This closes #169

Reviewers: Marcell Hegedus

(Miklos Csanady via Denes Arvay)

16 months agoFLUME-1520. Timestamp interceptor should support custom headers
Denes Arvay [Mon, 11 Sep 2017 13:16:45 +0000 (15:16 +0200)] 
FLUME-1520. Timestamp interceptor should support custom headers

This change adds a configuration parameter to the TimestampInterceptor
for the user to be able to define the name of the timestamp header.

Reviewers: Tristan Stevens, Attila Simon

(Hari Shreedharan, Tristan Stevens, Attila Simon via Denes Arvay)

16 months agoFLUME-3127. Upgrade libfb303 library dependency
Ferenc Szabo [Fri, 1 Sep 2017 14:16:08 +0000 (16:16 +0200)] 
FLUME-3127. Upgrade libfb303 library dependency

- thrift version changed to 0.9.3
- thrift objects generated with the new version
- deprecated method calls updated in ScribeSource
- cross-compatibility tested with Flume 1.6 and 1.7

This closes #163

Reviewers: Denes Arvay

(Ferenc Szabo via Denes Arvay)

16 months agoFLUME-3156. Update example configuration of Kafka Sink
Robin Wang [Sat, 2 Sep 2017 06:12:02 +0000 (14:12 +0800)] 
FLUME-3156. Update example configuration of Kafka Sink

Change ki to k1 in Kafka Sink configuration example.
(a1.sinks.ki.kafka.producer.compression.type)

This closes #165

Reviewers: Bessenyei Balázs Donát, Denes Arvay

(Robin Wang via Denes Arvay)

16 months agoFix an infinite recursion in SourceConfiguration
TeddyBear1314 [Sun, 3 Sep 2017 02:33:20 +0000 (10:33 +0800)] 
Fix an infinite recursion in SourceConfiguration

Minor change to fix an infinite recursion in
org.apache.flume.conf.source.SourceConfiguration.getSourceConfigurationType()

This closes #166

Reviewers: Denes Arvay

(TeddyBear1314 via Denes Arvay)

16 months agoFLUME-3157. Refactor TestHDFSEventSinkOnMiniCluster to not use LeaseManager private API
Ferenc Szabo [Fri, 1 Sep 2017 17:10:27 +0000 (19:10 +0200)] 
FLUME-3157. Refactor TestHDFSEventSinkOnMiniCluster to not use LeaseManager private API

This fix removes LeaseManager private API usages from tests in
TestHDFSEventSinkOnMiniCluster as these methods are expected to be
removed/changed in future versions of Hadoop/HDFS.

Test refactored, it has the same result and behaviour.

This closes #164

Reviewers: Denes Arvay

(Ferenc Szabo via Denes Arvay)

16 months agoFLUME-3154. Add HBase client version check to AsyncHBaseSink and HBaseSink
Miklos Csanady [Mon, 28 Aug 2017 09:15:12 +0000 (11:15 +0200)] 
FLUME-3154. Add HBase client version check to AsyncHBaseSink and HBaseSink

The current implementation of HBaseSink and AsyncHbaseSink is not
compatible with the 2.0 version of HBase, which will be released soon.
This change adds a check and makes these sinks fail gracefully if
incompatible HBase jars can be found in the classpath.

This closes #160

Reviewers: Bessenyei Balázs Donát, Ferenc Szabo, Denes Arvay

(Miklos Csanady via Denes Arvay)

16 months agoFLUME-3155. Use batch mode in mvn to fix Travis CI error
Miklos Csanady [Mon, 28 Aug 2017 11:46:49 +0000 (13:46 +0200)] 
FLUME-3155. Use batch mode in mvn to fix Travis CI error

Reduce the output verbosity to fix the "log length has exceeded the limit of
4 MB" Travis CI error.

This closes #161

Reviewers: Ferenc Szabo

(Miklos Csanady via Denes Arvay)

16 months agoFLUME-3132. Upgrade tomcat jasper library dependencies
Ferenc Szabo [Mon, 14 Aug 2017 16:34:33 +0000 (18:34 +0200)] 
FLUME-3132. Upgrade tomcat jasper library dependencies

Exclude the vulnerable jasper library transitive dependencies from hadoop, hbase
dependencies.

This closes #152

Reviewers: Attila Simon, Miklos Csanady

(Ferenc Szabo via Denes Arvay)

16 months agoFLUME-3112. Upgrade jackson-core library dependency
Ferenc Szabo [Tue, 15 Aug 2017 08:35:35 +0000 (10:35 +0200)] 
FLUME-3112. Upgrade jackson-core library dependency

Upgrading the version in dependency management and removing unused ones.
Both 1.x and 2.x jackson versions are needed, renamed the jackson.version
property to codehaus.jackson.version and added fasterxml.jackson.version
for the 2.x jackson.

This closes #154

Reviewers: Attila Simon, Miklos Csanady, Denes Arvay

(Ferenc Szabo via Denes Arvay)

16 months agoFLUME-3131. Upgrade Spring Framework library dependencies
Ferenc Szabo [Tue, 15 Aug 2017 07:30:24 +0000 (09:30 +0200)] 
FLUME-3131. Upgrade Spring Framework library dependencies

The Spring Framework libraries are transitive depencencies through ActiveMQ
thus it's not possible to upgrade.
They are only used is tests so moved ActiveMQ to test scope.

This closes #153

Reviewers: Attila Simon, Denes Arvay

(Ferenc Szabo via Denes Arvay)

16 months agoFLUME-3057. Update snappy-java version
Pravin D'silva [Thu, 24 Aug 2017 12:55:21 +0000 (18:25 +0530)] 
FLUME-3057. Update snappy-java version

Flume has a snappy-java dependency with version 1.1.0. Upon building Flume on
ppc64le architecture, errors such as "[FAILED_TO_LOAD_NATIVE_LIBRARY] no native
library is found for os.name=Linux and os.arch=ppc64le" are seen
Native libraries for ppc64le were added in snappy-java version 1.1.1.
Hence Flume needs to have a higher version of snappy-java.

This closes #157

Reviewers: Ferenc Szabo, Attila Simon

(Pravin D'silva via Denes Arvay)

16 months agoFLUME-3152 Add Flume Metric for Backup Checkpoint Errors
Ferenc Szabo [Mon, 21 Aug 2017 12:29:38 +0000 (14:29 +0200)] 
FLUME-3152 Add Flume Metric for Backup Checkpoint Errors

This change adds a new metric (channel.file.checkpoint.backup.write.error)
to the File Channel. It gets incremented if an exception happens
during backup checkpoints writes.

This closes #156

Reviewers: Denes Arvay

(Ferenc Szabo via Denes Arvay)

17 months agoFLUME-3144. Improve Log4jAppender's performance by allowing logging collection of...
Denes Arvay [Fri, 11 Aug 2017 14:22:04 +0000 (16:22 +0200)] 
FLUME-3144. Improve Log4jAppender's performance by allowing logging collection of messages

Log4jAppender treats Collection messages as a special case making it possible to log
Collection of events in one Log4j log call. The appender sends these events to the
receiving Flume instance as one batch with the rpcClient.appendBatch() method.

This closes #151

Reviewers: Ferenc Szabo, Miklos Csanady

(Denes Arvay via Denes Arvay)

17 months agoFLUME-3141. Small typo found in RegexHbaseEventSerializer.java
Miklos Csanady [Tue, 8 Aug 2017 14:44:38 +0000 (16:44 +0200)] 
FLUME-3141. Small typo found in RegexHbaseEventSerializer.java

This closes #149

Reviewers: Denes Arvay

(Miklos Csanady via Denes Arvay)

17 months agoFLUME-3093: Groundwork for version changes in root pom
Miklos Csanady [Mon, 7 Aug 2017 14:18:16 +0000 (16:18 +0200)] 
FLUME-3093: Groundwork for version changes in root pom

This commit extracts the version numbers from the subprojects'
pom.xml to the root pom.xml without introducing any other change
(i.e. the dependency tree didn't change)

This closes #132

Reviewers: Ferenc Szabo, Attila Simon

(Miklos Csanady via Denes Arvay)

17 months agoFLUME-3135. Remove the references to StaticInterceptor from RegexFilteringInterceptor 191/head
Peter Chen [Mon, 24 Jul 2017 06:50:49 +0000 (14:50 +0800)] 
FLUME-3135. Remove the references to StaticInterceptor from RegexFilteringInterceptor

- Use RegexFilteringInterceptor.class in LoggerFactory.getLogger() call
- Fix the Javadoc of the RegexFilteringInterceptor.Builder class

This closes #148

Reviewers: Attila Simon, Marcell Hegedus

(Peter Chen via Denes Arvay)

18 months agoFLUME-2620. File Channel to support empty values in headers
Marcell Hegedus [Wed, 19 Jul 2017 12:27:56 +0000 (14:27 +0200)] 
FLUME-2620. File Channel to support empty values in headers

Flume user guide does not specify whether a value in event header could be null or not.
Given an external system generating events which header values can be null and a user configures
Flume with Memory Channel then he will have no trouble.
Later on when the user changes Memory Channel to File Channel then Flume will fail with NPE.
It is because FC is serializing events with protocol buffer and header values are defined as
required in the proto file.
In this patch I have changed the value field to optional. However protocol buffer does not have
a notation for null and setting a field to null raises NPE again. Added a null check before
serialization to prevent this.
There is on caveat: When an optional field is not set, at deserialization it will be set to a
default value: in this case it will be empty string.

Reviewers: Miklos Csanady

(Marcell Hegedus via Denes Arvay)

18 months agoFix HttpSink bad response handling
filippovmn [Wed, 12 Jul 2017 18:51:26 +0000 (18:51 +0000)] 
Fix HttpSink bad response handling

After a bad response, connection.getInputStream() returns null.
This patch adds a check for this.

This closes #139

Reviewers: Bessenyei Balázs Donát

(filippovmn via Bessenyei Balázs Donát)

18 months agoFacelift AvroSource and test using lambdas
Attila Simon [Thu, 29 Jun 2017 07:21:56 +0000 (09:21 +0200)] 
Facelift AvroSource and test using lambdas

- Make avro ip filter tests more reliable by checking whether the
  caught exception is really what the test expected
- Use lambda instead of anonymous classes to make the code shorter

This closes #143.

Reviewers: Denes Arvay

(Attila Simon via Denes Arvay)

18 months agoFLUME-2175. Document Protocol Buffer upgrade steps
Roshan Naik [Tue, 4 Jul 2017 09:47:52 +0000 (11:47 +0200)] 
FLUME-2175. Document Protocol Buffer upgrade steps

Update Developer Guide with notes on how to upgrade Protocol Buffer
version.

Reviewers: Ashish Paliwal, Attila Simon

(Roshan Naik via Denes Arvay)

18 months agoFLUME-2917. Provide netcat UDP source as alternative to TCP
Tristan Stevens [Sun, 2 Jul 2017 21:31:27 +0000 (21:31 +0000)] 
FLUME-2917. Provide netcat UDP source as alternative to TCP

This patch adds a netcat UDP source.

Reviewers: Lior Zeno, Chris Horrocks, Bessenyei Balázs Donát

(Tristan Stevens via Bessenyei Balázs Donát)

18 months agoFLUME-2905. Fix NetcatSource file descriptor leak if startup fails
Siddharth Ahuja [Fri, 30 Jun 2017 12:01:15 +0000 (14:01 +0200)] 
FLUME-2905. Fix NetcatSource file descriptor leak if startup fails

This patch fixes the issue in NetcatSource which occurs if there is a problem
while binding the channel's socket to a local address and leads to a file descriptor
(socket) leak.

Reviewers: Attila Simon, Denes Arvay

(Siddharth Ahuja via Denes Arvay)

18 months agoFLUME-2752. Fix AvroSource startup resource leaks
Attila Simon [Thu, 29 Jun 2017 06:21:44 +0000 (08:21 +0200)] 
FLUME-2752. Fix AvroSource startup resource leaks

Cleanup after Netty initialisation fails (call this.stop())

- Make sure this.stop() releases the resources and end up the component in
  a LifecycleAware.STOPPED state
- Added junit test to cover the invalid host scenario
- Added junit test to cover the used port scenario

This closes #141.

Reviewers: Denes Arvay

(Attila Simon via Denes Arvay)

18 months agoCompile with jdk8 on Travis CI
Attila Simon [Thu, 29 Jun 2017 09:05:36 +0000 (11:05 +0200)] 
Compile with jdk8 on Travis CI

This commit changes the Travis CI build config to use Java 8.

This closes #142.

Reviewers: Denes Arvay

(Attila Simon via Denes Arvay)

19 months agoFLUME-2579 Support durable subscription in JMSSource
Andras Beni [Tue, 14 Mar 2017 15:31:42 +0000 (16:31 +0100)] 
FLUME-2579 Support durable subscription in JMSSource

JMSSource has created only nondurable subscriptions which could lead to event loss in case
of topic destination type.

This change enables durable subscription creation and lets user specify client id.
Also removed JMSMessageConsumerFactory which has no additional value.

This closes #120.

Reviewers: Attila Simon, Denes Arvay

(Andras Beni via Denes Arvay)

19 months agoFLUME-3072. Add IP address to headers in Flume Log4j appender
Andras Beni [Wed, 15 Mar 2017 05:50:12 +0000 (06:50 +0100)] 
FLUME-3072. Add IP address to headers in Flume Log4j appender

Log4jAppender and LoadBalancingLog4jAppender resolve local hosts address at startup and
add it to each event's header with the key "flume.client.log4j.address".

This closes #121.

(Andras Beni via Denes Arvay)

19 months agoFLUME-2945. Bump java target version to 1.8
Lior Zeno [Tue, 20 Jun 2017 10:26:10 +0000 (12:26 +0200)] 
FLUME-2945. Bump java target version to 1.8

- Removed the unsupported PermSize and MaxPermSize settings from .travis.yml
- Updated DEVNOTES, README and Flume User Guide
- Removed the maven-compiler-plugin from the taildir-source subproject
- Changed the sourceJavaVersion and targetJavaVersion to 1.8 in the root pom.xml

(Lior Zeno via Denes Arvay)

19 months agoFLUME-3100. Support arbitrary header substitution for topic of Kafka Sink
stakafum [Thu, 25 May 2017 06:23:44 +0000 (15:23 +0900)] 
FLUME-3100. Support arbitrary header substitution for topic of Kafka Sink

This patch adds the ability of header substitution n Kafka Sink's
kafka.topic configuration variable.

This closes #137.

Reviewers: Denes Arvay

(Takafumi Saito via Denes Arvay)

20 months agoFLUME-3092. Extend the FileChannel's monitoring metrics
Denes Arvay [Tue, 9 May 2017 14:23:31 +0000 (16:23 +0200)] 
FLUME-3092. Extend the FileChannel's monitoring metrics

This patch adds the following new metrics to the FileChannel's counters:
- eventPutErrorCount: incremented if an IOException occurs during put operation.
- eventTakeErrorCount: incremented if an IOException or CorruptEventException occurs
  during take operation.
- checkpointWriteErrorCount: incremented if an exception occurs during checkpoint write.
- unhealthy: this flag represents whether the channel has started successfully
  (i.e. the replay ran without any problem), so the channel is capable for normal operation
- closed flag: the numeric representation (1: closed, 0: open) of the negated open flag.

Closes #131.

Reviewers: Attila Simon, Mike Percy

(Denes Arvay via Mike Percy)