Fix base compaction bug. (#421)

Base compaction may choose tablet which has missed versions now.
After compaction, it will failed to check tablet integrity by versions and cored dump.
Ignore this tablet when find tablet to base_compaction.

Add Md5Digest to util (#420)

Fix compaction and ingestion core (#417)

Error occurs when reading data by compaction and ingestion.
Under the circumstance, the two operation should stop and return error.

Fix compile error in run-fe-ut.sh (#415)

Fix compile failure in RLTaskTxnCommitAttachment (#414)

Add JDK8 in the docker image (#413)

Fix compile failure in GlobalTransactionMgrTest (#412)

Add a frontend interface for committing RoutineLoadTask (#368)

1. add a needSchedulerTasksQueue in LoadManager: the RoutineLoadTaskScheduler will poll task from this queue and schedule task.
2. add a frontend interface named rlTaskCommit: commit txn, update offset and renew a task for the same partitions
3. add extra property in transaction state: in rlTaskCommit, extra property which looks like {"job_id": xxx, "progress": xxx}
When fe initialize routine load job meta from logs, all of txn state which related to routine load job will be used for initializing progress of job.

Add a TxnStateChangeListener interface for transaction
1. onCommitted , onAborted, beforeAborted will be called by different type of txn
2. RoutineLoadJob will update job progress and renew a task when onCommitted callback
3. Add TxnStateChangeListener into TransactionState
4. set transactionState to committed will call onCommitted callback if callback is not null
5. set transactionState to aborted will call beforeAborted and onAborted
6. beforeAborted in RoutineLoadJob will check if there is related task when TxnStatusChangeReason is TIMEOUT. It will prevent abort when there is a related task by throw TransactionException
7. Other reason of abort will not prevent abort. The onAborted will be call and job state will be change to paused

Change extra to TxnCommitAttachment in TLoadTxnCommitRequest
1. The KAFKA source of TTxnSourceType means that this is a routine load task commit. And the TRLTaskTxnCommitAttachment is the commitInfo of this task.
2. TRLTaskTxnCommitAttachment will be convert to RLTaskTxnCommitAttachment which include progress of this task, task id, numOfErrorData etc.

Add param TxnCommitAttachment into commitTransaction
1. The TxnCommitAttachment will be updated in commitTransaction

Clear client pool when heartbeat failed (#408)

When heartbeat failed, we should clear the connections cached
in client pool, or we will get broken connections from the pool.
Since we don't have the REOPEN logic(which may cause ugly code style),
a broken connection may cause a rpc blocked and failed.
So clear them all and recreate them when needed is a simple way to
resolve this problem.

We only clear connections in backend and broker pool.
No need to clear heartbeat pool because heartbeat is very frequent,
such the connections can be invalid automatically.

Release push_lock when schema change failed (#407)

Release push_lock when schema change failed

Refactor heartbeat logic (#403)

* Refactor heartbeat logic

Currently we only have Backend heartbeat. And without Frontend
or Broker heartbeat, we don't know the status of these nodes,
thus can't do failover logic in some cases.

1. Add Frontend and Broker heartbeat.
    Frontend heartbeat using BootstrapFinish http rest api
    Broker heartbeat using ping() rpc.
2. All heartbeats are managed in HeartbeatMgr.
3. Rename BrokerAddress to FsBroker.

Improve build scripts (#404)

Fix bug that null value will be loaded to non-nullable column (#401)

* Fix bug that null value will be loaded to non-nullable column

* Optimize performance

Fix bug that ColumnType is no longer used (#400)

Support Colocate Join (#245) (#246)

* Support colocate join

Colocate join means two table are distributed by the columns being joined,
then we can join them locally on each backend.

Colocate join no data movement and has more concurrency.

Fix bug that null value will be loaded to non-nullable column (#397)

Add 'fileNameOnly' param to broker's listPath method (#394)

Revert 'Support 'NO_BACKSLASH_ESCAPES' sql_mode (#392)

Fix building Docker image error (#390)

Fix compile failure in ScanNode (#384)

Support 'NO_BACKSLASH_ESCAPES' sql_mode (#382)

Fix cast error in BrokerScanNode (#383)

Unify Slice code path (#380)

Fix a sending signal error when starting Doris BE (#367)

Redirect output message of kill to /dev/null.

Co-Authored-By: chalsliu <45041955+chalsliu@users.noreply.github.com>
ISSUE #365

Remove OLAP_LOG_DEBUG AND OLAP_LOG_TRACE log format (#378)

Use VLOG(3) and VLOG(10) instead

Support _IP/_HOST in principal of kerberos (#373)

Support TRUNCATE TABLE stmt (#377)

* Support TRUNCATE TABLE stmt

User can use TRUNCATE TABLE stmt to empties a table
or partitions completely.
Unlike DELETE, it will drop the tablets directly, and
without any performance impact.

* Fix bugs that new partition should use new ID

* Use equals() to compare Integer

* Fix compile bug

* Fix bug on single range parititon

* Check table's state again after creating partition

Remove OLAP_LOG_FATAL log format. Use LOG(FATAL) instead (#376)

Remove OLAP_LOG_INFO log format. Use LOG(INFO) instead (#372)

Revert "Remove OLAP_LOG_INFO log format. Use LOG(INFO) instead (#370)" (#371)

This reverts commit a816925776de06dc7503ea7429802cad9042d0e4.

Remove OLAP_LOG_INFO log format. Use LOG(INFO) instead (#370)

* Remove unused row-oriented format flags

* Remove unused row-oriented format flags

* Remove OLAP_LOG_INFO log format. Use LOG(INFO) instead

Subsititue ColumnType to Type (#366)

* Subsititue ColumnType to Type

Rename Rowset to SegmentGroup (#364)

* Rename Rowset to SegmentGroup

* Modify protobuf related rowset to SegmentGroup

Fix stream load failure when target table contains HLL and insert failure when it contains subquery (#359)

Fix snapshot's making header bug (#362)

Ubuntu llvm compile (#361)

Fix insert error when it contains HLL (#358)

Remove unused row-oriented format flags (#357)

Fix cast error in StreamLoadScanNodeush (#356)

Add connection id to CurrentQueryStatisticsProcDir (#355)

Avoid 'No more data to read' error when handling stream load RPC (#354)

* Avoid 'No more data to read' error when handling stream load rpc

1. Catch throwable of all stream load rpc.
2. Avoid setting null string as error msg of rpc result status.

* Change setError_msgs to addToError_msgs

Optimize the publish logic of streaming load (#350)

1. Only collect all error replicas if publish task is timeout.
2. Add 2 metrics to monitor the success of failure of txn.
3. Change publish timeout to Config.load_straggler_wait_second

Improve the Backend's disk info report performance (#349)

1. Use the data size save in tablet's header to calculate the disk used capacity.
2. Decrease the default interval of disk and tablet report, from 10 min to 1 min.

Fix wrong query result when column value is Null (#344)

Update README.md (#347)

Move old content of READEME.md to the Overview of Wiki.
Add build guide and user cases to README.md.

Add distributor which schedule task to be fairly, for routine load job (#333)

Step1: updateBeIdTaskMaps, remove unavailable BE and add new alive BE
Step2: process timeout tasks, if a task has already been allocated to BE but not finished before DEFAULT_TASK_TIMEOUT, it will be discarded.
       At the same time, the partitions belong to old tasks will be allocated to a new task. The new task with a signature will be added in the queue of needSchedulerRoutineLoadTask.
Step3: process all needSchedulerRoutineLoadTasks, allocate task to BE. The task will be executed by BE.

Fix bug of using symbolic link dir as storage path (#340)

* Fix bug of #307

There is a bug to use symbolic link directory as storage root path.
It is a problem that whether the path is canonical

In DownloadAction, checking fails by comparing canonical path with non-canonical path.
So fix the bug by convert all path to canonical path before comparison

Change ByteBuffer to StorageByteBuffer in olap/byte_buffer.h (#341)

Class definition of ByteBuffer duplicates between olap/byte_buffer.h and util/byte_buffer.h.
All of the two classes has a function names as remaining().
Some place which want to call remaining() of util/byte_buffer.h is linked to the other remaining() function of olap/byte_buffer.h

Add special add_column_statistics method for linked_schema_change (#337)

Fix a compile issue of DORIS_GCC_HOME (#339)

Fix compile issue of thirdparty library (#338)

Modify partition's version name to what it means (#334)

* Modify partition's version name to what it means.

1. committedVersion(Hash) -> visibleVersion(Hash)
2. currentVersion(Hash) -> committedVersion(Hash)
3. add some comment to make the code more readable

* Check if editlog is null in CatalogIdGenerator
    To avoid unit test failure

Support for custom build toolchains (#330)

* Support for custom build toolchains

ISSUE #297

Locate the header file path of DORIS_GCC_HOME, add them to the CPLUS_INCLUDE_PATH environment variable.
So clang can find it.

* Compatible with custom toolchain for clang

ISSUE #297

1. Find default header file paths of DORIS_GCC_HOME and set as enviroment variable CLANG_COMPATIBLE_FLAGS.
2. Explicitly add these paths to CLANG_INCLUDE_FLAGS.

Fix a compile issue (#331)

* Fix a compile issue

* Fix a compile issue

Change PaloMetrics' name and Catalog's Id generator (#329)

* Change PaloMetrics' name and Catalog's Id generator
1. Remove 'Palo' prefix of class Metric.
2. Add a new CatalogIdGenerator to replace the old AtomicLong, to avoid too many edit logs.
3. Add a new histogram to monitor write letency of edit log write.

* modify next id logic

* fix a bug that Metric is not init before using HISTO_EDIT_LOG_WRITE_LATENCY

* fix a problem

Add path info of replica in catalog (#327)

Add path info of replica in catalog

Also fix a bug that when calling check_none_row_oriented_table,
store is null, it cannot be used to create table.
Instead, OLAPHeader can be used to get storage type information.

Fix fe.conf audit_log_moudles,sys_log_roll_mode,audit_log_roll_mode settings (#326)

Change log verbose level to vlog(3) (#325)

* Transform row-oriented table to columnar-oriented table

* Transform row-oriented table to columnar-oriented table

* change log verbose level

Add docker dev environment (#301)

Add a docker based dev environment.
User can build Doris from source in docker container.

Transform row-oriented table to columnar-oriented table (#311)

Fix core local value UT failed (#324)

Issue: #323

Fix fe.conf audit_log_moudles default value error (#321)

Add scheduler routine load job for stream load (#313)

1. fetch need_scheduler routine load job
2. caculate current concurrent task number of job
3. divide kafka partition into tasks

Fix SHOW BACKENDS return ERROR (#320)

In some case, errMsg in Backend maybe null. we change it when check it
nut null

Issue: #317

Fix lose of be's meta data bug (#318)

Modify rocksdb's WriteOptions.sync to true
to force sync WAL to disk every write operation

Reduce UT binary size (#314)

* Reduce UT binary size

Almost every module depend on ExecEnv, and ExecEnv contains all
singleton, which make UT binary contains all object files.

This patch seperate ExecEnv's initial and destory to anthor file to
avoid other file's dependence. And status.cc include debug_util.h which
depend tuple.h tuple_row.h, and I move get_stack_trace() to
stack_util.cpp to reduce status.cc's dependence.

I add USE_RTTI=1 to build rocksdb to avoid linking librocksdb.a

Issue: #292

* Update

Optimize quota unit (#309)

Originally, we can only set quota in bytes unit. This commit add quota unit:K/KB/M/MB/G/GB/T/TB/P/PB
for convenience.

Improve build script (#305)

Make BE UT success (#304)

Fix code LICENSE for file modified from LevelDB. (#300)

Fix failed cases in regression test (#299)

Correct TxnKey comment (#295)

Be compatible with old RPC (#296)

Add palo.PInternalService which can server old version palo's client.

Issue: #293

Fix some license (#290)

Fix be build error (#289)

#288

Improve cardinality, avgRowSize, numNodes stat info in OlapScanNode (#256)

Currently, the cardinality, avgRowSize, numNodes stat info in OlapScanNode is none, So the broadcastCost and partitionCost are both wrong and Doris couldn't auto choose a best join strategy.

So we should make the statistical information in OlapScanNode more precise.

Fix unit test failure (#286)

Fix BE can't be grayscale upgraded (#285)

Fix truncation error in CastExpr (#283)

Simplify constant Expr (#255)

Simplify constant Expr could improve Partition Pruning. The examples for constant Expr Simplifing:

1 + 1 + 1 --> 3
date_add('2018-08-08', 1) --> 2018-08-09
year('2018-07-24')*12 + month('2018-07-24') -> 24223

Fix view missed parenthesis bug (#253)

Support AnalyticExpr in View (#248)

Support NULLS LAST and NULLS FIRST syntax (#252)

Allow User specify the null ordering

NULLS FIRST: specifies that NULL values should be returned before
non-NULL values.
NULLS LAST: specifies that NULL values should be returned after
non-NULL values.

Fix InsertStmt reAnalyze bug (#251)

Fix typo in READEME.md (#278)

Fix BE can't be started by start_be.sh (#281)

Remove my aes and fix palo ns to doris (#277)

Fix a bug that user can not kill it own connection (#276)

Change SQL built-in function's symbol (#274)

Delete useless debug log (#250)

Rewrite aes encryption (#264)

Resolve #257

Update README.md and build.sh (#273)

change some 'palo' to 'doris'

Fix UnionStmt toSql bug (#249)

Fix unit test failed in BE (#269)

Change variable and namespace name in BE (#268)

Change 'palo' to 'doris'

Failed to register equal conjuncts which refer more than three tuples (#266)

Change-Id: I7eaf28ee6db35671971108f3edefe908d46ae87f

Make class name compatible with the old name (#267)

We wrote the old name 'com.baidu.palo.xxx' in bdbje as meta journal.
So we need to make it compatible with 'org.apache.doris.xxx'.

Change the lock type of Catalog lock (#265)

* Change the lock type of Catalog lock

Implement a QueryableReentrantLock to see which thread held the lock.

* Key in empty version has no min/max value

It should be ignored to reconstruct min/max statistics upon restart.

Tidy up the docs and gensrc directory (#263)

1. Remove all design docs. They will be pushed again after modification.
2. Add streaming load and privilege help docs.
3. Rename palo*.py to doris*.py in gensrc/script/.

Change license to Apache License 2.0 (#262)