support transport reconnect and repeat-request

improve ci config (#136)

add subKvEntry size to KvEntryWithFirstSubKv (#139)

* add subKvEntry size to KvEntryWithFirstSubKv

* bug fix and add unit test

fix: vertex at compute0() may be inactive (#134)

fix: output string value of log-output (#133)

* fix: output string value of log-output

unify input/output dir name to lowercase letters (#132)

* unify input/output dir name to lowercase letters

fix message_stat not reset each superstep (#131)

fix: remove no exist path from merge source paths (#130)

add operator deploy readme (#123)

refactor ComputerOutput (#128)

* refactor ComputerOutput

* fix HdfsOutput

fix messege-count calculation error (#127)

implement LPA algorithm (#110)

* implement LPA algorithm

* add LPA algorithm test

improve value interface (#126)

Use version 3.1.2 of Hadoop (#124)

* improve hadoop pom

* improve hadoop version

release file descriptor after input and compute (#120)

add fetch input splits timeout (#113)

add hdfs output (#114)

* add hsfd output
* statistics execute cost
* fix problems with using the same Config object for SenderIntegrateTest

fix bug: close file stream ahead at input stage (#118)

* delay close file stream

* tiny improve

inject more env var when start-computer.sh (#115)

Fix file descriptor leak (#116)

update `input.edge_freq` default value to MULTIPLE (#106)

fix some warnings (#111)

* fix some warnings
* improve algorithm test

split SortManager to SendSortManager and RecvSortManager (#105)

improve number of transport threads and max_timeout_heartbeat_count (#103)

implement rings-detection algorithm (#95)

* add cycle detection algorithm
* improve: add field label in Vertex and Edge
* support properties filter in RingsDetection
* add StringValue
* add method object in Value
* update built-in object name in SpreadFilter and improve code style
* add standard rings-detection algorithm
* add RingsDetectionOutput
* resolve circular dependencies
* add message type IdListList rings-detection

Implement triangle_count algorithms and improve some code (#101)

* Implement triangle_count algorithms
* Improve some code

use session timeout option for sendControlMessageToWorkers (#92)

improve k8s resource allocation (#100)

* add DEFAULT_TRANSPORT_PORT
* split master and worker resource quantity
* transport threads don't exceed the count of workers

bugfix: calculate fileOffset error in method BufferFileInput#readFully when read length is bigger than buffer capacity (#98)

add clear graph data method in unit test (#99)

* add clear graph data method

Fix: params of string format error (#97)

Co-authored-by: vaughn.zhang <vaughn.zhang@zoom.us>

standardized algorithm package and name (#96)

improve wcc test and add property(key) (#94)

* improve wcc test
* add property(key) for vertex and edge

Fix the count of input edge less than actual (#93)

output demo(pagerank) (#72)

* implement hugegraph pagerank output class
* support multiple threads writeback
* add output configs to driver

fix FileGraphPartition and some warnings (#90)

* improve FileGraphPartition
* fix warnings
* fix warnings of test
* fix MessageInputTest
* fix tow workers shared one data_dirs

chore: remove deleted files (#91)

sort different type of message use different combiner (#85)

* fix bug: sort use Pointer but combiner used to combine Value or Property
* fix bug: merge to one file until Sorter#iterator is perfected

fix some k8s bug and improve some code (#83)

* fix the pod deleted when job failed
* fix job active state inaccurate
* upgrade fabric8 k8s client version to 5.6.0
* add job cost statistics
* add AUTO_DESTROY_POD option for operator
* improve k8s error log message
* use a separate thread for execution waitJob on unit test
* delete history job before run k8s test

remove etcd (#86)

feat: add degree centrality (#77)

* feat: add degree centrality

* feat: add degree centrality

* feat: cal weight degreen centrality

* fix: params bug

* chore: improve style

* chore: handle more hugeType for weight property and add output test to test result

* refactor: number value extends Number type

* chore: improve code style

* chore: add TODO

* modify job id

* fix test

Co-authored-by: coderzc <zc1217zc@126.com>

Use BytesId unify the Id classes (#78)

add wcc algorithm (#81)

Add mvn release plugin (#82)

Fix bug: last edge attched in currVertex missed to send (#80)

feat: add startup and make docker image code (#71)

add LICENSE for hugegraph-computer (#79)

add page-rank algorithm (#70)

* add page-rank algorithm
* Set algorithm's parameters in ComputerContextUtil#initContext
* register ComputerOptions to overwrite the config in driver.config.ComputerOptions

improve k8s operator test (#76)

* improve k8s operator test

* * improve k8s operator test
* modify ci badge

* add k8s operator test

add computer-k8s and computer-k8s-operator (#56)

Fix bug: some input splits missed in iteration (#75)

Fix bug: Number id like int convert LongId failed (#74)

fix: use ip instead of hostname due to can't resolved on k8s (#73)

Fix bug: judge whether a notice is needed is wrong for MessageQueue (#69)

add ComputeManager (#66)

add class ComputeManager, FileGraphPartition, EdgesInput, MessageInput, ReusablePointer, VertexInput, LogOutput, MessageRecvStat
add class ComputeTestSuite, ComputeManagerTest, MockComputation, MockMessageSender, EdgesInputTest, EmptyEdgesTest, MessageInputTest
add method copy in IdValueList.
remove mergeGraph from MessageRecvManager;
add method recvStat in MessageRecvPartition
add method recvStats in MessageRecvPartitions
add methods merge(recvStat)recvStat in Partition
WorkerService links compute and output to corresponding methods in ComputeManager
move method writeMessage from ComputeMessageRecvPartitionTest to ReceiverUtil

add seqfile (#65)

* add ValueFileOutput/ValueFileInput
* add BitsFileReader/BitFileWriter
* add AbstractBufferedFileInput/AbstractBufferedFileOutput

chore: add issue template & auto stale issues and pr (#64)

fix copyToByteArray(): remove duplicate() (#67)

Add test for MultiQueue take in wait status (#68)

Let Sender and Receiver process compute message with type MESSAGE_CLASS (#63)

* delete ValueFactory
* rename VALUE_CLASS to ALGORITHM_RESULT_CLASS, remove VALUE_TYPE
* add option OUTPUT_VALUE_NAME
* check channel not null in QueuedMessageSender#init

Fix send thread may blocked all the time (#61)

* Fix send thread may blocked all the time
* Add back MultiQueue class

Implement StreamGraphInput and EntryInput (#60)

Implement data receiver of worker (#51)

* add DataServerManager to manage the data server.
* add MessageRecvBuffers the manages buffers with limit size.
* add MessageRecvPartition to manage the data received for a partition and three subclass
  (VertexMessageRecvPartition,EdgeMessageRecvPartition, ComputeMessageRecvPartition).
* add MessageRecvPartitions to manage the partitions of data received, and three subclass
  (VertexMessageRecvPartitions,EdgeMessageRecvPartitions, ComputeMessageRecvPartitions)
* add MessageRecvManager to implement MessageHandler to handle network messages.
* process start-finish event.
* Partition add iterator and sort logic.
* add class SuperstepFileGenerator.
* create ConnectionManager in WorkerService.
* add mergeBuffers using sort-mamager.

Use github action for ci via ci.yml (#62)

Link managers in worker sending end (#52)

* Link managers in worker sending end
* Optimize WriteBufferPool and SortedBufferQueuePool
* Rafact MessageSendPartition, WriteBuffer and Edge
* Refact writeEdge with label and name
* Let SortManager don't need Sender
* Refact GraphComputeOutput and GraphWritebackOutput
* Refact OptimizedBytesOutput
* Add Input/Output Factory
* Refact writeFixedInt in sort module
* Move pending message into MessageQueue
* Define a MultiQueue support multi put

Add sessionActive for client (#59)

Fix EntriesUtil#entryFromInput and some improve (#58)

add PointerCombiner (#57)

Add store/sort module (#37)

* add hgkvFile/hgkvDir module
* add EntriesUtil.java
* add SorterTest.java
* move file verification to HgkvDir
* rebuild HgkvFile readFooter and Fix HgkvDir#open
* add sort module
* implement InnerSortFlusher and OuterSortFlusher
* add KvEntry#numSubEntries

add startAsync and finishAsync on client side, add onStarted and onFinished on server side (#53)

* add startAsync and finishAsync on client side
* add onStarted and onFinished on server side

rename DataFileManager to FileManager (#54)

* rename DataFileManager to FileManager

* remove #nextFile() from FileGenerator

implement aggregator module (#46)

* implement aggregator module
* add DefaultAggregator.newValue()
* integrate aggregator into master-service and worker-service
* ensure worker init() executed after master
* add rpc interface registeredAggregators()
* also add two-tier structure to store current-step and previous-step aggregators
* add repair() for Aggregator
* let master context use config of outer class
* support register aggregator with default value
* add Manager.inited()
* remove worker_id option and use server_port instead
* use rpc-url from master-info

add copy() and assign() methods to Value class (#49)

* add Value.copy()+assign() method
* add IntValueSumCombiner and FloatValueSumCombiner

Standardize bsp synchronization between master and worker (#48)

log job-id in BSP client (#50)

* log job-id in BSP client

* set BspBase.init() private

Refactor Writable and Readable class (#42)

* Refactor Writable and Readable class

* Also simplify GraphOut and GraphInput

* remove ComputeException

* Add test for duplicate method

* fix write/read properties value type incorrect

fix some warning, improve start() and finish() (#44)

* fix some warning
* improve some log
* improve start/finish send to avoid timeout
* blocking -> flowBlocking

standard log format of bsp module and improve some error message (#47)

add DataDirManager (#43)

add createId methods in GraphFactory (#45)

add flowControl, heartbeat (#40)

* add flow control
* add heartBeat
* add task to check ack
* add task to check ack and remove lastAckTimestamp
* rest BarrierEvent
* remove AckType
* add checkMinPendingRequests
* use accumulate flush
* add timeout parameter method to startSession and finishSession
* use real ip start
* scheduleAtFixedRate -> scheduleWithFixedDelay
* add maxHeartbeatTimes
* add dataMessage release()
* max_heartbeat_timeouts -> max_timeout_heartbeat_count
* set backlog default value 511

create api module (#41)

* move algorithm's used classes to api
* add module computer-api
* signal bsp at end of init in WorkerService and MasterService
* make ValueFactory abstract and add BuiltinValueFactory
* rename USER_DEFINED to CUSTOM_VALUE in ValueType
* Reduce call ComputerContext.instance() directly
* synchronious UnitTestBase.updateWithRequiredOptions and return Config
* pass Aggregator4Master to MasterComputation#init
* add parameter MasterContext in MasterComputation.close

rename FilterMapComputation to FilterComputation (#38)

add transport server, client, encode, decode (#25)

add transport server
add transport client
add encoder
add decoder

Improve class for Input/Output and fix writeInt(position, v) in BufferedFileOutput (#32)

* Improve class for Input/Output and fix problem

* update compare method in BufferFileInput/UnsafeByteArrayInput

* add exception declaration on RandomAccessInput#compare

* Add test case for UnsafeByteArrayInput/BufferedFileInput compare method

* Check offset and lenght must be in buffer

* Improve local variable names in BufferedFileTest#testCompare

* Update argument check in UnsafeByteArrayInput#compare

add rpc support (#36)

* add rpc server and client: MasterRpcManager,WorkerRpcManager
* add MasterInputManager and WorkerInputManager
* inject rpc service into GraphFetcher
* store managers through map instead of list
* add loadGraph() and mergeGraph() to WorkerInputManager
* add checkInited() for WorkerService and MasterService

Add close method for Input Fetcher (#35)

Co-authored-by: ShouJing <1075185785@qq.com>

fix some warnings for computer-test (#34)

fix some warnings (#33)

add WorkerService and MasterService (#27)

* rename input to inputStep
* MasterService does not implement MasterContext
* add name in Combiner and Computation
* add category in Computation

create Heap/LoserTree (#26)

* add InputsSorting interface and implementation

add Partitioner and HashPartitioner (#29)

Install HugeGraphServer from specified commit id (#31)

add copy, getLast, contains in ListValue (#30)

* make getLast next to get

add createObject(class_option) to config (#28)

Add computation interface (#17)

* Add computation interface

* add FilterMapComputation and ReduceComputation

* add MasterComputation

add ComputerDriver interface (#23)

add ComputerOutput interface (#24)

Config add  getBoolean, getInt, getLong, getDouble, getString (#21)

add sort interface (#19)

* first version of sorter

* add sort interface

* remove first version of sorter