fixed license headers
authorYaniv Rodenski <roadan@gmail.com>
Wed, 14 Nov 2018 02:47:25 +0000 (13:47 +1100)
committerYaniv Rodenski <roadan@gmail.com>
Wed, 14 Nov 2018 02:47:25 +0000 (13:47 +1100)
leader-common/src/main/kotlin/org/apache/amaterasu/leader/common/dsl/JobParser.kt
leader-common/src/main/kotlin/org/apache/amaterasu/leader/common/execution/JobManager.kt
leader-common/src/main/kotlin/org/apache/amaterasu/leader/common/execution/actions/Action.kt
leader-common/src/main/kotlin/org/apache/amaterasu/leader/common/execution/actions/ErrorAction.kt
leader-common/src/main/scala/org/apache/amaterasu/leader/common/utilities/DataLoader.scala
leader-common/src/main/scala/org/apache/amaterasu/leader/common/utilities/MemoryFormatParser.scala

index 9541b77..5ef2c66 100644 (file)
@@ -1,3 +1,19 @@
+/*
+ * Licensed to the Apache Software Foundation (ASF) under one or more
+ * contributor license agreements.  See the NOTICE file distributed with
+ * this work for additional information regarding copyright ownership.
+ * The ASF licenses this file to You under the Apache License, Version 2.0
+ * (the "License"); you may not use this file except in compliance with
+ * the License.  You may obtain a copy of the License at
+ *
+ *      http://www.apache.org/licenses/LICENSE-2.0
+ *
+ * Unless required by applicable law or agreed to in writing, software
+ * distributed under the License is distributed on an "AS IS" BASIS,
+ * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+ * See the License for the specific language governing permissions and
+ * limitations under the License.
+ */
 package org.apache.amaterasu.leader.common.dsl
 
 import com.fasterxml.jackson.databind.JsonNode
@@ -13,9 +29,6 @@ import org.apache.curator.framework.CuratorFramework
 import java.io.File
 import java.util.concurrent.BlockingQueue
 
-/**
- * Created by Eran Bartenstein on 11/11/18.
- */
 class JobParser {
     fun loadMakiFile(): String = File("repo/maki.yml").readText(Charsets.UTF_8)
 
index c6ac361..16c10b4 100644 (file)
@@ -1,3 +1,19 @@
+/*
+ * Licensed to the Apache Software Foundation (ASF) under one or more
+ * contributor license agreements.  See the NOTICE file distributed with
+ * this work for additional information regarding copyright ownership.
+ * The ASF licenses this file to You under the Apache License, Version 2.0
+ * (the "License"); you may not use this file except in compliance with
+ * the License.  You may obtain a copy of the License at
+ *
+ *      http://www.apache.org/licenses/LICENSE-2.0
+ *
+ * Unless required by applicable law or agreed to in writing, software
+ * distributed under the License is distributed on an "AS IS" BASIS,
+ * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+ * See the License for the specific language governing permissions and
+ * limitations under the License.
+ */
 package org.apache.amaterasu.leader.common.execution
 
 import org.apache.amaterasu.common.configuration.enums.ActionStatus
@@ -7,14 +23,10 @@ import org.apache.amaterasu.leader.common.execution.actions.Action
 import org.apache.curator.framework.CuratorFramework
 import java.util.concurrent.BlockingQueue
 
-/**
- * Created by Eran Bartenstein on 10/11/18.
- */
 data class JobManager(var name: String = "",
-                 var jobId: String = "",
-                 var executionQueue: BlockingQueue<ActionData>,
-                 var client: CuratorFramework
-                 ) : KLogging() {
+                      var jobId: String = "",
+                      var executionQueue: BlockingQueue<ActionData>,
+                      var client: CuratorFramework) : KLogging() {
 
 
     lateinit var head: Action
index e4f0e3e..5810065 100644 (file)
@@ -19,7 +19,6 @@ package org.apache.amaterasu.leader.common.execution.actions
 import org.apache.amaterasu.common.dataobjects.ActionData
 import org.apache.amaterasu.common.configuration.enums.ActionStatus
 import org.apache.amaterasu.common.logging.KLogging
-import org.apache.amaterasu.common.logging.Logging
 import org.apache.curator.framework.CuratorFramework
 
 /**
index 2029cbc..7119510 100644 (file)
@@ -1,3 +1,19 @@
+/*
+ * Licensed to the Apache Software Foundation (ASF) under one or more
+ * contributor license agreements.  See the NOTICE file distributed with
+ * this work for additional information regarding copyright ownership.
+ * The ASF licenses this file to You under the Apache License, Version 2.0
+ * (the "License"); you may not use this file except in compliance with
+ * the License.  You may obtain a copy of the License at
+ *
+ *      http://www.apache.org/licenses/LICENSE-2.0
+ *
+ * Unless required by applicable law or agreed to in writing, software
+ * distributed under the License is distributed on an "AS IS" BASIS,
+ * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+ * See the License for the specific language governing permissions and
+ * limitations under the License.
+ */
 package org.apache.amaterasu.leader.common.execution.actions
 
 import org.apache.amaterasu.common.configuration.enums.ActionStatus
index e417905..236f3ee 100755 (executable)
@@ -15,7 +15,7 @@
  * limitations under the License.
  */
 package org.apache.amaterasu.leader.common.utilities
-import scala.collection.JavaConverters._
+
 import java.io.{File, FileInputStream}
 import java.nio.file.{Files, Paths}
 
@@ -42,6 +42,10 @@ object DataLoader extends Logging {
   val ymlMapper = new ObjectMapper(new YAMLFactory())
   ymlMapper.registerModule(DefaultScalaModule)
 
+  def getTaskDataBytes(actionData: ActionData, env: String): Array[Byte] = {
+    mapper.writeValueAsBytes(getTaskData(actionData, env))
+  }
+
   def getTaskData(actionData: ActionData, env: String): TaskData = {
     val srcFile = actionData.getSrc
     val src = Source.fromFile(s"repo/src/$srcFile").mkString
@@ -54,14 +58,14 @@ object DataLoader extends Logging {
     TaskData(src, envData, actionData.getGroupId, actionData.getTypeId, exports)
   }
 
-  def getTaskDataBytes(actionData: ActionData, env: String): Array[Byte] = {
-    mapper.writeValueAsBytes(getTaskData(actionData, env))
-  }
-
   def getTaskDataString(actionData: ActionData, env: String): String = {
     mapper.writeValueAsString(getTaskData(actionData, env))
   }
 
+  def getExecutorDataBytes(env: String, clusterConf: ClusterConfig): Array[Byte] = {
+    mapper.writeValueAsBytes(getExecutorData(env, clusterConf))
+  }
+
   def getExecutorData(env: String, clusterConf: ClusterConfig): ExecData = {
 
     // loading the job configuration
@@ -85,22 +89,18 @@ object DataLoader extends Logging {
     ExecData(envData, depsData, pyDepsData, config)
   }
 
-  def getExecutorDataBytes(env: String, clusterConf: ClusterConfig): Array[Byte] = {
-    mapper.writeValueAsBytes(getExecutorData(env, clusterConf))
-  }
-
-  def getExecutorDataString(env: String, clusterConf: ClusterConfig): String = {
-    mapper.writeValueAsString(getExecutorData(env, clusterConf))
-  }
-
   def yamlToMap(file: File): (String, Map[String, Any]) = {
 
     val yaml = new Yaml()
     val conf = yaml.load(new FileInputStream(file)).asInstanceOf[java.util.Map[String, Any]].asScala.toMap
 
-    (file.getName.replace(".yml",""), conf)
+    (file.getName.replace(".yml", ""), conf)
+  }
+
+  def getExecutorDataString(env: String, clusterConf: ClusterConfig): String = {
+    mapper.writeValueAsString(getExecutorData(env, clusterConf))
   }
 
 }
 
-class ConfMap[String,  T <: ConfMap[String, T]] extends mutable.ListMap[String, Either[String, T]]
\ No newline at end of file
+class ConfMap[String, T <: ConfMap[String, T]] extends mutable.ListMap[String, Either[String, T]]
\ No newline at end of file
index cabe0e5..c9df942 100644 (file)
@@ -24,7 +24,7 @@ object MemoryFormatParser {
     if (lower.contains("mb")) {
       result = lower.replace("mb", "").toInt
     } else if (lower.contains("gb") | lower.contains("g")) {
-      result = lower.replace("g", "").replace("b","").toInt * 1024
+      result = lower.replace("g", "").replace("b", "").toInt * 1024
     } else {
       result = lower.toInt
     }