added getActionResources and getActionDependencies 35/head
authorYaniv Rodenski <roadan@gmail.com>
Sun, 21 Oct 2018 03:17:11 +0000 (14:17 +1100)
committerYaniv Rodenski <roadan@gmail.com>
Sun, 21 Oct 2018 03:17:11 +0000 (14:17 +1100)
frameworks/spark/dispatcher/src/main/scala/org/apache/amaterasu/frameworks/spark/dispatcher/runners/providers/PySparkRunnerProvider.scala
frameworks/spark/dispatcher/src/main/scala/org/apache/amaterasu/frameworks/spark/dispatcher/runners/providers/SparkScalaRunnerProvider.scala
frameworks/spark/dispatcher/src/main/scala/org/apache/amaterasu/frameworks/spark/dispatcher/runners/providers/SparkShellScalaRunnerProvider.scala
sdk/src/main/java/org/apache/amaterasu/sdk/frameworks/RunnerSetupProvider.java

index fbf78dd..7f91142 100644 (file)
@@ -34,7 +34,7 @@ class PySparkRunnerProvider extends RunnerSetupProvider {
   override def getRunnerResources: Array[String] =
     Array[String]("miniconda.sh", "spark_intp.py", "runtime.py", "codegen.py")
 
-  def getActionResources: Array[String] =
+  def getActionResources(jobId: String, actionData: ActionData): Array[String] =
     Array[String]()
 
   override def getActionDependencies(jobId: String, actionData: ActionData): Array[String] =
index 41049be..8dbc36d 100644 (file)
@@ -51,7 +51,7 @@ class SparkScalaRunnerProvider extends RunnerSetupProvider {
     Array[String]()
 
 
-  def getActionResources: Array[String] =
+  def getActionResources(jobId: String, actionData: ActionData): Array[String] =
     Array[String]()
 
   override def getActionDependencies(jobId: String, actionData: ActionData): Array[String] =
index 00091e7..525c4f5 100644 (file)
@@ -14,11 +14,11 @@ class SparkShellScalaRunnerProvider extends RunnerSetupProvider {
   override def getRunnerResources: Array[String] =
     Array[String]()
 
-  def getActionResources: Array[String] =
-    Array[String]()
+  def getActionResources(jobId: String, actionData: ActionData): Array[String] =
+    Array[String](s"$jobId/${actionData.name}/${actionData.src}")
+
+  override def getActionDependencies(jobId: String, actionData: ActionData): Array[String] =  Array[String]()
 
-  override def getActionDependencies(jobId: String, actionData: ActionData): Array[String] =
-  Array[String](s"$jobId/${actionData.name}/${actionData.src}")
 }
 
 object SparkShellScalaRunnerProvider {
index c0cd9c0..fc2eb9a 100644 (file)
@@ -24,7 +24,7 @@ public interface RunnerSetupProvider {
 
     String[] getRunnerResources();
 
-    String[] getActionResources();
+    String[] getActionResources(String jobId, ActionData actionData);
 
     String[] getActionDependencies(String jobId, ActionData actionData);