Skip to main content

2020 | OriginalPaper | Buchkapitel

Lean Launch Data Engineering Projects with Super Type Power

verfasst von : Kenny Zhuo Ming Lu

Erschienen in: Innovative Technologies for Market Leadership

Verlag: Springer International Publishing

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

Data is ubiquitous. Many modern software and data analytics applications rely on robust and quality datasets. Data engineering becomes a common pipeline in systems running in start-up and enterprise businesses. Data engineering projects in the past were perceived as a set of programming scripts which were typically in a “build-then-scrap” cycle. As the data analytics applications became parts of the main trends, such projects require a serious planning and development to minimize the overhead of integration and maintenance due to scaling up. In this article, we discuss how to use type systems and formal methods to reduce these overheads.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Fußnoten
1
In Scala, String type is not an alias of List[Char].
 
Literatur
Zurück zum Zitat Burmako, E. (2017). Unification of compile-time and runtime metaprogramming in Scala. Infoscience, p. 240. Burmako, E. (2017). Unification of compile-time and runtime metaprogramming in Scala. Infoscience, p. 240.
Zurück zum Zitat Cheney, J., & Hinze, R. (2003). First-class phantom types. Technical report, Cornell University. Cheney, J., & Hinze, R. (2003). First-class phantom types. Technical report, Cornell University.
Zurück zum Zitat Finne, S., Leijen, D., Meijer, E., & Peyton Jones, S. (1999). Calling hell from heaven and heaven from hell. In Proceedings of the Fourth ACM SIGPLAN International Conference on Functional Programming, ICFP ’99 (pp. 114–125). New York: ACM.CrossRef Finne, S., Leijen, D., Meijer, E., & Peyton Jones, S. (1999). Calling hell from heaven and heaven from hell. In Proceedings of the Fourth ACM SIGPLAN International Conference on Functional Programming, ICFP ’99 (pp. 114–125). New York: ACM.CrossRef
Zurück zum Zitat Peyton Jones, S., Jones, M., & Meijer, E. (1997). Type classes: An exploration of the design space. In Haskell Workshop. Peyton Jones, S., Jones, M., & Meijer, E. (1997). Type classes: An exploration of the design space. In Haskell Workshop.
Zurück zum Zitat Sulzmann, M., & Lu, K. Z. M. (2008). Implementation and application of functional languages. In O. Chitil, Z. Horváth, & V. Zsók (Eds.), Implementation and application of functional languages, chapter XHaskell — Adding Regular Expression Types to Haskell (pp. 75–92). Berlin: Springer. Sulzmann, M., & Lu, K. Z. M. (2008). Implementation and application of functional languages. In O. Chitil, Z. Horváth, & V. Zsók (Eds.), Implementation and application of functional languages, chapter XHaskell — Adding Regular Expression Types to Haskell (pp. 75–92). Berlin: Springer.
Zurück zum Zitat Wallace, M., & Runciman, C. (1999). Haskell and XML: Generic combinators or type-based translation? In International Conference on Functional Programming ICFP ’99 (pp. 148–159). New York: ACM Press. Wallace, M., & Runciman, C. (1999). Haskell and XML: Generic combinators or type-based translation? In International Conference on Functional Programming ICFP ’99 (pp. 148–159). New York: ACM Press.
Metadaten
Titel
Lean Launch Data Engineering Projects with Super Type Power
verfasst von
Kenny Zhuo Ming Lu
Copyright-Jahr
2020
DOI
https://doi.org/10.1007/978-3-030-41309-5_10

Premium Partner