托管Spark란무엇입니까?
Apache火花는속도,사용편이성과고급분석을중심으로구축된빅데이터용고속,일반클러스터컴퓨팅시스템입니다。2009년에uc버클리에서처음구축되었습니다。Scala、Java、Python과R에서고수준API를제공하며데이터분석에적합한범용연산그래프를지원하는최적화엔진도있습니다。이외에도SQL과DataFrame용火花SQL,머신러닝용MLlib,그래프처리용으로는GraphX,스트림처리에는火花流을제공합니다。
Spark가제공하는두가지데이터탐색모드:
- rr터랙티브(대화형)
- 배치(일괄)
火花는최종사용자상호작용을간소화하기위해통합형,호스팅데이터플랫폼으로제공되기도합니다。원격애플리케이션으로는火花리소스에직접액세스할수없기때문에,사용자에게프로덕션까지경로가길어진다는문제가발생했습니다。이장애물을극복하기위해REST API를통해어디서나火花클러스터에효율적으로연결할수있도록원격앱을지원하는서비스가여럿생겼습니다。이러한터페이스는로컬로，또는Apache하둡YARN에서실행되는Spark컨텍스트로코드나프로그램의스니펫실행을지원합니다。托管Spark:터페이스는검된턴키솔루션입니다。火花와애플리케이션서버사이의상호작용을속행해주고,인터랙티브웹과모바일앱에필요한아키텍처를간소화해주는역할을합니다。
托管Spark서비스가제공하는기능:
- rm커버링Scala, Python과R커버링
- Scala, Java, Python으로배치제출
- 여러사용자가같은서버공유가능
- 休息를통해사용자가위치에구애받지않고작업제출가능
- 프로그램에코드를변경할필가없음
따라서이제기업에서는火花를운용하는데방해가되던기존의병목현상을손쉽게극복하고빅데이터가약속하는가치를포착하는데주력할수있습니다。