Spark开发人员职位描述模板
Apache Spark已经成为分布式数据处理最常用的框架之一. 其成熟的代码库, 水平可伸缩性, 弹性使它成为处理大量数据的好工具.
Apache Spark已经成为分布式数据处理最常用的框架之一. 其成熟的代码库, 水平可伸缩性, 弹性使它成为处理大量数据的好工具.
Spark强大的功能和灵活性要求开发人员不仅要了解Spark API:他们还必须了解分布式存储的陷阱, 如何构建一个能够处理5V大数据量的数据处理管道, 速度, 各种, 真实性, 以及价值——以及如何将其转化为可维护的代码.
Spark开发人员-职位描述和广告模板
复制此模板，并将其修改为自己的模板:
公司介绍
{{写一段简短而醒目的关于你公司的文字. 一定要提供有关公司文化、津贴和福利的信息. 提及办公时间, 远程工作的可能性, 以及所有你认为能让你的公司有趣的东西. }}
工作描述
我们正在寻找一个Spark开发人员谁知道如何充分利用我们的Spark集群的潜力.
你会打扫, 变换, 并使用Spark分析来自不同系统的大量原始数据，为我们的功能开发人员和业务分析师提供现成的数据.
这既涉及临时请求，也涉及嵌入到生产环境中的数据管道.
责任
- 创建用于数据转换和聚合的Scala/Spark作业
- 为Spark转换和助手方法生成单元测试
- 用所有代码编写scaladoc风格的文档
- 设计数据处理管道
技能
- Scala(重点关注函数式编程范式)
- Scalatest, JUnit, Mockito {{，嵌入式Cassandra}}
- Apache Spark 2.x
- {{Apache Spark RDD API}}
- {{Apache Spark SQL DataFrame API}}
- {{Apache Spark MLlib API}}
- {{Apache Spark GraphX API}}
- {{Apache Spark Streaming API}}
- Spark查询调优和性能优化
- SQL数据库集成 {{Microsoft, 甲骨文, Postgres和/或MySQL}}
- 工作经验 {{HDFS、S3、Cassandra和/或DynamoDB}}
- 对分布式系统的深刻理解.g. CAP定理、分区、复制、一致性和一致性)
Toptal Engineers最近的Spark文章
现在就雇佣一名顶尖的Spark开发者
Toptal是一个面向顶尖Spark开发者的市场, 工程师, 程序员, 程序员, 架构师, 和顾问. 顶级公司和初创公司选择Toptal Spark自由职业者来完成他们的关键任务软件项目.
查看他们的个人资料
现在注册以查看更多资料.
开始招聘Toptal连接 排名前3% 世界各地的自由职业人才.