職責描述：
1、負責SPARK數(shù)據(jù)分析模塊與其它系統(tǒng)/模塊之間的銜接，提供基礎數(shù)據(jù)分析能力；
2、運用數(shù)據(jù)挖掘算法，解決海量數(shù)據(jù)分析、挖掘方面的業(yè)務需求，負責數(shù)據(jù)倉庫的設計，開發(fā)，維護；
3、支撐產(chǎn)品和運營各種業(yè)務數(shù)據(jù)分析需求；
4、負責數(shù)據(jù)平臺的開發(fā)和優(yōu)化，基于大數(shù)據(jù)平臺完成各類統(tǒng)計和開發(fā)任務；
5、負責數(shù)據(jù)庫監(jiān)控、優(yōu)化大數(shù)據(jù)計算性能；


任職要求：1、3年以上代碼開發(fā)及2年以上大數(shù)據(jù)項目管理經(jīng)驗；
2、熟悉Python/Shell/Perl等一種或幾種腳本語言；
3、精通Hadoop、Spark集群搭建、配置、優(yōu)化以及維護和管理；
4、能夠基于Hadoop生態(tài)的大數(shù)據(jù)存儲平臺進行數(shù)據(jù)倉庫的搭建和部署工作，熟練掌握Hive，熟悉HBase或其它任意一種非關(guān)系型數(shù)據(jù)庫；
5、熟練掌握大數(shù)據(jù)相關(guān)管理工具、技術(shù)，如Sqoop、Hue、Oozie等；
6、熟練掌握Kafka、Flume 進行消息數(shù)據(jù)的收發(fā)、優(yōu)化工作，具有豐富的MapReduce調(diào)優(yōu)經(jīng)驗者優(yōu)先；
7、熟悉OpenStack，Docker等云計算平臺或容器平臺構(gòu)建和維護經(jīng)驗者優(yōu)先；
8、有數(shù)據(jù)挖掘、機器學習的經(jīng)驗；
9、有網(wǎng)絡安全從業(yè)背景者優(yōu)先；

光通公司于2014年4月成立，兩年來，公司業(yè)務以600%的增長率發(fā)展，成為行業(yè)發(fā)展的奇跡。
主營業(yè)務為網(wǎng)絡安全服務、云計算、數(shù)據(jù)中心業(yè)務及互聯(lián)網(wǎng)大數(shù)據(jù)行業(yè)解決方案的互聯(lián)網(wǎng)科技企業(yè)。公司已在北京、上海、深圳開設分公司，業(yè)務遍布國內(nèi)33個大中城市。創(chuàng)立伊始，公司即專注于網(wǎng)絡安全服務市場，是國內(nèi)首批進入互聯(lián)網(wǎng)抗DDos攻擊領域的企業(yè)，成立三年以來，已具備豐富的網(wǎng)絡攻防、DDos攻擊防范經(jīng)驗，研發(fā)搭建了T級防御能力的超高安全防護架構(gòu)及系統(tǒng)，是國內(nèi)目前最專業(yè)的DDos網(wǎng)絡高防產(chǎn)品。