大數據架構師工作的崗位職責(10篇)
大數據架構師工作的崗位職責有哪些?工作職責簡述要包含工作依據,工作行動,工作對象,工作目的。既然這樣,那么下面小編給大家帶來了大數據架構師工作的崗位職責(10篇),供大家參考。
大數據架構師工作的崗位職責(篇1)
職責:
1.參與公司數據平臺系統規劃和架構工作,主導系統的架構設計和項目實施,確保項目質量和關鍵性能指標達成;
2.統籌和推進制造工廠內部數據系統的構建,搭建不同來源數據之間的邏輯關系,能夠為公司運營診斷、運營效率提升提供數據支持;
3.負責數據系統需求對接、各信息化系統數據對接、軟件供應商管理工作
5.根據現狀制定總體的數據治理方案及數據體系建立,包括數據采集、接入、分類、開發標準和規范,制定全鏈路數據治理方案;深入挖掘公司數據業務,超強的數據業務感知力,挖掘數據價值,推動數據變現場景的落地,為決策及業務賦能;
6.定義不同的數據應用場景,推動公司的數據可視化工作,提升公司數據分析效率和數據價值轉化。
任職要求:
1.本科以上學歷,8年以上軟件行業從業經驗,5年以上大數據架構設計經驗,熟悉BI平臺、大數據系統相關技術架構及技術標準;
2.熟悉數據倉庫、熟悉數據集市,了解數據挖掘、數據抽取、數據清洗、數據建模相關技術;
3.熟悉大數據相關技術:Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;
4.熟悉制造企業信息化系統及相關數據庫技術;
5.具備大數據平臺、計算存儲平臺、可視化開發平臺經驗,具有制造企業大數據系統項目開發或實施經驗優先;
6.對數據敏感,具備優秀的業務需求分析和報告展示能力,具備制造企業數據分析和數據洞察、大數據系統的架構設計能力,了解主流的報表工具或新興的前端報表工具;
7.有較強的溝通和組織協調能力,具備結果導向思維,有相關項目管理經驗優先。
大數據架構師工作的崗位職責(篇2)
職責:
1. 深刻理解政府行業業務模式,構建政府行業的數據模型,制定公司大數據技術發展路線;
2. 對接業務研究和技術部門,主動搜集和轉化需求,組織數據中心業務開發,進行數據相關產品需求分析和設計;
3. 搭建數據倉庫,研發數據庫管理系統,搜集、提取、處理業務積累的海量數據,開展數據分析和挖掘;
4. 根據公司戰略和發展需要,規劃數據中心重點工作和任務;落實部門人員、事務管理,開展跨部門、跨地區協作,協助對外交流與合作。
職位要求:
1. 5年以上相關工作經驗,有團隊管理和項目管理經驗者優先;
2.了解政府運作機制,掌握財政行業知識,有電子政務行業經驗者優先;
3. 熟練掌握使用Java或Python,精通數據庫查詢語言如SQL,Oracle等,在機器學習模型和算法方向有應用經驗者優先;
4. 具備數據中心產品策劃整體思維,有大數據處理、分析、挖掘經驗者優先;
5. 邏輯思維嚴密,具備業務抽象、分解和標準化的能力,口頭和書面表達優秀;
6. 有較強的大局意識和良好的團隊合作意識,富有領導力,具備優秀的人際交往和溝通能力。
大數據架構師工作的崗位職責(篇3)
職責:
1、負責相關開源系統/組件的性能、穩定性、可靠性等方面的深度優化;
2、負責解決項目上線后生產環境的各種實際問題,保障大數據平臺在生產上的安全、平穩運行;
3、推動優化跨部門的業務流程, 參與業務部門的技術方案設計、評審、指導;
4、負責技術團隊人員培訓、人員成長指導。
5、應項目要求本月辦公地址在錦江區金石路316號新希望中鼎國際辦公,月底項目結束后在總部公司辦公
任職要求:
1、熟悉linux、JVM底層原理,能作為技術擔當,解決核心技術問題;
2、3年以上大數據平臺項目架構或開發經驗,對大數據生態技術體系有全面了解,如Yarn、Spark、HBase、Hive、Elasticsearch、Kafka、PrestoDB、Phoenix等;
3、掌握git、maven、gradle、junit等工具和實踐, 注重文檔管理、注重工程規范優先;
4、熟悉Java后臺開發體系,具備微服務架構的項目實施經驗,有Dubbo/Spring cloud微服務架構設計經驗優先;
5、性格開朗、善于溝通,有極強的技術敏感性和自我驅動學習能力,注重團隊意識。
大數據架構師工作的崗位職責(篇4)
1、建設大數據平臺,主要技術為k8s, docker;
2、跟進開源社區的更新,閱讀文檔,驗證feature;
3、閱讀容器生態圈各組件的開源項目代碼,開發新功能;
4、持續提升平臺的性能和穩定性。
大數據架構師工作的崗位職責(篇5)
職責:
1、負責大數據基礎平臺的整體規劃和架構設計,參與需求分析、技術決策以及詳細設計;
2、為現有大數據集群Hadoop、hive平臺提供性能調優、架構優化重組,解決系統中的關鍵問題和技術難題;
3、把握基礎業務復雜系統的設計,確保系統的架構質量,編寫核心部分代碼;
4、持續挑戰新的技術方向,攻克大數據量,高并發,穩定性等各種技術難點。
任職資格:
1、計算機或相關專業本科及以上學歷;
2、5年以上hadoop的應用開發經驗,5年以上數據倉庫開發實踐經驗,至少一個企業級數據倉庫項目開發經驗或者大數據處理項目經驗;
3、良好的編程開發能力,精通PHP及其他開發語言;
4、熟悉mysql等數據庫經驗,具備優秀的SQL編寫、調優能力;
5、熟練掌握Linux常規命令與工具,精通shell, perl, python等腳本語言至少一種;
6、軟件基礎理論知識扎實,具有良好的數據結構、算法功底;
7、對新技術敏感,學習能力強,樂于接受挑戰,具有良好的團隊合作精神;
大數據架構師工作的崗位職責(篇6)
職責:
1、負責企業大數據平臺的基礎建設、管理及制定拓展規劃;
2、負責大數據平臺相關自動化服務工具的設計、開發;
3、參與Hadoop、Hbase、Spark等核心平臺組件的開發、優化;
4、對平臺特殊場景化的數據應用制定相關實踐方案;
5、大數據團隊的搭建。
任職資格:
1、統招本科以上學歷,計算機等相關專業,5年以上工作經驗;
2、具有Hadoop等大規模集群管理經驗、海量(PB)數據處理經驗;
3、精通Hadoop、Hive、Hbase等離線平臺相關組件的原理機制;
4、了解或熟悉Storm/Spark/Redis/Kafka/MongoDB等分布式系統;
5、熟悉高并發、分布式開發等相關知識,具有后端服務優化相關經驗;
6、熟悉爬蟲常用框架以及反爬技術;
7、具有良好的溝通能力、分析問題與攻關問題的能力;
8、有責任心,工作積極,對新領域新技術有熱情。
大數據架構師工作的崗位職責(篇7)
職責:
1、數據分析軟件平臺架構搭建
2、負責深度學習核心框架或高性能后臺服務系統的架構設計工作,包括系統總體規劃、架構設計、系統分析、軟件實現、性能優化;
3、指導開發人員開發,并解決系統出現的問題,理解物業需求;
4、制定開發計劃和控制開發進度,負責指導研發團隊開展設計工作;
任職要求:
1、碩士以上,計算機或先關專業;
2、5年左右軟件開發經驗,含3年以上系統分析、設計經驗,有大型軟件項目大型軟件項目;有中大型互聯網企業數據庫架構設計及管理經驗,
3、 具備良好的組件級建模能力,熟悉HTTP、TCP等協議
4、熟練使用UML進行軟件架構設計,至少精通EA,RATIONAL, VISIO等一種設計工具.
5、精通至少一種編程語言,熟悉 Linux 相關技術,能獨立在上面進行開發、測試和部署
6、深入理解數據庫、數據倉庫、大數據、分布式體系架構和關鍵技術
大數據架構師工作的崗位職責(篇8)
職責:
1.負責公司大數據底層框架的整體架構設計,結合公司實際業務情況進行技術選型及大數據戰略規劃;
2.負責統一數據平臺項目的整體評估、設計、架構及關鍵模塊的開發,不斷提升系統的穩定性和效率;
3.負責架構優化及系統關鍵模塊的設計開發,協助團隊解決開發過程中的技術難題;
4.建立良好的公司內外的業界技術影響力;有效輔導團隊,提升數據研發能力;
任職要求:
1.從事大數據項目相關開發和設計2年以上經驗;有作為技術負責人系統化解決問題的成功案例;有海量數據實踐經驗優先;
2.擁有一定的算法和數據結構基礎;有很強的數據設計抽象能力,善于從復雜的數據問題中找到關鍵路徑;
3.熟悉目前正在發展的大數據分布式平臺前沿技術的應用;包括但不僅僅限于:hadoop、storm、spark、等;
4. 良好的邏輯思維能力,良好的業務解讀能力,懂電力或通信業務優先;
5.具有鉆研精神,樂于接受挑戰;
大數據架構師工作的崗位職責(篇9)
職責:
1、負責規劃科技大數據平臺及科技數據入庫自動化的方案設計;
2、負責大數據平臺的開發和維護,以及對外服務接口的開發;
3、負責大數據平臺的優化和改進工作。
任職要求
1、計算機相關專業本科及以上學歷,5年以上開發經驗,其中3年以上為互聯網、大數據相關的開發經驗;
2、熟知Hadoop生態圈體系,精通Hadoop/Spark/Storm/Kafka中的一項或幾項,深刻理解MapReduce的運行原理和機制,有MPI經驗者尚佳;
3、熟悉Elasticsearch、Redis、Hbased等相關數據庫的構建和操作,尤其是數據庫集群的構建和操作,熟悉Neo4j者尚佳;
4、具有機器學習相關項目經驗者優先。
大數據架構師工作的崗位職責(篇10)
職責:
1.負責整個大數據平臺架構的設計和構建;
2.負責構建大數據平臺的數據交換、任務調度等通用平臺;
3.制定開發、測試、實施、維護的標準和規范,指導和培訓工程師,不斷提升團隊能力。
4.參與系統需求分析、架構設計、技術選型、應用設計與開發以及測試與部署,負責編寫核心部分代碼。
5.持續挑戰新的技術方向,攻克大數據量、高并發、高可用、可擴展等技術難點。
任職要求:
1.3年以上大數據架構經驗,豐富的數據倉庫、數據挖掘、機器學習項目經驗
2.大規模數據處理的架構和設計實戰經驗
3.精通Spark、MR,熟練HDFS、Yarn、Hbase、Hive、MongoDB,熟悉Kafka、Redis、Storm、Mahout、Flume、ElasticSearch、GraphDB(NEO4J或其他)等,并具有豐富的大型數據平臺工程經驗
4.深刻理解大數據處理(流計算,分布式計算,分布式文件系統,分布式存儲等)相關技術和實現方法
5.熟悉主數據、元數據、數據質量等企業數據管理相關的體系和方法,熟練Linux/Unix平臺上的開發環境
6.本科或以上學歷,計算機軟件或相關專業,豐富的java開發經驗和互聯網背景優先。
7.具有比較強的問題分析和處理能力,有比較優秀的動手能力,熱衷技術,精益求精