我在神策做研發：我們的產品研發團隊都在幹啥？
神策數據作爲一家成立近6年的大數據分析和營銷科技服務提供商,目前已服務了1500+家付費客戶,覆蓋30多個細分行業。在大數據這條路上,我們希望能有更多志同道合的夥伴加入,和我們一起做有趣又有意義的事。應讀者之邀,本文將爲大家介紹神策產品研發團隊的構成、工作內容以及他們在工作過程中面臨的挑戰及最終解決方案等。
相比較創業之初,目前整個產品研發團隊的規模越來越大,分工也越來越明確。神策的產品研發團隊分爲數據治理、數據倉庫、神策分析雲、神策營銷雲、基礎平臺化、用戶畫像、閃電報表、內容管理、機器學習、產品、技術服務、質量保障等不同的方向,接下來將展開介紹。
1.數據治理團隊
數據治理是所有數據應用的基礎和根基,其好壞直接影響所有數據應用是否有價值。同時,數據治理也是一個組織進行數據資產沉澱的基礎,也直接決定了一個組織的數據資產能否得到有效的沉澱,以及在後續數據應用時,能否充分地發揮數據本身價值。正因爲如此,我們對於數據治理投入了很大的精力,專門成立了數據治理團隊,數據治理團隊對數據接入、數據源管理、數據質量、數據清洗和ID-Mapping方面都提供了標準的產品和解決方案。通過數據治理,我們可以最大限度地幫助企業確保數據的可用性、完整性和安全性;通過數據治理,我們可以幫助企業更早、更及時、更高效地發現埋點問題和數據問題,確保後續的數據應用的正確性和有價值。
數據治理團隊主要解決在不同環境下以最高的效率、最低的代價治理數據的問題。目前由於處理的主要是用戶行爲數據,因此數據治理團隊目前主要在Android App、iOS App、小程序、網頁等客戶端以及服務端提供具體的方案治理用戶行爲相關的數據。數據治理團隊提供的方案會以各個端的SDK爲載體,SDK提供了對數據的本地緩存、加密、網絡傳輸、一致性保證等能力的封裝,並對外提供統一的數據抓取接口。而在幾個典型的客戶端,如Android App和iOS App,數據治理團隊還提供了統稱爲“代碼埋點”和“全埋點”的兩種集成方式。
“代碼埋點”可以理解爲直接調用SDK提供的數據抓取接口來採集用戶行爲,而“全埋點”則可以理解爲在客戶端用戶進行特定動作時,自動觸發SDK的數據抓取接口來自動採集對應的用戶行爲。值得一提的是,數據治理團隊的工作基本都以開源項目的形式對外開放,回饋給整個行業。
除了開發與維護SDK之外,數據治理團隊還需要結合客戶的具體應用情況與行業特性,爲客戶制訂整體的數據採集方案,並且協助客戶一起保證數據採集的正確性與時效性。當然,除了針對用戶行爲數據的治理之外,隨着神策數據整體業務範圍的擴大,未來數據治理團隊也需要探索更多其它類型數據的治理方案。目前,數據治理團隊已經在數據治理的性能損耗、數據傳輸的一致性、接口的易用性、SDK的穩定性、全埋點的兼容性、數據調試與校驗、與Deeplink的結合等具體技術點上做了非常多的工作,我們期待能有更多在Android、iOS、JavaScript底層開發方面有經驗,並且對數據採集、大數據感興趣的夥伴加入我們,一起打造一個行業內首屈一指的數據治理方案。
2.數倉團隊
神策數據提供了多種多樣的數據分析、智能營銷等功能,而驅動這些功能運行在海量數據上的底層處理能力是由神策數據倉庫賦予的。神策數倉是神策基礎數據模型(Event、User、Item)的數據倉庫實現,對外提供了數據導入、查詢和訂閱等接口。我們的很多客戶PV都超過百億,所以這裡每個功能都涉及海量數據的處理。
數倉團隊在數據導入能力上解決了一系列問題,實現了突破性的優化。例如:如何在高吞吐量的要求下,做到秒級的數據入庫可查詢;如何準實時的響應對歷史用戶行爲事件的更新修改;如何對數據進行預處理和組織存儲使查詢引擎更高效的運行,達成查詢性能的行業領先;在接入多種用戶標識的數據後,如何通過ID-Mapping將這些數據關聯使用。
對於查詢和訂閱能力,數倉團隊則主要是解決數據使用上的問題。數倉面對神策內多個業務線,查詢功能通過SQL覆蓋各種聚合結果的場景;而訂閱則提供了外部獲取數倉內所有變更記錄的能力,給基於實時用戶行爲數據處理的場景提供了高效支撐。我們歡迎所有對於大數據處理、分佈式處理有興趣,或者有一定Java開發經驗的夥伴加入我們,一起面對更大規模、更高時效性、更復雜的應用場景中的數據處理問題,一同打造神策大數據平臺的數據處理發動機。
3.神策分析雲團隊
神策分析雲團隊主要解決從明細數據表到分析模型的構建,再到業務場景的抽象、指標的管理和數據可視化的全過程。在這個過程中我們打造出了用戶行爲分析、用戶畫像、廣告效果分析、閃電數據報表等多款極具競爭力的數據分析和可視化類產品。圍繞上述數據處理的過程和各個產品的構建,我們提出了神策分析雲的概念,我們希望神策分析雲作爲神策的核心產品方向之一,能夠承載更多的數據分析類產品,解決更多的數據分析場景和問題,提供更靈活和更強大的數據分析和數據可視化能力。
我們希望能夠把神策分析雲打造成神策數據的“航空母艦”,可以承載各種各樣的數據分析“戰機”的起飛和降落,例如:
(1)在抽象和構建實時的多維分析模型方面
我們依託於神策底層大數據平臺的數據存儲和查詢能力,抽象出了自己的核心數據模型和數據分析引擎,面對越來越多的新需求,我們希望有更多的對多維數據分析、分佈式應用開發、OLAP分析引擎等感興趣的夥伴加入我們。
(2)在解決複雜的業務依賴和平臺化抽象方面
神策分析雲希望打造的是一個可插拔式的數據分析平臺,而不是單純的業務功能的堆積。隨着業務的逐漸複雜,我們也在不斷抽象自己的核心平臺能力。未來,我們希望神策分析雲由一系列的核心平臺能力和應用插件組合而成,我們也希望更多的對服務化改造、微服務系統設計、DDD領域設計等方面感興趣的夥伴加入我們。
(3)在打造複雜的前端應用和數據可視化能力方面
神策分析雲前端是由微前端架構組成的各個複雜的數據分析和可視化組件,如何將數據的價值以可視化的能力直觀地傳遞給使用方是我們認爲很有價值的工作。我們自研或基於開源組件抽象設計了一系列自己的公共分析組件,同時也在產品線矩陣內推動各個應用組件的統一。我們也希望有更多對數據可視化感興趣的前端開發夥伴加入我們,一起完成這個極具挑戰也極具價值的工作。
4.神策營銷雲團隊
神策數據已經從單一產品向多產品演變。早期我們主要聚焦在數據的分析,現在我們更關注數據的應用,進而幫助客戶實現基於數據流的企業運營框架SDAF,即Sense(感知)Decision(決策)Action(行動)Feedback(反饋),神策營銷雲團隊在這樣的背景下應運而生。
神策營銷雲團隊,致力於爲客戶提供豐富的數據營銷解決方案。營銷的本質,大致是將物料以某些合適的規則,觸達給最合適的人,從而產生最高的商業價值。我們輸出的產品,可以讓客戶智能化的圈人,高效的配置觸發規則,當然我們也支持全方位的觸達方式和效果追蹤。
目前我們已經提供了運營計劃、流程畫布、微信生態解決方案、規則推薦、智能推薦等產品。我們支持私有化部署,也支持SaaS多租戶方案,爲了支持海量的行業化需求,我們也重點在平臺化方向上佈局。未來,我們除了將這些產品的細節進行夯實以外,也會在智能化方向上深鑽,持續地想客戶所想,解客戶所需。我們長期需要大量經驗豐富的前後端架構師、開發工程師。歡迎推薦或自薦,讓我們一起來打造世界領先的數據營銷產品。
5.基礎平臺化團隊
雖然神策與大部分SaaS公司的商業模式相似,都是以按年收取產品和服務費用爲主,但與大部分SaaS公司不同的是,出於對數據隱私、數據安全性、數據的充分應用等方面的考慮,神策數據在第一個產品的第一個版本就具有私有化部署的能力。而隨着這幾年我們的客戶規模進一步擴大,大部分客戶也的確如我們所預料選擇了私有化部署模式,私有化部署能力也客觀上成爲我們的一大殺手鐗。
這幾年裡,我們也注意到市場上的不少友商也先後嘗試私有化部署,最終很多都放棄了,這也說明私有化部署相對於SaaS服務具有自己的獨特技術難題。我們擁有自己的SaaS服務,不過與傳統的SaaS服務不同,神策的SaaS服務既可以私有化部署,也可以做到私有化和SaaS環境雲上雲下無縫銜接。神策的基礎平臺化團隊致力於解決上述類型問題,其主要工作包括兼容市面上各種不同的Hadoop發行版;解決全場景下的多應用多雲環境的部署、升級、服務治理、監控等功能需求。我們歡迎在容器化及雲原生方面有經驗,或對私有化部署有興趣的夥伴加入我們,一起在這方面進行更加深入的探索。
6.用戶畫像團隊
不管是在營銷領域還是經營分析領域,“用戶”都是經營者關注的重點。基於詳盡的用戶行爲數據,生成用戶標籤,完成對用戶的刻畫與畫像,是一個廣泛存在並且非常有意義的應用場景。也因爲此,我們將用戶標籤、用戶畫像、人羣篩選等相關的工作單獨抽象成一個具體的技術方向。
用戶畫像團隊主要負責用戶畫像平臺的建設,其中包括標籤體系的創建、計算、管理,用戶維度的分析、報表,人羣包的篩選、推送等功能。另外,我們還和數據分析師、行業專家一起,抽象銀行、券商、零售等各行業對於人羣刻畫、用戶畫像方面的需求,與機器學習團隊一起選擇合適的算法,完成對人羣的分類與預測等。我們歡迎對於用戶畫像有興趣,或者有分佈式數據應用經驗的夥伴加入這個團隊,一起探索用戶畫像與用戶標籤在各個不同行業的落地與應用。
7.閃電報表團隊
閃電報表是神策分析的一個數據可視化功能。它適用於創建定時更新的報表,是一個輕量級的BI功能。利用這個功能出來的報表,可以自由地調整可視化的樣式、添加可交互的篩選項、形成模板化自動化的彙報報表,提高日常處理數據的效率。相比起定位於實時分析的“概覽”,它能夠支持更復雜的指標,更快的加載速度,更靈活的可視化配置,能有效幫助客戶展示分析結果。
另外,報表與多維查詢,都是非常直觀、有價值的數據應用方式。而對這一類數據應用類型來說,如何讓查出來的數據,以圖形化手段,更加清晰和有效地將信息傳達給數據的使用者,就是一個非常有意義的話題。具體到實際的工作中,閃電報表團隊需要從頭研發或者基於開源組件,完成各個分析模型分析結果的圖表化展示,以直觀便捷的方式讓使用者能夠與數據進行交互,方便地完成數據的鑽取與篩選。我們非常歡迎對報表數據可視化感興趣,有一定前端和後端開發經驗的夥伴加入這個團隊,一起開發一個極速、美觀與易用性一體的報表可視化產品。
8.內容管理團隊
內容管理是神策所提供的一站式的內容、創作以及分發的平臺,它包括內容管理與物品管理。在這個平臺上,我們提供標準的API來同步第三方的素材以及物品數據,另外我們還提供了強大的圖片、圖文、視頻、音頻等素材的創作能力與標籤能力。內容管理除了強大的創作能力之外,還能將內容管理與物品管理提供給神策營銷雲使用,從而完成整體的營銷閉環。
以上是內容管理團隊的簡單介紹,在技術上我們需要有能整體在平臺架構能力上考慮的後端夥伴,也需要有對圖片編輯、視頻編輯、音頻編輯、H5編輯有開發經驗的前端夥伴,歡迎大家加入這個團隊,一起來打造這個一站式的內容管理平臺。
9.機器學習團隊
大數據與機器學習,在很多應用場景上是一體兩面。除了神策智能推薦這樣一個一聽名字就知道用到了機器學習技術的個性化推薦產品以外,在神策分析、標籤和智能運營等產品中,機器學習技術也廣泛得到了應用。例如,在神策分析中,我們需要用到機器學習技術來預測流量趨勢,當數據發生異常時,自動發現異常主要體現在哪些維度上,或是找到某個特定流程中完成了轉化和未完成轉化的兩類典型客戶羣體,在用戶屬性和行爲上有什麼差異。在神策標籤和智能運營產品中,機器學習技術也被廣泛用於對用戶的精準識別、預測和運營。也正因爲如此,神策的機器學習團隊除了繼續開發、交付神策智能推薦產品之外,還需要和其他團隊的夥伴一起合作,探索機器學習技術在其他幾個數據產品中的落地可能性等。
機器學習團隊內部分爲算法與策略工程化兩個技術方向,算法方向的夥伴會更專注於算法本身的選擇、開發與調優,而策略工程化方向的夥伴則會更專注於算法的工程化、數據流的開發,服務的穩定性等。我們非常歡迎對機器學習有興趣,願意在真實的海量數據環境下驗證算法的實際效果的夥伴加入我們,一起來探索數據除了分析報表以外,還能有哪些更智能的、更有趣的應用。
10.產品團隊
正如字面意義上所說,產品團隊主要負責產品相關的各項工作。在神策內部,產品經理與產品設計師屬於同一個大團隊,下面來依次介紹這兩個職位的工作職責與使命。
(1)產品經理團隊
作爲一個企業服務類型的公司,神策的產品經理與普遍意義上的用戶產品的產品經理在職責和內容上,有許多相似但又不同的地方。相似的地方在於,都需要負責整個產品開發生命週期中各個階段的工作,從最開始的需求收集、需求梳理,到產品開發過程中的功能點定義、原型設計、功能驗收,再到上線後的數據分析,產品經理的工作貫穿整個需求的生命週期,始終圍繞“用戶→場景”探索、驗證、交付產品功能。畢竟,本質上產品經理就是調集公司內部各種資源,將解決方案變爲實際產品,輸出給用戶或客戶並最終解決問題的人。
但與用戶產品不同的是,作爲一個企業服務的公司,神策的產品經理更關注需求從產生、設計、交付再到驗證的整個閉環,同時也承擔銜接售前獲客、爲業務團隊賦能的特有職責。另外,企業服務類產品的部分需求直接來源於客戶和潛在客戶的真實需求,會比用戶產品更加直接,既要求能深入理解客戶的業務,也要求能跳出來對場景進行抽象;而對於產品的評價反饋,不同於用戶產品一般難以衡量用戶口碑,企業服務類產品有最核心的指標,即客戶是否願意付費,是否願意續約。與此同時,對於一個企業服務類產品來說,核心問題還是要能夠解決客戶業務中的實際問題,這一點在某種意義上會比產品是否美觀,使用是否流暢更爲重要。
這些不同點,都讓神策的產品經理與普遍意義的用戶產品產品經理有不同的要求,需要直接跟客戶溝通,理解不同行業不同階段的公司的多角色需求,並且在有限的溝通裡對需求有很好的理解、把握和抽象,充分做好需求的產品化解決方案,而不是侷限於項目的解決方式。我們非常歡迎有過企業服務類產品工作經驗,或者在用戶產品領域有充分經驗想嘗試企業服務類產品,且願意走出辦公室真正地與客戶溝通理解客戶需求的夥伴,加入產品經理團隊,以數據爲中心,一起做出好用的產品去實際解決客戶的問題,探索新的業務邊界。
(2)產品設計團隊
產品設計團隊的工作也是圍繞着如何讓產品更好地發揮價值而來。如果進一步拆分的話,可以認爲產品設計團隊有兩個核心的職責和使命,一個是如何讓產品更好用,另一個則是如何讓數據中蘊含的價值更容易被發現。第一個職責與使命,是圍繞着創造優秀的用戶體驗,化繁爲簡。
對於神策的產品設計師,不止關注於產品的使用場景,設計更好的操作流程和呈現,更需要考慮服務體驗,即服務過程中包括客戶側、神策內部各個相關使用者的體驗、成本。在我們產品設計師眼中,產品的每個交互、服務中的每個“觸點”,都可以被設計和衡量,爲客戶帶來具象且好用的體驗感。第二個職責與使命,是圍繞通過可視化的手段,讓數據表達更豐富、更能驅動商業智能的信息。這需要和數據可視化團隊緊密配合,去創造性地針對不同的分析模型、數據結果尋找最好的數據展現方式,綜合運用各種可視化方法,讓數據的解讀更加便捷,讓信息呈現更加直觀有效,從而發揮數據更大的價值。
我們非常歡迎有數據可視化或者企業服務產品設計經驗,且對大數據有熱情的夥伴加入我們,通過產品設計讓客戶更好地發掘數據中蘊含的價值,一起打造流暢好用的數據產品,一起設計和創造頂級的體驗與價值。
11.技術服務團隊
技術服務團隊是爲客戶提供專業服務的團隊,對客戶在使用神策產品過程中遇到的各類問題給予專業指導,幫助客戶通過神策產品和方法論真正解決問題。技術支持團隊負責解決客戶的產品使用問題,指導客戶更好的使用神策產品;運維團隊負責解決神策產品的服務穩定性和高可用問題(沒錯,私有部署的商業模式使得我們需要解決客戶側的服務穩定性和高可用,很少有公司會面臨這樣的挑戰,因此我們也有機會在這個領域做到世界一流的水平);內部效能團隊負責爲各個業務團隊提供技術能力,將有效的方法論和經驗固化爲工具,不斷賦能業務團隊,進而更好的給客戶帶來價值。
技術能力和溝通能力僅僅是這個團隊的基本技能,私有部署的挑戰、數據分析的方法論和高效工作方法纔是這個團隊的使命願景和核心競爭力,歡迎對此感興趣和希望在這些領域有所收穫的夥伴加入技術服務部。
12.質量保障團隊
產品質量(QA)作爲產品競爭力的核心指標之一,一直是產研團隊乃至全公司都非常重視的環節。爲了提升產品質量,公司非常重視質量保障團隊的建設。團隊自2019年成立以來,已經逐漸發展爲多業務線多角色,職責涵蓋產品測試、產品發佈、工程效能、流程優化、問題處理等一系列工作。目前團隊分佈在北京、成都和武漢等各個研發中心。
在產品的迭代的過程中,QA作爲產品質量保障的的核心環節,積極參與到整個研發迭代過程中,需求評審、技術評審、用例編寫、用例評審、測試執行、產品驗收、發佈上線、項目覆盤等重要環節都能夠看到QA同事的身影,我們與其他產研同事一起,制定各項流程規範,並確保流程規範能夠嚴格執行;我們積極參與各種評審工作,給出建設性的合理建議;我們設計高覆蓋率的測試用例,並通過執行用例發現產品缺陷;我們積極參與代碼管控,收攏代碼分支權限和打包權限,嚴格保證產品交付質量;我們在業務團隊內緊密協作,同步各方信息完成產品發佈工作;我們積極與交付團隊、技術支持團隊配合,推動研發高效解決線上問題;我們也與項目交付團隊保持密切配合,完成產品穩定性和安全性的評估。
除了產品質量之外,QA團隊積極參與到產研提效工作中,測試開發同事會推動工具和平臺化工作,通過使用工具來提升產品迭代和測試的效率,我們也會通過技術和非技術手動不斷支持兄弟團隊解決產研配合過程中的各種問題。質量保障團隊是支撐型團隊,我們不爲自己設置工作邊界,只要我們具備能力,我們願意積極參與各項工作中。以上爲神策數據產品研發團隊的簡單介紹,謹以此文章,獻給對大數據和數據分析感興趣,或在求職路上搖擺不定,或渴望加入神策卻不知突破點的有志之士們,希望對你們有所幫助!
關於神策
神策數據(Sensors Data),隸屬於神策網絡科技(北京)有限公司,是一家大數據分析和營銷科技服務提供商,爲客戶提供深度用戶行爲分析平臺,以及專業的諮詢服務和行業解決方案,致力於幫助客戶實現數據驅動。
神策數據立足大數據及用戶行爲分析的技術與實踐前沿,業務現已覆蓋以互聯網、品牌零售、金融、融合媒體、高科技、互聯網+等爲代表的30多個主要行業。