HENGSHI SENSE 4.2 發布，業內首個專注賦能 SaaS 廠商的 BI PaaS

引言

為什么還會有公司選擇自研 BI

對企業級工具類軟件產品的工程量極大低估是絕大多數互聯網公司的常見誤區。

上圖是衡石成立幾個月后的產品界面，5 個工程師從零開始設計，經過大半年時間實現了可視化的 chart 圖表庫（基于 D3）、儀表盤拖拽式自助分析、數據源多源適配的接入、數據集管理、數據科學（基于 Spark 引擎）、數據應用模版方案等核心功能。

對多數啟動自研 BI 的團隊來說，他們會傾向于認為這是 BI 的全部，事實上這是 BI 的開始。這樣的基本可視化能力，衡石把這個版本叫做 0.1 版本，這是一個成熟BI產品的原型，一個可演示 demo 的 prototype.

有條件的研發團隊可能會從幾人逐漸增長到幾十人，開始搭建真正的企業級 BI 產品。從功能擴充開始，增加更多的數據源適配、數據加速引擎、數據模型能力、自研語義層、數據成果的發布和共享、嵌入集成和 SSO 打通等高級功能，在擴充分析功能的同時，為了滿足一站式服務的整體要求，加入數據集成、數據準備、任務調度等數據工程的大多數能力，功能上整體翻了不止一倍，加上不可避免的代碼重構重寫、細節打磨優化、功能合并拆分和廢棄、質量保證的自動化建設，需要的工程量再整體翻倍，最后由于處理性能問題、多租戶隔離和并發應對的可擴展性，架構前后端都需要深度優化，工作量整體膨脹又不止一倍。

很多伙伴在和衡石合作過后，聊起來當初選擇自研的時候預估了目標，在實現起來后會發現一開始很輕松，到后面就快速失控。這是因為這個目標實際需要的研發投入是預期的工作量 100 倍以上，即 10 個人月和 1000 個人月的區別。

大多數互聯網應用，是重型架構加輕型應用，架構層面更多是高并發的服務可用性強保障設計，應用層面則更多是業務邏輯的平面展開和一定程度的縱向抽象，不會涉及太多對于分層抽象帶來的復雜度控制。而現代化的 BI 是一個長處理棧，從業務數據到數據倉庫，再到模型指標，最后儀表盤渲染發布?？梢岳斫鉃閺能浖碗s度上已經超過一般的業務應用很多，還得外加上組織架構權限發布的精密設計，計算性能和可擴展性的架構優化，這是兩個讓工程量 x10 的增長因子。

一個接近成熟的 BI 軟件工程量在數千人月，而采購成熟的 BI 工具成本通常約等于一個工程師，在沒有經過充分論證下投入自研，既是對企業的研發成本不負責任也沒有意義的浪費消耗，也會帶來很高的失敗風險和巨量的沉沒成本等隱患。因此，在降本提效為主旋律的經濟下行周期，不建議企業伙伴自研 BI 這種已經可被成熟產品支撐，又不是核心業務范圍的重型功能。

HENGSHI SENSE 4.2 創新概述

Data Engine Friendly｜讓優秀的數據平臺脫穎而出

百花齊放的底層數據引擎生態是大數據時代的產物，衡石構建的分析服務層承載著將算力充分下推發揮引擎優勢的重任，因此我們高度關注在數據湖倉、高性能實時數倉、NoSQL 領域的最新進展，因為每一個優秀的數據引擎都在實現某種計算范式下的最優效率。

API 作為未來云端標配的數據獲取方式，也需要衡石在分析云的場景充分承擔 data hub 的角色。在 4.1 的架構中我們設計好了 API 類型數據源的通用抽象層，從 4.2 開始，衡石開始批量的添加越來越多的API數據源。得益于國內蓬勃發展的 SaaS 產品生態和行業內對于數據采用越來越規范的健康成長，客戶能夠通過安全的 token 和合規的方式獲取自己的數據，這個版本我們加入了對一些電商 ERP 廠商的支持，也加入了針對企業微信、石墨文檔等的適配連接能力。更加豐富的企業 SaaS 應用對應著更加豐富的數據環境，這對分析的普及是極大助推。

在 4.2 中衡石在業內率先實現了對 MongoDB 的原生語法支持，跳出了 BI Connect 的將就和制約，完成了從 HQL 到 NoSQL 的一次重大升級，緊跟上后面高級函數語法的進一步支持，衡石將提供針對 MongoDB 數據庫最佳的分析體驗。除此之外針對高性能引擎 Clickhouse、騰訊大數據引擎 TDS QL 和新一代云數倉 AtomData 都做了針對性的適配和優化。

Data Sciencist is back｜數據科學家功能強勢回歸

在衡石的 1.2 版本中，我們通過集成 Spark 引擎實現了 Python、R 甚至是 Scala 的 Notebook 功能，后來由于 Spark 引擎在 BI 交互式分析場景中明顯的不合適（也可以說是大材小用），我們去掉了這個引擎，也去掉了對數據科學的支持能力。隨著越來越多的數據團隊在機器學習的高級分析上更加重視，我們也跟隨客戶的趨勢，在4.2版本里加回了對 Python 的 notebook 支持能力，現在數據科學家能夠在衡石平臺里自由地完成機器學習建模等高級分析工作。

對于大數據能力有意識的克制一直貫穿了我們的產品設計過程，考慮到衡石的創始團隊背景是 Ad-tech 的大數據背景，這樣的克制多少顯得有些古怪。事實是，客戶并不在意大數據?？蛻粽嬲谝獾氖瞧髽I的數據如何有效的組織和管理，在數據分析層面如何給出清楚的業務決策，我們需要關注客戶的需求本身，而不是技術的 fancy words。

We don't sell Photoshop here | 過度追求功能性會傷害體驗

數據分析將從專業工作逐漸普及為基本工作，在衡石和眾多 SaaS 伙伴形成的合作生態里，分析發生在明確的場景中和標準的數據接口內，這極大降低了分析的實施成本和門檻，這樣的場景化嵌入式分析，能夠真正讓業務運營人員輕松的掌握，并且直接反應到業務的流程中。

基于這樣的趨勢判斷，分析將更加傾向運營類型的靈活迭代工作，而不再是低頻的匯報和展示類工作，因此，大屏、可視化設計的功能性需要克制和保守，而指標運營能力、模型的能力需要大大加強。對于交互式探索來說，易用性則是第一設計要素，不能夠犧牲體驗去追求功能性。在新版本中，加回了重力碰撞等經典交互方式，而不再單純追求頁面能夠達到的設計高度，我們并不是在針對專業人士設計系統，這是對衡石廣大受眾的選擇性判斷決定的。

Collaboration is data culture｜數據分析的協作本質上就是業務協作

開發數據分析的工具和做數據分析是完全不同的工作，這個差異大到近似于要求一個修建銀行大廈的建筑工人必須要理解股票期貨市場的交易原理。數據分析是一個完全業務層面的工作，甚至可以理解為這和技術或者功能層面沒有任何關系，數據分析代表了企業的業務在量化層面如何詮釋，以此還原真實的業務狀況。作為提供分析工具的廠商，我們的任務只是讓這個過程的成本足夠低，但完成分析動作的是那些真正的業務專家。

基于數據的協作是這個版本里我們繼續增強的重要類目，也將一直是衡石從 Day 1 開始堅持的重點。數據是業務的語言或者說數據就是業務，語言是為了團隊的協作而生?；跀祿膮f作其實就是在更加精確的層面上進行業務協作，所謂的數據文化不僅是數字表格和匯報看板，更是基于數據的敏捷迭代和快速響應，我們鼓勵企業客戶建立清晰的指標視圖，并基于此開展業務協作。

HENGSHI SENSE 4.2 亮點功能一覽

HENGSHI SENSE 發布 4.2 版本。在數據連接、數據科學、數據可視化、應用管理等方面增加了很多亮點功能。下面讓我們一起來了解這些新功能：

數據連接

數據科學

儀表盤展示

圖表可視化增強

數據管理

應用管理

系統管理

數據連接

原生支持 MongoDB 非結構化數據源

以 MongoDB 為代表的新型數據庫，不再局限于固定結構化的數據結構，以滿足更加敏捷的業務需求，在市場上獲得了很大的成功。典型的場景如游戲、物流、社交以及低代碼平臺，在 MongoDB 中不斷沉淀高價值的數據，客戶對其中的數據挖掘價值的需求也自然而然浮出水面。

之前大家對 MongoDB 的數據只能以 ETL 導入數據的方式將非結構化的數據處理成結構化的數據的方式來分析?；蛘呤褂玫谌街虚g件來做 SQL 到 MQL (MongoDB 的原生查詢語言) 的轉換。常用的轉換方式在早期的有 Postgresql 的 FDW，目前常用的是MongoDB BI Connector。這些中間件能做的轉換比較有限，大部分時候還是會將數據同步到本地內存來轉換成結構化數據進行運算。

依托于 HQL 通用建模語義層的領先架構，HENGSHI SENSE 4.2 率先實現了將BI數據分析的建模指標直接轉換成 MQL 查詢的方式，利用 MongoDB 集群自身的可擴展計算能力，完成數據分析的原地計算。通過這個架構，減少數據的搬運、處理、加工的步驟，減少了數據分析的延時。能做到業務數據在 MongoDB 內部的實時分析。同時因為不需要額外部署第三方中間件，也簡化了系統部署運維的復雜性和成本。

Clickhouse 物化視圖

當系統的加速引擎為 Clickhouse 時，關聯數據集導入引擎時可使用 Clickhouse 物化視圖。該物化視圖可實時更新數據集，不需要設置更新計劃，提升了關聯數據的查詢性能。使用 Clickhouse 物化視圖要求關聯數據集的數據源必須是 Clickhouse，并且跟引擎在同一集群。

新增數據源

HENGSHI SENSE 不斷地引入新的數據源，擴展數據源類型。4.2 新增騰訊分布式數據庫 TDSQL、AtomData 數據源，并且在 API 數據源中對接了石墨、企業微信、旺店通、外勤365。

UDF 函數

HENGSHI SENSE 提供了擴展 HQL 的功能，用戶可自定義 UDF 函數。UDF 函數與原生 HQL 函數在系統內的使用是完全相同的，可用于添加新列、指標、權限過濾等。用戶可以添加數據庫上的自定義函數到衡石系統中，把數據庫管理員的成果普及給報表創作者。用戶也可以把權限控制相關查詢提取成一些函數，方便報表創作者設置權限。

此外， 4.2 對內置函數也進行了擴充，增加了 trim、split、regexp_extract、regexp_match、regexp_replace。

數據科學

新增對 Python 語言的支持

HENGSHI SENSE 數據科學模塊支持使用 SQL 語言對數據集進行處理，但是 SQL 無法有效應對復雜計算、機器學習建模等場景，無法對數據進行深度挖掘和加工。為了解決這些問題，數據科學支持使用 Python 來編寫和運行代碼對數據進行處理，可以實現以下功能。

• 使用 Python 編寫段落，并且可以與 SQL 編寫的段落一起構建筆記。
• 提供內置封裝的函數，高效獲取指定的數據庫連接。
• 默認支持 Pandas、SK-learn 等主流數據分析和機器學習庫，其他庫可由用戶 DBA 自行安裝擴展。

儀表盤展示

控件布局

4.1 在控件布局上推出了層疊布局模式，替代了原有平鋪模式。層疊模式通過多圖層疊放來實現控件相互嵌套的合成效果，常用于實現復雜場景的展示。對于僅使用簡單展示場景的用戶，平鋪模式就能完全滿足需求場景，層疊模式操作相對復雜。因此 4.2 又添加了平鋪模式。

4.2 在控件布局中還添加了新模式——碰撞模式（又稱重力模式）。該模式下控件在畫布垂直方向上永遠停放在最上方。移動控件時如果碰撞其他控件，則會占據其他控件的位置，將其他控件垂直向下擠壓。碰撞模式比平鋪模式在控件排列上更加靈活。

容器中的控件也支持上述三種布局，它與儀表盤可設置不同布局，實現同一儀表盤存在多種布局的情況，滿足用戶更多使用場景。

控件布局的三種模式可任意切換，層疊模式切換到平鋪和碰撞模式時，圖層將消失，所有控件平鋪展開，無法回退，所以層疊模式向其他模式切換時，請謹慎使用。

容器分屏展示

容器編輯頁面呈現的圖表展示效果與在儀表盤中呈現效果不同，所以使用容器時往往需要在編輯頁面和展示頁面之間反復切換、不斷調試以達到理想的展示效果。4.2 增加容器分屏展示入口，在編輯容器時屏幕左側是儀表盤展示頁面，實時呈現容器編輯結果，提升容器編輯效率。

容器支持設置頁面版式

4.2 容器支持設置頁面版式，可單獨設置容器的畫布模式及在儀表盤中嵌入效果，脫離了儀表盤頁面版式的控制，使容器展示更加靈活。

• 自適應容器頁面在儀表盤中展示時會自適應儀表盤中容器控件大小。
• 固定尺寸容器頁面在儀表盤展示效果與頁面嵌入、預覽時設置的縮放模式有關。

移動端縮放展示

4.2 優化移動端儀表盤展示效果， 用戶可通過雙指對頁面進行放大或縮小，最大可將頁面放大4倍。

圖表可視化增強

圖表增加度量詳情

用戶使用指標作圖時想要了解指標的業務含義，但是指標在定義時僅定義了指標公式，沒有記錄其相關含義。4.2 增加了指標描述和業務含義，并且在圖表的度量詳情中進行展示，方便用戶查看和了解指標。

復用數據集中字段展示格式

在數據集管理中可以對字段設置展示格式，但是使用字段創建圖表時相關展示格式無法帶入圖表中，需要用戶重新對字段進行設置。4.2 在這方面進行優化，支持圖表復用數據集中字段展示格式，減少重復配置工作。當字段經過計算與原有數據的語義不兼容時，用戶不能復用數據集中字段的展示格式，需要重新設置。

縣級行政區地圖精準匹配

地圖展示某一個市的縣級行政區時，如果與其他市的縣級行政區有同名情況，則無法匹配到具體的地理位置，會將所有同名的縣級行政區都展示出來，展示的地圖不符合用戶預期。4.2 對此進行了優化，在地理角色轉換時，將縣級行政區與其省、市進行關聯，使縣級行政區名稱唯一，能夠準確匹配地理位置，進行地圖展示。

容器標簽多樣化展示

原有容器頁面的標簽僅支持在頂部展示，形式單一。4.2 進行了優化，支持將標簽放在容器頂部、左側，并增加多種排列方式，豐富標簽展示樣式，滿足更多展示場景。此外，還增加了下拉框樣式，當容器標簽較多時，節省展示空間， 方便預覽和查找。

儀表圖樣式增強

4.2 將控件中的儀表盤更名為儀表圖，避免與儀表盤概念沖突，并且對儀表圖樣式進行優化，改變其單一展示樣式，增加多種展示模板，支持對儀表圖的角度、指針、中心指標、刻度等進行樣式設置。

富文本代碼編寫方式優化

富文本控件支持編寫代碼動態獲取數據信息。4.2 之前使用符號“<>”作為代碼段的起止標識，但是當代碼段中有關系運算符“>“或“<“ 時，會出現解析錯誤的情況。4.2 使用代碼塊代替代碼段的起止標識符，避免解析錯誤，同時提升了代碼可讀性。

表格序號支持設置字段樣式

表格序號優化，支持對序號進行字段樣式設置，使表格整體展示一致、和諧美觀。表格序號的作用是表示信息展示順序，不具有實際業務意義，所以不能作為條件格式的依據字段。

表格條件格式優化

優化表格條件格式，在條件規則為最大/最小原則中增加按百分比選擇條件，用戶使用更加靈活。

表格導出數據保留數據類型

表格數據導出后，用戶可能需要進行二次計算，所以 4.2 對導出數據進行優化，保留數據類型，方便后續計算。

環形柱狀圖圖例優化

調整環形柱狀圖的圖例展示順序，使之與環形圖環展示順序一致， 方便用戶查看、對比數據。

數據管理

權限模式適配不同級別的數據

數據通常攜帶不同的安全級別，使其面向不同使用對象，如安全級別高的數據，只能給固定人員分享查看，安全級別低的數據如內部公開的數據則可以給全體成員展示。4.2 根據數據的安全級別不同，增加了嚴格權限模式和非嚴格權限模式。

• 嚴格權限模式適用于安全級別高的數據， 要求所有用戶必須擁有該數據的權限才能查看和使用數據。
• 非嚴格權限模式適用于安全級別低的數據，使用這些數據的應用或數據包可以將其展示給無數據權限的用戶查看和使用。

跨應用復制數據集

4.2 提升了數據集使用的靈活度，支持跨應用、跨數據包復制數據集， 方便數據分析整理，提升分析效率。目前僅支持對本地文件、數據連接、SQL 查詢三種基礎數據集進行跨應用復制。其他類型的數據集、數據模型、參數、指標等不支持復制。復制方法有以下兩種：

• 在源應用中將數據集復制到目標應用中。
• 在目標應用中導入源應用中的數據集，可導入多個。

默認數據集

在儀表盤中搭建圖表選擇數據集時，會自動展示該應用中第一個數據集，但第一個數據集不一定是常用的數據集，用戶每做一個圖表都需要重新選擇數據集。4.2 增加了默認數據集功能，用戶根據實際情況設置做圖時默認數據集，減少做圖時切換和查找數據集操作。

數據集替換允許字段缺失

數據集替換過程會嚴格檢查所有被使用的字段，要求新的數據集中必須包含這些字段，否則替換失敗。但是對于某些連續數據采集情況，可能某一時間段沒有收集到該類型的數據，如公司報銷統計報表中，九月份沒有差旅費和住宿費。在展示九月份報銷統計時，因字段缺失，無法通過替換數據集展示。基于這種情況 4.2 放寬了替換檢查條件，允許新的數據集在替換時缺失原有數據集已使用的字段，并對這些字段使用NULL值填充，替換結果需要用戶確認才能生效。

新增字段用途

數據集中的字段在分析時既可用作維度，也可用作度量。在實際場景中某些字段不適合用于維度，如用戶數，用戶留存率等，這些字段分類較多，作維度沒有實際意義還會導致系統運行慢，所以限制其只能用于度量。而有些字段又只能用于維度，不適合做度量。

4.2 增加了字段用途，可將字段設置為通用、維度、度量三種用途。通用表示字段可用于維度或度量。維度和度量表示字段只能定向使用， 并且在作圖時字段右側會出現標識，方便區分，減少終端業務人員的誤用。

解析英文日期字段

當月份字段使用英文文本類型展示時，需要手動排序才能使其按照月份順序進行展示。4.2 對此進行了優化，支持對英文類型的月份進行日期格式轉換，通過指定格式MMMM、MMM、MMM.將英文月份轉成日期類型，實現自動按月排序。

參數增加時間粒度

4.2 參數優化，在日期、時間類型中增加時間粒度概念，以適用更多的業務場景。參數控件等參數相關的使用場景都支持使用時間粒度。時間粒度可分為年、季度、月、周、天、時、分、秒，用戶使用時選擇貼合業務場景的時間粒度，方便理解和分析。

應用管理

快捷的批量操作

在應用較多的情況下， 對應用進行遷移、歸類整理、回收等操作時，需要重復地操作每一個應用，非常耗時?；诖?，4.2 推出了批量操作功能，可以同時選中多個應用， 一鍵完成相關操作，提升了系統頁面交互效率。 批量操作功能首次上線，支持批量導出應用模板、移動和刪除應用，后續會增加更多批量操作。

確定被協作者操作范圍

我的創作是個人的工作區，屬于私密空間，空間中的應用只對用戶可見，由用戶管理。當應用需要團隊其他成員的協助時，可以將應用通過協作方式由其他用戶進行編輯。4.1 中被協作者除了編輯應用，還可以對應用進行移動和刪除等管理工作，相當于操作了用戶的個人空間的資源。因此，4.2 重新確定被協作者操作范圍，明確協作只是協助編輯應用，去除移動和刪除等資源管理操作，保護我的創作空間的私密屬性。

指標預警增強

4.1 增加了指標預警功能，監控應用中圖表的指標。4.2 對該功能進一步完善，增加預警任務異常處理，當指標預警任務因數據庫服務、郵件服務、網絡等原因異常時，可以重新發起任務或者暫停任務。異常處理包括：

• 任務失敗重試策略，可設置重試時間、重試次數。
• 任務失敗暫停策略，可設置任務連續失敗次數及任務暫停后是否通知用戶。

導出模板增加導出權限配置

應用可以通過模板快速生成新的應用，大大提升了應用的創建效率。模板中不包含用戶相關的權限配置內容，需要在新應用中重新配置。當從測試環境批量遷移應用到同樣配置的生產環境時，需要在生產環境再重新配置一遍權限，工作量巨大。4.2 為了適配這種場景，在導出模板時增加權限配置選項，新的應用創建后包含原有應用的權限配置內容。

• 導出權限配置項僅對應用管理者可見。
• 導出權限配置項包括應用的管理權限及應用設置的數據權限。

模板導入時，支持選擇是否導入權限配置，當導入的系統中無法找到可匹配的用戶對象，則在導入時保留授權規則，丟棄授權對象。將團隊空間導出的應用模板導入到我的創作空間時，“管理者”、“租戶使用者”權限將被丟棄。

公開鏈接增加密碼

使用公開鏈接分享應用時，為了保障數據安全，需要登錄衡石賬號才能查看圖表，對于沒有衡石賬號的用戶，則無法查看。4.2 中公開鏈接增加了密碼訪問功能，用戶需要輸入密碼才能訪問公開鏈接，在保障數據安全的同時，方便更多用戶查看。

系統管理

用戶屬性支持設置多值

用戶屬性代表用戶的特征，往往一個屬性會有多個特征值，如銷售大區會包含華北、華東、華南等地區，4.1 中僅任意類型的用戶屬性支持設置多值，文本、時間等類型的用戶屬性不支持設置多值。4.2 將該功能進行擴展，所有類型的用戶屬性都可設置多值，更貼合用戶場景。用戶屬性多值中支持設置NULL值和空值。

用戶信息展示頁面優化

系統管理員編輯某一用戶屬性信息時，編輯頁面將用戶基礎信息、用戶組及用戶屬性全部進行展示信息，展示內容多，用戶不便于修改。4.2 對用戶信息相關內容進行優化，將用戶信息按版塊展示，內容清晰，每個版塊支持獨立編輯，每條屬性也可獨立編輯，方便對用戶信息查找及修改。

API 資源轉移

4.2 增加API資源轉移功能，當團隊成員發生變化時，可以將 API 或 API 組轉移到其他人名下。所有轉移資源都保留原名，如遇到重名時，轉移后的資源名稱后綴增加數字序號。

軟件授權優化

軟件授權中請求碼和授權碼過長，操作不方便、容易出錯，優化為文件方式進行更新授權。

結語

華林霜葉紅霞晚，伊水晴光碧玉秋。

HENGSHI SENSE 4.2 在數據分析領域再添新景，原生 MongoDB 非結構化數據源、數據科學使用 Python 進行復雜計算、數據集跨應用靈活使用、可視化儀表盤支持多種布局、系統交互批量操作提升效率，每個功能都是對原有功能的突破、創新，歡迎來試用。

青青四墻下，已復生滿地。

HENGSHI SENSE 4.3 已經孵化，在衡石人精心培育下定會在數據分析領域創造更多精彩，敬請期待！