一首古詩帶來的圖數據庫大冒險

因為圖數據庫的增長趨勢一直位列前茅,每年都有媒體預測今年是“圖年”。作為曾經的圖數據庫從業者,Nebula Hackthon 2021 的參賽隊伍臨江仙的隊長王二鐵(王建奎),一直在思考,為什么長期火爆的圖數據庫市場,一直沒有真正引爆。在 2018 年圖數據庫輸給了區塊鏈,2019 年又遇到了 5G,隨后疫情開始了。在王二鐵看來圖數據庫目前主要還是面向 toB、toG 的市場,在 toC 領域,幾乎沒有圖數據庫相關的案例,這也是為什么圖技術難以被大眾所熟知的原因。
于是,一個新意的 idea 冒出了,這將是一個非常好,而且還算好玩的 C 端案例。它是什么呢?便是本次介紹的「一首古詩帶來的圖數據庫大冒險」。
有次二鐵陪同小朋友上畫畫班,空閑之余刷到了蘇軾的《臨江仙 風水洞作》:
四大從來都遍滿,此間風水何疑。故應為我發新詩。幽花香澗谷,寒藻舞淪漪。
借與玉川生兩腋,天仙未必相思。還憑流水送人歸。層巔余落日,草露已沾衣。
因為讀不懂這首詩詞,體會不到其中的意境美。作為老二次元的王二鐵借由動漫迷中的「圣地巡禮」,想到用詩詞巡禮的方式–回到古詩詞的創作地,親身體驗詩詞的意境和美景。結合圖數據庫,把中國古詩詞放到圖譜里,通過【作者搜索】關聯出他所有的詩詞,并關聯出所有的創作地點,這就形成了一條【詩詞巡禮】的旅游路線;通過【地點搜索】關聯出當地所有的古詩詞創作地,這就形成了一個充滿文化氣息的詩詞城市。
基于路線、地理位置也可以衍生出更多的玩法。例如一個作者的城市足跡圖,也許就是他的升遷史;同一個地點,如果有多個作者留有詩篇,那可以互相印證和學習。結合圖,還有更多的玩法可以繼續挖掘。
而除了「圣地巡禮」這一主功能之外,二鐵還加了另外一個功能–本命詩。idea 也是來源于一首詩詞,王之渙的《涼州詞》:
黃河遠上白云間,一片孤城萬仞山。
羌笛何須怨楊柳,春風不度玉門關。
一首包含他家小朋友名字的古詩,突然讓小朋友有了學習該詩的興趣,于是他決定加入本命詩,古詩和人親近、建立熟悉感之后,成為他記憶的一部分。
古詩大冒險項目實現思路主要是將中國古詩詞放到圖譜里,詩詞的圖譜需要包含作者(姓名、朝代、字、號)、詩詞(詩詞名、內容、創作地址、經度、維度)、城市,其他再包含古代城市和現代城市的映射、古人朋友圈等等,形成一張完整的圖譜。 數據源,需要涉及到詩詞庫、百度漢語、旅游網站、坐標提取系統等等;經過數據加工、數據聚合以及圖數據庫的建模,將數據導入圖數據庫中,一個簡單的詩詞圖譜就形成了。然后通過 Java Web提供接口服務,通過小程序提供用戶服務。整體流程就通了。
整體實現主要分成 3 步:
- 數據處理,數據處理是整個項目最難的點。這部分需要首先明確產品層面的需求,根據需求進行圖數據庫建模,再根據建模結果反推需要哪些數據支撐,然后尋找數據源,并進行數據采集和 ETL 處理。最終形成圖數據庫中需要的幾個文件,例如:vertex-詩詞.csv、vertex-作者.csv、vertex-城市.csv、edge-詩詞-作者.csv、edge-詩詞-城市.csv。
- 系統開發,系統開發是把第一步建設的圖譜,實際的在圖數據庫中創建并導入數據的過程。因 Nebula 完備的產品功能和周邊工具,使得這一步的開發比較簡單。項目中使用到了 Nebula Graph 圖數據庫進行數據存儲,Nebula Graph Studio 進行圖數據庫建模和語法調試、Nebula Graph Importer 進行數據導入,Nebula Graph Java Client 進行 API 服務的開發。
- 小程序開發,系統開發之后會形成幾個 API,小程序側調用 API 端口,然后進行前端的可視化展示。其中需要地圖的 SDK,結合收集到的坐標,就可以在地圖上展示出詩詞的創作地點。
這個項目看似很簡單,但暗藏玄機。整個項目實現起來會遇到 2 個難點。其中一個還是數據,因為系統本身并不復雜,代碼量并不多,核心還是對數據的理解,以及一個好的產品 sence。當然也遇到一個天坑問題,就是一些好的古詩詞找不到創作地點或者歷史上存在爭議,比如陳子昂的《登幽州臺歌》。第二個難點算技術上的廣度,就是從一個 idea,到產品化實現,要熟悉一整條技術路線。其實也并沒有多深的技術,但是需要一種不甘于只做螺絲釘的獨立開發思維。
一首古詩帶來的圖數據庫大冒險的有意思的點除了它的 idea 之外,和技術實現之外。更多的產品細節也是讓人眼前一亮,像是地理位置的處理方式。
拿臨江仙·風水洞作為例,故事標志性坐標便是風水洞,如何定位這個風水洞呢?各地都有「風水洞」,根據蘇軾的過往經歷,最后匹配定位到了杭州錦繡風水洞。通過抽取風水洞的地理坐標,將這首古詩還原到了該詩圣地。而這塊的實現也經歷了一番小波折,大家都知道 Nebula Graph v2.6 開始支持的 GEO 功能,一開始二鐵他們考慮要不要用 GEO,而不是存經緯度。但轉念一想,項目本身并不需要用到強大的 Nebula Graph GEO 功能,加上項目趕時間(比賽設有代碼截止提交時間),故沒嘗試新的 GEO 功能。
說到后續的項目規劃,王二鐵表示,“圖數據庫中更核心的最短路徑、三角計數、社區發現等算法并沒有用到,大家可以發揮想想來給我們提想法,當然更歡迎自己來實際體驗和實現”。
