談到數(shù)據(jù)采集,我們首先想到的問題自然是,從哪里采集?也就是說,我們的采集點是什么?當前的大數(shù)據(jù)時代,數(shù)據(jù)來采集來源往往具有高度的多樣性,而不同的數(shù)據(jù)源也常常需要不同的采集方法,才能有針對性地采集。接下來小編為大家介紹介紹收集數(shù)據(jù)的方式有哪些。
收集數(shù)據(jù)的方式有哪些
公司內(nèi)數(shù)據(jù)主要是指公司自營產(chǎn)生的數(shù)據(jù)。可以是公司各業(yè)務(wù)線業(yè)務(wù)運營產(chǎn)生的業(yè)務(wù)數(shù)據(jù),也可以是公司經(jīng)營類數(shù)據(jù)。業(yè)務(wù)數(shù)據(jù)可分為實體數(shù)據(jù)、交易數(shù)據(jù)和行為數(shù)據(jù)。經(jīng)營類數(shù)據(jù)可分為收入、成本、費用等。
從技術(shù)上可分為:1)直連系統(tǒng)DB采集;2)系統(tǒng)接口采集;3)系統(tǒng)日志采集;或者分為離線數(shù)據(jù)采集和實時數(shù)據(jù)采集。
公共數(shù)據(jù)主要是指政府在行政執(zhí)法過程中產(chǎn)生的信息,比如行政許可、法院訴訟等這些活動所帶來的信息。
公共數(shù)據(jù)一般由數(shù)據(jù)服務(wù)機構(gòu)通過數(shù)據(jù)服務(wù)平臺,通過查詢UI或訪問接口,向大眾開放。查詢UI一般會配備動態(tài)校驗碼技術(shù),訪問接口一般會配備限流技術(shù)避免平臺超負荷運轉(zhuǎn)宕機。
第三方數(shù)據(jù)指在公司與其他企業(yè)合作獲得的數(shù)據(jù)。比如自己公司有技術(shù)別的公司有數(shù)據(jù),或者自己與對方公司各有不同細分市場數(shù)據(jù),雙方合作能形成戰(zhàn)略上的互補。
不管采用何種收集數(shù)據(jù)的方法,除采用自動采集技術(shù)外,還經(jīng)常輔助人工采集。例如對于頻率不高的采集場景,人工采集后可以通過郵件、ftp、網(wǎng)盤或上傳網(wǎng)站等方式傳送。以上就是收集數(shù)據(jù)的方式有哪些的全部內(nèi)容了,希望能夠幫到大家。
[免責(zé)聲明]
文章標題: 收集數(shù)據(jù)的方式有哪些
文章內(nèi)容為網(wǎng)站編輯整理發(fā)布,僅供學(xué)習(xí)與參考,不代表本網(wǎng)站贊同其觀點和對其真實性負責(zé)。如涉及作品內(nèi)容、版權(quán)和其它問題,請及時溝通。發(fā)送郵件至36dianping@36kr.com,我們會在3個工作日內(nèi)處理。