自然語(yǔ)義分析NLP平臺(tái)

常見(jiàn)問(wèn)題

• 語(yǔ)義分析包括哪方面的分析？

  1. 詞法分析
  詞法分析包括詞形分析和詞匯分析兩個(gè)方面。一般來(lái)講，詞形分析主要表現(xiàn)在對(duì)單詞的前綴、后綴等進(jìn)行分析，而詞匯分析則表現(xiàn)在對(duì)整個(gè)詞匯系統(tǒng)的控制，從而能夠較準(zhǔn)確地分析用戶(hù)輸入信息的特征，最終準(zhǔn)確地完成搜索過(guò)程。
  2. 句法分析
  句法分析是對(duì)用戶(hù)輸入的自然語(yǔ)言進(jìn)行詞匯短語(yǔ)的分析，目的是識(shí)別句子的句法結(jié)構(gòu)，以實(shí)現(xiàn)自動(dòng)句法分析的過(guò)程。
  3. 語(yǔ)用分析
  語(yǔ)用分析相對(duì)于語(yǔ)義分析又增加了對(duì)上下文、語(yǔ)言背景、語(yǔ)境等的分析，即從文章的結(jié)構(gòu)中提取出意象、人際關(guān)系等附加信息，是一種更高級(jí)的語(yǔ)言學(xué)分析。它將語(yǔ)句中的內(nèi)容與現(xiàn)實(shí)生活中的細(xì)節(jié)關(guān)聯(lián)在一起，從而形成動(dòng)態(tài)的表意結(jié)構(gòu)。
  4. 語(yǔ)境分析
  語(yǔ)境分析主要是指對(duì)原查詢(xún)語(yǔ)篇之外的大量“空隙”進(jìn)行分析，以便更準(zhǔn)確地解釋所要查詢(xún)語(yǔ)言的技術(shù)。這些“空隙”包括一般的知識(shí)、特定領(lǐng)域的知識(shí)以及查詢(xún)用戶(hù)的需求等。
  5. 自然語(yǔ)言生成
  AI驅(qū)動(dòng)的引擎能夠根據(jù)收集的數(shù)據(jù)生成描述，通過(guò)遵循將數(shù)據(jù)中的結(jié)果轉(zhuǎn)換為散文的規(guī)則，在人與技術(shù)之間創(chuàng)建無(wú)縫交互的軟件引擎。結(jié)構(gòu)化性能數(shù)據(jù)可以通過(guò)管道傳輸?shù)阶匀徽Z(yǔ)言引擎中，以自動(dòng)編寫(xiě)內(nèi)部和外部的管理報(bào)告。

• 語(yǔ)義分析是什么意思？

  語(yǔ)義分析是編譯過(guò)程的一個(gè)邏輯階段， 語(yǔ)義分析的任務(wù)是對(duì)結(jié)構(gòu)上正確的源程序進(jìn)行上下文有關(guān)性質(zhì)的審查，進(jìn)行類(lèi)型審查。語(yǔ)義分析是審查源程序有無(wú)語(yǔ)義錯(cuò)誤，為代碼生成階段收集類(lèi)型信息。比如語(yǔ)義分析的一個(gè)工作是進(jìn)行類(lèi)型審查，審查每個(gè)算符是否具有語(yǔ)言規(guī)范允許的運(yùn)算對(duì)象，當(dāng)不符合語(yǔ)言規(guī)范時(shí)，編譯程序應(yīng)報(bào)告錯(cuò)誤。如有的編譯程序要對(duì)實(shí)數(shù)用作數(shù)組下標(biāo)的情況報(bào)告錯(cuò)誤。又比如某些程序規(guī)定運(yùn)算對(duì)象可被強(qiáng)制，那么當(dāng)二目運(yùn)算施于一整型和一實(shí)型對(duì)象時(shí)，編譯程序應(yīng)將整型轉(zhuǎn)換為實(shí)型而不能認(rèn)為是源程序的錯(cuò)誤。

• 語(yǔ)義分析技術(shù)有哪些？

  1. 中文分詞
  中文分詞是計(jì)算機(jī)根據(jù)語(yǔ)義模型，自動(dòng)將漢字序列切分為符合人類(lèi)語(yǔ)義理解的詞匯。分詞就是將連續(xù)的字序列按照一定的規(guī)范重新組合成詞序列的過(guò)程。
  在英文的行文中，單詞之間是以空格作為自然分界符的，而中文只是字、句和段能夠通過(guò)明顯的分界符來(lái)進(jìn)行簡(jiǎn)單的劃界，唯獨(dú)詞沒(méi)有一個(gè)形式上的分界符，雖然英文也同樣存在短語(yǔ)的劃分問(wèn)題，不過(guò)在詞這一層面上，中文比英文要復(fù)雜得多、困難得多。
  2. 命名實(shí)體識(shí)別
  命名實(shí)體識(shí)別又稱(chēng)作“專(zhuān)名識(shí)別”（NER），是指對(duì)具有特定意義的實(shí)體進(jìn)行自動(dòng)識(shí)別的技術(shù)，是信息提取、知識(shí)圖譜、問(wèn)答系統(tǒng)、句法分析、搜索引擎、機(jī)器翻譯等應(yīng)用的重要基礎(chǔ)。
  3. 詞性標(biāo)注
  詞性標(biāo)注（Part-of-Speech tagging或POS tagging）又稱(chēng)詞類(lèi)標(biāo)注，是指為分詞結(jié)果中的每個(gè)單詞標(biāo)注一個(gè)正確的詞性的程序。具體來(lái)說(shuō)就是，確定每個(gè)詞是名詞、動(dòng)詞、形容詞或者是其他詞性的過(guò)程。
  4. 同義詞分析
  由于不同地區(qū)的文化差異，輸入的查詢(xún)文字很可能會(huì)出現(xiàn)描述不一致的問(wèn)題。此時(shí)，業(yè)務(wù)系統(tǒng)需要對(duì)用戶(hù)的輸入做同義詞、糾錯(cuò)、歸一化處理。同義詞挖掘是一項(xiàng)基礎(chǔ)工作，同義詞算法包括詞典、百科詞條、元搜索數(shù)據(jù)、上下文相關(guān)性挖掘，等等。
  5. 詞向量分析
  詞向量技術(shù)是指將詞轉(zhuǎn)化為稠密向量，相似的詞對(duì)應(yīng)的詞向量也相近。在自然語(yǔ)言處理應(yīng)用中，詞向量作為深度學(xué)習(xí)模型的特征進(jìn)行輸入。因此，最終模型的效果在很大程度上取決于詞向量的效果。一般來(lái)說(shuō)，字詞表示有兩種方式：one-hot及分布式表示。
  6. 依存文法分析
  依存文法通過(guò)分析語(yǔ)言單位內(nèi)成分之前的依存關(guān)系解釋其句法結(jié)構(gòu)，主張句子中的核心謂語(yǔ)動(dòng)詞是支配其他成分的中心成分。而它本身卻不會(huì)受到其他任何成分的支配，所有受支配的成分都以某種關(guān)系從屬于支配者。
  7. 詞位置分析
  文章中不同位置的詞對(duì)文章語(yǔ)義的貢獻(xiàn)度也不同。文章首尾出現(xiàn)的詞成為主題詞、關(guān)鍵詞的概率要大于出現(xiàn)在正文中的詞。對(duì)文章中的詞的位置進(jìn)行建模，賦予不同位置不同的權(quán)重，從而能夠更好地對(duì)文章進(jìn)行向量化表示。
  8. 語(yǔ)義歸一化
  語(yǔ)義歸一化通常是指從文章中識(shí)別出具有相同意思的詞或短語(yǔ)，其主要的任務(wù)是共指消解。共指消解是自然語(yǔ)言處理中的核心問(wèn)題，在機(jī)器翻譯、信息抽取以及問(wèn)答等領(lǐng)域都有著非常重要的作用。

• 語(yǔ)義分析的目的是什么？

  語(yǔ)義分析程序是進(jìn)一步檢查合法程序結(jié)構(gòu)的語(yǔ)義正確性，其目的是保證標(biāo)識(shí)符和常數(shù)的正確使用，把必要的信息收集和保存到符號(hào)表或中間語(yǔ)言程序中，并進(jìn)行相應(yīng)的語(yǔ)義處理。

• 語(yǔ)義分析的基本功能有哪些？

  1、金融行業(yè)應(yīng)用
  人工智能的飛速發(fā)展，使得機(jī)器能夠在很大程度上模擬人的功能，實(shí)現(xiàn)批量人性化和個(gè)性化地服務(wù)客戶(hù)，這將給身處服務(wù)價(jià)值鏈高端的金融行業(yè)帶來(lái)深刻影響，人工智能將成為決定銀行溝通客戶(hù)、發(fā)現(xiàn)客戶(hù)金融需求的重要因素。它將對(duì)金融產(chǎn)品、服務(wù)渠道、服務(wù)方式、風(fēng)險(xiǎn)管理、授信融資、投資決策等帶來(lái)新一輪的 在中臺(tái)支持授信、各類(lèi)金融交易和金融分析中的決策，在后臺(tái)用于風(fēng)險(xiǎn)防控和監(jiān)督，它將大幅改變金融現(xiàn)有格局，金融服務(wù)（銀行、保險(xiǎn)、理財(cái)、借貸、投資等方面）將更加地個(gè)性化與智能化。證券研報(bào)大數(shù)據(jù)云服務(wù)，是鼎富科技針對(duì)證券業(yè)、基金業(yè)研究人員、分析師推出的一款大數(shù)據(jù)云服務(wù)產(chǎn)品。系統(tǒng)提供SaaS服務(wù)，提供公告、研報(bào)的全網(wǎng)采集，以及事件結(jié)構(gòu)化分析，提供研報(bào)一站式智能搜索，以及基于時(shí)間軸、基于信息錨點(diǎn)的大數(shù)據(jù)分析挖掘。系統(tǒng)能幫助分析師從大數(shù)據(jù)視角進(jìn)行深度研究分析，提高工作效率。
  2、政府行業(yè)應(yīng)用
  輿情分析為政府、公安、社會(huì)等提供可自定義熱點(diǎn)問(wèn)題的輿情分析系統(tǒng)，信息出現(xiàn)的源頭到產(chǎn)生的影響全程跟進(jìn)分析，形成輿情影響波及范圍、公眾反響、不良輿論等內(nèi)容的分析報(bào)告。
  輿情分析能夠大幅度縮短組織對(duì)互聯(lián)網(wǎng)、論壇等電子信息渠道的公眾輿論趨勢(shì)的響應(yīng)時(shí)間，通過(guò)關(guān)聯(lián)分析能夠幫助組織預(yù)測(cè)未來(lái)可能出現(xiàn)的狀況并提前實(shí)施相關(guān)措施。
  智慧傳播云服務(wù)，是鼎富科技與騰訊網(wǎng)合作推出的互聯(lián)網(wǎng)信息監(jiān)測(cè)預(yù)警平臺(tái)，面向政府機(jī)構(gòu)、企事業(yè)單位提供互聯(lián)網(wǎng)信息監(jiān)測(cè)、預(yù)警服務(wù)。輿情云項(xiàng)目的研發(fā)目的是為企業(yè)、政府、組織開(kāi)發(fā)一款基于云服務(wù)的互聯(lián)網(wǎng)輿情監(jiān)測(cè)系統(tǒng)。該系統(tǒng)數(shù)據(jù)采集模塊具有可配置、自動(dòng)去重、垃圾過(guò)濾核心功能。系統(tǒng)分析挖掘功能采用智慧語(yǔ)義識(shí)別技術(shù)，保證了語(yǔ)義分析的準(zhǔn)確性。系統(tǒng)可以按照客戶(hù)需求進(jìn)行輿情監(jiān)測(cè)定制、統(tǒng)計(jì)報(bào)表定制和預(yù)警定制。
  3、客服行業(yè)應(yīng)用
  客服作為勞動(dòng)密集型行業(yè)，對(duì)于一些大公司來(lái)說(shuō)，成本依然很高。智能機(jī)器人客服的出現(xiàn)可以在很大程度上解決簡(jiǎn)單、重復(fù)性工作，幫助企業(yè)節(jié)省人工和坐席成本，提升運(yùn)營(yíng)效率。

• 語(yǔ)義分析軟件有哪些？

  1、元年智答
  元年智答是一款智能數(shù)據(jù)分析“助手”，拉近人與數(shù)據(jù)的距離，輕松對(duì)話(huà)的形式獲取數(shù)據(jù)可視化圖表，在企業(yè)內(nèi)部高效傳遞數(shù)據(jù)洞見(jiàn)。提供對(duì)話(huà)式數(shù)據(jù)分析、智能數(shù)據(jù)可視化引擎、企業(yè)級(jí)數(shù)據(jù)權(quán)限控制、異常監(jiān)控實(shí)時(shí)預(yù)警、數(shù)據(jù)變動(dòng)歸因溯源和智能化數(shù)據(jù)報(bào)告功能。
  2、滴普科技
  北京滴普科技有限公司成立于2018年，是專(zhuān)業(yè)的數(shù)據(jù)智能服務(wù)商。滴普科技以最新的數(shù)據(jù)智能技術(shù)為基礎(chǔ)，以數(shù)據(jù)的業(yè)務(wù)價(jià)值為核心，為客戶(hù)提供數(shù)據(jù)智能領(lǐng)域的產(chǎn)品與服務(wù)。 滴普科技構(gòu)建了低成本、高性能、易使用的新一代云原生數(shù)據(jù)智能服務(wù)平臺(tái)FastData，以流批一體數(shù)據(jù)分析引擎DLink、數(shù)據(jù)集成服務(wù)DCT、數(shù)據(jù)智能開(kāi)發(fā)平臺(tái)DataFacts、數(shù)據(jù)科學(xué)分析平臺(tái)DataSense、數(shù)據(jù)資產(chǎn)管理和運(yùn)營(yíng)平臺(tái)DXP，幫助于企業(yè)建立流批一體和湖倉(cāng)一體的新一代數(shù)據(jù)存儲(chǔ)計(jì)算平臺(tái)和數(shù)據(jù)科學(xué)分析平臺(tái)。
  3、華為云
  華為云通過(guò)基于瀏覽器的云管理平臺(tái)，以互聯(lián)網(wǎng)線(xiàn)上自助服務(wù)的方式，為用戶(hù)提供云計(jì)算IT基礎(chǔ)設(shè)施服務(wù)。云計(jì)算的最大優(yōu)勢(shì)在于IT基礎(chǔ)設(shè)施資源能夠隨用戶(hù)業(yè)務(wù)的實(shí)際變化而彈性伸縮，用戶(hù)需要多少資源就用多少資源，使用多少資源就付多少錢(qián)，通過(guò)這種彈性計(jì)算的能力和按需計(jì)費(fèi)的方式有效幫助用戶(hù)降低運(yùn)維成本。
  4、百度智能云
  百度智能云于2015年正式對(duì)外開(kāi)放運(yùn)營(yíng)，是基于百度多年技術(shù)沉淀打造的智能云計(jì)算品牌，致力于為客戶(hù)提供全球領(lǐng)先的人工智能、大數(shù)據(jù)和云計(jì)算服務(wù)。憑借先進(jìn)的技術(shù)和豐富的解決方案，全面賦能各行業(yè)，加速產(chǎn)業(yè)智能化。
  5、百度AI開(kāi)放平臺(tái)
  百度大腦包括視覺(jué)、語(yǔ)音、自然語(yǔ)言處理、知識(shí)圖譜、深度學(xué)習(xí)等AI核心技術(shù)和AI開(kāi)放平臺(tái)。百度大腦對(duì)內(nèi)支持百度所有業(yè)務(wù)，對(duì)外全方位開(kāi)放，助力合作伙伴和開(kāi)發(fā)者，加速AI技術(shù)落地應(yīng)用，賦能各行各業(yè)轉(zhuǎn)型升級(jí)，并通過(guò)百度智能云賦能行業(yè)客戶(hù)。 百度AI開(kāi)放平臺(tái)持續(xù)升級(jí)，是最完整、最前沿、最開(kāi)放、最具活力的AI技術(shù)平臺(tái)。現(xiàn)階段從深度學(xué)習(xí)框架、深度學(xué)習(xí)實(shí)訓(xùn)平臺(tái)、場(chǎng)景化AI能力、定制化訓(xùn)練平臺(tái)，到軟硬一體模組和解決方案等實(shí)現(xiàn)全面開(kāi)放，助力企業(yè)智能化轉(zhuǎn)型。

• 語(yǔ)義分析原理是什么？

  自然語(yǔ)言處理技術(shù)的核心為語(yǔ)義分析。語(yǔ)義分析是一種基于自然語(yǔ)言進(jìn)行語(yǔ)義信息分析的方法，不僅進(jìn)行詞法分析和句法分析這類(lèi)語(yǔ)法水平上的分析，而且還涉及單詞、詞組、句子、段落所包含的意義，目的是用句子的語(yǔ)義結(jié)構(gòu)來(lái)表示語(yǔ)言的結(jié)構(gòu)。