海量智能分词研究版接口手册

海量智能分词研究版接口手册天津市海量科技发展有限公司编写二○○五年四月目录产品说明 (3)功能概述 (3)产品清单 (3)技术支持 (4)第一章系统环境要求 (5)1.1 环境要求 (5)第二章基本使用方法 (6)2．1．1分词过程伪码 (6)2．1．2标注词性伪码 (7)2．1．3计算关键词伪码 (8)2．1．4计算语义指纹伪码 (8)第三章分词基础件提供的接口描述 (10)3.1．基本接口 (10)3.2．分词接口 (11)3.3．获取分词结果接口 (12)3.4．其他接口 (13)附录 (17)附录A功能基础件概念诠释 (17)附录B术语列表 (19)产品说明功能概述✧词形切分对给定的字序列文本，自动切分为词序列文本。

✧标注词性对切分后的词标注词性✧计算关键词对给定的序列文本，计算表现本文本内容的关键词✧计算语义指纹对给定的序列文本，计算语义指纹。

产品清单词典文件HLSplitWord.da t动态链接库文件Release版：HLSSplit.dlllib库文件Release版：HLSSplit.lib源码HLSegFunc.hHLPubDef.h说明文件海量智能分词研究版接口手册.doc技术支持电话：86(010)82601290-18传真：86(010)82601290-20E-mail：yangzhiwei@网站：/论坛：/cgi-bin/bbs/main.htm联系人：杨智炜通信地址：北京市海淀区中关村东路18号财智大厦B2009第一章系统环境要求1.1 环境要求⏹软件开发环境：VC++6.0⏹软件支持环境：Windows2000 及其以后版本⏹硬件支持环境：最低配置：128M内存，PII400⏹提供的开发接口：C/C++第二章基本使用方法2．1．1分词过程伪码//初始化分词词典bool bInitDict = HLSplitInit ();if(!bInitDict){AfxMessageBox(_T(“初始化分词字典失败!”)) ;return ;}CString strText ; // 存放要进行分词的字符串…………………..HANDLE hHandle = HLOpenSplit (); //创建分词句柄if(hHandle == INV ALID_HANDLE_V ALUE){//创建分词句柄失败AfxMessageBox(_T("创建分词句柄失败!"));HLFreeSplit () ;//卸载分词字典return ;}int iExtraCalcFlag = 0; //附加计算标志，不进行附加计算LPCSTR lpText = (LPCSTR)strText ;bool bSuccess = HLSplitWord (hHandle, lpText, iExtraCalcFlag);CString strResult ;strResu lt = _T(“”) ;if(bSuccess){//分词成功int nResultCnt = HLGetWordCnt (hHandle);//取得分词个数for(int i = 0 ; i < nResultCnt ; i++){//取得分词结果SHLSegWord* pWord ;//存放分词结果中的一个词pWord = HLGetWordAt (hHandle , i) ;//取得一个分词结果strResult += pWord->m_szWord;strResult += _T(“ ”) ;//以空格分割分词结果中的每个词}HLCloseSplit (hHandle) ;//关闭分词句柄}else{//分词失败AfxMessageBox(_T(“分词失败!”)) ;HLCloseSplit (hHandle) ;//关闭分词句柄HLFreeSplit () ;//卸载分词字典return ;}HLFreeSplit () ; //卸载分词词典………..…………2．1．2标注词性伪码// 略去分词初始化部分HANDLE hHandle = HLOpenSplit (); //创建分词句柄if(hHandle == INV ALID_HANDLE_V ALUE){//创建分词句柄失败AfxMessageBox(_T("创建分词句柄失败!"));HLFreeSplit () ; //卸载分词字典return ;}int iExtraCalcFlag = HL_CAL_OPT_POS; //附加计算标志LPCSTR lpText = (LPCSTR)strText ;bool bSuccess = HLSplitWord(hHandle, lpText, iExtraCalcFlag);CString strResult ;strResult = _T(“”) ;if(bSuccess){//分词成功int nResultCnt = HLGetWordCnt (hHandle);//取得分词个数for(int i = 0 ; i < nResultCnt ; i++){//取得分词结果SHLSegWord* pWord ;//存放分词结果中的一个词pWord = HLGetWordAt (hHandle , i) ;//取得一个分词结果CString strWord(pWord-> s_szWord) ;if((pWord-> s_dwPOS & NA TURE_D_N) == NA TURE_D_N)//如果是名词，在结果中标出strWord += _T(“\n”);strResult +=strWord ;s trResult += _T(“ ”) ;//以空格分割分词结果中的每个词}HLCloseSplit (hHandle) ;//关闭分词句柄2．1．3计算关键词伪码// 略去分词初始化部分HANDLE hHandle = HLOpenSplit(); //创建分词句柄if(hHandle == INV ALID_HANDLE_V ALUE){//创建分词句柄失败AfxMessageBox(_T("创建分词句柄失败!"));HLFreeSplit () ;//卸载分词字典return ;}int iExtraCalcFlag =HL_CAL_OPT_KEYWORD; //附加计算标志LPCSTR lpText = (LPCSTR)strText ;bool bSuccess = HLSplitWord (hHandle, lpText, iExtraCalcFlag);int nKeyCnt = HLGetFileKeyCnt (hHandle) ; //获取关键词个数for(int j = 0 ; j < nKeyCnt ; j++){SHLSegWord* pKey = HLGetFileKeyAt(hHandle,j);//获得单个关键词CString strKey ;strKey.Format(“ %s %f”,pKey->s_szWord ,pKey->s_fWeight) ;……………………….}HLCloseSplit(hHandle) ;//关闭分词句柄2．1．4计算语义指纹伪码// 略去分词初始化部分HANDLE hHandle = HLOpenSplit(); //创建分词句柄if(hHandle == INV ALID_HANDLE_V ALUE){//创建分词句柄失败AfxMessageBox(_T("创建分词句柄失败!"));HLFreeSplit () ;//卸载分词字典return ;}Cstring strFinger ;int iExtraCalcFlag =HL_CAL_OPT_FINGER; //附加计算标志LPCSTR lpText = (LPCSTR)strText ;bool bSuccess = HLSplitWord (hHandle, lpText, iExtraCalcFlag);LPBYTE pData ;unsigned long nDataLen ;if(HLGetFingerM (hHandle,pData,nDataLen)){for(int j = 0 ; j < nDataLen ; j++){CString strFData ;strFData.Format("%2.2x ",pData[j]);strFinger += strFData ;}}HLCloseSplit (hHandle) ;//关闭分词句柄输出结果(语义指纹)：f9 24 6c 3e af fc e0 ed 56 2f a7 53 6b 12 ea 11第三章分词基础件提供的接口描述3.1．基本接口基本接口是指使用此软件包所需的基本功能函数，共包括四个接口：1. bool HLSplitInit (const char* lpszDataFilePath = NULL)功能描述：初始化海量分词系统，加载分词用数据。

参数说明：lpszDataFilePath [IN] 分词数据文件路径(不包括文件名)。

当lpszDataFilePath为NULL时，先搜索内存中是否存在分词数据字典，若存在不再加载；若不存在，加载DLL目录下的字典文件。

返回值：成功标志，成功返回true，否则返回false。

说明：如果初始化失败，通常的原因是初始化路径不正确或数据文件遭到破坏。

初始化成功后，可进行多次分词，在不再进行分词时，调用HLFreeSplit函数卸载分词系统。

其他相关函数：HLFreeSplit使用例程：参见HLCloseSplit2. void HLFreeSplit(void);功能描述：卸载海量自动中文分词系统，释放分词系统所占资源。

参数说明：无。

返回值：无。

其他相关函数：HLSplitInit使用例程：参见HLCloseSplit3. HANDLE HLOpenSplit();功能描述：创建自动中文分词结果句柄。

参数说明：无返回值：返回创建的分词结果句柄，创建失败返回INVALID_HANDLE_VALUE。

说明：调用此接口前请保证分词词典已加载成功。

其他相关函数：HLCloseSplit HLSplitWord HLGetWordCnt使用例程：参见HLCloseSplit4. void HLCloseSplit(HANDLE hHandle);功能描述：关闭分词结果句柄, 释放分词结果所占资源。