今年以來,國家統計局、各科研單位對大數據的研究和應用空前重視。國家統計局局長馬建堂多次強調,要充分認識大數據給政府統計帶來的歷史機遇和重要挑戰,按照“總體設計、牽頭攻關、先易后難、專業突破”的工作思路,積極主動利用海量電子化數據,加快推進統計現代化。本文試圖利用商品零售電子信息,探討改革CPI調查方法,以期獲得更加高效、準確、科學的CPI。
國內外CPI編制現狀簡析
編制CPI最主要的工作是搜集代表規格品的可比價格數據。目前,世界各國在價格采集的過程中,普遍采用的方式還是傳統的人工采價。人工采價方法簡單、可操作性強,但該方式也存在成本較高、時效性差、數據內容單一等缺陷。人工采價過程產生的誤差主要有:規格品的選取和替代時產生的誤差,采價員獲取實際成交價格時的技巧性誤差,采價員人工記錄數據產生的工作誤差,貨架或包裝標記的錯誤價格造成的誤差等。
隨著全球信息技術的發展,各國統計部門都在試圖利用信息化手段采集源頭數據。信息化采集能夠有效地降低調查成本,提高數據采集效率,為改進CPI的編制、計算方法提供條件,實現提高CPI數據質量的目標。英國、瑞典、荷蘭等歐洲國家利用掃描數據技術實現CPI數據的信息化采集。所謂掃描數據,即消費者在購物結算時,收銀員通過掃描設備對商品EAN碼(European Article Number,商品用條碼)掃描時所記錄的數據信息。由于掃描數據提供了諸如產品銷量、產品特性和產品價值等相關信息,為編制CPI基本分類指數提供了權重信息,擴大了編制CPI的數據來源。這種方法為利用國內連鎖超市的海量價格交易信息編制CPI提供了思路,同時避免了采用固定權重進行指數計算產生的誤差。
全面搜集商品交易信息,用所有商品交易的海量數據替代代表規格品價格數據,可以有效解決代表規格品對總體的代表性問題,也可以消除代表規格品替代時產生的誤差。2012年,國家統計局在全國推行PDA(CPI手持數據采集系統)采價,有效地提高了采價的工作效率和數據的時效性。但是,CPI手持數據采集系統依然無法擺脫人力成本的投入,從本質上來講,只是對傳統采價方式的信息化改進,而不是由信息化所導致的調查方式的根本性改革。
值得一提的是,現行的價格采集制度沒有將網絡銷售納入價格采集范圍,在一定程度上弱化了價格調查的代表性。據中國互聯網絡信息中心(CNNIC)發布的《2012年中國網絡購物市場研究報告》顯示,截至2012年12月底,我國網絡購物用戶規模為2.42億,網民使用網絡購物的比例提升至42.9%。2012年,我國網絡購物市場交易金額達到12594億元,較2011年增長66.5%。2012年網絡零售市場交易總額占社會消費品零售總額的6.1%。將網絡交易商品納入CPI調查內容,是順應消費者消費心理和消費習慣變化的一種必然趨勢。
從編制方法看,目前采用固定權重加權平均的方式進行計算,未考慮產品質量改進、替代偏誤和新產品推出的影響,僵化的固定權重設計,不能靈敏地反映當年消費結構特點,也掩蓋了季節性的消費結構變化,影響了CPI的數據質量。
應用大數據技術進行CPI調查改革的原則
以射頻識別(RFID)、紅外感應器、全球定位系統、激光掃描器等信息傳感設備為數據采集媒介的物聯網技術,大大提高了數據采集的智能化水平。在大數據時代,CPI調查數據主要來源于信息技術記錄下的原始數據,依賴于數據采集終端(如商場超市收銀管理系統、網絡實時交易系統、稅務發票實時機打系統、住戶電子記賬系統等),還能改進和完善限額以上批發零售貿易業一套表網上直報系統,從中獲取可靠的信息,而不需要采價員長期、連續地直接采價。云計算技術的運用日趨成熟,為海量數據提供了強大的計算能力和數據存儲能力,這些都為應用大數據技術編制CPI提供了條件。加強CPI調查改進工作的研究,啟動試點并適時推廣,正逢其時。
與發達國家相比,我國存在不容忽視的特殊情況和困難。以英國、荷蘭為例,目前英國市場上4家大型連鎖超市占據了76.8%的市場份額,消費者日常購物一般都在連鎖超市進行;荷蘭連鎖超市企業執行統一的全國定價策略,絕大多數規格品的價格在所有分店都是一樣的。而我國存在著一個巨大的農村市場,信息化程度低,連鎖超市的普及尚需時日。即使只考慮城鎮市場,眾多零售企業與網點,濃重的地域色彩與差異仍是我國的現實國情,與國外幾家大型連鎖企業控制大部分市場份額的經營狀況不同。這些都會為我國大規模利用信息化手段進行CPI數據采集造成困難。因此,應用大數據技術改革CPI調查方法,應遵循以下原則。
其一,大膽實踐,局部突破。雖然我國的信息化水平與發達國家有一定的差距,但是今年來有了長足的發展,并將進入更快的發展時期,為大數據理論和應用創造了基本條件,應當大膽實踐,在個別地區(城市)進行試點,待取得成功并積累一定經驗后,再逐步推廣。
其二,方法先行,制度跟進。先從數據獲取的方法入手,即從技術層面入手,充分利用電子信息,探索信息搜集方法和手段,逐步形成操作典范和統計制度,為全面推廣打下基礎。
其三,新舊并存,逐漸過渡。在試點工作初期,信息化數據采集只能起到主要作用,會有一些CPI調查源頭數據難以全部用信息化手段進行數據采集,可以用人工采價作為補充。新方法編制的CPI可與傳統CPI相互印證,共同促進數據質量的提高,并逐漸過渡,實現用大數據的方法計算CPI替代用傳統方法編制CPI。
大數據為改進CPI調查制度方法提供新思路
利用超市、商場、網絡交易平臺等消費終端管理系統的實時交易數據,加權計算消費品分類價格指數,再結合本地區居民消費結構,計算消費價格指數的方法,是對現行CPI調查制度中人工采價方法和“同質可比”問題的突破。將不再花費大量的人力、物力進行規格品的選取、替代和采價等工作。運用大數據理論、技術解決CPI調查中的突出問題,為改進CPI調查制度和工作方法提供了新思路。
一是實現CPI數據從“人工采集”到“信息化采集”。隨著我國城鎮化和信息化的高速發展,大型國際連鎖超市、區域連鎖超市的興起和普及,網絡零售市場交易總額的不斷擴大,住戶電子記賬系統的推廣應用,將實時交易價格數據通過聯網直報的方式上報至數據存儲和處理中心,逐步實現CPI調查數據的信息化采集,解放統計生產力。
二是建立統一的商品分類方式。CPI統計采用固定權重的拉氏指數計算方法,包含8個商品分類。而阿里巴巴集團研究中心推出的ISPI(網絡零售價格指數),是采用國際統計學界與宏觀經濟學界廣為接受的鏈式加權拉氏(Laspeyres)指數法,下設有10個商品和服務分類(食品、煙酒及用品、衣著、家庭設備用品及維修服務、醫療保健和個人用品、交通和通信、娛樂教育文化用品及服務、居住、辦公用品及服務、愛好收藏投資等)。商場、超市、網絡交易平臺的商品分類方式各不相同,與CPI統計的分類方式存在一定的差異。嘗試建立商場、超市以及網絡交易平臺商品的分類方式和CPI統計的分類方式的對應關系,是實現商品零售數據信息聯網直報的基礎。在此基礎上,可以實現終端商品信息數據庫與數據處理中心數據庫的對接,保持商品數據信息的實時更新狀態,將更精準地反映價格變動趨勢。
三是根據海量數據分析確定CPI權重和編制方法。全國不同地區經濟發展水平不同,消費結構差異較大。ISPI(網絡零售價格指數)采用鏈式加權,考慮了權重的動態變化,商品籃子和權重會適時作出調整。從2010年至今的數據走勢看,ISPI與官方CPI環比指數呈現聯動關系,在關鍵轉折點上還呈現一定的領先態勢,既能反映整體價格變化,又能體現季節性及消費結構特點。
四是建立CPI數據挖掘應用平臺。在利用大數據編制CPI的同時,應當借鑒淘寶數據分析平臺的成功做法,建立CPI數據挖掘應用平臺,對海量商品交易信息進行挖掘分析,盡早發現消費趨勢和價格走勢的動態變化規律,對市場異動情況進行預警,為廣大消費者和企業經營者提供代表性更強、涉及面更寬的數據服務,有效拓展服務領域。這也是在大數據背景下所獨有的一種新型能力和優勢。
國內外CPI編制現狀簡析
編制CPI最主要的工作是搜集代表規格品的可比價格數據。目前,世界各國在價格采集的過程中,普遍采用的方式還是傳統的人工采價。人工采價方法簡單、可操作性強,但該方式也存在成本較高、時效性差、數據內容單一等缺陷。人工采價過程產生的誤差主要有:規格品的選取和替代時產生的誤差,采價員獲取實際成交價格時的技巧性誤差,采價員人工記錄數據產生的工作誤差,貨架或包裝標記的錯誤價格造成的誤差等。
隨著全球信息技術的發展,各國統計部門都在試圖利用信息化手段采集源頭數據。信息化采集能夠有效地降低調查成本,提高數據采集效率,為改進CPI的編制、計算方法提供條件,實現提高CPI數據質量的目標。英國、瑞典、荷蘭等歐洲國家利用掃描數據技術實現CPI數據的信息化采集。所謂掃描數據,即消費者在購物結算時,收銀員通過掃描設備對商品EAN碼(European Article Number,商品用條碼)掃描時所記錄的數據信息。由于掃描數據提供了諸如產品銷量、產品特性和產品價值等相關信息,為編制CPI基本分類指數提供了權重信息,擴大了編制CPI的數據來源。這種方法為利用國內連鎖超市的海量價格交易信息編制CPI提供了思路,同時避免了采用固定權重進行指數計算產生的誤差。
全面搜集商品交易信息,用所有商品交易的海量數據替代代表規格品價格數據,可以有效解決代表規格品對總體的代表性問題,也可以消除代表規格品替代時產生的誤差。2012年,國家統計局在全國推行PDA(CPI手持數據采集系統)采價,有效地提高了采價的工作效率和數據的時效性。但是,CPI手持數據采集系統依然無法擺脫人力成本的投入,從本質上來講,只是對傳統采價方式的信息化改進,而不是由信息化所導致的調查方式的根本性改革。
值得一提的是,現行的價格采集制度沒有將網絡銷售納入價格采集范圍,在一定程度上弱化了價格調查的代表性。據中國互聯網絡信息中心(CNNIC)發布的《2012年中國網絡購物市場研究報告》顯示,截至2012年12月底,我國網絡購物用戶規模為2.42億,網民使用網絡購物的比例提升至42.9%。2012年,我國網絡購物市場交易金額達到12594億元,較2011年增長66.5%。2012年網絡零售市場交易總額占社會消費品零售總額的6.1%。將網絡交易商品納入CPI調查內容,是順應消費者消費心理和消費習慣變化的一種必然趨勢。
從編制方法看,目前采用固定權重加權平均的方式進行計算,未考慮產品質量改進、替代偏誤和新產品推出的影響,僵化的固定權重設計,不能靈敏地反映當年消費結構特點,也掩蓋了季節性的消費結構變化,影響了CPI的數據質量。
應用大數據技術進行CPI調查改革的原則
以射頻識別(RFID)、紅外感應器、全球定位系統、激光掃描器等信息傳感設備為數據采集媒介的物聯網技術,大大提高了數據采集的智能化水平。在大數據時代,CPI調查數據主要來源于信息技術記錄下的原始數據,依賴于數據采集終端(如商場超市收銀管理系統、網絡實時交易系統、稅務發票實時機打系統、住戶電子記賬系統等),還能改進和完善限額以上批發零售貿易業一套表網上直報系統,從中獲取可靠的信息,而不需要采價員長期、連續地直接采價。云計算技術的運用日趨成熟,為海量數據提供了強大的計算能力和數據存儲能力,這些都為應用大數據技術編制CPI提供了條件。加強CPI調查改進工作的研究,啟動試點并適時推廣,正逢其時。
與發達國家相比,我國存在不容忽視的特殊情況和困難。以英國、荷蘭為例,目前英國市場上4家大型連鎖超市占據了76.8%的市場份額,消費者日常購物一般都在連鎖超市進行;荷蘭連鎖超市企業執行統一的全國定價策略,絕大多數規格品的價格在所有分店都是一樣的。而我國存在著一個巨大的農村市場,信息化程度低,連鎖超市的普及尚需時日。即使只考慮城鎮市場,眾多零售企業與網點,濃重的地域色彩與差異仍是我國的現實國情,與國外幾家大型連鎖企業控制大部分市場份額的經營狀況不同。這些都會為我國大規模利用信息化手段進行CPI數據采集造成困難。因此,應用大數據技術改革CPI調查方法,應遵循以下原則。
其一,大膽實踐,局部突破。雖然我國的信息化水平與發達國家有一定的差距,但是今年來有了長足的發展,并將進入更快的發展時期,為大數據理論和應用創造了基本條件,應當大膽實踐,在個別地區(城市)進行試點,待取得成功并積累一定經驗后,再逐步推廣。
其二,方法先行,制度跟進。先從數據獲取的方法入手,即從技術層面入手,充分利用電子信息,探索信息搜集方法和手段,逐步形成操作典范和統計制度,為全面推廣打下基礎。
其三,新舊并存,逐漸過渡。在試點工作初期,信息化數據采集只能起到主要作用,會有一些CPI調查源頭數據難以全部用信息化手段進行數據采集,可以用人工采價作為補充。新方法編制的CPI可與傳統CPI相互印證,共同促進數據質量的提高,并逐漸過渡,實現用大數據的方法計算CPI替代用傳統方法編制CPI。
大數據為改進CPI調查制度方法提供新思路
利用超市、商場、網絡交易平臺等消費終端管理系統的實時交易數據,加權計算消費品分類價格指數,再結合本地區居民消費結構,計算消費價格指數的方法,是對現行CPI調查制度中人工采價方法和“同質可比”問題的突破。將不再花費大量的人力、物力進行規格品的選取、替代和采價等工作。運用大數據理論、技術解決CPI調查中的突出問題,為改進CPI調查制度和工作方法提供了新思路。
一是實現CPI數據從“人工采集”到“信息化采集”。隨著我國城鎮化和信息化的高速發展,大型國際連鎖超市、區域連鎖超市的興起和普及,網絡零售市場交易總額的不斷擴大,住戶電子記賬系統的推廣應用,將實時交易價格數據通過聯網直報的方式上報至數據存儲和處理中心,逐步實現CPI調查數據的信息化采集,解放統計生產力。
二是建立統一的商品分類方式。CPI統計采用固定權重的拉氏指數計算方法,包含8個商品分類。而阿里巴巴集團研究中心推出的ISPI(網絡零售價格指數),是采用國際統計學界與宏觀經濟學界廣為接受的鏈式加權拉氏(Laspeyres)指數法,下設有10個商品和服務分類(食品、煙酒及用品、衣著、家庭設備用品及維修服務、醫療保健和個人用品、交通和通信、娛樂教育文化用品及服務、居住、辦公用品及服務、愛好收藏投資等)。商場、超市、網絡交易平臺的商品分類方式各不相同,與CPI統計的分類方式存在一定的差異。嘗試建立商場、超市以及網絡交易平臺商品的分類方式和CPI統計的分類方式的對應關系,是實現商品零售數據信息聯網直報的基礎。在此基礎上,可以實現終端商品信息數據庫與數據處理中心數據庫的對接,保持商品數據信息的實時更新狀態,將更精準地反映價格變動趨勢。
三是根據海量數據分析確定CPI權重和編制方法。全國不同地區經濟發展水平不同,消費結構差異較大。ISPI(網絡零售價格指數)采用鏈式加權,考慮了權重的動態變化,商品籃子和權重會適時作出調整。從2010年至今的數據走勢看,ISPI與官方CPI環比指數呈現聯動關系,在關鍵轉折點上還呈現一定的領先態勢,既能反映整體價格變化,又能體現季節性及消費結構特點。
四是建立CPI數據挖掘應用平臺。在利用大數據編制CPI的同時,應當借鑒淘寶數據分析平臺的成功做法,建立CPI數據挖掘應用平臺,對海量商品交易信息進行挖掘分析,盡早發現消費趨勢和價格走勢的動態變化規律,對市場異動情況進行預警,為廣大消費者和企業經營者提供代表性更強、涉及面更寬的數據服務,有效拓展服務領域。這也是在大數據背景下所獨有的一種新型能力和優勢。