請問資料量較大的使用者統計方案

來源:互聯網
上載者:User
請教資料量較大的使用者統計方案
比如某個應用有500W的使用者。
每天會產生500個txt檔案,每個檔案對應一個使用者的操作記錄,檔案內容包括(使用者名稱,ip,訪問頁面,mac,訪問時間長度等欄位)
現在要對這500W個檔案內容進行資料統計篩選,有什麼好的解決方案嗎。

我現在能想到的是將這些資料匯入到MYSQL資料庫,然後再統計篩選,但資料量太大,不知道是否可行。還有如何快速匯入資料庫也是個問題。



------解決方案--------------------
學習一下 還沒遇到過這種數量級的使用者
  • 聯繫我們

    該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

    如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

    A Free Trial That Lets You Build Big!

    Start building with 50+ products and up to 12 months usage for Elastic Compute Service

    • Sales Support

      1 on 1 presale consultation

    • After-Sales Support

      24/7 Technical Support 6 Free Tickets per Quarter Faster Response

    • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.