產品資訊
2019.12.06

盟立大數據解決方案

現今企業在面對各種複雜的智慧服務下,迫使著企業不斷的透過物聯網技術來收集各項數據,也隨著各項數據越來越龐大,企業要如何來運用此資料來探勘、挖掘其中之商機,是現今企業經營未來所追逐的目標。
 

企業該如何著手來進行大數據呢?

第一:是否已經有明確的問題,例如:如何提高商品銷售量、製程良率分析、改善作業工時效率、各營運點因環境差異如何做物料篩選…..等,各種企業管理問題期待能透過分析數據來找出答案,所以,得想好了要解決的問題才能對症下藥。

第二:參與大數據的導入者及同仁須充分了解其問題所影響到的相關組織及能剖析作業流程,同時也須改變其思維,不能憑藉著過往的經驗來做判斷,以數據所呈現的狀況來做基礎,進而做出決策結論,更能將此經驗傳承下去。

第三:如何進行大數據系統建置規劃,此項歸類於特殊專案,企業內部進行能力及技術評估作業,如以下幾點:( 一 ) 是公司內部是否具有此類專業性人才。( 二 ) 做選商評選,聘請外部專家團隊來進行系統建置,協助建立大數據分析運作算平台。( 三 ) 根據要分析的主題,匯入各項分項系統資料做 ETL ( 描述從資料從來源端經過萃取(extract)、轉置(transform)、載入(load)至目的端的過程,進行自動化程式系統界接。( 四 ) 建立模型 ( Modeling ),是設計者對問題的解決想法,用數學來解釋,用程式程序來來實現。 ( 五 ) 透過BI ( 商業智慧 ) 意指能透過資料的淬取、整合及分析,協助支援決策過程的技術和商業處理流程,其產出數據分析的結果,能以數值或是各類的圖形化介面來作呈現。

第四:解讀數據,大數據分析不是只對數據進行分析,而是要從數據中查看發掘出對應解決企業未來發展問題的剖析,資訊技術同仁協助前端各大營銷、製造部門以堅強穩固的資訊服務能力來支撐整體企業資訊架構,讓資料流能快速地能被前線運營單位快速被取得,快速動態調整企業作戰方針。
 

大數據系統資料庫介紹:

建立一套大數系統,通常都會忽略掉選擇合適的資料庫,在此解紹幾種目前當紅之資料庫格式,也是各家大廠一致稱讚的新式NoSQL資料庫,NoSQL 資料庫是為特定資料模型而建立,並且具有構建新型應用程式的彈性結構。此類型之資料庫可彈性地運用在於各種資料模型,包括文件、圖形、鍵值、內存和搜尋等類型。目前有4種較受到關注的NoSQL資料庫有Key-Value資料庫、記憶體資料庫、圖學資料庫和文件資料庫等四種類型,對應目前市場上常聽到的產品有Key-Value資料庫:Google BigTable 、Hadoop HBase (Cloudera、Hortonworks)、Apache Cassandra (商用版Datastax)…等。記憶體資料庫:MemSQL 、VoltDB 、Redis ….等。圖學資料庫:Neo4j、Amazon Neptune、AllegroGrph…等。文件資料庫:MongoDB、Riak、Couchbase、Amazon DocumentDB….等。每一種的資料庫都有不同的使用場景,需先能了解前端運營、製造單位所要解決的問題,方能選擇合適使用的。

再來提到的是如何在大數據中建立微服務,敏捷式的微服務大數據目的是:一是快速、二是初始資料小、三是驗證,這樣能夠在明確目標下快速做出塑模及分析,證明有效之後再進行擴張來形成反饋效應。如何從系統架構的角度來構建靈活、易擴展的系統,快速應對需求的變化,在隨著當用戶數增加,又要確保系統的可伸縮性、高可用性,成為系統架構面臨的挑戰。微服務架構強調的重點是將系統徹底的組件化和服務化,原有的單系統會被拆分為多個可以獨立開發,設計,運行和運維的小應用,這些小應用之間通過服務完成交互和集成。

運用容器化架構及微服務架構,可升級企業 IT 環境,將應用程式從基礎架構中分離,大名鼎鼎的Docker開源軟體即是,它將應用程式做成自動化且可快速部署並為一種可攜式且可自足的容器,亦可在雲端或內部部署上執行。Google 的 Kubernetes (K8s)在容器的編排和工作負載轉移上都是業界先驅,能夠同時滿足敏捷式開發和企業團隊營運的需求,迅速成為能夠跨平台執行應用程式的標準,是眾多平台的基礎。決策者關注的是整體系統的穩定性及可控性,確保整個 IT 服務可以穩定支撐企業的業務發展,也能針對各種系統維運的潛在風險,進行監督、控制和調節。

現今大多數企業在資訊架構上都從實體機環境已轉換到虛擬化環境(physical to virtual, P2V),以便於管控公司內部各大系統的執行環境及資源調度。在過去的應用程式架構設計,往往一個作業系統上能夠執行一個系統就已經足夠。然而,在微服務架構下,單體系統架構會被拆開變成多個微小服務,應用程式的實例數量會因此進一步提升。此時,需要擁有能管控「應用程式」層級的環境,才能應付「大量微型服務」的管理需求,且盡可能地減少運算資源的消耗。在這樣的需求下,通常就會建議導入容器技術(Container technology)以管理「巨量的服務實例」,而現在業界主流趨勢,皆採用 Kubernetes(K8S) 做為容器管理平台。

資料收集與大數據應用是一個相當常見的場景,由於資料收集量日漸龐大、分析資料的需求也日益增加,面對即時資料流的處理分析是新趨勢,在處理流程中更是一種高頻率且不斷需要變更、升級和調校,而舊的制式工具和架構缺乏足夠彈性和擴充性來滿足。多數大型企業,會碰到的資料來源都是透過跨境、跨區、跨系統的情況,這時系統整合就是一個大的難題。而微服務架構可以提供彈性的方法,讓資料工程師、資料分析師以及應用程式開發設計者,快速且更容易的來做到數據交換及設計資料處理流程。

結語
大數據這股風潮方興未艾,科技不斷的快速在進步、轉變,企業無不想藉著搭著這班科技列車向前探索,科技也將帶來了各項的挑戰,在企業中最重要的人才,人才將科技中之「連結性」與「可更新性」鏈結起來,透過據數分析平台來讓每個人都能得到最新資訊,將可能創造出龐大的企業優勢。最終,我們都將從大數據分析中獲益。若有任何想進一步了解之處,本公司業務與技術服務團隊,歡迎您隨時與我們聯繫
TOP goTop
WeChat QRcode

偵測到您已關閉Cookie,為提供最佳體驗,建議您使用Cookie瀏覽本網站以便使用本站各項功能

本公司遵循中華民國個人資料保護法相關規範,嚴格保護您的隱私並確保您的個人資料受到保護。本公司將定期更新隱私權政策,以遵循該個人資料保護法,請您參照我們最新版的隱私權聲明。本網站使用cookies以提供更好的瀏覽體驗,如需了解更多關於本網站如何使用cookies 請按 這裏