科學(xué)計算環(huán)境文件傳輸和共享服務(wù)
摘要:新的科研和工程活動(dòng)正在以越來(lái)越快的速度產(chǎn)出海量并且多樣化的數據,這些數據帶來(lái)巨大的計算需求并且迅速增長(cháng),數據傳輸時(shí)間占作業(yè)處理時(shí)間的比例越來(lái)越大。本文面向中國科學(xué)院科學(xué)計算環(huán)境,針對計算環(huán)境中幾百MB到GB量級的數據文件傳輸耗時(shí)長(cháng)、網(wǎng)絡(luò )不穩定和數據共享等問(wèn)題,設計和實(shí)現基于微服務(wù)架構的文件傳輸和共享服務(wù),提供一組簡(jiǎn)單易用的REST開(kāi)發(fā)接口,包括文件傳輸、管理、共享、統計等服務(wù)。該服務(wù)的目標是提升作業(yè)數據文件的傳輸效率和在線(xiàn)分享能力,為多學(xué)科領(lǐng)域的開(kāi)發(fā)人員提供簡(jiǎn)單易用的數據開(kāi)發(fā)服務(wù),為用戶(hù)提供簡(jiǎn)單靈活的數據傳輸和共享服務(wù)。理論分析和實(shí)驗表明,該服務(wù)簡(jiǎn)單易用并具備良好的可擴展性,能夠根據負載變化而動(dòng)態(tài)擴展文件傳輸微服務(wù)。
注: 保護知識產(chǎn)權,如需閱讀全文請聯(lián)系科研信息化技術(shù)與應用雜志社