国家科技成果网
热门搜索:  激光   高分子   石油   并网   纳米   太阳能光伏
扫描二维码关注国科网

国家科技成果网 首页 成果 查看内容

基于京东平台的电商交易信息采集系统

2016年 应用技术  成熟应用阶段
  • 成果简介
  1、本平台主要采用分布式Hadoop框架中的HDFS对信息采集网页进行分布式存储,然后基于HDFS文件系统,采用Map/Reduce计算模型将信息采集任务交由多台机器节点,其中一个节点是主节点,负责整个系统的调度和任务分配,其他每个节点都可以看成是一个集中式信息采集群负责采集网页内容,并将下载的网页存放在本地磁盘上,每个节点都和主节点保持通信。
  2、针对目前大多网页都采用了Aj...
相关成果

标签云

相关机构

Copyright 2001-2020 All Rights Reserved© 国科网 版权所有
国家科技成果信息服务平台 主管单位:科学技术部火炬高技术产业开发中心
京ICP备09035943号-33 京公网安备110401400097
在线客服系统