如何解析300M+的XML文件？-php教程-PHP中文网

如何解析300M+的XML文件？

php中文网

发布： 2016-06-06 20:35:05

原创

1526人浏览过

背景：
1、手上有几个大的xml文件，基本都在300M至600M之间；
2、XML内容包括title,co-author,abstract,Affiliation等；
3、用的是xmlreader进行解析；

遇到的问题：
如果解析所有内容，经常只能把XML文件的一部分解析出来，似乎是内存不够的迹象；
如果只把title或Affiliation单独解析出来，就能全部解析XML文件；

附上代码：

<code>set_time_limit(0);
header("Content-Type: text/html;charset=utf-8");
$num=0;
$reader = new XMLReader();
$reader->open("JACS.xml");
while ($reader->read()) {

    if($reader->nodeType==XMLREADER::ELEMENT) {
             if ($reader->localName == "PubmedArticle") {
                  $num++;
                  echo 'Number:'.$num;
                    while ($reader->read()) {
                       if ($reader->nodeType == XMLREADER::ELEMENT) {
                                if ($reader->localName == "PubDate") {
                                     while ($reader->read()){
                                         if ($reader->nodeType == XMLREADER::ELEMENT) {
                                               if ($reader->localName == "Year") {
                                                   $reader->read();
                                                   echo 'PublicationDate:'.$reader->value.' ';
                                                   break;
                                               }

                                         }
                                     }
                                     while ($reader->read()){
                                         if ($reader->nodeType == XMLREADER::ELEMENT) {
                                               if ($reader->localName == "Month") {
                                                   $reader->read();
                                                   echo $reader->value.' ';
                                                   break;
                                               }

                                         }
                                     }
                                     while ($reader->read()){
                                         if ($reader->nodeType == XMLREADER::ELEMENT) {
                                               if ($reader->localName == "Day") {
                                                   $reader->read();
                                                   echo $reader->value;
                                                   break;
                                               }

                                         }
                                     }
                                     echo '<br>';
                                     break;
                                   }

                            }
                        }

                    while ($reader->read()) {
                       if ($reader->nodeType == XMLREADER::ELEMENT) {
                                if ($reader->localName == "Title") {
                                    $reader->read();
                                    echo 'JournalName:'.$reader->value.'<br>';
                                    break;
                                }

                       }
                    }

                    while ($reader->read()) {
                       if ($reader->nodeType == XMLREADER::ELEMENT) {
                                if ($reader->localName == "ArticleTitle") {
                                    $reader->read();
                                    echo 'ArticleTitle:'.$reader->value.'<br>';
                                    break;
                                }

                       }
                    }

                    while ($reader->read()) {
                       if ($reader->nodeType == XMLREADER::ELEMENT) {
                                if ($reader->localName == "AbstractText") {
                                    $reader->read();
                                    echo 'Abstract:'.$reader->value.'<br><br>';
                                    break;
                                }

                       }
                    }




                    while ($reader->read()) {
                       if ($reader->nodeType == XMLREADER::ELEMENT) {
                                if ($reader->localName == "Affiliation") {
                                    $reader->read();
                                    echo 'Affiliation:'.$reader->value.'<br><br>';
                                    break;
                                }

                       }
                    }

                  }
                }
            }
    $reader->close();
}
</code>

登录后复制

回复内容：

背景：
1、手上有几个大的xml文件，基本都在300M至600M之间；
2、XML内容包括title,co-author,abstract,Affiliation等；
3、用的是xmlreader进行解析；

附上代码：

<code>set_time_limit(0);
header("Content-Type: text/html;charset=utf-8");
$num=0;
$reader = new XMLReader();
$reader->open("JACS.xml");
while ($reader->read()) {

    if($reader->nodeType==XMLREADER::ELEMENT) {
             if ($reader->localName == "PubmedArticle") {
                  $num++;
                  echo 'Number:'.$num;
                    while ($reader->read()) {
                       if ($reader->nodeType == XMLREADER::ELEMENT) {
                                if ($reader->localName == "PubDate") {
                                     while ($reader->read()){
                                         if ($reader->nodeType == XMLREADER::ELEMENT) {
                                               if ($reader->localName == "Year") {
                                                   $reader->read();
                                                   echo 'PublicationDate:'.$reader->value.' ';
                                                   break;
                                               }

                                         }
                                     }
                                     while ($reader->read()){
                                         if ($reader->nodeType == XMLREADER::ELEMENT) {
                                               if ($reader->localName == "Month") {
                                                   $reader->read();
                                                   echo $reader->value.' ';
                                                   break;
                                               }

                                         }
                                     }
                                     while ($reader->read()){
                                         if ($reader->nodeType == XMLREADER::ELEMENT) {
                                               if ($reader->localName == "Day") {
                                                   $reader->read();
                                                   echo $reader->value;
                                                   break;
                                               }

                                         }
                                     }
                                     echo '<br>';
                                     break;
                                   }

                            }
                        }

                    while ($reader->read()) {
                       if ($reader->nodeType == XMLREADER::ELEMENT) {
                                if ($reader->localName == "Title") {
                                    $reader->read();
                                    echo 'JournalName:'.$reader->value.'<br>';
                                    break;
                                }

                       }
                    }

                    while ($reader->read()) {
                       if ($reader->nodeType == XMLREADER::ELEMENT) {
                                if ($reader->localName == "ArticleTitle") {
                                    $reader->read();
                                    echo 'ArticleTitle:'.$reader->value.'<br>';
                                    break;
                                }

                       }
                    }

                    while ($reader->read()) {
                       if ($reader->nodeType == XMLREADER::ELEMENT) {
                                if ($reader->localName == "AbstractText") {
                                    $reader->read();
                                    echo 'Abstract:'.$reader->value.'<br><br>';
                                    break;
                                }

                       }
                    }




                    while ($reader->read()) {
                       if ($reader->nodeType == XMLREADER::ELEMENT) {
                                if ($reader->localName == "Affiliation") {
                                    $reader->read();
                                    echo 'Affiliation:'.$reader->value.'<br><br>';
                                    break;
                                }

                       }
                    }

                  }
                }
            }
    $reader->close();
}
</code>

登录后复制

可以参考一下这个 PHP处理比较大的XML文件

LimeSurvey在线问卷管理系统

LimeSurvey是一款在线问卷管理系统,具有问卷的设计、修改、发布、回收和统计等多项功能。同时它也是一个开源软件,其最新版本的软件包可以完全免费获取和使用。它集成了调查程序开发、调查问卷的发布以及数据收集等功能,使用它,用户不必了解这些功能的编程细节。网上收集的调查数据可以导出多种文件格式以便分析，例如 spss数据格式 *.dat文件。