solr - data analysis

solr - data analysis

新建Core Admin之后，分析Core Admin磁盘大小

solr 目录：/home/bill/solr-7.7.2/server/solr

[bill@server solr]$ pwd/home/bill/solr-7.7.2/server/solr

显示solr目录中全部文件，test001是新创建的Core Admin

[bill@server solr]$ lltotal 4drwxr-xr-x 4 m300381 usergrp 57 May 16 2019 configsets-rw-r--r-- 1 m300381 usergrp 3018 May 16 2019 README.txt-rw-r--r-- 1 m300381 usergrp 2180 May 16 2019 solr.xmldrwxr-xr-x 4 m300381 usergrp 53 Mar 5 03:30 test001-rw-r--r-- 1 m300381 usergrp 975 May 16 2019 zoo.cfg

[bill@server test001]$ pwd/home/bill/solr-7.7.2/server/solr/test001

solr目录下所有文件/文件夹大小详情，新创建test001的文件夹大小为336k。

[bill@server solr]$ du -h --max-depth=4 *...1020K configsets4.0K README.txt4.0K solr.xml336K test0014.0K zoo.cfg

查看test001文件夹构成详细：

[bill@server solr]$ du -h --max-depth=4 *200K configsets/_default/conf/lang328K configsets/_default/conf328K configsets/_default16K configsets/sample_techproducts_configs/conf/clustering/carrot216K configsets/sample_techproducts_configs/conf/clustering204K configsets/sample_techproducts_configs/conf/lang176K configsets/sample_techproducts_configs/conf/velocity36K configsets/sample_techproducts_configs/conf/xslt692K configsets/sample_techproducts_configs/conf692K configsets/sample_techproducts_configs1020K configsets4.0K README.txt4.0K solr.xml200K test001/conf/lang328K test001/conf0 test001/data/snapshot_metadata4.0K test001/data/index0 test001/data/tlog4.0K test001/data336K test0014.0K zoo.cfg

对以上信息进行分类汇总，得到以下小结。

[bill@server solr]$ du -h --max-depth=4 *...200K test001/conf/lang328K test001/conf0 test001/data/snapshot_metadata4.0K test001/data/index0 test001/data/tlog4.0K test001/data336K test001

插入数据集后，分析Core Admin磁盘大小

插入数据集信息

插入之后，test001文件夹大小。test001从336k变为105M。

[bill@server solr]$ du -h --max-depth=1*1020K ./configsets105M ./test001

[bill@server test001]$ du -h --max-depth=5 *200K conf/lang312K conf4.0K core.properties0 data/snapshot_metadata82M data/index24M data/tlog105M data

data目录是最大的目录，solr查询数据就是从data目录的index开始。

查看data/index目录详情：

[bill@server index]$ lltotal 83184-rw-r--r-- 1 bill usergrp 15123 Mar 6 10:49 _0_1.liv-rw-r--r-- 1 bill usergrp 10451972 Mar 6 10:49 _0.fdt-rw-r--r-- 1 bill usergrp 17932 Mar 6 10:49 _0.fdx-rw-r--r-- 1 bill usergrp 740 Mar 6 10:49 _0.fnm-rw-r--r-- 1 bill usergrp 945866 Mar 6 10:49 _0_Lucene50_0.doc-rw-r--r-- 1 bill usergrp 2702220 Mar 6 10:49 _0_Lucene50_0.pos-rw-r--r-- 1 bill usergrp 21353350 Mar 6 10:49 _0_Lucene50_0.tim-rw-r--r-- 1 bill usergrp 105022 Mar 6 10:49 _0_Lucene50_0.tip-rw-r--r-- 1 bill usergrp 1154391 Mar 6 10:49 _0_Lucene70_0.dvd-rw-r--r-- 1 bill usergrp 644 Mar 6 10:49 _0_Lucene70_0.dvm-rw-r--r-- 1 bill usergrp 120522 Mar 6 10:48 _0.nvd-rw-r--r-- 1 bill usergrp 100 Mar 6 10:48 _0.nvm-rw-r--r-- 1 bill usergrp 522 Mar 6 10:49 _0.si-rw-r--r-- 1 bill usergrp 9803949 Mar 6 10:49 _1.fdt-rw-r--r-- 1 bill usergrp 14245 Mar 6 10:49 _1.fdx-rw-r--r-- 1 bill usergrp 740 Mar 6 10:49 _1.fnm-rw-r--r-- 1 bill usergrp 633091 Mar 6 10:49 _1_Lucene50_0.doc-rw-r--r-- 1 bill usergrp 2108878 Mar 6 10:49 _1_Lucene50_0.pos-rw-r--r-- 1 bill usergrp 19678690 Mar 6 10:49 _1_Lucene50_0.tim-rw-r--r-- 1 bill usergrp 89713 Mar 6 10:49 _1_Lucene50_0.tip-rw-r--r-- 1 bill usergrp 1168394 Mar 6 10:49 _1_Lucene70_0.dvd-rw-r--r-- 1 bill usergrp 644 Mar 6 10:49 _1_Lucene70_0.dvm-rw-r--r-- 1 bill usergrp 130649 Mar 6 10:49 _1.nvd-rw-r--r-- 1 bill usergrp 100 Mar 6 10:49 _1.nvm-rw-r--r-- 1 bill usergrp 522 Mar 6 10:49 _1.si-rw-r--r-- 1 bill usergrp 744429 Mar 6 10:49 _2.fdt-rw-r--r-- 1 bill usergrp 1109 Mar 6 10:49 _2.fdx-rw-r--r-- 1 bill usergrp 740 Mar 6 10:49 _2.fnm-rw-r--r-- 1 bill usergrp 51480 Mar 6 10:49 _2_Lucene50_0.doc-rw-r--r-- 1 bill usergrp 160589 Mar 6 10:49 _2_Lucene50_0.pos-rw-r--r-- 1 bill usergrp 1440220 Mar 6 10:49 _2_Lucene50_0.tim-rw-r--r-- 1 bill usergrp 7400 Mar 6 10:49 _2_Lucene50_0.tip-rw-r--r-- 1 bill usergrp 84838 Mar 6 10:49 _2_Lucene70_0.dvd-rw-r--r-- 1 bill usergrp 643 Mar 6 10:49 _2_Lucene70_0.dvm-rw-r--r-- 1 bill usergrp 10090 Mar 6 10:49 _2.nvd-rw-r--r-- 1 bill usergrp 100 Mar 6 10:49 _2.nvm-rw-r--r-- 1 bill usergrp 522 Mar 6 10:49 _2.si-rw-r--r-- 1 bill usergrp 3194601 Mar 6 10:49 _3.fdt-rw-r--r-- 1 bill usergrp 4349 Mar 6 10:49 _3.fdx-rw-r--r-- 1 bill usergrp 740 Mar 6 10:49 _3.fnm-rw-r--r-- 1 bill usergrp 159434 Mar 6 10:49 _3_Lucene50_0.doc-rw-r--r-- 1 bill usergrp 381113 Mar 6 10:49 _3_Lucene50_0.pos-rw-r--r-- 1 bill usergrp 7909525 Mar 6 10:49 _3_Lucene50_0.tim-rw-r--r-- 1 bill usergrp 30498 Mar 6 10:49 _3_Lucene50_0.tip-rw-r--r-- 1 bill usergrp 292336 Mar 6 10:49 _3_Lucene70_0.dvd-rw-r--r-- 1 bill usergrp 644 Mar 6 10:49 _3_Lucene70_0.dvm-rw-r--r-- 1 bill usergrp 34093 Mar 6 10:49 _3.nvd-rw-r--r-- 1 bill usergrp 100 Mar 6 10:49 _3.nvm-rw-r--r-- 1 bill usergrp 522 Mar 6 10:49 _3.si-rw-r--r-- 1 bill usergrp 1512 Mar 6 10:49 _4.fdt-rw-r--r-- 1 bill usergrp 84 Mar 6 10:49 _4.fdx-rw-r--r-- 1 bill usergrp 740 Mar 6 10:49 _4.fnm-rw-r--r-- 1 bill usergrp 287 Mar 6 10:49 _4_Lucene50_0.doc-rw-r--r-- 1 bill usergrp 300 Mar 6 10:49 _4_Lucene50_0.pos-rw-r--r-- 1 bill usergrp 3715 Mar 6 10:49 _4_Lucene50_0.tim-rw-r--r-- 1 bill usergrp 174 Mar 6 10:49 _4_Lucene50_0.tip-rw-r--r-- 1 bill usergrp 137 Mar 6 10:49 _4_Lucene70_0.dvd-rw-r--r-- 1 bill usergrp 722 Mar 6 10:49 _4_Lucene70_0.dvm-rw-r--r-- 1 bill usergrp 69 Mar 6 10:49 _4.nvd-rw-r--r-- 1 bill usergrp 100 Mar 6 10:49 _4.nvm-rw-r--r-- 1 bill usergrp 522 Mar 6 10:49 _4.si-rw-r--r-- 1 bill usergrp 463 Mar 6 10:49 segments_4-rw-r--r-- 1 bill usergrp 0 Mar 5 03:30 write.lock

solr是将数据库的数据通过一定的索引规则,转化成容易检索的本地文件,文件的后缀名为.fdt,然后我们通过solr去访问这些本地文件(这些都是由solr内部完成的)。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。