<div dir="ltr">Hello<div><br></div><div>STEP uses stemming to improve search results, in some queries (whether on Sword modules or otherwise).</div><div><br></div><div>There are currently 2 limitations in JSword, both of which could easily be fixed. Please let me know if you have concerns around me implementing both.</div>
<div><br></div><div>a- the frontend can&#39;t extend/control the use of indexes. I&#39;m suggesting we add a registerFieldIndexer(fieldIndexer) with a simple interface: indexField(doc, osis). This would allow frontends to specify its own indexing. This would allow a frontend to index new things, or enable term vectors / store fields, etc. </div>
<div><br></div><div>b- Extend the LuceneIndex to have a stemmed version of the heading. We could replace the existing index, but that would mean all frontends will require re-indexing.</div><div><br></div><div>c- Had JSword been configured to &#39;STORE&#39; the content of some fields, I would have used that for headings. For example, if the headings is stored in the index, STEP would not need to do an osis extract and XML transform to display to the user. It could come straight from the index. Two possibilities here: change the existing index field configuration, or duplicate into a different field.</div>
<div><br></div><div>d- the other side of c- is that ideally multiple headings should be stored in multiple entries to the same field, rather than a concatenation of the field (doesn&#39;t much matter if it&#39;s only ANALYZED)</div>
<div><br></div><div><b>I only need one of a- or b- to be able to progress. Happy to do either. I don&#39;t need c- because I&#39;ve worked around, but it would have been nice to have some control over that. </b></div><div>
<br></div><div>pros &amp; cons:</div><div>a- more extensible in the future, other frontends don&#39;t benefit from enhancements</div><div>b- solves an immediate problem, but impacts all frontends (i.e. space used in index).</div>
<div><br></div><div>The only other bit in my mind is whether we need to ensure index-cross-application compatibility. I suspect some of this will tie in with the good work that Sijo has done on index management.</div><div>
<br></div><div>Let me know what your preferences are.</div><div>Chris</div><div><br></div></div>