Librelivre.nl

Welkom bij Librelivre.nl. Deze website is gemaakt om:

• informatie te geven over hoe je zelf een epub kan maken van een boeken
• het verspreiden van Epubs van boeken die in het publieke domein vallen

Let op: deze site is onlangs volledig vernieuwd en nog veel content moet worden toegevoegd!

Boeken in het publiek domein

Boeken waarvan de schrijver meer dan 70 jaar geleden is overleden vallen in het publiek domein. Dat houdt in dat op deze boeken geen auteursrechten meer rust waardoor je ze vrij mag verspreiden. Veel van deze boeken zijn te downloaden bij een website van de Koninklijke Bibliotheek: Delpher. Daar zijn ze te downloaden in tekst (txt), en PDF formaat. Het PDF formaat is op een computerscherm goed te lezen. Het tekst formaat is handig om bijvoorbeeld te zoeken naar tekst. Je mag de boeken alleen niet zo maar verder verspreiden volgens de gebruiksvoorwaarden. De site geeft aan of een boek volledig in het publiek domein valt volgens de Koninklijke Bibliotheek. Je mag alleen verder verspreiden van boeken die je daar download als er geen auteursrechten meer op zitten. Daarbij kijken ze niet alleen naar de schrijver, maar bijvoorbeeld ook naar wie illustraties heeft gemaakt.

Epub formaat

Op een E-reader zijn de gedownloade boeken niet zo fijn te lezen. Het Epub formaat, of andere E-Reader formaten zijn fijner. Met name omdat bijvoorbeeld de lettergrootte is in te stellen en de pagina zich daar op aanpast. Daarom gaat deze site over het omzetten en verder verspreiden van boeken in Epub formaat. Uiteraard mag verder verspreiden alleen als er geen auteursrechten meer op rusten. Deze site houdt zich daar aan. Boeken die we hier plaatsen vallen in het publieke domein.

Maken van een Epub

werkwijze van het maken van een Epub

Het maken van een epub van een gescande PDF heeft een aantal belangrijke stappen

• omzetten van de PDF in een markdown bestand
• opschonen van het markdown bestand
• omzetten van het markdown bestand naar een Epub (of ander E-reader formaat)

Scan een boek

Het scannen van een boek

Uiteraard is een flatbed scanner te gebruiken, of tegenwoordig kan je zelfs met je smartphone scannen. Dat is niet ideaal en tijdrovend. Je zou ook de rug van de boeken kunnen snijden en ze door een document feeder kunnen halen. Maar dat is zonde van de oude boeken omdat je ze daarmee effectief vernield.

Er zijn ook speciale boekscanners die er meer uizien als een bureaulamp. Ze zijn er van heel betaalbaar zoals deze bij bol.com tot heel duur.

Als je het goed bekijkt is ‘een webcam op een stokje’. Daarom wil ik binnenkort eens experimenteren met zelfbouw. Mede omdat de meegeleverde software meestal niet beschikbaar is voor Linux. Vooralsnog zou ik niet aanraden een flatbed te gebruiken. Deze zijn traag en er niet echt voor gemaakt.

PDF naar Epub

werkwijze van het maken van een Epub

Het maken van een epub van een gescande PDF heeft een aantal belangrijke stappen

• omzetten van de PDF in een markdown bestand
• opschonen van het markdown bestand
• omzetten van het markdown bestand naar een Epub (of ander E-reader formaat)

omzetten naar markdown formaat

Er is redelijk wat software te vinden die een PDF kan omzetten naar markdown. Toch is er nogal wat verschil. Het is van belang dat de software goed herkend dat het feit in de scan van het gedrukte boek doorgaat wanneer de tekst doorgaat op de volgende regel dat niet betekent dat de zin is afgelopen. Je krijgt dan allerlei ‘end of lines’. Aangezien je E-reader zelf verzorgt dat een zin op de volgende regel doorgaat als het volgende woord niet meer past krijg je dan raar verspringende teksten. Na het proberen van meerder opties bleek de volgende software het meest geschikt: de open source software Marker.

Omzetten naar markdown formaat

Marker

Er is redelijk wat software te vinden die een PDF kan omzetten naar markdown. Toch is er nogal wat verschil. Het is van belang dat de software goed herkend dat het feit in de scan van het gedrukte boek doorgaat wanneer de tekst doorgaat op de volgende regel dat niet betekent dat de zin is afgelopen. Je krijgt dan allerlei ‘end of lines’. Aangezien je E-reader zelf verzorgt dat een zin op de volgende regel doorgaat als het volgende woord niet meer past krijg je dan raar verspringende teksten. Na het proberen van meerder opties bleek de volgende software het meest geschikt: de open source software Marker.

CPU of GPU

Marker is software gebaseerd op PyTorch. Het is kunstmatige intelligentie die lokaal/thuis is te draaien. Het draait het best als je een computer gebruikt met een GPU (grafische kaart) die krachtig genoeg is om gebruikt te worden, maar dat is niet strikt noodzakelijk. Als de gewone processor gebruikt wordt duurt het aanmerkelijk langer om een PDF om te zetten naar een markdown bestand. Het daarna opschonen van het markdown bestand neemt echter nog veel meer tijd in en dat is ook nog eens ‘handwerk’. De fase van omzetten van PDF naar markdown met Marker is in vergelijk daarmee niet zo belangrijk. Dus wie het eens wil proberen of een enkel boek wil omzetten hoeft zeker geen GPU aan te schaffen. Doe je het echter vaker, dan is een GPU wel een heel stuk sneller. Wel moet de computer voldoende geheugen hebben. De ervaring leert dat zeker 10 Gb voor een PDF vereist is. Aangezien het OS ook nog geheugen opeist lijkt het minimum toch zeker 16GB zijn om het werkbaar te houden. Bij de keuze van een grafische kaart moet deze natuurlijk door Pytorch worden ondersteund. Dat zijn moderne kaarten van Nnvidia en AMD. De ervaring leert dat er minimaal 10 GB Vram aanwezig moet zijn. Een GPU kan niet swappen en met te weinig vram kan een of meerder pagina’s tot foutmeldingen leiden met als gevolg dat deze worden overgeslagen. Bij het monitoren van geheugen gebruik zat het geheugen gebruik van een PDF af en toe net boven de 8 GB. Voor AMD geldt dat het ROCm gebruikt in plaats van CUDA (van NVidia). Het zou moeten werken, echter heb ik daar zelf geen ervaring mee dus kan dat niet bevestigen.

Apple

Moderne Apple processoren zijn interessant doordat ze veel van het geheugen aan de GPU kunnen toewijzen. Dat zou ook moeten werken met Marker, maar daar heb ik geen ervaring mee.

Installatie van Marker

Ik ga hier uit van Linux. Voor MacOs en Windows werkt het vast niet heel verschillend. Een moderne Linux distributie heeft doorgaans een recente Python versie, dus die hoeft doorgaans niet eerst geinstalleerd worden onder Linux.

installeer eerst Pytorch

Start met het maken en activeren van een Python Virtual Environment (venv). Dit is belangrijk omdat er veel Python software wordt geinstalleerd en dit voorkomt dat er problemen ontstaan met verschillende Python libraries.

python3 -m venv venv
source venv/bin/activate
pip install --upgrade pip

Daarna de installatie van Pytorch zelf. Ga naar de getting started pagina van Pytorch. Selecteer daarna de juiste keuzes als die niet al automatisch goed staan. In de regel Run this Command staat het commando om Pytorch met Pip te installleren. In het voorbeeld van Linux, met CUDA 13.2 (op dit moment meest recent) krijg je dan:

pip3 install torch torchvision --index-url https://download.pytorch.org/whl/cu132

installeer Marker

pip install marker-pdf[full]

[full] kan je weg laten als je alleen PDF wil omzetten. Voor het gemak kies ik meestal full, maar wie ruimte wil besparen kan dat weglaten.

gebruik van Marker

Marker is geavanceerd en kan bijvoorbeeld all PDFs in een directory omzetten, het kan ook meerder PDFs tegelijk omzetten door een aantal workers in te stellen. Dat laatste komt met een risico dat het geheugen gebruik te groot wordt. Als we uitgaan van dat er 10 Gb (v)ram nodig is voor een boek tegelijk omzetten is dit het commando:

 marker_single bestand.pdf --strip_existing_ocr --force_ocr --output_format markdown --output_dir uit > /dev/null

Wie meer wil weten over hele directories omzetten, of meerdere boeken tegelijk op zware hardware verwijzen we naar de documentatie van Marker.

resultaat

Het resultaat is dat er een markdown bestand is aangemaakt met daarbij afbeeldingen als losse bestanden met links naar de bestanden in het markdown bestand.

Opschonen en converteren naar Epub met md2eb.py

opschonen en converteren

Het door Marker gecreëerde bestand kan omgezet worden naar een Epub. Maar om een goede Epub te krijgen is er aardig wat opschoon werk nodig. Marker herkent behoorlijk goed wanneer een zin doorloopt op de volgende regel, maar kan dit niet overal goed doen. Daarnaast heeft de tekstherkenning (OCR) bijvoorbeeld moeite met de nederlandse ij. Zeker als de scan wat rommelig is wordt dat nogal eens als ii geïnterpreteerd. Daarvoor hebben we een stukje gratis open source software gecreëerd wat daarbij helpt: md2eb.py. Dit programma helpt met het opschonen en kan van het Markdown bestand een Epub maken, of ander gangbaar Ebook formaat.

installatie md2eb.py

vereisten voor md2eb.py

Het programma is een python programma die onder water gebruik maakt van het bekende open source pakket Calibre. Het is alleen getest onder Linux, maar zou ook moeten werken onder Windows en MacOS. We gaan daarom hier uit van Linux en gaan ook uit van enige kennis van Linux. De vereisten zijn daarmee:

• Redelijk recente versie van Python 3.
• Calibre

installatie

Bij de repository zijn veel bestanden te vinden, maar slechts twee bestanden zijn nodig:

• md2eb.py
• librelivre_logo_transparant.png

Plaats deze ergens op een logische plek en maak het executable. Het handigst om deze in een directory te plaatsen in het Linux PATH. Daarna is het programma op te starten vanuit de terminal of er op te dubbelklikken.

Het hoofdscherm ziet er als volgt uit:

instellingen

Als het programma is geopened is rechtsbovenaan een zogenaamd hamburgermenu te vinden Als je daar op klikt zijn enige instellingen te vinden: preferences en ebook instellingen. Ebook instellingen horen bij een Markdown bestand dus daarvoor moet eerst een bestand worden geopened. De preferences zijn de standaardwaarden. Hier kan het standaard ebook formaat worden ingesteld en welke externe editor gebruikt wordt als de knop open in editor wordt gebruikt.

In het voorbeeld

opschonen met md2eb.py

Na het openen van een Markdown bestand middels Open file, kan begonnen worden met opschonen. Het opschoon gedeelte is verdeeld in twee secties: Batch bewerking en edit tools. De batchbewerking kan de bulk van de fouten corrigeren in gebroken zinnen en ii vervangen door ij waar dat logisch is. De logica van deze correctie is wel vrij conservatief in gesteld. Daarom zijn onder Edit tools knoppen met dezelfde naam te vinden. Deze zullen alleen stap voor stap door twijfel gevallen heen gaan. Het proces is daarom om eerst de batchbewerking tools te draaien. En daarna gebruik te maken van de Edit tools. Die maken gebruik van de drie grote tekst velden.

Klik op gebroken zinnen en er kan dan door de overgebleven gebroken zinnen heen gaan. Het eerste veld laat het fragment zien waar een gebroken zin is vinden voor de context. Het tweede veld alleen de zin. Het derde veld geeft een voorstel voor wijziging. Dit is een bewerkbaar veld dus je kan het daar zelf corrigeren. Als de wijziging correct is, of handmatig gecorrigeerd kan je het doorvoeren door op Wijzig te klikken. Dan zal het programma naar de volgende springen. Als er helemaal niets hoeft te worden gewijzigd kan je op negeer klikken en zal het ook naar de volgende springen. Fix ii werkt hetzelfde.

open in editor

Onder Edit tools staat ook de knop Open in Editor. Nadat alle opschoonactiviteiten in md2eb.py zijn afgerond is er nog best wat op te schonen ‘met de hand’. Bijvoorbeeld het toevoegen van een inhoudsopgave, verwijderen van plaatjes die er niet horen (bijvoorbeeld stempels) etc. Het best kan dat met een externe editor. Welke daarvoor gebruikt wordt moet eenmalig ingesteld worden in preferences. In ons voorbeeld is dat vscodium. VScodium zijn binaries van VScode, zonder de Micrsoft tracking. Dat start normaal op via /usr/bin/codium. Dus dat moet eenmalig worden ingesteld

Converteer naar Ebook.

Uiteindelijk moet het bestand worden omgezet naar een Ebook formaat. Calibre is daar zeer geschikt voor. Je kan dit direct vanuit Calibre doen door het Markdown bestand in Calibre te laden en de functionaliteit daar gebruiken. Het kan echter ook van md2eb.py die onder water Calibre gebruikt. Het voordeel is dat je per Markdown eenmalig de waardes instelt voor dit book, inclusief een cover. Daarna iedere keer dat op de knop Maak Ebook wordt geklikt het ebook gemaakt.

‘Onder water’ wordt Calibre gebruikt. Dat betekent dat md2eb.py gebruik maakt van de zogenaamde Command Line Interface (cli) van Calibre. Niet alle opties van de cli worden gebruikt. Zo kan Calibre meerdere formaten maken. Toevoegen van een extra formaat kan door op de juiste manier regel 606 van het python bestand EBOOK_FORMATS aan te passen

Te downloaden boeken

Vrij verspreidbare boeken

Hier worden Ebook-en geplaatst die verspreid mogen worden. Aangezien dit is ontstaan uit een hobby om de boeken van Ivans te kunnen lezen zijn dit voorlopig alleen boeken van Ivans, maar misschien ooit van meer schrijvers. Vooral als meer mensen er aan bijdragen. We houden ons strikt aan de auteursrechten en mogelijk een te nauwe interpretatie. Daarom worden veel van de Ivans boeken zonder illustraties verspreid.

Formaten en versies

Van de boeken worden de Markdown bestanden verspreid en Epubs. Wie liever een ander formaat dan Epub heeft kan het Markdown bestand downloaden en daarmee converteren naar het gewenste formaat Versie slaat op hoe goed de kwaliteit is:

• minder 0.7: wel omgezet en de basis opschoon acties uitgevoerd maar nog niet meer dan dat
• 0.8: behoorlijk opgeschoond, maar daar zullen zeker nog kleine fouten in zitten
• 0.9: na opschonen het boek gelezen en nog veel kleine fouten verwijderd
• 1.0: iemand anders heeft ook nog fouten doorgegeven/gecorrigeerd. Vergelijkbaar met een echte redacteur.

boeken van Ivans

Versie slaat op hoe goed de kwaliteit is:

• minder 0.7: wel omgezet en de basis opschoon acties uitgevoerd maar nog niet meer dan dat
• 0.8: behoorlijk opgeschoond, maar daar zullen zeker nog kleine fouten in zitten
• 0.9: na opschonen het boek gelezen en nog veel kleine fouten verwijderd
• 1.0: iemand anders heeft ook nog fouten doorgegeven/gecorrigeerd. Vergelijkbaar met een echte redacteur.

(Markdown bestanden hebben hier de extensie txt omdat anders de software die deze site maakt (static site generator mdbook) er een html van maakt.)

Helaas zijn deze downloads zonder illustraties vanwege auteursrechten. Geregeld komt nog wel de tekst onder een illustratie terug.

Ivans

Waarom de boeken van Ivans

Ivans staat bekend als de eerste grote professionele detective schrijver. Op Wikipedia is veel te vinden over deze schrijver wat we hier niet herhalen. Het lezen van een boek geschreven in een ander tijdperk geeft een leuk beeld over die tijd. Doordat het in die tijd is geschreven in plaats van door een hedendaagse schrijver over een ander tijdperk is het een beetje tijdreizen. Naast de spelling is het taalgebruik anders, wordt je geconfonteerd met van alles wat destijds heel alledaags was, maar wordt juist toegelicht wat anno nu als vanzelfsprekend wordt beschouwd. Zo worden bijvoorbeeld alledaagse engelse termen in een voetnoot vertaald, wat je nu niet meer zou doen. Aan de ouderwetse spelling wen je binnen een paar bladzijdes. In de jaren 70 zijn een aantal boeken gemoderniseerd. Daarbij is niet alleen de spelling gemoderniseerd, maar ook het taalgebruik. Op deze boeken rust nog auteursrechten, dus ze zijn alleen nog ergens tweedehands te vinden. Maar het wel leuk om die eens te vergelijken met orgineel.

Illustraties

De boeken bevatten illustraties. Van deze illustraties is niet bekend wie ze gemaakt heeft of als het wel bekend is zijn ze nog auteursrechtelijk beschermd. Daarom bevatten de Epubs die we hier plaatsen niet de illustraties. Kijk vooral eens op bij Delpher om de illustraties te zien.

meer websites met informatie over Ivans

Ivans op een website van twee liefhebbers (hccnet.nl)

Ivans op de site van het Huygens instituut