Comment nettoyer sa base de données ?
Sommaire
Préambule
Module Comptabilité
Module Organiseur
Centre de maintenance
Préambule
Le but de ce « livre blanc » est de vous expliquer les différentes possibilités, donc méthodologies qui vous permettront d’alléger votre base de données LSC. En effet, les informations stockées au fil des ans peuvent se mesurer en dizaines de Gigas octets pour le fichier de données (.4dd) et même dépasser le tera octet si on y ajoute le datadoc.
Qu’est ce que le Datadoc ?
C’est un dossier, situé au même niveau que le fichier de données qui contient toutes les données non conservées dans le fichier de données (communément nommé « Data »). Il s’agit essentiellement de :
- les événements (zone de traitement de texte et PJ’s)
- Les pièces jointes ajoutées dans tout le logiciel (fichier de base, écritures comptables, etc…)
- Les photos, notamment celles des lots
- Et les fichiers « divers » : EDL, VTI, états rapides, …)
Ce livre blanc traite essentiellement de l’allègement du DATA mais quand vos manipulations auront une incidence sur le DataDoc, nous vous le signalerons.
Module de comptabilité
Par module de comptabilité, il faut comprendre les comptabilités Gérance et Syndic, pourvoyeuses d’un grand nombre d’écritures.
Clôture d’exercice (petits rappels)
La clôture d’exercice n’allège pas les données, au contraire elle en créée de nouvelles. Seulement, c’est un passage obligé pour les fonctions décrites dans les paragraphes suivants.
Module gérance
Il est conseillé de clôturer au delà de deux exercices en ligne (l’actuel et le précédent). Par exemple en 2024, conservez 2023 et clôturez tout le reste.
Module syndic
La clôture doit être faite après la validation des comptes (AG) avec un décalage de deux mois (temps pendant lequel une contestation par un copropriétaire est possible)
Préparatifs
Avant de lancer une clôture, assurez vous d’avoir :
- Lettrer les comptes et vérifier le type de reprise des différents comptes.
- Editer tous les états comptables en format dématérialisé (PDF)
- Effectuer une sauvegarde et vous assurer de la fiabilité de celle-ci.
Lancer une clôture
Etre sur le bon module, menu Comptabilité puis compta puis clôture. Choisir la bonne entité, vérifier la date de fin d’exercice et valider.
Conséquences
- Un bloc d’écritures est crée au 1er jour de l’exercice suivant
- Les écritures clôturées sont archivées (donc plus visibles, sauf dans l’historique d’un compte)
- L’entité comptable passe sur l’exercice suivant
Supprimer des exercices archivés
LES exercices archivés sont des exercices… Clôturés. Les supprimer revient à retirer définitivement du DATA toutes les écritures liées. C’est donc à priori un bon moyen de réduire le nombre d’enregistrements contenus dans la table [EcritureCompta]
MAIS…
Y procéder n’est pas anodin.. Il faut donc bien mesurer les conséquences avant…En effet, bien que sans influence sur les écritures des exercices courants, cette suppression peut avoir des conséquences sur certains traitements.
- En Gérance, par exemples, la régularisation des charges locatives et les revenus fonciers prennent en compte les écritures archivées.
- Tous modules, le bouton « historique » disponible sur les comptes n’a à ce moment plus d’utilité ..
Il existe cependant une autre solution, intermédiaire et moins radicale, la mise hors ligne…
Mettre hors ligne des exercices archivés
La mise en ligne consiste à déporter des écritures comptables clôturées d’une table à une autre. Ainsi, elle diminue la taille de la table [ecritureCompta].
Autre avantage : la mise hors ligne peut être traitée par année alors que la suppression des exercices archivés les supprime tous ..
Après ce traitement, il est possible de :
- consulter/imprimer un compte (même si depuis, le compte a été supprimé dans le plan comptable de l’entité).
- rééditer des états comptables : balances, grands livres et journaux
- supprimer les fiches des fichiers de base : par exemple un locataire, un propriétaire, un copropriétaire….qui ne possède pas d’autres données que celle contenues dans la table Hors-ligne.
- dans le module Gérance, effectuer la régularisation des charges locatives sans se soucier de savoir si l’exercice est courant, clôturé ou mis hors-ligne.
Après ce traitement, il n’est plus possible de :
- réaliser TOUS les autres traitements faisant appel à la comptabilité.
- Annuler la dernière clôture.
Quand mettre hors ligne ?
Module Gérance
Vous pouvez mettre hors ligne jusqu’à l’exercice N-2 (donc 2022 pour l’année 2024) sans prendre le risque d’être bloqué sur un traitement.
Module Syndic
Là, il faut être plus prudent et conserver trois exercices (au moins), celui en cours et les deux derniers clôturés car (par exemple), l’état daté remonte à N-2. Donc pour l’exercice 2024, on peut mettre hors ligne jusqu’à l’exercice 2021 inclus.
Lancer les mises hors ligne
Accueil – Menu Paramètres – administration métier – comptabilité – mise hors ligne multi-entités
LSC vous présente dans l’ordre les exercices pour lesquels des écritures ont été archivées mais non mises hors ligne. Choisir l’année la plus ancienne puis valider pour avoir la liste des entités concernées.
Là, soit vous traitez l’ensemble des entités, soit celles de votre choix
Archiver des exercices mis hors ligne
Cette fonction permet de SORTIR du data les écritures mises hors ligne en les archivant dans le DataDoc. C’est donc un moyen d’alléger votre fichier de données de nombreux enregistrements…
Accueil – Menu Paramètres – administration métier – comptabilité – archiver des exercices hors ligne.
Une fois le mot de passe saisi, vous pourrez choisir le ou les module concernés puis valider
Ensuite, comme pour la mise hors ligne, vous choisirez un exercice (le plus ancien) puis la liste des entités concernées s’affichera. A vous de les traiter toutes ou en partie …
Refaire de même pour chaque exercice à archiver
Module syndic
Le module syndic contribue fortement à faire grossir une base de données notamment en raison de sa structure, propre à ce métier, soit une comptabilité, des appels de fonds, une répartition par an et par immeuble.
Nous vous proposons deux axes de nettoyage :
- La suppression de la copropriété quand celle-ci a été perdue et passé le délai de conservation de l’information
- La suppression des données liées aux répartitions des charges.
Perte d’une copropriété
Cette opération consiste à supprimer une grande partie des données de la copropriété.
Elle s’effectue en deux phases :
- Solder la copropriété qui consiste à remettre tous les comptes à 0
- Perte de la copropriété qui supprimera presque toutes les fiches
Solder une copropriété
Cette option est régie par les mêmes droits d’accès que la clôture comptable. Elle permet de solder tous les comptes de l’exercice, à l’exception des comptes de trésorerie, sur un compte 40x SYNDIC REPRENEUR.
Accès : menu traitements, solder une copropriété
Exemple pour un immeuble perdu en 2023 pour lequel aucune écriture n’existe au delà du 31/12/2023
Une fois que vous aurez validé le traitement se lancera .. A l’issue, vous devrez :
- a) Reprendre les comptes (via fichier, compte) de l’entité et vous les modifiez pour les mettre TOUS en « reprise de solde ».
- b) Solder les deux comptes qui ne le sont pas (512xx et 401xx) en passant une OD
- c) Clôturer l’exercice (au 31/12/2023 dans notre exemple)
Comme tous les comptes seront soldés ET en reprise de solde, aucune écriture ne sera reprise au 01/01/2024, vous permettant de passer à l’étape suivante.
Perte d’une copropriété
Accès : menu traitements, perte d’une copropriété
Permet de supprimer de façon autoritaire un certain nombre de fiches et d’autres sur option (cf. liste copie d’écran ci-dessous)
Cette option est à utiliser après clôture d’exercice.
Attention, aucun retour arrière possible
Solder et perdre une copropriété peuvent être lancées en multi-entités, depuis l’administration.
Accès : Menu paramètres, Préférences et administration, Syndic
Même si ces suppressions « nettoient » la base de données, elle n’en diminueront pas sa taille. Seul un compactage des données y procédera (cf. dernier chapitre de ce manuel)
Archivage des répartitions résultat
LSC, quand vous généré des appels de fonds, travaille sur deux tables :
- [Répartition_entête], ce sont les lignes que vous voyez en gestion des répartitions
- [Répartition_resultat], que vous ne voyez pas mais qui sont créées en plusieurs millions d’enregistrements après quelques années d’utilisation. Ces fiches servent à, entre autres, réaliser les décomptes d’appels de fonds, de répartition, …)
Elles donc utiles pendant un certains temps puis de moins en moins, raison pour laquelle on peut envisager de les archiver (cela va consister à les « sortir » du fichier de données pour les placer dans le DataDoc.
En administration, nous mettons à votre disposition une option permettant de choisir les entités sur lesquelles vous lancerez le traitement en retenant deux éléments importants :
Accès : menu paramètres, préférences et administration, administration métier, syndic, Archiver des répartitions
- Seuls les appels de fonds au delà de 5 exercices seront traités
- Seules les répartitions de 10 ans et plus le seront également
Vous ne prenez donc pas de risque en ne sélectionnant pas vos entités car vous ne risquez pas d’archiver des éléments trop récents
Le mot de passe de cette rubrique est spécifique et, non diffusé. Adressez vous à notre service technique pour en savoir plus.
Même si ces suppressions « nettoient » la base de données, elle n’en diminueront pas sa taille. Seul un compactage des données y procédera (cf. dernier chapitre de ce manuel)
Module Gérance
Contrairement au syndic, la gestion locative est mono comptabilité, il n’est donc pas envisageable de faire des traitements globaux comme pour une copropriété.
Il est cependant possible de faire du « ménage » dans les fiches, sans trop de contraintes…
Locataires
Les fiches locataires, ce sont à priori les fiches les plus nombreuses dans un portefeuille de gestion et notamment les locataires ..partis…
La suppression de locataires partis n’est possible qu’après clôture et mise hors ligne des exercices
Prenons un exemple concret : vous aimeriez supprimer tous les locataires partis depuis que vous travaillez sur CRYPTO et partis jusqu’au 31/12/2015 de l’entité G001
- Il faut que vous ayez clôturé les exercices jusqu’au 31/12/2015 au minimum
- Il faut également avoir fait de la MISE HORS LIGNE jusqu’au 31/12/2015 afin d’éliminer toutes les écritures comptables liées aux comptes locataires
Ensuite, …. c’est simple !
- Affichez les locataires partis jusqu’au 31/12/2015 (écran de recherche, procédez comme la copie ci-dessous)
Listez les locataires ….
Une fois la liste affichée, vous n’avez plus qu’à les supprimer via le menu ACTIONS
Module Organiseur
Archiver ou supprimer les événements
Pour le module Organiseur, c’est le traitement des événements qui permet d’obtenir le meilleur gain de place en fonction de ce que vous escomptez.
Tous les événements attachés à une zone de texte (courrier), une zone HTML (email) ou ayant une ou plusieurs pièces jointes sont certes visibles depuis la base de données mais les éléments qu’ils contiennent sont stockés dans le DataDoc, dossier 018. Leurs tailles cumulées peut représenter plusieurs dizaines de gigaoctet, voire plusieurs centaines, et même parfois … au delà du Téraoctet !
Deux traitements à distinguer :
- L’archivage des événements
Cette action va déporter les événements sélectionnés vers le DataDoc tout en les éliminant du fichier de données
Cette fonction est par essence réversible
Avec cette fonction, vous
- La suppression des événements
Celle-ci supprimera définitivement les événements sélectionnés dans le fichier de données ET dans le DataDoc. Cette seconde action peut donc permettre de gagner énormément de place sur votre disque dur du serveur. Elle peut donc être très utile en cas de manque de place.
Cette fonction a un caractère définitif
Comment lancer l’un ou l’autre ?
Menu paramètres, maintenance des données, archiver OU supprimer des événements sur le serveur
Le mot de passe de cette rubrique est spécifique et, non diffusé. Adressez vous à notre service technique pour en savoir plus.
Ensuite, rechercher les événements à traiter via le menu « Rechercher » ou « Chercher par module »…
A noter que votre recherche par module vous permet d’accéder à deux paramètres vous permettant de vous la simplifier
(à partir de la version 6.3.6 – 20 nov 2024)
Une fois ceux-ci affichés, le menu ACTIONS vous permet justement de choisir entre l’archivage et la suppression
Dans la copie d’écran ci-dessous, ce sont les événements entre 2010 et 2015 qui ont été recherchés, tous modules confondus …
Ensuite, quelque soit l’option choisie, une confirmation vous sera demandée :
Vérifier le dataDoc, la taille des blobs et… les traiter
Accès : menu paramètres, préférences et administration, maintenance des données, vérifier le datadoc
Même si cette fonctionnalité est documentée dans ce manuel, elle s’adresse à des personnes ayant un niveau « expert » ..
En effet, BLOB est une abréviation de Binary Large Object, qui est une masse de données sous forme binaire. Parfois, de façon anarchique, un BLOB prend (et stocke) une taille qui est sans rapport avec celle qu’il devrait avoir. Cela fait gonfler la taille du fichier de données, parfois de façon très importante.
Cette fonction consiste donc à vérifier la taille desdits BLOBS et le cas échéant, de traiter ceux pour lesquels la taille est anormal ….
En 1er lieu, le formulaire suivant est affiché
- Cliquez sur l’onglet « Vérification des blobs
- Ouvrez le menu « Lancer » et choisissez « TOUT »
A l’issue de la vérification, le tableau se remplit des erreurs retrouvées
Deux éléments sont importants :
- les blobs non vidés
- la taille de ces blobs et …la taille totale que cela représente.
En fonction de celle-ci, il peut être très intéressant de traiter les blobs afin de les vider … Il faut donc les sélectionner puis cliquer sur la nouvelle rubrique qui s’affiche :
- Traiter le blob dans le document sélectionné..
Là également, ce traitement ne réduira pas la taille du fichier de données, seul un compactage permettra cette réduction
Centre de maintenance
Le Compactage des données
Comme expliqué dans les paragraphes précédents, supprimer des fiches (ou même les archiver) n’a aucun effet immédiat sur la taille du fichier de données. Seul un utilitaire, nommé 4D tools, permet d’obtenir cette réduction effective. Un compactage consiste à créer un nouveau fichier de données à partir des données encore actives du précédent.
La méthode la plus simple pour lancer un compactage des données est de le faire à partir de 4D serveur encore ouvert (par contre, il faut que les postes clients aient tous été quittés) et c’est le logiciel qui fera le reste :
- Choisir l’onglet « Maintenance » du serveur
- Cliquer sur « Compactage des données »
Ensuite, cliquez sur la dernière rubrique « Déconnecter les clients et quitter » et faire OK
Le compactage se lance … A l’issue de celui-ci l’écran du serveur évolue et indique la dernière date de compactage
Sur votre disque dur, dans le dossier Crypto_V6\Données, vous trouverez un dossier « Replaced files (Compacting) » qui contient votre fichier de données AVANT compactage. Conservez le quelques semaines puis vous pourrez le supprimer.
Faire un compactage des données n’est pas anodin surtout si on ne maitrise pas la structure du serveur 4D. Si vous avez un doute, demandez de l’aide à notre service technique pour le réaliser
