invantive documentation
Forums d'Invantive SupportConnectez-vous/inscrivez-vous

Recharger entièrement TransactionLinesIncremental

Les réponses sont publiées sur le forum.

Aller à la source

Question

Sinds kort gebruik ik ExactOnlineREST.Incremental.TransactionLinesIncremental@eol via Invantive Bridge Online (OData4) in Excel/Power BI. Je m'attendais à ce qu'après le premier chargement complet, à chaque actualisation, seuls les changements soient récupérés et traités : les lignes modifiées et supprimées depuis la dernière fois. Ce que je vois dans le journal d'événements diffère de cela. Je me demande si c'est un comportement normal ou s'il y a quelque chose qui cloche.

Environnement

  • Invantive Bridge Online 26.0.286
  • Administratie met circa 170.000 rijen voor de incremental tabel
  • HTTP disk cache 4 uur, Bridge response cache 15 minuten

Ce que je vois dans IncrementalLoadEventLogEntries

  • Na de delta volgt bij vrijwel iedere verversing een reset op basis van de rijtelling: “Full reload of incremental cache … since the current cache row count … deviates too much from the calculated allowed minimum row count …”. Vient ensuite « Reconstructing. » Ne réutilisez pas d'anciennes données. « Recharge complète… ».
  • À chaque mise à jour, le message « Timestamp moved from to » s'affiche avec des valeurs vides, ainsi que « No need to update incremental results since there was no previous version ».
  • À plusieurs reprises : « Impossible de trouver tous les fichiers de données pour le téléchargement le plus récent… Fichiers de données attendus : 2, fichiers trouvés : 0 ».

Wat ik zie in de Sessie-I/O’s

  • Le delta lui-même semble bien fonctionner : sync/Financial/TransactionLines?$filter=Timestamp gt …L, avec uniquement les lignes modifiées.
  • Daarna volgen echter circa 170 pagina’s van de volledige tabel. Zolang de disk cache geldig is komen die uit cache, maar een verversing duurt daardoor steeds 60 à 80 seconden.
  • De Deleted API wordt bij iedere verversing opgevraagd vanaf Timestamp gt 0L en gt 1L, elk 4 pagina’s. Je m'attendais à ce que celui-ci aussi démarre à partir de l'horodatage le plus récent.
  • Les rafraîchissements successifs commencent avec la même valeur Timestamp gt …L. Il semble donc que l'horodatage ne se décale pas après un delta, ce qui fait que le delta ne cesse de s'agrandir.
  • Als de disk cache verlopen is, wordt na de delta de volledige incremental tabel opnieuw bij Exact opgehaald (circa 220 werkelijke aanroepen, ruim 3 tot 8 minuten voor alleen deze tabel).

Ce qui me frappe Avant le delta, la copie enregistrée correspond exactement à $count. Na het verwerken van de ruim 3.000 verwijderde ID’s uit de Deleted API blijven er circa 3.000 rijen minder over. Il semblerait que les identifiants signalés comme supprimés existent toujours dans Exact, ce qui fait que le contrôle du nombre de lignes déclenche à chaque fois un rechargement complet. Mais peut-être que j'interprète mal cela.

Mes questions

  • Is het normaal dat na iedere delta de complete tabel wordt gereconstrueerd?
  • Is het normaal dat de Deleted API steeds vanaf timestamp 0 wordt gelezen en dat de laatst geziene timestamp niet opschuift?
  • Mon hypothèse concernant les identifiants supprimés est-elle correcte, ou y a-t-il une autre explication à cette différence dans le décompte des lignes ?
  • Cela pourrait-il avoir un rapport avec ce qui a été mentionné dans ce sujet sur la version 26.0 concernant les fichiers incrémentiels ?

Si ce n'est pas le comportement attendu : comment puis-je résoudre ce problème afin que seul le delta soit traité ?

Exports van het event log en de Sessie-I/O’s kan ik op verzoek aanleveren.

Réponse acceptée

Une nouvelle version est disponible qui devrait résoudre ce problème. Les modifications nécessaires sont disponibles à partir de la version 26.0.340 et dans toutes les futures versions BETA.

Cette nouvelle version est/sera mise en production sur Invantive Cloud.

Pour plus d'informations, consultez :

Répondre 6

Cette question a été automatiquement clôturée après 1 semaine d'inactivité. La dernière réponse fournie a été marquée comme solution.

Veuillez poser une nouvelle question dans un sujet distinct si le problème se reproduit. Veuillez inclure un lien vers ce sujet dans votre nouvelle question en copiant-collant son URL dans le texte.

Répondre 2

Il n'est pas possible de cerner entièrement le texte potentiellement généré par l'IA.

En tout cas, la recharge complète n'est pas un comportement normal. Cela ne se produit que si l'algorithme estime que l'ensemble de données est incomplet.

La suppression de milliers de lignes n'est pas non plus courante.

Il est recommandé d'ajouter une capture d'écran d'une demande de rechargement telle que celle décrite ci-dessous.

Informations complémentaires

Est-il possible d’ajouter une capture d’écran (anonymisée) des détails de la requête dans Online Monitoring sur Invantive Cloud, comme décrit dans Meilleure visibilité grâce au nouvel Online Monitoring ?

Vous trouverez les détails en cliquant sur la demande de téléchargement correspondant au sujet de ce fil de discussion.

La demande de téléchargement contient généralement une instruction SQL dans laquelle le nom de la table est visible.

Veuillez laisser visibles au moins les informations suivantes dans les deux colonnes :

  • la barre de titre avec l'ID de la requête,
  • le code d'état, la taille du réseau, le chemin d'accès et les horodatages dans la colonne de gauche,
  • le code d'erreur et le message d'erreur situés tout en bas de la colonne de gauche,
  • Toute la colonne de droite, y compris l'instruction SQL, le nom de la table et les valeurs des paramètres.

Par exemple :

image

Vérifiez que le serveur et l'utilisateur sont corrects

Vérifiez soigneusement que vous vous connectez au site web d’Invantive Cloud avec le même nom d’utilisateur que celui que vous utilisez pour traiter des données via, par exemple, Invantive Bridge Online. Vous ne voyez que les demandes de l’utilisateur Invantive Cloud avec lequel vous vous connectez au site web.

Vérifiez que la requête et les détails sont corrects

Veillez à sélectionner d'abord la requête pour afficher ses détails. Une seule requête doit être visible sur la capture d'écran.

Vérifiez également attentivement si la requête comporte un chemin contenant odata4, apps ou mcp. Les requêtes utilisant d'autres chemins d'accès ne sont généralement pas pertinentes dans ce contexte.

Message d'erreur et conseils par e-mail

Par ailleurs, l’utilisateur d’Invantive Cloud qui a reçu le message d’erreur recevra généralement un e-mail contenant ce message ainsi que des conseils s’il s’agit d’une erreur dans Power BI, Power Query, Azure Data Factory, Qlik ou Tableau.

Il est conseillé de vérifier le dossier « spam » de l'utilisateur concerné pour voir s'il contient des e-mails de ce type envoyés depuis support@invantive.eu.

Répondre 3

Identifiant de la demande : 0HNOTTS4MANND:00000003

Voici les captures d'écran :

image

Query:

select ...
from   ExactOnlineREST.Incremental.TransactionLinesIncremental@eol
where  (Division = :w1 and ((([GLAccount = :w2 or [GLAccount] = :w3) or [GLOAccount] =:w4) or [GLAccount] = :w5))

Divisie: 3619926 Grootboekrekeningen: vier verschillende GUID’s Zichtbaar resultaat: 4119 rijen. Verwerkt: 175866 rijen vers opgehaald uit de Exact Online API, 0 beantwoord uit cache, met 181 API-aanroepen. Durée : 230 secondes. Geselecteerde partities: 2

Versie: Invantive Bridge Online 26.0.334.6277

Répondre 4

Het herladen van deze cache wordt veroorzaakt door een protocolversie upgrade. De oude cache was opgebouwd conform protocolversie 7 onder release 26.0.286, terwijl de data werd opgehaald vanuit release 26.0.334.

Le journal interne, qui peut également apparaître dans les tableaux d'audit, consigne ceci :

Found payload in unsupported HTTP disk cache format in file '/SOMEPATH/TransactionLinesIncremental/72070809c7b62ad341e7de06cb24e183.cache': protocol version 7 instead of 9, compressed True, encrypted True.

Cependant, il s'agit d'un événement ponctuel qui ne peut pas s'être produit auparavant. L'analyse montre qu'un bug survient également lors du calcul de l'« horodatage ». Ce comportement n'est ni normal ni souhaitable.

Un correctif sera intégré à cet effet dans la prochaine version 27.0, et, si cela s'avère techniquement possible, il sera également intégré à la version 26.0.

Répondre sur le forum