ASAsense Binary Table (ABT) format/nl

Het ASAsense Binary Table-formaat (ABT) is een alternatief voor het CSV-formaat, maar dan voor binaire data met vaste rijlengtes. De structuur is als volgt:

naam	lengte (bytes)	type	toegestane waarden	uitleg
file_type	1	u8	1	Het interne nummer van het bestandstype en de versie
n_cols	4	u32	1-u32::max	Het aantal kolommen
col_widths	4 × n_cols	u32[n_cols]	1-u32::max per kolom	n_cols u32-gehele getallen die de breedte van de kolommen in bytes beschrijven
metadata_length	4	u32	0-u32::max	De lengte van het metadataveld (kan 0 zijn als het moet worden overgeslagen)
metadata	metadata_length	char[]	string met vaste lengte (dus geen '\0'-teken dat het einde van de string aangeeft)	JSON-gecodeerde metadata
data	variabel, tot EOF	byte[]	willekeurig	De eigenlijke data

De JSON-metadata moet een object zijn met de volgende structuur:

veld	verplicht	type	uitleg
n_rows	false	number	Het aantal rijen in het bestand, indien vooraf bekend (kan worden weggelaten voor streamingdata)
comment	false	string	Een vrije tekst
columns	true	een lijst van kolomdefinitie-objecten	Een lijst van objecten die de kolommen in meer detail beschrijven (moet n_cols elementen bevatten)
extra	false	JSON-object	Een JSON-object dat vrij kan worden ingevuld

Een "kolomdefinitie-object" moet het volgende formaat hebben:

veld	verplicht	type	uitleg
name	false	string	Een optionele naam voor de kolom
comment	false	string	Een vrije tekst
datatype	true	string	Een identificatie van het datatype van de kolom

De datatype-identificaties kunnen willekeurig zijn, maar de lezer moet minstens de volgende ondersteunen:

identificatie	beschrijving
utf8	Interpreteer de data als een UTF-8-string (met vaste lengte; hoeft niet te eindigen op '\0')
int	Interpreteer de data als een geheel getal met teken
uint	Interpreteer de data als een geheel getal zonder teken
float	Interpreteer de data als kommagetal (alleen mogelijk voor velden van 4 of 8 bytes)
bool	Booleaanse waarde (0 = false, al het andere = true)
numtype/div	"div" moet worden vervangen door een willekeurig kommagetal. De data wordt eerst geïnterpreteerd als "numtype" (int, uint of float) en daarna gedeeld door "div". Dit is vooral nuttig om decimale getallen in velden met gehele getallen op te slaan.
unix_timestamp(numtype/div)	Interpreteert de data zoals tussen de haakjes aangegeven (dus elk numtype, met optionele deler), maar houdt er rekening mee dat het om een Unix-tijdstempel gaat (seconden sinds de Unix-epoch, 1 januari 1970 om UTC)

Andere, onbekende datatype-identificaties moeten door de lezer als ondoorzichtige binaire data (bytes) worden behandeld.

Veelgebruikte extra metadatavelden

In veel ABT-bestanden die ASAsense gebruikt, vindt u de volgende extra metadatavelden:

Veldnaam	Veldtype	Standaardwaarde	Beschrijving
sorted_by_timestamp	bool	true	Geeft aan of de data in het ABT-bestand gesorteerd is op tijdstempel (kolom 1)
frame_width_s	float	NaN	Geeft de framebreedte van één sample aan (bijvoorbeeld de bemonsteringsperiode of de framebreedte van een spectrogram)

CLI-tool voor ABT-bestanden

Om het werken met het ABT-formaat te vereenvoudigen, zijn enkele voorgecompileerde programma's beschikbaar:

• Linux
  • Ubuntu 22.04 x86_64
  • Ubuntu 20.04 x86_64
• Windows 11 x64

De MD5-sommen van de ZIP-bestanden zijn als volgt:

adcd6a227861bb6b188ef8c5748faae8  abt-cli-ubuntu-20.04-x86_64.zip
6f4c63cbd7416ead026f170c97b3ab89  abt-cli-ubuntu-22.04-x86_64.zip
39db54827d2634262d9d666b4262b212  abt-cli-win11-x64.zip