HiSPARC Data Arne de Laat
2014-10-08
1
Lesmateriaal info pakket
HiSPARC
RouteNet
2
Event Summary Data van station 502 op 17 juni 2014
3
Wat meten we? Station Events Tijdstempel, PMT signalen (traces) en afgeleiden Weer Tijdstempel, sensor uitlezing en afgeleiden
HiSPARC
4
Van supernova tot data
HiSPARC
Chandra, HiSPARC, ASUS, DELL
5
Detectie
HiSPARC
Station 501
6
Scintillator Lichtdicht verpakt Muonen, electronen en fotonen gaan door scintillator Worden afgeremd, verliezen energie, energie voor scintillatie Lage detectie kans voor fotonen
HiSPARC
7
PMT
Fotonen HiSPARC
naar electrisch signaal
8
ADC ADC zet analoog signaal uit PMT om naar digitale waarden Er zijn 2 ADCs per PMT kanaal Elke PMT wordt continu, om de 2.5 ns, uitgelezen 1 ADC count is ongeveer -0.57 mV Bereik: 0.1V t/m -2 V wordt omgezet tot: 0 t/m 4095 ADC counts
HiSPARC
9
Trigger window Electronica op scherp als één signaal over de lage drempel gaat. Trigger
Post-coincidence
1 µs
1.5 µs
3.5 µs
ADC counts
Pre-coincidence
high low
t (ns)
HiSPARC
In de deze grafieken in de 'nullijn' van de signalen al afgetrokken. Die ligt normaal rond 200 ADC counts (dus 0 mV)
10
Trigger
ADC counts
Twee (drie) signalen over hoge (lage) drempel binnen de trigger window!
Twee signalen over lage drempel voor 2 detector station.
2 high 3 low
t (ns)
HiSPARC
11
GPS timestamp Trigger tijdstempel in GPS-tijd
ADC counts
tGPS = 1403049593382116801
2 high 3 low
t (ns)
HiSPARC
12
Data reductie
ADC counts
Verwijder ‘lege’ delen van de traces
noise filter
t (ns)
HiSPARC
13
Pulse integrals
ADC counts
Oppervlakte onder de trace, een maat voor aantal deeltjes
t (ns)
HiSPARC
14
Pulse heights
ADC counts
Hoogte van puls, ook indicatie aantal deeltjes en verzadiging
t (ns)
HiSPARC
15
Offline analyse
HiSPARC
16
Trigger timestamp
ADC counts
Trigger tijdstempel tov begin van trace
2 high 3 low
t (ns)
HiSPARC
ttrigger = 1195 17
Detector timestamps
ADC counts
Detector tijdstempels tov begin van trace
Detection Threshold
t4 = 15
HiSPARC
t (ns)
t2 = -999 t3 = -999
t1 = 1190 18
Fout codes -1 = niet aanwezige detector/sensor -999 = reconstructie lukt niet of onmogelijk
HiSPARC
19
Detector timestamp in GPS-tijd Eerste deeltje in station in GPS-tijd tfirst,GPS = tGPS - ttrigger + min(t1-4) = 1403049593382116801 - 1195 + 15 = 1403049593382115621
Let op! ttrigger en t1-4 kunnen -1 of -999 zijn!
Alleen positieve waarden (en 0) voor de variabelen zijn geldig.
HiSPARC
20
Detector timestamps Detector tijdstempels tov begin van trace
ADC counts
tGPS = 1403049593382116801
t4 = 15
HiSPARC
t (ns)
t2 = -999 t3 = -999
t1 = 1190 ttrigger = 1195 21
Detector timestamps Detector tijdstempels tov begin van trace tGPS = 1403049593382116801
ADC counts
tGPS - ttrigger + t4 = 1403049593382115621
t4 = 15
HiSPARC
t (ns)
t2 = -999 t3 = -999
t1 = 1190 ttrigger = 1195 22
Number of MIPs Aantal deeltjes, door verhouding pulsintegraal per deeltje
1 MIP
HiSPARC
23
Number of MIPs Pulseintegral1-4 = Number of MIPs PulseintegraalMIP
1
2
3
7
8
9 10
0
1
2
3 4 5 6 7 Aantal deeltjes
8
9 10
4
5
6
Aantal events
Aantal deeltjes in een detectie
0
1993 / 2233 = 0.8926
Niet altijd hele getallen Mogelijk is het pulseintegraal bereik niet linear HiSPARC
Aantal events
Let op!
24 Figuur 2.2 – Histogram van de componenten van het signaal uit een HiSPARC de kunnen 1, 2, 3, of meerdere deeltjes door een detector gaan. Middelste plot: door
Tools
HiSPARC
25
Publieke database Data overzicht en toegang API - toegang tot metadata en traces ESD - gefilterde en deels geanalyseerde data Coincidenties - air showers gemeten door meer stations Status - nagios status Maps - kaart van station posities HiSPARC
26
HiSPARC
27
Download events
# Event Summary Data # # Station: (3002) Da Vinci College # # Data taken from 2014-10-06 00:00:00 to 2014-10-07 00:00:00 # # # This data contains the following columns: # # date: time of event [GPS calendar date] # time: time of event [GPS time of day] # timestamp: time of event [UNIX timestamp] # nanoseconds: time of event [number of nanoseconds after timestamp] # pulseheights (4x): maximum signal pulseheight [ADC] # integral (4x): integral of the signal [ADC.ns] # number_of_mips (4x): estimate for the number of particles in the detector # arrival_times (4x): relative time of arrival of the first particle in the # trigger_time: relative time of the trigger timestamp [ns] # # Values of -1 for detectors 3 and 4 indicate that the station only has # two detectors. Values of -999 indicate a problem in the analysis of # that particular event. This may be the result from noise in the # signal. # # 2014-10-06! 00:00:00! 1412553600! 350938334! 298! 192! -1! -1! 2014-10-06! 00:00:01! 1412553601! 469042552! 154! 65! -1! -1! 2014-10-06! 00:00:02! 1412553602! 605619171! 89! 191! -1! -1! 2014-10-06! 00:00:03! 1412553603! 257386399! 101! 302! -1! -1! 2014-10-06! 00:00:03! 1412553603! 689545729! 66! 280! -1! -1! 2014-10-06! 00:00:03! 1412553603! 690396758! 459! 178! -1! -1! 2014-10-06! 00:00:06! 1412553606! 738326865! 336! 53! -1! -1! 2014-10-06! 00:00:08! 1412553608! 398847678! 390! 301! -1! -1! 2014-10-06! 00:00:10! 1412553610! 57972348! 86! 284! -1! -1! 2014-10-06! 00:00:12! 1412553612! 936340363! 113! 335! -1! -1! 2014-10-06! 00:00:14! 1412553614! 758489118! 103! 52! -1! -1! 2014-10-06! 00:00:16! 1412553616! 187320642! 161! 655! -1! -1! 2014-10-06! 00:00:16! 1412553616! 565409487! 63! 51! -1! -1! 2014-10-06! 00:00:17! 1412553617! 307809574! 82! 136! -1! -1! 2014-10-06! 00:00:20! 1412553620! 816314098! 287! 324! -1! -1! ...
HiSPARC
detector [ns]
2828! 2214! 1117! 878! 753! 4569! 4041! 4585! 684! 1295! 925! 1875! 293! 589! 3168!
1887! 511! 2649! 2759! 3952! 2230! 415! 7065! 3930! 3428! 415! 6142! 389! 1180! 4299!
-1! -1! -1! -1! -1! -1! -1! -1! -1! -1! -1! -1! -1! -1! -1!
-1! -1! -1! -1! -1! -1! -1! -1! -1! -1! -1! -1! -1! -1! -1!
1.1223!0.7618!-1! 0.8787!0.2063!-1! 0.4433!1.0695!-1! 0.3484!1.1139!-1! 0.2988!1.5956!-1! 1.8133!0.9003!-1! 1.6037!0.1675!-1! 1.8196!2.8524!-1! 0.2715!1.5867!-1! 0.5139!1.384! -1! 0.3671!0.1675!-1! 0.7441!2.4797!-1! 0.1163!0.1571!-1! 0.2338!0.4764!-1! 1.2573!1.7356!-1!
-1! -1! -1! -1! -1! -1! -1! -1! -1! -1! -1! -1! -1! -1! -1!
1432.5! 572.5! 745.0! 22.5! 15.0! 15.0! 82.5! 17.5! 710.0! 37.5! 15.0! 32.5! 1070.0! 25.0! 17.5!
28
HiSPARC
29
Download coincidencties
# Coincidences # # Coincidences between stations in the Leiden cluster # Data taken from 2014-01-06 00:00:00 to 2014-10-07 00:00:00 # Showing only coincidences with at least 3 events # # This data contains the following columns: # # coincidence_id: events with the same id belong to the same coincidence # station_number: the station number that detected the event # date: time of event [GPS calendar date] # time: time of event [GPS time of day] # timestamp: time of event [UNIX timestamp] # nanoseconds: time of event [number of nanoseconds after timestamp] # pulseheights (4x): maximum signal pulseheight [ADC] # integral (4x): integral of the signal [ADC.ns] # number_of_mips (4x): estimate for the number of particles in the detector # arrival_times (4x): relative time of arrival of the first particle in the detector [ns] # trigger_time: relative time of the trigger timestamp [ns] # # Values of -1 for detectors 3 and 4 indicate that the station only has # two detectors. Values of -999 indicate a problem in the analysis of # that particular event. This may be the result from noise in the # signal. # # 0! 3202! 2014-01-06! 00:26:45! 1388968005! 993544209! 1057! 1284! 1344! 1365! 28015! 27742! 40228! 35063! 13.9408! 15.1045 0! 3203! 2014-01-06! 00:26:45! 1388968005! 993544312! 1206! 338! -1! -1! 36473! 13299! -1! -1! 11.2408! 5.1359! 0! 3201! 2014-01-06! 00:26:45! 1388968005! 993544511! 98! 157! 153! 94! 1219! 2505! 1759! 1554! 0.656! 1.327! 0.9402! 1! 3203! 2014-01-06! 00:33:42! 1388968422! 650822596! 419! 265! -1! -1! 4916! 3159! -1! -1! 1.5151!1.22! -1! 1! 3201! 2014-01-06! 00:33:42! 1388968422! 650822736! 10! 145! 9! 188! 0! 1799! 0! 4128! 0.0! 0.953! 0.0! 1! 3202! 2014-01-06! 00:33:42! 1388968422! 650822749! 645! 162! 530! 997! 8537! 2501! 8109! 13890! 4.2482!1.3617!4.3383! 2! 3201! 2014-01-06! 01:00:58! 1388970058! 308267583! 148! 1! 4! 259! 1498! 0! 0! 2570! 0.8061!0.0! 0.0! 2! 3202! 2014-01-06! 01:00:58! 1388970058! 308267600! 3! 3! 338! 210! 0! 0! 4811! 2265! 0.0! 0.0! 2.5739! 2! 3203! 2014-01-06! 01:00:58! 1388970058! 308267748! 846! 176! -1! -1! 13039! 3408! -1! -1! 4.0185!1.3161!-1! 3! 3201! 2014-01-06! 01:10:43! 1388970643! 429201233! 184! 198! 227! 9! 3714! 1789! 2428! 0! 1.9985!0.9477!1.2977! 3! 3203! 2014-01-06! 01:10:43! 1388970643! 429201453! 2151! 1357! -1! -1! 50978! 34748! -1! -1! 15.7111! 13.4192 3! 3202! 2014-01-06! 01:10:43! 1388970643! 429201663! 610! 1267! 402! 1126! 18224! 25795! 9138! 16581! 9.0686!14.0444! 4! 3203! 2014-01-06! 01:21:59! 1388971319! 92580450! 2136! 1914! -1! -1! 33599! 27729! -1! -1! 10.355!10.7086! 4! 3202! 2014-01-06! 01:21:59! 1388971319! 92580521! 476! 119! 221! 2! 5304! 1702! 2337! 0! 2.6394!0.9267!1.2503! 4! 3201! 2014-01-06! 01:21:59! 1388971319! 92580524! 166! 3! 2! 164! 1684! 0! 0! 1647! 0.9062!0.0! 0.0! ...
HiSPARC
30
jSparc Library - web applicaties Data retrieval - esd data visualizatie of tab-separated csv Analyse tool - coïncidenties analyseren API interface - API verkennen Station distances - station afstanden bepalen Trigger simulation -
HiSPARC
31
SAPPHiRE Python framework API - toegang tot metadata en traces Clusters - stations en detectoren ESD - afgeleide data download Corsika - simulaties van air showers Simulations - simulaties op stations, detector respons Analysis - coincidenties, richting en core reconstructie HiSPARC
32
Corsika Simulatie van air showers Input - primair deeltje Soort, energie en richting Output - alle deeltjes op observatie niveau Soort, positie, tijd en momentum
HiSPARC
33
Andere activiteiten Reconstructies - automatische richting reconstructie Detector positie - insturen positie van detectoren Arduino weerstation - tastbaar, zelf te bouwen Raspberry Pi - vervanging van station PC
Arne en Hans
Niek
Norbert
David Niek, David en Norbert
Info pakket - lesmateriaal, werkbladen met uitwerkingen Sterrenkaart - galactische kaart met metingen
Sabine en Niek Brandon en Tom
Simulaties - tijdverdeling en echte spectrum simulatie HiSPARC
34
SAPPHiRE installatie Benodigdheden: Python 2.7, pip, Python packages: NumPy, SciPy,
HDF5, gfortran, Atlas... PyTables, mock, progressbar2
Installatie: Download en installeer Anaconda: http://continuum.io/downloads Deze installeert de meeste benodigdheden en een Command Prompt, voer daarin het volgende commando uit om SAPPHiRE te installeren: pip install hisparc-sapphire
Nu kan je iPython starten en sapphire gebruiken HiSPARC
35
https://pypi.python.org/pypi/hisparc-sapphire/
Later upgraden: $ pip install -U --no-deps hisparc-sapphire
HiSPARC
PyPI
36
Voorbeelden SAPPHiRE
HiSPARC
37
>>> from matplotlib.pyplot import plot >>> from datetime import date >>> from sapphire import api >>> stations = [3001, 3302, 3303, 3501] >>> dates = [date(y, m, 1) ... for y in range(2005, 2014) ... for m in range(1, 13) ... if not date(y, m, 1) < date.today()]
HiSPARC
38
>>> from matplotlib.pyplot import plot >>> from datetime import date >>> from sapphire import api >>> stations = [3001, 3302, 3303, 3501] >>> dates = [date(y, m, 1) ... for y in range(2005, 2014) ... for m in range(1, 13) ... if not date(y, m, 1) < date.today()] >>> for station in stations: ... s = api.Station(station) ... events = [s.n_events(year=d.year, month=d.month) for d in dates] ... plot(dates, events)
3303
3001
HiSPARC
3302
3501
39
>>> import tables >>> from sapphire.simulations.groundparticles import GroundParticlesSimulation >>> from sapphire.clusters import ScienceParkCluster
HiSPARC
40
>>> import tables >>> from sapphire.simulations.groundparticles import GroundParticlesSimulation >>> from sapphire.clusters import ScienceParkCluster >>> cluster = ScienceParkCluster()
HiSPARC
41
>>> import tables >>> from sapphire.simulations.groundparticles import GroundParticlesSimulation >>> from sapphire.clusters import ScienceParkCluster >>> cluster = ScienceParkCluster() >>> with tables.open_file('simulation.h5', 'w') as data: ... sim = GroundParticlesSimulation('corsika.h5', 300, cluster, data, '/', 100) ... sim.run()
HiSPARC
42
>>> from matplotlib.pyplot import scatter, axis >>> from sapphire.clusters import HiSPARCNetwork >>> >>> ... >>> >>> >>>
cluster = HiSPARCNetwork() x, y, _ = zip(*[station.get_xyalpha_coordinates() for station in cluster.stations]) scatter(x, y) axis('equal') ylim(-4e5, 5e5)
HiSPARC
43
>>> from matplotlib.pyplot import scatter, axis >>> from sapphire.clusters import HiSPARCNetwork >>> >>> ... >>> >>> >>>
cluster = HiSPARCNetwork() x, y, _ = zip(*[station.get_xyalpha_coordinates() for station in cluster.stations]) scatter(x, y) axis('equal') ylim(-4e5, 5e5)
Aarhus (Denemarken)
Nederland England
KASCADE (Duitsland)
HiSPARC
44
http://docs.hisparc.nl
Documentatie
HiSPARC
45
Ontwikkeling
HiSPARC
46
GitHub Organization HiSPARC - http://github.com/HiSPARC
HiSPARC
47
Samenwerking Issue tracking, automatische tests..
HiSPARC
48
Hands-on http://data.hisparc.nl/media/jsparc/ (inclusief de slash op het eind)
Data retrieval HiSPARC
49
Browser compatibiliteit We hopen dat de website in zo veel mogelijk browsers werkt. Helaas lukt dat niet altijd.Vooral Internet Explorer doet vaak moeilijk. Wij testen in de huidige versies van: Mozilla Firefox, Google Chrome en Apple Safari De nieuwste versies van Internet Explorer (10+) voldoen beter aan internet standaarden en hebben dus een grote kans ook goed te werken. Zit je vast aan PCs met een oude Internet Explorer (versie 7 of 8) en heb je niet de rechten hebt daar iets anders te installeren, dan raden we aan om Firefox, Portable Edition te gebruiken. Die kan op een USB stick geïnstaleerd worden, en op PCs vanaf de USB gebruikt worden. Dat hebben wij ook zo op Woudschoten gedaan, dat werkte goed. HiSPARC
http://data.hisparc.nl/media/jsparc/
50
Data laden Haal data van één of meerdere stations op Bekijk de data die je ingeladen hebt via `show` Bekijk traces van een aantal events
HiSPARC
http://data.hisparc.nl/media/jsparc/
51
Plotten Correlaties
Histogrammen
timestamp vs. nanoseconds
timestamp
event rate (events) vs. atmospheric pressure (weather)
trigger time
pulseheight vs. pulseintegral Probeer de fit functies
pulseheight
Speel met aantal bins. Probeer logaritmische assen
HiSPARC
http://data.hisparc.nl/media/jsparc/
52
Websites Website
www.hisparc.nl
Lesmateriaal
www.hisparc.nl/docent-student/lesmateriaal/
Documentatie
docs.hisparc.nl
Data overzicht
data.hisparc.nl
jSparc
data.hisparc.nl/media/jsparc/
SAPPHiRE
pypi.python.org/pypi/hisparc-sapphire/
Broncode
www.github.com/hisparc/
HiSPARC
53
