Announcement

Collapse
No announcement yet.

Beginnen met bewerken: een dataset om op te oefenen

Collapse
This is a sticky topic.
X
X
  • Filter
  • Time
  • Show
Clear All
new posts

    Beginnen met bewerken: een dataset om op te oefenen

    Alle begin is moeilijk, zeker als het gaat om het bewerken van foto's. Als het dan ook nog eens zelden helder is, kan het lang duren voordat je een goede dataset bij elkaar verzameld hebt. Maar dan komt het bewerken nog.

    Daarom heb ik een dataset bij elkaar verzameld, om mee te oefenen/spelen.
    Deze bestaat uit (alle opnames zijn herkenbaar aan de filename):
    • lights: 31 opnames van 3 minuten, iso 1600
    • darks: 20 opnames van 3 minuten, iso 1600
    • flats: 28 opnames van 1/10 seconden, iso 100
    • bias: 20 opnames van 1/4000 seconden, iso 1600
    Camera is een Canon 6D, astromod. Genomen met de ED80 lenzenkijker op een HEQ5Pro montering, gevolgd met Lodestar/OAG/PHD.

    De flats zijn van de volgende ochtend, en helaas niet helemaal perfect. Er zitten geen flatdarks en flatbias in, omdat die zelf nooit gebruik en dus vergeten was te maken.

    Deze dataset is volledig vrij te gebruiken. Als je de data ergens anders dan in dit topic gebruikt, wel graag mijn naam vermelden "petelaa".

    Post vooral je resultaten! Als je net begint, en wil weten wat je allemaal moet doen of als je wil weten wat je kan verbeteren. Als je al wat langer bezig bent, en gewoon wil tonen waar je je regenachtige zondagmiddag aan besteed hebt. Of als je een kei bent, en aan anderen wil laten zien wat er uit te halen is, of als je het verschil tussen twee verschillende technieken wil laten zien.

    Wetransfer link:
    https://we.tl/f9nrq4H3D2

    Deze link is beperkt houdbaar. Ik ga kijken of ik het ergens anders kan plaatsen, dan pas ik het topic daarna aan.
    Last edited by petelaa; 07-07-18, 15:00.
    Robtics 80mm f/7 ED Doublet Refractor, carbon | WO reducer/flattener III | Canon 450D, gemodificeerd | HEQ5 met OAG.

    #2
    Dan ook maar direct mijn aftrap: allereerst het beste wat ik voor elkaar kreeg met deepskystacker + photoshop:
    Click image for larger version  Name:	Plei23x3min_PS.jpg Views:	1 Size:	4.19 MB ID:	1382964


    En hieronder het beste dat ik voor elkaar kreeg met Astropixelprocesser (preprocessing), PixInsight (DynamicBackgroundExtraction) en Photoshop (fixen foutjes in de flats en finishing touches)
    Click image for larger version  Name:	Plei31x3min.jpg Views:	1 Size:	9.38 MB ID:	1382965
    Robtics 80mm f/7 ED Doublet Refractor, carbon | WO reducer/flattener III | Canon 450D, gemodificeerd | HEQ5 met OAG.

    Comment


      #3
      ik ben nog in het beginnende stadium van verwerken, maar heb met mijn beperkt arsenaal aan software toch eens geprobeerd....
      Gestapels in DSS en verwerkt in startools:
      Click image for larger version

Name:	pleidaden.jpg
Views:	1
Size:	750.7 KB
ID:	1383058
      Omegon 150/750 f5 reflector, ASI 034 MC

      Comment


        #4
        Meer oefen materiaal: http://www.mistisoftware.com/astronomy/index_fits.htm
        Celestron 8'' EdgeHD f/7, f/10 | WO Star71-II | AVX mount | StarSense | PoleMaster | Lodestar X2 | OAG | ZWO ASI120MC-S | ZWO ASI071MC Pro

        Comment


          #5
          Petelaa's link is niet meer geldig.

          Comment


            #6
            excuses; geüpdate
            Robtics 80mm f/7 ED Doublet Refractor, carbon | WO reducer/flattener III | Canon 450D, gemodificeerd | HEQ5 met OAG.

            Comment


              #7
              Ik zag trouwens dat Astrobin ook een “public” data pool had.

              https://www.astrobin.com/rawdata/publicdatapools/
              Celestron 8'' EdgeHD f/7, f/10 | WO Star71-II | AVX mount | StarSense | PoleMaster | Lodestar X2 | OAG | ZWO ASI120MC-S | ZWO ASI071MC Pro

              Comment


                #8
                Ondertussen heb ik nog wat kunnen oefenen en zit de kleurblans ook wat beter:
                Click image for larger version

Name:	pleidaden3.jpg
Views:	1
Size:	1.17 MB
ID:	1384435
                Omegon 150/750 f5 reflector, ASI 034 MC

                Comment


                  #9
                  Deze set heb ik als test gebruikt voor ASTAP. De CR2 files waren een probeem. ASTAP werkt alleen met FITS files. Als eerste met het programma DCRAW geprobeerd de CR2's te converteren naar een TIFF of PPM file (kleuren). Importeren van 16 bit TIFF lukt nog niet en 8 bit (24 bit kleur) gaf bijzonder slechte resultaten. Een import routine voor PPM 16 bit, 48 bit kleur was redelijk snel gebouwd maar uiteindelijk gekozen voor "unbayered" format PGM. Met het commando "DCRAW.exe -D -4 *.CR2" produceert DCRAW PGM files met de orginale pixel waarden in 16 bit. De bayer matrix kan dan later worden toegepast.

                  De PGM files zien er dan zo uit:

                  Click image for larger version  Name:	M45 raw.png Views:	1 Size:	555.3 KB ID:	1384691

                  De kleurenomzetting gebeurd later in ASTAP met een Bayer matrix patroon 1,0. Het programma DCRAW is inmiddes geintegreerd in ASTAP v09.76

                  De master flat ziet er dan zo uit:

                  Click image for larger version  Name:	M45 flat.png Views:	1 Size:	360.1 KB ID:	1384692

                  Een typische flat. De stofdeeltjes zijn circa 5% zwakker dan de rest. De flats worden monochroom gebruikt en vanwege de Bayer matrix is een 2x2mean filter ideaal. Met 3x3 mean krijg je interferentiepatronen.


                  De master dark ziet er zo uit:

                  Click image for larger version  Name:	M45 dark.png Views:	1 Size:	150.0 KB ID:	1384693

                  Het gestapelde beeld wat uiteindelijk met methode Sigma Clip uit ASTAP komt (2 uur) ziet er dan zo uit:


                  Click image for larger version  Name:	M45 out of ASTAP.jpg Views:	1 Size:	320.6 KB ID:	1384694

                  Mijn oude desktop moest hard werken om de 30 opnames van 5496x3670 pixels te stapelen. De opname heeft heel veel last van lichtvervuiling De felle achtergrond er afhalen was lastig. Uiteindelijk hiervoor Photoshop gebruikt. Eerst met "curves" alle sterren afgekapt net boven de achtergrond. Met "rubber stamp" de helderste sterren weggestempeld. Dan een zware Gaussian blur van 150 toegepast en het resultaat met een kleine offset van de originele opname afgetrokken. Vreemdt genoeg was het noorden links of rechts, dus het beeld maar 90 graden gedraait. In de onderstaande uitsnede is noord boven en oost links;

                  Click image for larger version  Name:	image_96307.jpg Views:	1 Size:	1.70 MB ID:	1384695

                  Nog even met kleurenverzadiging gespeeld maar toch maar niet toegepast. Ik houd niet zo van felle kleuren in astronomische opnames.

                  Het stacking process gaat mathematisch als volgt:
                  The master flat is calculated as:

                  master flat: = (1/n ∑ [flat] - 1/n ∑ [flat darks] )

                  Where a bias image could be used as flat-dark image. The masterflat should be averaged by a 2x2mean to remove Bayer matrix artifacts.

                  Each image is calculated as:

                  (image- {∑ [darks]/n} ) / master flat

                  Then the Bayer matrix is applied and finally the images are stacked in mode average or sigma clipped.

                  So for average stack:

                  final image:= 1/n ∑ Bayer(image)




                  Han
                  Last edited by Han.K; 05-07-18, 10:31.

                  Comment


                    #10
                    Hoi Petelaa, bedankt voor het delen!

                    Ik ben aan de slag gegaan met PixInsight.

                    Heb de opnames eerst gekalibreerd en gestacked met het BatchPreProcessing script (winsorized sigma clipping), dit ging prima.
                    De Canon 6D gebruikt volgens mij interne dark scaling, waardoor de darks niet naar behoren werken.
                    Ik kon geen verschil zien tussen stacks met of zonder dark frames, bias en flat frames zijn dus in principe voldoende met deze camera (en dithering).

                    Er is inderdaad vrij veel lichtvervuiling aanwezig (rode gloed), maar dit ben ik ondertussen wel gewoon.


                    Click image for larger version  Name:	StackedCropped.jpg Views:	1 Size:	2.81 MB ID:	1384846
                    Ruwe stack

                    Lichtvervuiling is normaal een gradient die van horizon naar zenith loopt, zonder veel abrupte veranderingen.
                    Dit zien we ook in de stack: de rode gloed neemt toe van links (= noorden) naar aan de rechterkant (= horizon).

                    Click image for larger version  Name:	LightPollutionGradient.jpg Views:	1 Size:	63.3 KB ID:	1384847
                    Lichtvervuiling

                    Als ik deze gradient verwijderde, zag ik dat er een verassing onder de lichtvervuiling verborgen zat:

                    Click image for larger version  Name:	Petelaa_M45_GradientRemoved.jpg Views:	1 Size:	4.22 MB ID:	1384848
                    Na verwijderen van de gradient

                    Er zitten een aantal heldere concentrische ringen in de opnames. Meestal worden deze veroorzaakt door reflecties van gladde oppervlakken binnenin de telescoop of corrector, en zijn daarom heel lastig te verwijderen. Dit vond ik wel een nadeel aan de dataset, de zwakke nevels rondom de cluster zijn bedekt door de ringen. Voor beginners is het waarschijnlijk ook een extra struikelblok bij het leren bewerken.

                    Een aantal stofjes zijn niet volledig gecorrigeerd door de flats, maar ik denk dat beginners wel met de clone stamp tool kunnen werken om deze afwijkingen verder te reduceren. Ik heb er zelf niets aan gedaan.

                    Met DBE heb ik de ringen kunnen verwijderen, maar hierdoor is ook al het detail in de zwakke omliggende nevels verloren gegaan.

                    Click image for larger version  Name:	Petelaa_M45_GradientRemoved_DBE.jpg Views:	1 Size:	4.69 MB ID:	1384850
                    DBE correctie

                    Vervolgens heb ik de stack verder bewerkt met
                    - Kleurcorrectie (goede verdeling van blauwe en rode sterren)
                    - HistogramTransformation (stretch)
                    - SCNR (correctie van groen)
                    - ACDNR (correctie van kleurruis)
                    - Curves voor contrast en kleurverzadiging
                    - Stermasker gemaakt voor kleurverzadiging van de sterren
                    - Verscherpt met UnsharpMask en een sterloos luminance masker.

                    Fullsize:

                    Click image for larger version  Name:	Petelaa_M45_DBE.jpg Views:	2 Size:	5.09 MB ID:	1384851
                    Eindresultaat

                    Click image for larger version  Name:	Petelaa_M45_DBE.jpg Views:	1 Size:	5.09 MB ID:	1384849
                    Last edited by cyber; 06-07-18, 13:52.
                    TS 80 mm f/6 | EQ-5 met EQMod | ASI1600MM-C
                    Blog: https://astrovirusblog.wordpress.com/

                    Comment


                      #11
                      Hallo Cyber,

                      Mooi resultaat! Ja niet alle stofjes gingen met de flat weg. Een heb ik weggestempeld. Ik heb geen last gehad van concentrische ringen. DBE ken ik niet. Voor mijn gevoel kan je het eindresultaat nog iets verbeteren door het iets terugnemen van rood voor de meeste sterren en de achtergrond.

                      De eindafwerking van deze test set is lastig maar een goede demonstratie van wat er uit te halen is.

                      Han

                      Comment


                        #12
                        Originally posted by Han.K View Post
                        Hallo Cyber,

                        Mooi resultaat! Ja niet alle stofjes gingen met de flat weg. Een heb ik weggestempeld. Ik heb geen last gehad van concentrische ringen. DBE ken ik niet. Voor mijn gevoel kan je het eindresultaat nog iets verbeteren door het iets terugnemen van rood voor de meeste sterren en de achtergrond.

                        De eindafwerking van deze test set is lastig maar een goede demonstratie van wat er uit te halen is.

                        Han
                        Bedoel je dat de kleurverzadiging van de rode sterren te hoog is? Of is de kleurbalans te veel naar rood verschoven?
                        Ik vind dat de huidige kleurbalans vrij goed aansluit bij referentie-opnames zoals deze:
                        https://apod.nasa.gov/apod/ap161019.html
                        http://www.deepskycolors.com/archivo...iades-M45.html

                        De ringen zijn ook zichtbaar in jouw stack Han.K, in de Jpeg kan ik ze eenvoudig zichtbaar maken met PixInsight:

                        Click image for larger version  Name:	image_96306_ABE.jpg Views:	1 Size:	387.0 KB ID:	1385069
                        Ringen in Han.K stack

                        De techniek die je gebruikt voor de correctie van de lichtvervuiling is volgens mij gelijkaardig aan DBE, waardoor je de ringen niet meer ziet. Zal daarom even toelichten hoe de achtergrond correctie in PixInsight werkt. Er zijn 2 verschillende algoritmes beschikbaar: AutomaticBackgroundExtraction (ABE) en DynamicBackgroundExtraction (DBE).

                        Voor de demonstratie heb ik even een screentransferfunction met unlinked channels toegepast. Dit balanceert de stretch van de 3 RGB kanalen, waardoor de onderliggende details beter zichtbaar zijn.

                        Click image for larger version  Name:	StackedCropped.jpg Views:	1 Size:	1.01 MB ID:	1385071
                        Ruwe stack met unlinked ScreenStretch

                        ABE maakt een 2-dimensionaal model van de achtergrond, en voor de fitting worden 2 polynoom vergelijkingen gebruikt. In het eenvoudigste model zijn dit eerstegraads polynomen. Het model van de gradient is dan lineair in zowel de x- als y-richting.

                        Click image for larger version  Name:	StackedCropped_ABE_background.jpg Views:	1 Size:	29.6 KB ID:	1385070
                        ABE background model (function degree = 1)

                        Click image for larger version  Name:	StackedCropped_ABE.jpg Views:	1 Size:	2.60 MB ID:	1385072
                        Stack na ABE correctie

                        Je ziet dat de vignetting aan de linkerkant en gloed aan de rechterkant niet volledig gecorrigeerd worden door ABE. Hiervoor is een achtergrond model met hogere complexiteit nodig. Dit is een goed moment om over te schakelen naar DynamicBackgroundExtraction (DBE).

                        Bij DBE moeten er (manueel) sample points geplaatst worden, op plaatsen waar je de echte 'achtergrond' wil meten. Deze samples mogen dus geen objectsignaal bevatten, omdat dit anders mee in het achtergrond model opgenomen (en dus verwijderd) wordt. DBE maakt vervolgens een interpolatie tussen alle samples, op basis van een 'smoothing factor'. Ik heb initieel slechts enkele samples points gebruikt met een zeer hoge smoothing factor, waardoor de ringen niet in het model aanwezig zijn.

                        Click image for larger version  Name:	DBE_sample_points.jpg Views:	1 Size:	184.3 KB ID:	1385073
                        Plaatsing van DBE sample points

                        Click image for larger version  Name:	StackedCropped_DBE_background.jpg Views:	1 Size:	33.2 KB ID:	1385074
                        DBE background model

                        Click image for larger version  Name:	StackedCropped_DBE.jpg Views:	1 Size:	3.38 MB ID:	1385075
                        Stack na DBE correctie

                        In vergelijking met ABE is de linker- en rechterkant van de afbeelding nu een stuk beter gecorrigeerd.


                        Om de ringen te verwijderen heb ik een zeer hoog aantal sample points gebruikt, en de DBE parameters ook aangepast zodat de ringen als 'achtergrond' beschouwd zouden worden. De correctie gebeurt nu ook in 'division' mode in plaats van 'subtraction', waardoor het achtergrond model eigenlijk werkt zoals een kunstmatige flat.

                        Click image for larger version  Name:	DBE_sample_points2.jpg Views:	1 Size:	387.0 KB ID:	1385076
                        Sample points voor de ringen/reflecties

                        Click image for larger version  Name:	Rings_DBE_background.jpg Views:	1 Size:	104.3 KB ID:	1385077
                        Model van de reflecties

                        Click image for larger version  Name:	Rings_DBE.jpg Views:	1 Size:	6.02 MB ID:	1385078
                        Na DBE correctie van de reflecties

                        Hopelijk heb je iets aan mijn zeer korte uitleg van ABE en DBE

                        - Victor
                        TS 80 mm f/6 | EQ-5 met EQMod | ASI1600MM-C
                        Blog: https://astrovirusblog.wordpress.com/

                        Comment


                          #13
                          Victor,

                          Het ging over de kleurenbalans. Op mijn monitor neigen de zwakke objecten en hemelachtergrond voor mijn gevoel iets teveel naar rood. Ik probeer de hemelachtergrond altijd grijs te krijgen. Mijn opname is ook niet perfect en de nevel is misschien iets te groen maar dat kwam er vanzelf uit.

                          Bedankt voorr deze uitgebreide uitleg over DBE. Het is duidelijk maar ik kan het zonder PI helaas niet niet nadoen. In het verleden heb ik wel eens met MaximDl een soortgelijke methode geprobeerd maar dat was geen success. Bij veel meetpunten werd het meestal slechter.

                          Voor mij werkt de methode om de sterren en deepsky objecten weg te halen en de overblijvende achtergrond dan na een Gaussian blur van de originele opname af te trekken. In ASTAP kan dat redelijk automatich met een "most common filter", maar deze opname was erg lichtvervuild en het gaf geen goede resultaten. In Photoshop kap ik meestal eerste met "curves" de heldere sterren af tot net boven de achtergrond en stempel ze dan zoveel mogelijk weg. Het is dan zaak om de trend in de gaten te houden. Is de rechterkant achtegrond van het beeld veel helderer dan de linkerkant dan stempel ik de sterren weg met de achtergrond boven of onder de sterren. Na een Gaussian blur krijg je een goede representatie van de achtergrond. Daar M45 nevel nogal groot is maakt het extra moeiljk om deze weg te stempelen en daarom is aan het einde een hele hoge blur factor van 150 toegepast
                          Last edited by Han.K; 09-07-18, 09:32.

                          Comment

                          Working...
                          X