#lost · 2016-08-19
576 Nachrichten · Seite 1 von 3 · Original-CSV herunterladen
- Quantenmagierso endlich nen General Protection Fault hinbekommen, der ESP ist bei 0x000053D0 dh. gcc scheint den stack so zu organisieren, daß der pointer selbst an 16 byte ausgerichtet ist.
- Quantenmagier0x53A0 jetzt, ok dann is das immerhin schonmal geklärt
- Quantenmagierah ich glaub mir ist grad eingefallen wie ich das problem mit dem pthread_exit lösen kann, ich mach ne routine void pthread_execute(){}
- Quantenmagierund die macht pthread_exit(start_routine(arg));
- Quantenmagierund dann muß ich von asm aus nur die pthread_execute ansteuern und nix anderen mehr
- Quantenmagierund die parameter übergebe ich über ne globale variable dann muß ich mich in asm nicht mit den argumenten auf dem stack rumärgern
- Quantenmagierund ich brauch noch nen mutex, damit die globale variable immer zu dem aufruf passt
- Quantenmagierer müßte auf globale variablen ja auch zugreifen können wenn er nen andern stack hat so lange der alte stack an der selben adresse liegt
- Quantenmagierdas is voll genial warum bin ich da nicht eher drauf gekommen, auch wenn es ein wenig lustig ist, daß pthread.c dann zum ordnungsgemäßen funktionieren seine eigenen mutexe benutzt :D
- Quantenmagierich werd dann ne abkürzung nehmen indem ich den mutex im parent locke und im child unlocke, das is zwar nach posix undefined "If a thread attempts to unlock a mutex that it has not locked or a mutex which is unlocked, undefined behavior results." aber da es mein eigenes system ist kann ich es ja so implementieren daß es geht, das is dann ja mit undefined behaviour konform :D
- Quantenmagierach wie dumm er dupliziert meinen assembler code und beschwert sich dann, daß ne zeilenmarke doppelt ist -.-
- Quantenmagieralso mit -Os kompiliert es aber mit -O2 sagt er "Error: symbol `pthread_mutex_lock_S' is already defined"
- Quantenmagierahh ok man muß ein %= hinter die zeilenmarken packen
- Quantenmagierdann sind die einzigartig selbst wenn sie vom compiler dupliziert werden.
- Quantenmagierso hier übrigens mein meisterwerk zu pthread_create, jetzt muß ich nur noch das task state segment erstellen und stdlib_pthread_execute() im neuen thread ausführen... https://nopaste.me/view/raw/237bf82b
- Quantenmagierachso ich prüfe die rückgabewerte von pthread_mutex_lock und pthread_mutex_unlock nicht, weil rein logisch kein fehler auftreten kann.
- darklink^^
- darklinkQuantenmagier: ich würde ein undefined behabo
- darklinkbehavior als "HCF" verstehen
- darklinkoder etwas komplett komisches, wie einen thread spawnen und warten bis der then mutex lockt
- Quantenmagierdarklink, nee undefined behavior sagt ja daß man das normal nicht machen soll, und programme die es machen sind es nicht standardkonform, also kann man machen was für das os am besten ist
- Quantenmagieraber immerhin gelten mutexe nur innerhalb des selben prozesses, dh es gibt keine konflikte mit anderen anwendungen sondern nur mit anderen threads der selben anwendung
- Quantenmagieres sei denn die beiden prozesse haben shared memory und der mutex liegt dadrauf, aber wenn sie shared memory haben sind sie eh nicht unabhängig
- darklinkQuantenmagier: deshalb sollte man etwas komplett verrücktes tun
- Quantenmagiernaja man könnte ne fehlermeldung ausgeben, was an nicht-posix-konformem verhlaten aufgetreten ist, aber ich finde wenn ein programm so designed ist, daß es in einem thread nen mutex locked und in nem andern freigibt soll es doch
- Quantenmagierwenn ich das zulasse ist es ja immernoch posix-konform
- darklinkfree(ptr); free(ptr); -> deallokiert das ganze programm und überschreibt es
- Quantenmagierund ich spare mir zwei befehle in meiner pthread.c zum synchronisieren
- darklink>2 befehle
- MasterQ32@darklink: "According to the C++ standard, it's "undefined". That's a technical term that means, in theory, anything can happen: the program can crash, or keep running but generate garbage results, or send Bjarne Stroustrup an e-mail saying how ugly you are and how funny your mother dresses you." :shock:
- darklinkMasterQ32: siehste
- kevinWir reden hier aber nicht von UB der Programmiersprache
- MasterQ32ja gut, aber das ist mir so irgendwie passend eingefallen :D
- kevinAbgesehen davon ist die Lösung mit globaler Variable und Mutex völlig kaputt
- kevinAber gut, Quantenmagier scheint das ja zu mögen
- Quantenmagierdarklink ja zweimal die selbe adresse freigeben wäre im falle meines os momentan sehr böse, weil die adressen kernelseitig freigegeben werden und wenn die bereits zu nem andern programm gehört hat das andere programm nen problem xD
- darklink^^
- darklinkfail
- darklinkuserspace malloc != kernel malloc
- darklinkalle prozesse haben einen getrennten malloc pool
- Quantenmagierdarklink bei mir nicht, den getrennten malloc pool implementiere ich erst mit dem Paging Memory Manager
- Quantenmagieraber vllt leg ich vorher ne tabelle an die kernelseitig prüft ob der ram zu dem prozess gehört der freigibt
- Quantenmagierkevin was is daran kaputt, ich find das is ne super lösung, weil ich dann keine argumente in asm übergeben muß und das verhalten des neuen threads komplett in der libc statt im kernel definiert habe.
- Quantenmagieralso samt pthread_exit
- Quantenmagierhm ok im kernel ist es eh nicht, aber ich hab es dann halt nicht in asm geschrieben und muß daher die adresse von pthread_exit nicht übergeben, weil die innerhalb der libc fest ist
- Quantenmagierich muß jetzt nurnoch rausfinden, wie ich stdlib_pthread_execute aufrufen kann, ob ich die adresse einfach anspringen kann oder ob ich vorher irgendwas am stack oder den registern ändern muß, obwohl die funktion keine argumente hat
- darklinkhttp://hastebin.com/qisobajaba.c
- darklinkunterstützt bis zu 1M malloc()s
- darklinkdie doppelt indirekte liste ist null bei allen außer dem ersten
- darklinkdie enthält auch einen pointer auf die erste malloc_t liste
- darklinksollte es glaube ich noch mal überarbeiten
- Quantenmagierverstehe nicht was das malloc_t *list[] soll
- Quantenmagierwarum nen array, wenn du ne liste hast?
- Quantenmagierhm hab grad nochmal meine geschwindigkeitstestergebnisse nachgeschlagen, denke ich lass das demnächst nochmal laufen, damals kam raus daß in qemu nen xchg oder 3mov schneller waren als 3xor, find ich irgendwie seltsam, weil xchg ja nen lock macht und 3xor nicht, aber vllt implementiert qemu das lock auch einfach effektiver so daß drei xor tatsächlich schlechter sind als ein lock xchg
- kevinQuantenmagier: Warum nimmst du das gleiche Verfahren nicht auch für neue Funktionsaufrufe? Dann kannst du dir auch dort sparen, den Stack zu benutzen.
- kevins/neue/normale/
- Quantenmagierweil das programm dann doppelt so viel speicher für aufrufe braucht, ich hab den stack zwar für den aufruf gespart aber der speicher wird ja trotzdem für die globale variable verbraucht und dazu kommen dann noch die lokalen variablen die die globale variable übernehmen die verbrauchen dann wieder den stack
- Quantenmagierok es is nicht doppelt so viel aber es ist dennoch mehr
- kevinDu meinst, das wäre Blödsinn?
- kevinOkay, warum ist es dann beim Starten von Threads kein Blödsinn?
- Quantenmagierweil beim starten von threads die lokalen variablen immer auf nen eigenen stack des neuen threads gepackt werden aber nur einmal platz für eine globale variable brauchen, dh der overhead für die globale variable ist gering, weil die für alle gestarteten threads an der selben adresse liegt und man sparrt sich dafür das übergeben von argumenten zum und vom assembler, d.h. im endeffekt hat man dann sogar wen
- Quantenmagieriger verbraucht
- Quantenmagierder einzige wirkliche nachteil ist halt daß man für jedes programm nur einen thread nach dem anderen starten kann, also wenn zwei threads des selben prozesses gleichzeitig nen neuen thread starten wollen, muß der eine thread warten bis der thread des anderen threads erstellt wurde.
- Quantenmagierdas könnte bei argumentübergabe über assembler statt über globale variable gleichzeitig ablaufen
- Quantenmagieraber wie oft startet man schon threads parallel
- kevinDas kommt auf das Programm an
- kevinUnd du gehst davon aus, dass der Thread den Wert in der globalen Variable nicht braucht? Weil sonst muss er den ja auch irgendwohin kopieren.
- Quantenmagiertut er ja er kopiert ihn in die lokale variable und führt es dann von da aus
- Quantenmagierhttps://nopaste.me/view/raw/237bf82b
- Quantenmagierdas is in stdlib_pthread_execute(), da kopiert es das in lokale variablen bevor er die funktion aufruft
- kevinDann brauchst du doch den Platz auf dem Stack trotzdem?
- Quantenmagierjoa den brauch ich aber so oder so, der overhead ist bloß die beiden globalen variablen und der mutex (char)
- Quantenmagieraber sonst müßte ich die jetzt globalen variablen an den syscall zum erstellen des neuen threads übergeben, deswegen ist es quasi plus minus null vom speicherverbrauch
- kevinJa, aber dafür brauchst du Locks
- Quantenmagierjop stimmt leider
- kevinDie du nicht brauchen würdest, wenn du die Parameter einfach direkt auf den Threadstack packen würdest
- Quantenmagieraber die brauch ich zum reservieren des stack des neuen threads eh, wenn ich es komplett konkurrent machen will müßte ich deswegen auch ein paralleles malloc schreiben was ohne locks auskommt :D
- kevinDu machst i386, oder? Also PM
- Quantenmagierjop PM
- Quantenmagieres is vllt nicht die shcnellste methode, aber es ist posix konform und einfach :D
- kevinAlso werden die Parameter über den Stack übergeben. Würde die Sache einfach machen.
- kevinNaja, mach was du willst ;-)
- Quantenmagierjoa über den stack wär vllt etwas schneller aber auch komplizierter, vllt mach ich das noch irgendwann nachträglich, wenn ich mich besser mit der c call konvention auskenne ^^
- Quantenmagierund mir is jetzt auch eingefallen wie ich tid und pid unterscheiden kann, die tid ist das TSS des threads und die pid ist das DS des threads, weil DS für alle threads des selben prozesses gleich ist. Die frage ist könnten auch zwei verschiedene Prozesse das selbe Datensegment haben?
- Quantenmagierich denke mal nicht daß das vorgesehn ist zwei prozesse auch dem selben adressspace laufen zu lassen oder gibts dafür irgendeine funktion in zB. linux?
- Quantenmagiers/auch/auf/
- Quantenmagierich könnte auch sagen die tid ist das SS und nicht das TSS das wär glaubich sogar noch einfacher, weil man das SS direkt über mov laden kann und das TSS nen spezialbefehl ltr oder so braucht
- Quantenmagierhm obwohl ich glaub ich muß dann nochmal die interrupt deskriptoren zu rate ziehen, weil ich glaube der syscal brauch nen eigenes SS dh dann wäre TSS doch sinnvoller als SS weil das SS sich beim syscall ändert
- kevinds ist solange gleich wie der Userspace-Prozess es nicht ändert
- kevinUnd zwei Prozesse im gleichen Adressraum heißen Threads
- Quantenmagierhm joa ich hatte auch überlegt cs statt ds zu nehmen, aber ich denke daß zwei prozesse das selbe cs verwenden ist wahrscheinlicher als daß sie das selbe ds verwenden.. klar wenn der userspace das ds ändert wär das natürlich murks, aber gcc kann ja keine segmente deswegen wird ein userspace-prozess das ds nicht ändern, im normalfall
- kevinDas kommt drauf an, wie du es machst
- kevinJeder andere außer dir hat genau ein einzigen Userspace-Codesegment und ein einziges Userspace-Datensegment für alle Prozesse zusammen
- kevinAber jeder andere benutzt ja auch Segmentierung nicht wirklich
- Quantenmagierjoa
- Quantenmagieralso eigentlich kann ein userspaceprozss sein ds nicht ändern dafür müßte er wissen welche userspace-datensegmente es noch gibt, er könnte es höchstens auf sein ss ändern, aber dann mit dem geänderten ds nen syscall zu machen wär eh irgendwie dumm
- Quantenmagierhm er könnte natürlich auf gut glück ein datensegment auswählen was kleiner ist als sein eigenes und mit ner chance von ca. 1/6tel könnte er dann vortäuschen nen anderer prozess zu sein.. *grübel* vllt sollte ich das dann nochmal überdenken..
- Quantenmagiervllt sollte ich dann die pid doch einfach ins tss schreiben dann wär es gegen manipulation gesichert
- Quantenmagieraber is dann auch langsamer die pid auszulesen
- Quantenmagierhmm immer diese abwägungen zwischen geschiwndigkeit und sichereit
- Quantenmagier+h
- Quantenmagierandererseits sollte ich das ds vermutlich eh gegenmanipulation absichern, die frage ist wie verhindert man daß ein prozess ein anderes ring3 ds lädt is da irgendwas vorgesehn?
- kevinDu meinst ein Segment, das zu einem anderen Prozess gehört?
- Quantenmagierjop
- kevinPack alle Usermode-Segmente in eine LDT statt die GDT
- kevinDann hat jeder Prozess seine eigene LDT
- Quantenmagierhm stimmt das wär ne möglichkeit
- Quantenmagierdie ldt benutz ich bisher garnicht, sollte ich dann mal ne routine für schreiben
- Quantenmagierwie machen das denn eigentlich betriebssysteme ohne segmentierung, daß sie verhindern, daß ein prozess auf den adressraum eines anderen schreibt?
- Quantenmagierläuft das da dann über paging oder gibts da noch ne andere variante?
- darklinkPaging
- Quantenmagierok dh die speicherbereiche von anderen prozessen werden einfach nicht gemapped? sprich man brauch für jeden prozess ne eigene paging-table/-directory?
- Quantenmagierhm wenn ich die ldt benutzte hätte das auch den vorteil, daß ich mehr platz in der gdt hätte für andere prozesse, weil ich dann ja das datensegment und alle stacksegmente der verschiedenen threads und eventuell auch das code-segmentalle in die ldt legen könnte, die frage ist bloß noch ob ich die tss auch in die ldt legen kann oder ob die in der gdt liegen müssen..
- Quantenmagiergeil wenn ich die tss auch in die ldt legen kann könnte ich maximal ca. 2700 Threads pro Prozess starten bei maximal ca. 8000 Prozessen, denke die anzahl der deskriptoren solle erstmal für den normalfall ausreichen, bei meiner aktuellen variante alle deskriptoren in die gdt zu packen hatte ich ja schon angst daß die irgendwann ausgehen ^^
- Quantenmagierachso scheinbar kann man die tss nicht auf die ldt legen, weil im tss der ldt selektor steht ^^
- Quantenmagierschade
- Quantenmagierdas reduziert die zahl der möglichen threads drastisch und die zahl der möglichen prozesse wird dadurch halbiert
- Quantenmagiervllt sollte ich mir mal ne alternative zum TSS überlegen, ich nutz ja eh kein hw multitasking und die kompatibilität dazu kann ich eigentlich auch wegschmeißen, den hw-multitaskingtreiber werde ich vermutlich eh nicht mehr verwenden
- Quantenmagiernaja LDT und TSS-Surrogat kommen erstmal auf meine ToDo liste.
- darklinkMeine benutzung der segmente reicht für UINTPTR_MAX prozesse
- darklinkund genau so viele threads pro prozess
- darklinkUnd 2^64-1 bzw 2^128-1 threads finde ich viel
- Quantenmagierkrass wie benutzt du die denn? also was machst du an stelle des Task State Segments?
- darklinkKa
- darklinkTSS werde ich glaube ich bei x86 überhaupt nicht mehr nehmen
- Quantenmagierwo speicherst du dann den task state?
- darklinkIn ner tabelle
- Quantenmagiereine tabelle global oder für jeden prozess oder für jeden thread?
- darklinkhw multitasking ist sch****
- darklinkeine tabelle global
- Quantenmagierhm und wie findest du in der tabelle platz für 2^64-1 task states? vergrößerst du die dynamisch?
- darklinkx-mal indirekt
- Quantenmagierdh?
- darklinkalso dynamisch
- Quantenmagierah ok dh wenn sie zu klein geworden ist mappest du ne neue page dahinter?
- darklinkalso unter x86 und arm wäre das ein Task ***
- darklinkunter x86_64 wäre es auch ein Task ***
- darklinkoder bei beiden noch ein stern mehr?
- Quantenmagiero.O
- Quantenmagierwarum so viele pointer auf pointer? die alle zu dereferenzieren kostet doch viel zeit beim task switch?
- darklink>Viel zeit
- darklink>HW Multitasking
- darklink*hust*
- Quantenmagiernaja wenn prozessoren das hw multitasking ordnentlich unterstützen würden wäre das schneller als sw multitasking, aber es wurde leider hw seitig nie groß optimiert wie es scheint. :-/
- darklinkhw multitasking und segmentation braucht viel mehr als 3 zusätzliche speicherzugriffe
- darklink+zeit
- Quantenmagierich hatte damals nur die intel referenz als ich mein os angefangen habe und in der intelreferenz war halt nur das hw multitasking erklärt, daß man das meist softwareseitig macht und hw multitasking langsam ist stand in dem intel dokument leider nicht drin
- darklinkdamals gabs allerdings schon x86_64, oder`
- Quantenmagiernee
- darklinkwann hast du angefangen?
- darklink1996?
- Quantenmagiernee so kurz nach 2000 denke ich
- darklinkaber nich nach 2005
- Quantenmagiernaja der letzte kenrel den ich hier noch rumliegen habe ist nach ls -l von 2005, aber denke ich hab früher angefangen, weil dieses date was da steht beim kopieren geändert wurde oder so
- darklinkDu solltest dringend mal git/svn benutzen
- Quantenmagierjop wollte die tage git aufsetzen um code mit nem kumpel zu tauschen, aber find das irgendwie recht kompliziert, also muß ich da für jedes projekt nen eigenes repository anlegen oder kann man die auch irgendwie sammeln oder sagen daß git die repos automatisch erzeugen soll?
- XanClicKlar
- XanClicfunction mkdir_and_git() { mkdir "$1" && git init "$1" }
- XanClicalias mkdir=mkdir_and_git
- darklinkexport -f mkdir_and_git
- XanClicNa, sollte schon in die ~/.*shrc
- Quantenmagierund git kann diese funktion dann benutzen, wenn man nen neues repo hochladen will?
- darklinkdann kann ich ja meinen PATH ohne export setzen da drinne?
- XanClicEigentlich sollst nur du diese Funktion benutzen, um ein Repo anzulegen
- XanClicUnd eigentlich war das auch nur ein Witz, weil "git init" jetzt nicht so schwierig auszuführen ist
- Quantenmagieraso naja geht mir halt darum daß ich will daß mein kumpel auch das git auf dem server benutzen können soll und neue repos anlegen aber kein ssh ausführen
- XanClicDas ist ja weniger ein git-Problem
- XanClicSondern eher ein Problem, wie du es ermöglichst, dass der bestimmte Befehle ausführen kann, aber nur die
- Quantenmagiernaja dachte man kann die repos irgendwie gitseitig anlegen
- XanClicKlar kann man
- XanClicgit init
- XanClic:-P
- XanClicAber wie man einem Benutzer erlaubt, das zu machen, und nur das, ist eher nicht so gits Problem
- Quantenmagierhm sehe grad git init benutzt den directory als parameter, ich würd lieber nur nen repository namen und die sollen dann alle im selben dir sein geht das auch oder wie kann in die pfade für git einschränken?
- XanClicIch persönlich würde halt irgendein kleines CGI-Skript schreiben
- XanClicDas nimmt einen Repositorynamen als Parameter, erstellt das Verzeichnis und führt da git init aus
- XanClicAlternativ gibts halt Software wie github oder gitorious, die man auf dem Server laufen lassen kann, und die das verwalten
- XanClicWobei github glaub ich nicht kostenlos ist und beides eher ein bisschen zu fett für den Zweck
- XanClicUnd ich meine github wie in github-Software, nicht wie in github.com
- Quantenmagierhm wie macen das denn die linux entwickler für die git entwickelt wurde, daß sie zum beispiel nen webcam-treiber entwickler von nem filesystem-entwickler abschirmen anhand der linux pfade oder is das alles global und jeder entwickler kann alles ändern?
- XanClicEs gibt nur einen, der Zeug im offiziellen Linuxrepo committen kann, und das ist Linus
- XanClic(wobei das die Theorie ist, ich glaube, praktisch haben noch zwei, drei andere Leute Zugriff)
- XanClicAlle anderen senden Patches an die Linux Kernel Mailing List, da werden die reviewt und dann ggf. von Maintainern in deren private git-Repos gemerget
- Quantenmagieraso und wo hat der den code her hat der dann zwie repos eins wo die entwicker commiten und das offizielle wo nur er commited?
- XanClicUnd jede $ZEITEINHEIT (eine Woche oder so) senden die Maintainer dann einen Pullrequest an Linus
- Quantenmagieraso
- darklinkGit ist eigentlich bloß ne sammlung von code für das mailen von diffs
- XanClic…eigentlich nicht
- Quantenmagierläuft dieser pullrequest auch über git? also shcicken die den dann an das offizielle linux repository und linus sieht die dann da?
- XanClicBranches und Rebasing sind die ersten zwei Sachen, die mir einfallen, die darüber hinaus gehen
- darklinkXanClic: es hat 3 befehle genau dafür
- XanClicdarklink, richtig, es hat aber eine Menge anderer Befehle für andere Sachen
- XanClicMan kann also definitiv sehr gut git-Patches per Mail verschicken und das ist definitiv ein Einsatzzweck
- XanClicMan kanns aber auch nicht machen
- XanClicAuf github wird normalerweise alles ohne E-Mails gemacht
- darklinkIch mache es nicht
- XanClicQuantenmagier, der Pullrequest besteht normalerweise aus einer Serie von Patch-E-Mails
- XanClicAber die erste E-Mail enthält normalerweise auch einen Link zum Repository des Maintainers, sodass Linus da direkt die Commits rausziehen kann
- Quantenmagiero.O urgs warum haben die die funktion nicht direkt in git implementiert, daß man den request direkt in git sieht?
- XanClicWeil git kein Service ist, sondern eine Sammlung von Programmen?