#lost · 2016-08-19

576 Nachrichten · Seite 1 von 3 · Original-CSV herunterladen

  1. Quantenmagierso endlich nen General Protection Fault hinbekommen, der ESP ist bei 0x000053D0 dh. gcc scheint den stack so zu organisieren, daß der pointer selbst an 16 byte ausgerichtet ist.
  2. Quantenmagier0x53A0 jetzt, ok dann is das immerhin schonmal geklärt
  3. Quantenmagierah ich glaub mir ist grad eingefallen wie ich das problem mit dem pthread_exit lösen kann, ich mach ne routine void pthread_execute(){}
  4. Quantenmagierund die macht pthread_exit(start_routine(arg));
  5. Quantenmagierund dann muß ich von asm aus nur die pthread_execute ansteuern und nix anderen mehr
  6. Quantenmagierund die parameter übergebe ich über ne globale variable dann muß ich mich in asm nicht mit den argumenten auf dem stack rumärgern
  7. Quantenmagierund ich brauch noch nen mutex, damit die globale variable immer zu dem aufruf passt
  8. Quantenmagierer müßte auf globale variablen ja auch zugreifen können wenn er nen andern stack hat so lange der alte stack an der selben adresse liegt
  9. Quantenmagierdas is voll genial warum bin ich da nicht eher drauf gekommen, auch wenn es ein wenig lustig ist, daß pthread.c dann zum ordnungsgemäßen funktionieren seine eigenen mutexe benutzt :D
  10. Quantenmagierich werd dann ne abkürzung nehmen indem ich den mutex im parent locke und im child unlocke, das is zwar nach posix undefined "If a thread attempts to unlock a mutex that it has not locked or a mutex which is unlocked, undefined behavior results." aber da es mein eigenes system ist kann ich es ja so implementieren daß es geht, das is dann ja mit undefined behaviour konform :D
  11. Quantenmagierach wie dumm er dupliziert meinen assembler code und beschwert sich dann, daß ne zeilenmarke doppelt ist -.-
  12. Quantenmagieralso mit -Os kompiliert es aber mit -O2 sagt er "Error: symbol `pthread_mutex_lock_S' is already defined"
  13. Quantenmagierahh ok man muß ein %= hinter die zeilenmarken packen
  14. Quantenmagierdann sind die einzigartig selbst wenn sie vom compiler dupliziert werden.
  15. Quantenmagierso hier übrigens mein meisterwerk zu pthread_create, jetzt muß ich nur noch das task state segment erstellen und stdlib_pthread_execute() im neuen thread ausführen... https://nopaste.me/view/raw/237bf82b
  16. Quantenmagierachso ich prüfe die rückgabewerte von pthread_mutex_lock und pthread_mutex_unlock nicht, weil rein logisch kein fehler auftreten kann.
  17. darklink^^
  18. darklinkQuantenmagier: ich würde ein undefined behabo
  19. darklinkbehavior als "HCF" verstehen
  20. darklinkoder etwas komplett komisches, wie einen thread spawnen und warten bis der then mutex lockt
  21. Quantenmagierdarklink, nee undefined behavior sagt ja daß man das normal nicht machen soll, und programme die es machen sind es nicht standardkonform, also kann man machen was für das os am besten ist
  22. Quantenmagieraber immerhin gelten mutexe nur innerhalb des selben prozesses, dh es gibt keine konflikte mit anderen anwendungen sondern nur mit anderen threads der selben anwendung
  23. Quantenmagieres sei denn die beiden prozesse haben shared memory und der mutex liegt dadrauf, aber wenn sie shared memory haben sind sie eh nicht unabhängig
  24. darklinkQuantenmagier: deshalb sollte man etwas komplett verrücktes tun
  25. Quantenmagiernaja man könnte ne fehlermeldung ausgeben, was an nicht-posix-konformem verhlaten aufgetreten ist, aber ich finde wenn ein programm so designed ist, daß es in einem thread nen mutex locked und in nem andern freigibt soll es doch
  26. Quantenmagierwenn ich das zulasse ist es ja immernoch posix-konform
  27. darklinkfree(ptr); free(ptr); -> deallokiert das ganze programm und überschreibt es
  28. Quantenmagierund ich spare mir zwei befehle in meiner pthread.c zum synchronisieren
  29. darklink>2 befehle
  30. MasterQ32@darklink: "According to the C++ standard, it's "undefined". That's a technical term that means, in theory, anything can happen: the program can crash, or keep running but generate garbage results, or send Bjarne Stroustrup an e-mail saying how ugly you are and how funny your mother dresses you." :shock:
  31. darklinkMasterQ32: siehste
  32. kevinWir reden hier aber nicht von UB der Programmiersprache
  33. MasterQ32ja gut, aber das ist mir so irgendwie passend eingefallen :D
  34. kevinAbgesehen davon ist die Lösung mit globaler Variable und Mutex völlig kaputt
  35. kevinAber gut, Quantenmagier scheint das ja zu mögen
  36. Quantenmagierdarklink ja zweimal die selbe adresse freigeben wäre im falle meines os momentan sehr böse, weil die adressen kernelseitig freigegeben werden und wenn die bereits zu nem andern programm gehört hat das andere programm nen problem xD
  37. darklink^^
  38. darklinkfail
  39. darklinkuserspace malloc != kernel malloc
  40. darklinkalle prozesse haben einen getrennten malloc pool
  41. Quantenmagierdarklink bei mir nicht, den getrennten malloc pool implementiere ich erst mit dem Paging Memory Manager
  42. Quantenmagieraber vllt leg ich vorher ne tabelle an die kernelseitig prüft ob der ram zu dem prozess gehört der freigibt
  43. Quantenmagierkevin was is daran kaputt, ich find das is ne super lösung, weil ich dann keine argumente in asm übergeben muß und das verhalten des neuen threads komplett in der libc statt im kernel definiert habe.
  44. Quantenmagieralso samt pthread_exit
  45. Quantenmagierhm ok im kernel ist es eh nicht, aber ich hab es dann halt nicht in asm geschrieben und muß daher die adresse von pthread_exit nicht übergeben, weil die innerhalb der libc fest ist
  46. Quantenmagierich muß jetzt nurnoch rausfinden, wie ich stdlib_pthread_execute aufrufen kann, ob ich die adresse einfach anspringen kann oder ob ich vorher irgendwas am stack oder den registern ändern muß, obwohl die funktion keine argumente hat
  47. darklinkhttp://hastebin.com/qisobajaba.c
  48. darklinkunterstützt bis zu 1M malloc()s
  49. darklinkdie doppelt indirekte liste ist null bei allen außer dem ersten
  50. darklinkdie enthält auch einen pointer auf die erste malloc_t liste
  51. darklinksollte es glaube ich noch mal überarbeiten
  52. Quantenmagierverstehe nicht was das malloc_t *list[] soll
  53. Quantenmagierwarum nen array, wenn du ne liste hast?
  54. Quantenmagierhm hab grad nochmal meine geschwindigkeitstestergebnisse nachgeschlagen, denke ich lass das demnächst nochmal laufen, damals kam raus daß in qemu nen xchg oder 3mov schneller waren als 3xor, find ich irgendwie seltsam, weil xchg ja nen lock macht und 3xor nicht, aber vllt implementiert qemu das lock auch einfach effektiver so daß drei xor tatsächlich schlechter sind als ein lock xchg
  55. kevinQuantenmagier: Warum nimmst du das gleiche Verfahren nicht auch für neue Funktionsaufrufe? Dann kannst du dir auch dort sparen, den Stack zu benutzen.
  56. kevins/neue/normale/
  57. Quantenmagierweil das programm dann doppelt so viel speicher für aufrufe braucht, ich hab den stack zwar für den aufruf gespart aber der speicher wird ja trotzdem für die globale variable verbraucht und dazu kommen dann noch die lokalen variablen die die globale variable übernehmen die verbrauchen dann wieder den stack
  58. Quantenmagierok es is nicht doppelt so viel aber es ist dennoch mehr
  59. kevinDu meinst, das wäre Blödsinn?
  60. kevinOkay, warum ist es dann beim Starten von Threads kein Blödsinn?
  61. Quantenmagierweil beim starten von threads die lokalen variablen immer auf nen eigenen stack des neuen threads gepackt werden aber nur einmal platz für eine globale variable brauchen, dh der overhead für die globale variable ist gering, weil die für alle gestarteten threads an der selben adresse liegt und man sparrt sich dafür das übergeben von argumenten zum und vom assembler, d.h. im endeffekt hat man dann sogar wen
  62. Quantenmagieriger verbraucht
  63. Quantenmagierder einzige wirkliche nachteil ist halt daß man für jedes programm nur einen thread nach dem anderen starten kann, also wenn zwei threads des selben prozesses gleichzeitig nen neuen thread starten wollen, muß der eine thread warten bis der thread des anderen threads erstellt wurde.
  64. Quantenmagierdas könnte bei argumentübergabe über assembler statt über globale variable gleichzeitig ablaufen
  65. Quantenmagieraber wie oft startet man schon threads parallel
  66. kevinDas kommt auf das Programm an
  67. kevinUnd du gehst davon aus, dass der Thread den Wert in der globalen Variable nicht braucht? Weil sonst muss er den ja auch irgendwohin kopieren.
  68. Quantenmagiertut er ja er kopiert ihn in die lokale variable und führt es dann von da aus
  69. Quantenmagierhttps://nopaste.me/view/raw/237bf82b
  70. Quantenmagierdas is in stdlib_pthread_execute(), da kopiert es das in lokale variablen bevor er die funktion aufruft
  71. kevinDann brauchst du doch den Platz auf dem Stack trotzdem?
  72. Quantenmagierjoa den brauch ich aber so oder so, der overhead ist bloß die beiden globalen variablen und der mutex (char)
  73. Quantenmagieraber sonst müßte ich die jetzt globalen variablen an den syscall zum erstellen des neuen threads übergeben, deswegen ist es quasi plus minus null vom speicherverbrauch
  74. kevinJa, aber dafür brauchst du Locks
  75. Quantenmagierjop stimmt leider
  76. kevinDie du nicht brauchen würdest, wenn du die Parameter einfach direkt auf den Threadstack packen würdest
  77. Quantenmagieraber die brauch ich zum reservieren des stack des neuen threads eh, wenn ich es komplett konkurrent machen will müßte ich deswegen auch ein paralleles malloc schreiben was ohne locks auskommt :D
  78. kevinDu machst i386, oder? Also PM
  79. Quantenmagierjop PM
  80. Quantenmagieres is vllt nicht die shcnellste methode, aber es ist posix konform und einfach :D
  81. kevinAlso werden die Parameter über den Stack übergeben. Würde die Sache einfach machen.
  82. kevinNaja, mach was du willst ;-)
  83. Quantenmagierjoa über den stack wär vllt etwas schneller aber auch komplizierter, vllt mach ich das noch irgendwann nachträglich, wenn ich mich besser mit der c call konvention auskenne ^^
  84. Quantenmagierund mir is jetzt auch eingefallen wie ich tid und pid unterscheiden kann, die tid ist das TSS des threads und die pid ist das DS des threads, weil DS für alle threads des selben prozesses gleich ist. Die frage ist könnten auch zwei verschiedene Prozesse das selbe Datensegment haben?
  85. Quantenmagierich denke mal nicht daß das vorgesehn ist zwei prozesse auch dem selben adressspace laufen zu lassen oder gibts dafür irgendeine funktion in zB. linux?
  86. Quantenmagiers/auch/auf/
  87. Quantenmagierich könnte auch sagen die tid ist das SS und nicht das TSS das wär glaubich sogar noch einfacher, weil man das SS direkt über mov laden kann und das TSS nen spezialbefehl ltr oder so braucht
  88. Quantenmagierhm obwohl ich glaub ich muß dann nochmal die interrupt deskriptoren zu rate ziehen, weil ich glaube der syscal brauch nen eigenes SS dh dann wäre TSS doch sinnvoller als SS weil das SS sich beim syscall ändert
  89. kevinds ist solange gleich wie der Userspace-Prozess es nicht ändert
  90. kevinUnd zwei Prozesse im gleichen Adressraum heißen Threads
  91. Quantenmagierhm joa ich hatte auch überlegt cs statt ds zu nehmen, aber ich denke daß zwei prozesse das selbe cs verwenden ist wahrscheinlicher als daß sie das selbe ds verwenden.. klar wenn der userspace das ds ändert wär das natürlich murks, aber gcc kann ja keine segmente deswegen wird ein userspace-prozess das ds nicht ändern, im normalfall
  92. kevinDas kommt drauf an, wie du es machst
  93. kevinJeder andere außer dir hat genau ein einzigen Userspace-Codesegment und ein einziges Userspace-Datensegment für alle Prozesse zusammen
  94. kevinAber jeder andere benutzt ja auch Segmentierung nicht wirklich
  95. Quantenmagierjoa
  96. Quantenmagieralso eigentlich kann ein userspaceprozss sein ds nicht ändern dafür müßte er wissen welche userspace-datensegmente es noch gibt, er könnte es höchstens auf sein ss ändern, aber dann mit dem geänderten ds nen syscall zu machen wär eh irgendwie dumm
  97. Quantenmagierhm er könnte natürlich auf gut glück ein datensegment auswählen was kleiner ist als sein eigenes und mit ner chance von ca. 1/6tel könnte er dann vortäuschen nen anderer prozess zu sein.. *grübel* vllt sollte ich das dann nochmal überdenken..
  98. Quantenmagiervllt sollte ich dann die pid doch einfach ins tss schreiben dann wär es gegen manipulation gesichert
  99. Quantenmagieraber is dann auch langsamer die pid auszulesen
  100. Quantenmagierhmm immer diese abwägungen zwischen geschiwndigkeit und sichereit
  101. Quantenmagier+h
  102. Quantenmagierandererseits sollte ich das ds vermutlich eh gegenmanipulation absichern, die frage ist wie verhindert man daß ein prozess ein anderes ring3 ds lädt is da irgendwas vorgesehn?
  103. kevinDu meinst ein Segment, das zu einem anderen Prozess gehört?
  104. Quantenmagierjop
  105. kevinPack alle Usermode-Segmente in eine LDT statt die GDT
  106. kevinDann hat jeder Prozess seine eigene LDT
  107. Quantenmagierhm stimmt das wär ne möglichkeit
  108. Quantenmagierdie ldt benutz ich bisher garnicht, sollte ich dann mal ne routine für schreiben
  109. Quantenmagierwie machen das denn eigentlich betriebssysteme ohne segmentierung, daß sie verhindern, daß ein prozess auf den adressraum eines anderen schreibt?
  110. Quantenmagierläuft das da dann über paging oder gibts da noch ne andere variante?
  111. darklinkPaging
  112. Quantenmagierok dh die speicherbereiche von anderen prozessen werden einfach nicht gemapped? sprich man brauch für jeden prozess ne eigene paging-table/-directory?
  113. Quantenmagierhm wenn ich die ldt benutzte hätte das auch den vorteil, daß ich mehr platz in der gdt hätte für andere prozesse, weil ich dann ja das datensegment und alle stacksegmente der verschiedenen threads und eventuell auch das code-segmentalle in die ldt legen könnte, die frage ist bloß noch ob ich die tss auch in die ldt legen kann oder ob die in der gdt liegen müssen..
  114. Quantenmagiergeil wenn ich die tss auch in die ldt legen kann könnte ich maximal ca. 2700 Threads pro Prozess starten bei maximal ca. 8000 Prozessen, denke die anzahl der deskriptoren solle erstmal für den normalfall ausreichen, bei meiner aktuellen variante alle deskriptoren in die gdt zu packen hatte ich ja schon angst daß die irgendwann ausgehen ^^
  115. Quantenmagierachso scheinbar kann man die tss nicht auf die ldt legen, weil im tss der ldt selektor steht ^^
  116. Quantenmagierschade
  117. Quantenmagierdas reduziert die zahl der möglichen threads drastisch und die zahl der möglichen prozesse wird dadurch halbiert
  118. Quantenmagiervllt sollte ich mir mal ne alternative zum TSS überlegen, ich nutz ja eh kein hw multitasking und die kompatibilität dazu kann ich eigentlich auch wegschmeißen, den hw-multitaskingtreiber werde ich vermutlich eh nicht mehr verwenden
  119. Quantenmagiernaja LDT und TSS-Surrogat kommen erstmal auf meine ToDo liste.
  120. darklinkMeine benutzung der segmente reicht für UINTPTR_MAX prozesse
  121. darklinkund genau so viele threads pro prozess
  122. darklinkUnd 2^64-1 bzw 2^128-1 threads finde ich viel
  123. Quantenmagierkrass wie benutzt du die denn? also was machst du an stelle des Task State Segments?
  124. darklinkKa
  125. darklinkTSS werde ich glaube ich bei x86 überhaupt nicht mehr nehmen
  126. Quantenmagierwo speicherst du dann den task state?
  127. darklinkIn ner tabelle
  128. Quantenmagiereine tabelle global oder für jeden prozess oder für jeden thread?
  129. darklinkhw multitasking ist sch****
  130. darklinkeine tabelle global
  131. Quantenmagierhm und wie findest du in der tabelle platz für 2^64-1 task states? vergrößerst du die dynamisch?
  132. darklinkx-mal indirekt
  133. Quantenmagierdh?
  134. darklinkalso dynamisch
  135. Quantenmagierah ok dh wenn sie zu klein geworden ist mappest du ne neue page dahinter?
  136. darklinkalso unter x86 und arm wäre das ein Task ***
  137. darklinkunter x86_64 wäre es auch ein Task ***
  138. darklinkoder bei beiden noch ein stern mehr?
  139. Quantenmagiero.O
  140. Quantenmagierwarum so viele pointer auf pointer? die alle zu dereferenzieren kostet doch viel zeit beim task switch?
  141. darklink>Viel zeit
  142. darklink>HW Multitasking
  143. darklink*hust*
  144. Quantenmagiernaja wenn prozessoren das hw multitasking ordnentlich unterstützen würden wäre das schneller als sw multitasking, aber es wurde leider hw seitig nie groß optimiert wie es scheint. :-/
  145. darklinkhw multitasking und segmentation braucht viel mehr als 3 zusätzliche speicherzugriffe
  146. darklink+zeit
  147. Quantenmagierich hatte damals nur die intel referenz als ich mein os angefangen habe und in der intelreferenz war halt nur das hw multitasking erklärt, daß man das meist softwareseitig macht und hw multitasking langsam ist stand in dem intel dokument leider nicht drin
  148. darklinkdamals gabs allerdings schon x86_64, oder`
  149. Quantenmagiernee
  150. darklinkwann hast du angefangen?
  151. darklink1996?
  152. Quantenmagiernee so kurz nach 2000 denke ich
  153. darklinkaber nich nach 2005
  154. Quantenmagiernaja der letzte kenrel den ich hier noch rumliegen habe ist nach ls -l von 2005, aber denke ich hab früher angefangen, weil dieses date was da steht beim kopieren geändert wurde oder so
  155. darklinkDu solltest dringend mal git/svn benutzen
  156. Quantenmagierjop wollte die tage git aufsetzen um code mit nem kumpel zu tauschen, aber find das irgendwie recht kompliziert, also muß ich da für jedes projekt nen eigenes repository anlegen oder kann man die auch irgendwie sammeln oder sagen daß git die repos automatisch erzeugen soll?
  157. XanClicKlar
  158. XanClicfunction mkdir_and_git() { mkdir "$1" && git init "$1" }
  159. XanClicalias mkdir=mkdir_and_git
  160. darklinkexport -f mkdir_and_git
  161. XanClicNa, sollte schon in die ~/.*shrc
  162. Quantenmagierund git kann diese funktion dann benutzen, wenn man nen neues repo hochladen will?
  163. darklinkdann kann ich ja meinen PATH ohne export setzen da drinne?
  164. XanClicEigentlich sollst nur du diese Funktion benutzen, um ein Repo anzulegen
  165. XanClicUnd eigentlich war das auch nur ein Witz, weil "git init" jetzt nicht so schwierig auszuführen ist
  166. Quantenmagieraso naja geht mir halt darum daß ich will daß mein kumpel auch das git auf dem server benutzen können soll und neue repos anlegen aber kein ssh ausführen
  167. XanClicDas ist ja weniger ein git-Problem
  168. XanClicSondern eher ein Problem, wie du es ermöglichst, dass der bestimmte Befehle ausführen kann, aber nur die
  169. Quantenmagiernaja dachte man kann die repos irgendwie gitseitig anlegen
  170. XanClicKlar kann man
  171. XanClicgit init
  172. XanClic:-P
  173. XanClicAber wie man einem Benutzer erlaubt, das zu machen, und nur das, ist eher nicht so gits Problem
  174. Quantenmagierhm sehe grad git init benutzt den directory als parameter, ich würd lieber nur nen repository namen und die sollen dann alle im selben dir sein geht das auch oder wie kann in die pfade für git einschränken?
  175. XanClicIch persönlich würde halt irgendein kleines CGI-Skript schreiben
  176. XanClicDas nimmt einen Repositorynamen als Parameter, erstellt das Verzeichnis und führt da git init aus
  177. XanClicAlternativ gibts halt Software wie github oder gitorious, die man auf dem Server laufen lassen kann, und die das verwalten
  178. XanClicWobei github glaub ich nicht kostenlos ist und beides eher ein bisschen zu fett für den Zweck
  179. XanClicUnd ich meine github wie in github-Software, nicht wie in github.com
  180. Quantenmagierhm wie macen das denn die linux entwickler für die git entwickelt wurde, daß sie zum beispiel nen webcam-treiber entwickler von nem filesystem-entwickler abschirmen anhand der linux pfade oder is das alles global und jeder entwickler kann alles ändern?
  181. XanClicEs gibt nur einen, der Zeug im offiziellen Linuxrepo committen kann, und das ist Linus
  182. XanClic(wobei das die Theorie ist, ich glaube, praktisch haben noch zwei, drei andere Leute Zugriff)
  183. XanClicAlle anderen senden Patches an die Linux Kernel Mailing List, da werden die reviewt und dann ggf. von Maintainern in deren private git-Repos gemerget
  184. Quantenmagieraso und wo hat der den code her hat der dann zwie repos eins wo die entwicker commiten und das offizielle wo nur er commited?
  185. XanClicUnd jede $ZEITEINHEIT (eine Woche oder so) senden die Maintainer dann einen Pullrequest an Linus
  186. Quantenmagieraso
  187. darklinkGit ist eigentlich bloß ne sammlung von code für das mailen von diffs
  188. XanClic…eigentlich nicht
  189. Quantenmagierläuft dieser pullrequest auch über git? also shcicken die den dann an das offizielle linux repository und linus sieht die dann da?
  190. XanClicBranches und Rebasing sind die ersten zwei Sachen, die mir einfallen, die darüber hinaus gehen
  191. darklinkXanClic: es hat 3 befehle genau dafür
  192. XanClicdarklink, richtig, es hat aber eine Menge anderer Befehle für andere Sachen
  193. XanClicMan kann also definitiv sehr gut git-Patches per Mail verschicken und das ist definitiv ein Einsatzzweck
  194. XanClicMan kanns aber auch nicht machen
  195. XanClicAuf github wird normalerweise alles ohne E-Mails gemacht
  196. darklinkIch mache es nicht
  197. XanClicQuantenmagier, der Pullrequest besteht normalerweise aus einer Serie von Patch-E-Mails
  198. XanClicAber die erste E-Mail enthält normalerweise auch einen Link zum Repository des Maintainers, sodass Linus da direkt die Commits rausziehen kann
  199. Quantenmagiero.O urgs warum haben die die funktion nicht direkt in git implementiert, daß man den request direkt in git sieht?
  200. XanClicWeil git kein Service ist, sondern eine Sammlung von Programmen?