#lost · 2012-03-12

693 Nachrichten · Seite 3 von 4 · Original-CSV herunterladen

  1. taljethWeil das kein Programm maacht
  2. ixusok
  3. ixusjeder Treiber hat aber Atomare Instruktionen die ich besser nicht Paralell ausführen sollte (Sektor schreiben etc...)
  4. stultusLocken.
  5. ixusok
  6. stultusMöglichst kleine einheiten identifizieren und die locken wenns schnell gehn soll.
  7. taljethErstens das, und ob es nicht parallel geht, kommt auf die Hardware an
  8. stultusSonst, großflächiger ;)
  9. taljethBei Netzwerkkarten kannst du z.B. fast immer mehrere Pakete queuen
  10. stultusDarauf achten das du dich nicht tötest, das kann bei nem Mikrokernel sonst schnell passieren ;)
  11. ixusok
  12. stultuswenn irgendwelche Dienste inner Schleife aufeinander warten, kann ja durchaus legitim sein, wenn man jeglichen RPC aber blockt wars das.
  13. ixusich könnte es so machen das ich für jeden RPC Aufruf nen eigenen Treiber Prozess erzeuge
  14. taljethstultus: Darf ich übrigens mal wieder fragen, wo wir mit bunt stehen? ;-)
  15. stultusMomentan? bei der Felsenfesten Überzeugung die letzten Wochen zu nutzen.
  16. ixusbunt?
  17. taljeth*g*
  18. stultusWenn du mir morgen früh also nochmal in den Arsch trittst wird wohl was passieren ;)
  19. taljethixus: Grafiktreiber und Libs und so
  20. ixus:D
  21. taljethstultus: Klingt machbar
  22. taljethSupertux muss ich auch nochmal genauer debuggen, was dort so lang dauert
  23. stultusDas muss man wohl an einigen Stellen :/
  24. taljethNaja, ich mach lieber sowas als LIOv2 weiterzumergen ;-)
  25. stultus*g*
  26. stultusHatte oern sich die Tage eigtl. nochmal gemeldet?
  27. taljethIch hab einfach schon den ganzen Tag genug Blockdevice-Kram, dass ich das abends nicht auch noch brauche
  28. stultusvirtio?
  29. taljethHm, nein, nachdem er gesagt hat, dass er neu anfangen will, hab ich nichts mehr gehört
  30. taljethstultus: Eher die Backends, Imageformate und so
  31. ixusok ich bin verwirrter als am Anfang wie ich mein IPC richtig realisiere
  32. TimoKann ich irgendwie meine Paketquellen updaten? also ein apt-get update für apt
  33. taljethstultus: Die sehen bedrohlich ähnlich aus wie sowas wie LIOv2 ;-)
  34. stultusah
  35. stultusarchitekturell interessant also ^^
  36. stultusne, wenn der sich blicken lässt soll der mich mal anschreiben
  37. taljethWegen?
  38. stultusKlären wie man das mit Austausch macht.
  39. stultusAktuell siehts ja so aus das jeder Prozess via libvideo eigene Objekte anlegt, bislang sind die auch geschützt.
  40. taljethIch schätze, in erster Linie will er mal eine libvideo in master haben, oder?
  41. stultusWär ja nun schon toll wenn der Prozess irgendwie in nen Widget-Buffer reinmalen kann ;)
  42. taljethHm, du willst Bitmaps sharen, oder wie?
  43. stultusjo
  44. stultushin und her kopieren ist irgendwo halt ungünstig.
  45. taljethWas ja an sich kein Problem sein dürfte, mit dem Videotreiber sind sie eh schon geshart
  46. taljethOder?
  47. stultusPrinzipiell sind sies.
  48. stultusdas ist nur die brückenschicht am treiber dran die da prüft ob die pid passt.
  49. stultusIst halt die Frage ob man das einfach komplett rausnimmt, auf bestimmte Operationen limitiert (welche?), ...
  50. taljethJo, da müssten dann irgendwelche Berechtigungsfunktionen rein
  51. stultusexakt *g*
  52. taljethAlso, dass ein Prozess sagen kann, PID 42 darf jetzt auch meine Bitmap 1337 lesen (aber nicht schreiben)
  53. stultusein Besitzer, und zum lesen und schreiben jeweils Zugriffslisten?
  54. taljethIrgendwie so
  55. stultusEinfach&Effektiv^^
  56. stultusWar nur immer am überlegen ob man die Listen raushalten kann.
  57. taljethOder vielleicht auch kein Besitzer und jeder, der eine Berechtigung hat, kann diese Berechtigung weitergeben
  58. stultusListen iterieren ist ja immer so ne Sache
  59. taljethDann halt Bäume *g*
  60. stultusyay :D
  61. taljethFrüher war alles list_t, heute ist alles tree_t
  62. stultusJa, das wäre sowieso noch die andere Option
  63. stultuseinfach allen Parents alles erlauben.
  64. stultusWürde für die "X"-Problematik ja reichen.
  65. taljethAlso ich glaube, den Baum zu durchlaufen macht erstmal keine Performanceprobleme
  66. taljethInsofern würde ich das einfach mal so machen. Umbauen kann man immer noch.
  67. taljethWäre noch die Frage, ob der Baum zum Prozess gehört und die Bitmap referenziert oder andersrum
  68. ixusok. Ich habe ne Idee wie ich mein SHM umsetze.
  69. ixusDas System erzeugt einen neuen Prozess und startet die Handlerroutine des neuen Treiber Prozesses und übergibt dem die Adresse der SHM area und deren Größe
  70. ixusden Rest sollen die Prozesse über die SHM area ausmachen
  71. ixusund wenn der Treiber durch ist, also der Befehl vom Programm gesendet wird das die Verbíndung gekapt wird terminiert sich der Treiberprozess selber
  72. ixusund?
  73. ixusTaugt das oder muss ich mir ein anderes Konzept ausdenken?
  74. stultushm
  75. stultusProzess A, will was von Treiber Z. Z kriegt nen Prozess Z-1, mit ner SHM-Area mit A geteilt, dannach können die beiden dadurch "irgendwie" kommunizieren?
  76. stultusGeht mit Sicherheit, die Frage ist wie du interne Strukturen vom Treiber damit handhabst
  77. ixusirgendwie heißt Prozess A schreibt nen Befehl in die SHM-area.
  78. stultusnen FS-Treiber z.b. wird wohl exakt einen Dateisystembaum im Speicher haben wollen, mit dem müssen aber alle Treiberprozesse arbeiten.
  79. stultusDas wäre dann also der nächste SHM-Block ^^
  80. stultusUnd dadrin musst du dann locken, über die unterschiedlichen Treiberprozesse.
  81. stultusHört sich für mich so an als ob das die Sache nur kompliziert macht.
  82. stultusWie gesagt, Prozesse kannst du ja einfach mit nem Handle auseinanderhalten welches der Treiber vorher ausstellen muss.
  83. stultusDamit ist quasi dieser eine "Treiberzustand" dadurch eindeutig beschrieben.
  84. ixusok
  85. stultusKein Grund die Verarbeitung dahinter dann in mehrere Prozesse zu jagen und sich die nächste Hölle aufzumachen.
  86. stultusimho.
  87. ixusBahnhof
  88. stultushm?
  89. taljethixus: Was IPC angeht, implementier einfach irgendetwas, das du verstehst und wovon du denkst, dass es funktioniert
  90. stultusimho = in my humble opinion, meiner bescheidenen meinung nach ^^
  91. taljethDu wirst dann irgendwann selber merken, warum der Ansatz doof war
  92. ixusok :D
  93. taljethUnd noch später wirst du merken, dass alle anderen Ansätze auch irgendwie doof sind
  94. stultushast du mal nen Semester Pädagogik gemacht? ;)
  95. ixusne
  96. taljethstultus: Nö, aber ich habe RPC in tyndur implementiert und es genau so gemacht *g*
  97. stultusok, ist ein argument *g*
  98. taljethWobei ich natürlich nur die Hälfte von dem umgesetzt habe, was ich im Sinn hatte
  99. taljethWenn überhaupt
  100. ixusok ich mache es jetzt folgender maßen und dann wende ich euer bewährtes Prinzip an.
  101. taljethAlso dein Konzept klingt nicht übermäßig komisch, das kannst du schon nehmen
  102. ixusich glaube ich übertrage nicht nur die SHM-area an den handler sondern gleich die Befehle bzw nimm für die Befehle Pipes und der Output kommt dann über SHM
  103. ixusoder ich setzt mich nochmal ein Paar Stunden/Tage/Wochen hin und suche eine völlig neue Methode xD
  104. ixusDanke Leute für diese "ergiebige" Diskussion
  105. ixusich packs dann
  106. ixusWenn mir eine völlig neuartige Methode einfällt melde ich mich wieder :D
  107. ixusoder auch schon eher
  108. ixusTschüss
  109. XanClicMan kann nicht zufällig in Linux allen virtuellen Speicher mit einem Befehl rausschmeißen, den man aktuell nicht will, oder?
  110. XanClicIch hab hier an was zu schreiben, das maximal 1 GB RAM verbrauchen darf, und dummerweise füllt das glatt mal 1 GB virtuellen Speicher mit 800 kB Daten (RSS ist 800 kB)
  111. XanClicLinux meint nun, 1 GB virtueller Speicher, da liefert malloc nur noch ENOMEM
  112. Jidderalso ich versteh das nicht ^^
  113. XanClicAlso, man kann ja Programmen Ressourcen beschränken, unter anderem auch den Arbeitsspeicher, der bei mir auf 1 GB beschränkt ist
  114. Jidderjo
  115. XanClicNun läuft da mein Programm und führt pro Runde ca. eine Million Mal malloc aus (Größenordnung dürfte sogar stimmen), jedes Mal mit 64 bis 256 Bytes
  116. XanClicDas wird auch immer schön ge-free-t, sodass letzten Endes die tatsächliche Speicherausnutzung nie über 1 MB liegt
  117. XanClicAber offensichtlich bekommt es der Heapmanager hin, das so zu verteilen, dass der gesamte virtuelle Adressraum belegt wird – an sich kein Problem, wenn Linux das nicht zur Messung der Arbeitsspeicherauslastung von rlimit nehmen würde
  118. RizorDa bleibt die Frage, was die Lib als Cache behält
  119. XanClicNun wär es halt schön, wenn ich den ganzen virtuellen Speicher, der nicht gemappt, aber schon irgendwie da ist, irgendwie freigeben könnte
  120. RizorDu willst Speicher, der aktiv noch nicht da ist (durch Lazy-Mapping), wieder freigeben>
  121. XanClichttp://pastebin.com/u0tHVufN wäre die ganze Speicherstatistik
  122. XanClicTjo, ob das Lazy-Mapping ist, weiß ich nicht so genau, aber prinzipiell schon
  123. taljethmalloc wegwerfen und mmap nehmen?
  124. XanClicTja, an einen eigenen Heapmanager hab ich auch schon gedacht…
  125. taljethWobei das bei 64 Bytes irgendwie übertrieben klingt
  126. Jidderkann man malloc nicht auch einfach austauschen?
  127. XanClicNa, die werden sich freuen
  128. taljethUnd die glibc sollte doch eigentlich in der Lage sein, zwei verschiedene Speichergrößen zu verwalten?
  129. XanClicDas ist ein Einführungspraktikum für Informatiker im ersten Semester, und ich komme mit eigenem malloc an
  130. taljeth*g*
  131. RizorDie Libc ist glaub ich ein simpler SLAB-Allocator
  132. RizorBin mir da aber nicht ganz sicher
  133. taljethWenn ja, dann sollte der das aber können ohne zu leaken...
  134. XanClicLeakt doch nur virtuellen Speicher *g*
  135. RizorIch glaube nicht, dass der leakt
  136. taljethAlso eigentlich sollte er das so oder so
  137. RizorDer wird für sich selbst den Speicher cachen
  138. Rizorvermute ich mal
  139. XanClicWenn das maximale RSS unter 800 kB bleibt, läuft alles schön durch
  140. XanClicAber wenn es drüber geht, krachts
  141. taljethSeltsam
  142. Jidderkönnte man da nicht irgendein trace utility ranhängen, das die mmap-syscalls mitschneidet?
  143. XanClicDann kann ich ja wieder kein rlimit setzen
  144. Jidderalso nur zum debuggen
  145. RizorWillst du da valgrind anbringen?
  146. RizorDer wird das nicht sehen
  147. Jidderich dachte eher an ptrace für linux
  148. XanClicNa, valgrind sagte immer, alles gut
  149. Jidderkeine ahnung wie das da heißt
  150. XanClicNur halt insgesamt 200 Millionen mallocs in zehn Runden oder sowas
  151. XanClicAber nix geleakt *g*
  152. Jidderwenn du da einen grenzfall von malloc erwischt hast, wo ihn seine heuristik irgendeinen unsinn glauben lässt, könntest du auch versuchen alle mallocs mit fest 256 bytes durchzuführen
  153. RizorNaja, solange es immer frees gibt, sollte das passen ;)
  154. Jidderoder was auch immer das maximum ist
  155. XanClicHm, gut, mal sehen
  156. Jidderwenn das problem dann bestehen bleibt, ist malloc noch blöder als angenommen ^^
  157. DesLmoin
  158. Jiddermoin
  159. Rizormoin
  160. XanClicEs ist noch blöder, nett
  161. Jidderich weiß ja nicht, ob es den aufwand wert ist, den allokator mal auszutauschen (ich nehme mal an dass das dlmalloc per default ist)
  162. XanClicTja, das werd ich jetzt wohl tun *g*
  163. Jidderdie beschreibung von http://www.hoard.org/ sieht recht einfach aus
  164. XanClicIch brauch ja eigentlich nur einen total simplen
  165. XanClicWeil ich nur drei mallocs hab, eins mit acht Bytes, eins mit 64 und eins mit 512 (doch nicht 256)
  166. XanClicDas heißt, zur Not schreib ich mir halt einen selber, der aus einem Block immer 512-Byte-Blöcke zurückgibt
  167. Jiddernaja bis du den debuggt hast ^^
  168. Jidderauch eine schöne formulierung von der hoard website: "Using Hoard is easy. On UNIX-based platforms, all you have to do is set one environment variable. You do not need to change any source code, recompile or relink your application. On Windows, you actually have even greater flexibility."
  169. Jiddergreater flexibility = rekompilieren und relinken
  170. Timook ich habe nen problem, wie soll ich bitte den EIP auf 0x008084C5 setzen ohne \x00 zu verwenden?
  171. Timoich muss ja alle 4 byte beschreiben
  172. TimoOder kann ich es irgendwie anstellen dass das obere Byte des Registers als 0 angesehen wird? nicht wirklich oder
  173. XanClicWie wärs mit einer kleinen Rechnung?
  174. XanClic0x018185C4 reinschreiben und dann mit 0x01010101 xoren?
  175. TimoGeht nicht, weil ich direkt den stack überschreibe, das Problem ist, ich muss EIP ändern, um überhaupt Code auszuführen
  176. XanClicUnd auf dem Stack kannst du kein xor ausführen?
  177. XanClicAch so, hm
  178. FlurinoxTimo: was genau hast du eig als Ziel? :)
  179. Timonaja ich geh mal schlafen und denke morgen nochmal darüber nach. Daran denke ich jetzt schon den 2. Tag, alles liegt am EIP
  180. TimoMein Wissen um Bufferoverflows zu erweitern.
  181. TimoWenn ich daran denke, dass so gut wie jedes C Programm dafür anfällig ist, ist mein komplettes Betriebssystem unsicher :)
  182. RizorUm den EIP zu verändern, musst du dafür sorgen, dass mit Hilfe von ret, etc. der EIP verändert wird
  183. RizorAlsi musst du die Werte auf dem Stack so ändern, dass der Ret-Befehl an eine andere Stelle führt
  184. Timod.h. ich muss EBP verändern?
  185. RizorNein, die Werte auf dem Stack
  186. RizorAlso direkt Speicher ändern
  187. Timoich bin aufjedenfall soweit, dass ich eine Adresse angeben kann, vonder das Programm ließt und dabei crashed (also vermutl. EIP)
  188. RizorDafür musst du wissen wie der Stack aussieht und wann der nächste ret-Befehl auftritt
  189. TimoDu meinst zB die Stelle an die EBP zeigt überschreiben?
  190. RizorOkay, dann springst du an die falsche Stelle
  191. RizorOder die Stelle passt, aber es liegt kein gültiger Code da
  192. Jiddereine einzelne null kannste ja schreiben ^^
  193. RizorUm das zu testen, würde ich dir folgendes vorschlagen
  194. Timoja und ich wollte testweiße nocheinmal in die Zeile obendran springen, in der etwas ausgegeben wird, allerdings kann ich keine Adressen angeben, da Mein Programm im 0x00... Adressbereich liegt, folglich wird die \x00 als \0 angesehen
  195. Timoja? (bzw es gibt doch sicher einen weg gcc anzuweisen, das programm erst an 0x40... zu laden, zB?)
  196. Jidderdas wäre doch geschummelt
  197. RizorEin gängiger Stack-Overflow sieht so aus, dass du auf den Stack code legst und dann die ret-Adresse so änderst, dass du weiter oben im Stack ansetzt
  198. TimoDas stimmt, nur klappt das nur, solange ich die ret Adresse ändern kann, und das kann ich nur wenn sie kein Nullbyte enthält
  199. Rizorwieso das?
  200. RizorDie Adresse ist auf 32-Bit-System 4 byte groß