Arsip: Load Data Besar, Gimana ?

 
user image
more 17 years ago

budi_bunga

.... Saya buat sebuah program kecil yang menginsert data dgn memakai zeos6.6, pada saat menginsert data sebanyak 100 sekaligus membutuhkan waktu sekitar 1 dtk, klo 100000 data membutuhkan waktu 3 menit, pada saat data sudah 2 juta lebih, waktu yang dibutuhkan u menampilkan data adalah sekitar 15 menit, apakah ini sudah wajar ato tidak ? saya menginsert data memakai perintah SQL, contoh: var dat:string; . . . dat:='insert into ............................'; query1.close; query1.sql.clear; query1.sql.add(dat); query1.parambyname('param1').as....:=..... . . . . query1.parambyname('........').as....:=..... query1.execsql; untuk load datanya saya pake ... dat:=select * from .............where ...............'; query1.close; query1.sql.clear; query1.sql.add(dat); query1.parambyname('param1').as....:=..... . . . . query1.parambyname('........').as....:=..... query1.open; apakah ada jalan lain sehingga data bisa diload lebih singkat ? mohon pencerahan master2 delphi ? :D
user image
more 17 years ago

Manz

Bro ... databasenya apa ??? kalo mysql mendingan langsung tembak dari sql commandnya mysql saja. Contoh : mysql -uroot db_gue < direktori_gue\sql_gue.sql atawa : mysql -uroot db_gue \. direktori_gue\sql_gue.sql; commit; done.... :mrgreen: kalo uploading ke server lewat jaringan tergantung kondisi jaringannya bro, tapi kalo ke lokal tergantung proses yang diload di compie, apa os nya lagi makan minum memory gak ??? atawa waktu peak-off process
user image
more 17 years ago

budi_bunga

saya pake lokal databasenya mysql 4.1
user image
more 17 years ago

budi_bunga

delphi 6, komputer standalone, apa ada cara lain yang lebih cepat ?
user image
more 17 years ago

budi_bunga

sorry kelupaan lagi os Win XP SP2 ram 256 MB, intel celeron 1.3 GHz
user image
more 17 years ago

Manz

kenapa harus pake Delphi kalo untuk upload data segede gitu .... kan mungkin punya file SQL plain-text nya ??? atau itu transferan dari mana ?
user image
more 17 years ago

ivan

Saya buat sebuah program kecil yang menginsert data dgn memakai zeos6.6, pada saat menginsert data sebanyak 100 sekaligus membutuhkan waktu sekitar 1 dtk, klo 100000 data membutuhkan waktu 3 menit
Kalo menurut saya sich sangat wajar jika menginsert data 100rb butuh waktu sampai 3mnt, lah datanya buaanyak begitu hehehe.. (setiap proses pasti butuh waktu) Yang disampaikan oleh bro manz_delphi juga benar, untuk model standalone proses sangat berpengaruh dengan Memory, akan terasa beda jika kamu menggunakan memory 512 ato lebih tinggi pasti lebih cepat
pada saat data sudah 2 juta lebih, waktu yang dibutuhkan u menampilkan data adalah sekitar 15 menit, apakah ini sudah wajar ato tidak ?
Pertanyaan saya adalah apakah menampilkan data 2jt secara langsung sangat efisien? (saya yakin orang juga akan malas jika disuruh mencari 1 data diantara 2jt data wehehe..) lebih baik untuk menampilkan data, anda pecah menjadi beberapa bagian dengan menggunakan perintah SELECT..LIMIT.. Cara tersebut bisa menghemat waktu dan efisien, juga dapat menghemat memory :lol: Semoga masukkan dari saya dapat membantu
user image
more 17 years ago

DelphiExpert

ya tentu aja lama... lha wong ngeload data segitu gedhe ke dalam dataset/recordset yg menggunakan heap memory, belum lagi wkt yg dibutuhkan windows utk menyediakan virtual memory (paging file), kecepatan hardisk jg sangat berpengaruh. bisa cepet kalo memory dikau paling ngga' 2 GB, 4 GB cukupan lah ..., Hardisk pake SCSI emang buat apa fetch data sebanyak itu? ngga' umum dilakukan bro... ato utk testing doank ya xixix... fetch data kalo bisa dibatasi (LIMIT), sebisa mungkin proses dilakukan di sisi database server, baru resultnya dilempar ke client
user image
more 17 years ago

Manz

@DE: baru resultnya dilempar ke client
Emang batu dilempar .... huahahahahahahaha :mrgreen:
user image
more 17 years ago

ivan

baru resultnya dilempar ke client
Dari hasil penyelidikan ternyata [u:a57db197a9]Transkrip Nilai DelphiExpert:[/u:a57db197a9] 1. Bahasa Pemrograman: A+ 2. Bahasa Indonesia: F- Pantes kan hueheuhuehuehuehuehuehue.. :lol: Walah malah OOT
more ...
  • Pages:
  • 1
  • 2
Share to

AI Forward

🚀 We're thrilled to partner with Alibaba Cloud for "AI Forward - Alibaba Cloud Global Developer Summit 2025" in Jakarta! Join us and explore the future of AI. Register now: https://int.alibabacloud.com/m/1000400772/
#AlibabaCloud #DeveloperSummit #Jakarta #AIFORWARD

Local Business Directory, Search Engine Submission & SEO Tools FreeWebSubmission.com SonicRun.com