Arsip: Load Data Besar, Gimana ?

more 17 years ago
budi_bunga
....
Saya buat sebuah program kecil yang menginsert data dgn memakai zeos6.6, pada saat menginsert data sebanyak 100 sekaligus membutuhkan waktu sekitar 1 dtk, klo 100000 data membutuhkan waktu 3 menit, pada saat data sudah 2 juta lebih, waktu yang dibutuhkan u menampilkan data adalah sekitar 15 menit, apakah ini sudah wajar ato tidak ? saya menginsert data memakai perintah SQL, contoh:
var dat:string;
.
.
.
dat:='insert into ............................';
query1.close;
query1.sql.clear;
query1.sql.add(dat);
query1.parambyname('param1').as....:=.....
.
.
.
.
query1.parambyname('........').as....:=.....
query1.execsql;
untuk load datanya saya pake ...
dat:=select * from .............where ...............';
query1.close;
query1.sql.clear;
query1.sql.add(dat);
query1.parambyname('param1').as....:=.....
.
.
.
.
query1.parambyname('........').as....:=.....
query1.open;
apakah ada jalan lain sehingga data bisa diload lebih singkat ? mohon pencerahan master2 delphi ? :D

more 17 years ago
Manz
Bro ... databasenya apa ??? kalo mysql mendingan langsung tembak dari sql commandnya mysql saja.
Contoh :
mysql -uroot db_gue < direktori_gue\sql_gue.sql
atawa :
mysql -uroot db_gue
\. direktori_gue\sql_gue.sql;
commit;
done.... :mrgreen:
kalo uploading ke server lewat jaringan tergantung kondisi jaringannya bro, tapi kalo ke lokal tergantung proses yang diload di compie, apa os nya lagi makan minum memory gak ??? atawa waktu peak-off process

more 17 years ago
Manz
kenapa harus pake Delphi kalo untuk upload data segede gitu .... kan mungkin punya file SQL plain-text nya ???
atau itu transferan dari mana ?

more 17 years ago
ivan
Saya buat sebuah program kecil yang menginsert data dgn memakai zeos6.6, pada saat menginsert data sebanyak 100 sekaligus membutuhkan waktu sekitar 1 dtk, klo 100000 data membutuhkan waktu 3 menitKalo menurut saya sich sangat wajar jika menginsert data 100rb butuh waktu sampai 3mnt, lah datanya buaanyak begitu hehehe.. (setiap proses pasti butuh waktu) Yang disampaikan oleh bro manz_delphi juga benar, untuk model standalone proses sangat berpengaruh dengan Memory, akan terasa beda jika kamu menggunakan memory 512 ato lebih tinggi pasti lebih cepat
pada saat data sudah 2 juta lebih, waktu yang dibutuhkan u menampilkan data adalah sekitar 15 menit, apakah ini sudah wajar ato tidak ?Pertanyaan saya adalah apakah menampilkan data 2jt secara langsung sangat efisien? (saya yakin orang juga akan malas jika disuruh mencari 1 data diantara 2jt data wehehe..) lebih baik untuk menampilkan data, anda pecah menjadi beberapa bagian dengan menggunakan perintah SELECT..LIMIT.. Cara tersebut bisa menghemat waktu dan efisien, juga dapat menghemat memory :lol: Semoga masukkan dari saya dapat membantu

more 17 years ago
DelphiExpert
ya tentu aja lama... lha wong ngeload data segitu gedhe ke dalam dataset/recordset yg menggunakan heap memory,
belum lagi wkt yg dibutuhkan windows utk menyediakan virtual memory (paging file), kecepatan hardisk jg sangat berpengaruh.
bisa cepet kalo memory dikau paling ngga' 2 GB, 4 GB cukupan lah ..., Hardisk pake SCSI
emang buat apa fetch data sebanyak itu? ngga' umum dilakukan bro... ato utk testing doank ya xixix...
fetch data kalo bisa dibatasi (LIMIT), sebisa mungkin proses dilakukan di sisi database server, baru resultnya dilempar ke client

more 17 years ago
Manz
@DE: baru resultnya dilempar ke clientEmang batu dilempar .... huahahahahahahaha :mrgreen:

more 17 years ago
ivan
baru resultnya dilempar ke clientDari hasil penyelidikan ternyata [u:a57db197a9]Transkrip Nilai DelphiExpert:[/u:a57db197a9] 1. Bahasa Pemrograman: A+ 2. Bahasa Indonesia: F- Pantes kan hueheuhuehuehuehuehuehue.. :lol: Walah malah OOT
more ...
- Pages:
- 1
- 2
reply |
Report Obsolete
AI Forward

🚀 We're thrilled to partner with Alibaba Cloud for "AI Forward - Alibaba Cloud Global Developer Summit 2025" in Jakarta! Join us and explore the future of AI. Register now:
https://int.alibabacloud.com/m/1000400772/
#AlibabaCloud #DeveloperSummit #Jakarta #AIFORWARD
Last Articles
Last Topic
- PascalTalk #6: (Podcast) Kuliah IT di luar negeri, susah gak sih?
by LuriDarmawan in Tutorial & Community Project more 4 years ago - PascalTalk #5: UX: Research, Design and Engineer
by LuriDarmawan in Tutorial & Community Project more 4 years ago - PascalTalk #4: Obrolan Ringan Seputar IT
by LuriDarmawan in Tutorial & Community Project more 4 years ago - PascalTalk #2: Membuat Sendiri SMART HOME
by LuriDarmawan in Tutorial & Community Project more 4 years ago - PascalTalk #3: RADically Fast and Easy Mobile Apps Development with Delphi
by LuriDarmawan in Tutorial & Community Project more 4 years ago - PascalTalk #1: Pemanfaatan Artificial Intelligence di Masa Covid-19
by LuriDarmawan in Tutorial & Community Project more 4 years ago - Tempat Latihan Posting
by LuriDarmawan in OOT more 5 years ago - Archive
- Looping lagi...
by idhiel in Hal umum tentang Pascal Indonesia more 12 years ago - [ask] koneksi ke ODBC user Dsn saat runtime dengan ado
by halimanh in FireBird more 12 years ago - Validasi menggunakan data tanggal
by mas_kofa in Hal umum tentang Pascal Indonesia more 12 years ago
Random Topic
- Ngitung Jumlah Komponen dengan Procedure?Anyone Help me:cry:
by johnizzy in Hal umum tentang Pascal Indonesia more 16 years ago - Rave Bundle Delphi 7 Problem
by dilphio7 in Reporting more 16 years ago - add 1 digit
by nurez in Tip n Trik Pemrograman more 17 years ago - multiple-step operation generated errors. check each status.
by nunkee in MySQL more 14 years ago - [ask] penggunaan range pada isi record
by kepiss in Tutorial & Community Project more 13 years ago - Cara menampilkan data di DBGrid secara mendatar
by murphy in Tip n Trik Pemrograman more 18 years ago - Run Delphi in Web ???
by jancky in Tip n Trik Pemrograman more 17 years ago - Tipe data Auto increment di Postgres
by onsir in Lain-lain more 16 years ago - Minta info component utk code editor
by meinardi in Tip n Trik Pemrograman more 19 years ago - E-book Delphi 2005
by Samurey in MySQL more 18 years ago