Hệ thống datacenter thực sự nó như thế nào?

[lkt1827]

Có ai từng chiêm ngưỡng qua hệ thống DATACENTER thực sự chưa? Tiêu biểu như cái của Megashare.vn hoặc mega1280....

Những hệ thống đó dùng cái gì để lưu trữ? Nếu dùng HDD thì hình như mấy cái HDD dành cho Server dung lượng nó đâu có lớn như HDD thông thường.

Những HDH dùng để quản lý cái đống đó dùng OS gì?

Trên mạng có một số hình thường các server được nhét vào 1 tủ. Và nhiều tủ xếp liền kề nhau trong 1 phòng. Vậy là các tủ đó chứa các server RackMount?

Nếu nhiều server Rack nối với nhau vậy cái nào quản lý tổng?.....

nói chung nhiều quá chưa biết nên hỏi thêm cái gì...

Thank mọi người quan tâm.

[prescolt]

Có ai từng chiêm ngưỡng qua hệ thống DATACENTER thực sự chưa? Tiêu biểu như cái của Megashare.vn hoặc mega1280....

Những hệ thống đó dùng cái gì để lưu trữ? Nếu dùng HDD thì hình như mấy cái HDD dành cho Server dung lượng nó đâu có lớn như HDD thông thường.

Những HDH dùng để quản lý cái đống đó dùng OS gì?

Trên mạng có một số hình thường các server được nhét vào 1 tủ. Và nhiều tủ xếp liền kề nhau trong 1 phòng. Vậy là các tủ đó chứa các server RackMount?

Nếu nhiều server Rack nối với nhau vậy cái nào quản lý tổng?.....

nói chung nhiều quá chưa biết nên hỏi thêm cái gì...

Thank mọi người quan tâm.
Hệ điều hành thông thường là Unix bao gồm Linux/Sun/OS2..Nói chung là hiếm dùng windows server
Data center theo tiêu chuẩn không dùng ổ cứng như mình hay dùng mà dùng một mạng lưu trữ gọi là SAN (Storage Area Network). Hệ thống nay bao gồm mạng Fiber Channel và thiết bị lưu trữ. Các tủ rack như bạn nói là máy chủ, chúng được kết nối vào hệ thống SAN trên. Hiện mình cũng ko rõ FPT dùng cái gi lưu trữ
Data center đâu có thằng nào là tổng, gồm nhiều máy chủ có thể do một tổ chức thuê hoặc nhiều máy chủ để triển khai nhiều dịch vụ. Hiện nay thì người ta đang ảo hóa mấy cái data center để giảm chi phí

[saintkn8x]

đây có 1 pic lúc mình đang trong DC của FPT :D

http://vozforums.com/attachment.php?attachmentid=302767&stc=1&d=1293698478

đây là tủ rack , chưa các server dạng blade ( đơn vị U )

ở ngoài có 4 màn LCD to hiển thị thông tin của cả DC như điện , điều họa , băng thông , etc , còn rất nhiều thông số mình ko rõ lắm , nhưng vào thì rất ồn , lạnh ( điều hòa công nghiệp mà ) mùa hè vào trong còn phải mặc áo khoác :D

[7UP]

Cũng đang muốn tìm hiểu cái này, cho em hóng với :D

[tienrocker]

đơn vị U là sao vậy bác

[namthienmenh]

đơn vị U là sao vậy bác

1U = 1.75inch tầm 4.5cm.

[A9tm]

Chém gió tí cho buổi sáng đỡ lạnh.

Để mô tả đúng DC thì người ta chia làm 2 loại: Private DC và Public DC. Trong đó Private DC là những trung tâm đóng, do doanh nghiệp thiết kế để phục vụ cho việc kinh doanh của mình là chính. Còn Public DC thì ngược lại: cho các doanh nghiệp khác thuê tài nguyên để hoạt động. Nhưng cả hai đều nhắm tới một mục tiêu là phục vụ một dịch vụ cụ thể. Co-location, dedicated server, ... chỉ là một mẩu băng trong DC mà thôi.

Để xây dựng một DC hòan thiện thì phải hội tụ đủ nhiều yếu tố như: điện, giải nhiệt, hệ thống quản lý, ... Rồi từ đó người ta lại phân loại ra thành nhiều loại DC: Tier 1, tier 2, tier 3, ... Các bạn có thể tìm đọc TIA-942 để hiểu rõ hơn các mô tả này. Bảng bên dưới so sánh chung giữa các loại, ở VN nói chung thì phần lớn DC tập trung ở dạng tier 1 vì không có cách gì để redundant power cả vì chỉ có duy nhất 1 anh EVN :D Cho nên các dịch vụ web ở VN mà nói uptime 99.99% hầu như là nói láo cả nhé :D

http://www.webopedia.com/FIG/DATA_CENTER_CHART.jpg

Cấp nguồn cho DC cũng khác so với server room, vì việc tính tải phải rất chính xác hơn, vì thiết bị cấp nguồn rất đắt tiền, cũng tương tự với hệ thống UPS. Vì giả sử có chục tủ rack cần cấp điện, gạt Power on một cái thì một cú sốc có thể sẽ giết sạch các thiết bị bên trong. Vụ điện đóm này thì các anh APC là trùm :D

Tiếp đến là giải nhiệt, có 2 dạng, như dân PC là air cooling và liquid cooling, cũng tùy túi tền mà làm thôi. Nhưng khác với làm lạnh dân dụng là phải kiểm soát nhiệt độ, độ ẩm, mức CO2 khắt khe hơn rất nhiều.

...
Còn nhiều thứ nữa, các bạn tham khảo ở TIA-942 ấy.

Nhưng tóm cái váy lại là DC cũng không khác gì với server room là mấy, có khác là quy mô lớn hơn, phức tạp hơn, chuyên nghiệp hơn rất nhiều, :D

Bạn prescolt nói ảo hóa DC là không đúng nhé, ảo hóa, điện tóan lưới, điện tóan đám mây, nhìn chung là gôm chung tất cả (hardware, software) lại thành một hệ thống đồng nhất, giống như Google, Amazon AWS, .... Amazon AWS, chắc các bạn cũng có biết đến như là các dịch vụ VPS, S3, EC2, HPC, RDS, .... hoặc bạn muốn chạy dịch vụ gì trên đấy cũng được :D nó là ví dụ điển hình của Public DC.

[xvn]

http://www.datacenterknowledge.com/
các bác thử vào đây xem có thông tin nào bổ ích không ?
chủ đề này rất hay, bác nào có kinh nghiệm triển khai dc thực tế thì vào share với nhé

[addme]

Chém gió tí cho buổi sáng đỡ lạnh.

Để mô tả đúng DC thì người ta chia làm 2 loại: Private DC và Public DC. Trong đó Private DC là những trung tâm đóng, do doanh nghiệp thiết kế để phục vụ cho việc kinh doanh của mình là chính. Còn Public DC thì ngược lại: cho các doanh nghiệp khác thuê tài nguyên để hoạt động. Nhưng cả hai đều nhắm tới một mục tiêu là phục vụ một dịch vụ cụ thể. Co-location, dedicated server, ... chỉ là một mẩu băng trong DC mà thôi.

Để xây dựng một DC hòan thiện thì phải hội tụ đủ nhiều yếu tố như: điện, giải nhiệt, hệ thống quản lý, ... Rồi từ đó người ta lại phân loại ra thành nhiều loại DC: Tier 1, tier 2, tier 3, ... Các bạn có thể tìm đọc TIA-942 để hiểu rõ hơn các mô tả này. Bảng bên dưới so sánh chung giữa các loại, ở VN nói chung thì phần lớn DC tập trung ở dạng tier 1 vì không có cách gì để redundant power cả vì chỉ có duy nhất 1 anh EVN :D Cho nên các dịch vụ web ở VN mà nói uptime 99.99% hầu như là nói láo cả nhé :D


Người ta chỉ cần đi đường điện từ nhiều hướng khác nhau đến DC chứ đâu cần phải có nhiều nhà cung cấp khác nhau.

[saintkn8x]

chưa kể server nguồn cũng phải redundant power 2 cái thì mới có tác dụng .

[A9tm]

Người ta chỉ cần đi đường điện từ nhiều hướng khác nhau đến DC chứ đâu cần phải có nhiều nhà cung cấp khác nhau.
Như thế vẫn chưa đủ, giả sử mạng điện của toàn thành phố của EVN bị sụp thì sao? Lúc ấy lấy gì để thay thế?

[quanghaihcm]

các bác rành về DC cho hỏi với các host lưu trữ file như megaupload, rapeshare. mediafile, mega1280 thì nó dùng kiểu gì để chứa 1 lượng lớn dữ liệu?

[ppc08]

chưa kể server nguồn cũng phải redundant power 2 cái thì mới có tác dụng .
Tùy theo yêu cầu an tòan dữ liệu không cứ phải redundant power 2 cái thì mới có tác dụng
có thể là 1+1 ; 2+1 ; hay 3+1

[TranTienHung]

các bác rành về DC cho hỏi với các host lưu trữ file như megaupload, rapeshare. mediafile, mega1280 thì nó dùng kiểu gì để chứa 1 lượng lớn dữ liệu?

nhiều HDD ghép lại :boss:

[vinhduy11]

Mình tham gia một chút:
- Datacenter ngoài được cung cấp điện từ nguồn của EVN thì còn phải có nguồn phụ từ máy phát điện dự phòng (DC mình đang làm việc thì sử dụng 2n+1 để cung cấp nguồn điện bao gồm cả máy phát điện và đường điện từ EVN)
- Trong DC thì toàn bộ hệ thống thiết bị phải thông qua một hệ thống UPS tập trung để có thễ cung cấp điện dự phòng ngay lập tức khi hệ thống điện bị down đột ngột
- Trong DC toàn bộ hệ thống mạng sẽ được quản lý tập trung qua các core switch đi theo 3 tầng hoàn toàn (nếu DC đầu tư kỹ để dễ quản lý)
- Hệ thống dữ liệu có thể sử dụng tùy theo người sử dụng (sử dụng loại server nhiều HDD xài loại HDD 3.5 hay 2.5 để cung cấp chỗ để dữ liệu hoặc sử dụng hệ thống SAN của nhiều hệ thống như IBM Storage, EMC, Dell.. nổi tiếng nhất là EMC nhưng cũng mắc nhất).
- Hiện nay thì nhiều doanh nghiệp chuyển sang ảo hóa để tiết kiệm kinh phí và được lợi trong việc quản lý.
- OS sử dụng trong DC thì tùy theo loại ứng dụng cần chạy mà sử dụng Linux hay Window

[Panduit]

Chém gió tí cho buổi sáng đỡ lạnh.

Để mô tả đúng DC thì người ta chia làm 2 loại: Private DC và Public DC. Trong đó Private DC là những trung tâm đóng, do doanh nghiệp thiết kế để phục vụ cho việc kinh doanh của mình là chính. Còn Public DC thì ngược lại: cho các doanh nghiệp khác thuê tài nguyên để hoạt động. Nhưng cả hai đều nhắm tới một mục tiêu là phục vụ một dịch vụ cụ thể. Co-location, dedicated server, ... chỉ là một mẩu băng trong DC mà thôi.

Để xây dựng một DC hòan thiện thì phải hội tụ đủ nhiều yếu tố như: điện, giải nhiệt, hệ thống quản lý, ... Rồi từ đó người ta lại phân loại ra thành nhiều loại DC: Tier 1, tier 2, tier 3, ... Các bạn có thể tìm đọc TIA-942 để hiểu rõ hơn các mô tả này. Bảng bên dưới so sánh chung giữa các loại, ở VN nói chung thì phần lớn DC tập trung ở dạng tier 1 vì không có cách gì để redundant power cả vì chỉ có duy nhất 1 anh EVN :D Cho nên các dịch vụ web ở VN mà nói uptime 99.99% hầu như là nói láo cả nhé :D

http://www.webopedia.com/FIG/DATA_CENTER_CHART.jpg

Cấp nguồn cho DC cũng khác so với server room, vì việc tính tải phải rất chính xác hơn, vì thiết bị cấp nguồn rất đắt tiền, cũng tương tự với hệ thống UPS. Vì giả sử có chục tủ rack cần cấp điện, gạt Power on một cái thì một cú sốc có thể sẽ giết sạch các thiết bị bên trong. Vụ điện đóm này thì các anh APC là trùm :D

Tiếp đến là giải nhiệt, có 2 dạng, như dân PC là air cooling và liquid cooling, cũng tùy túi tền mà làm thôi. Nhưng khác với làm lạnh dân dụng là phải kiểm soát nhiệt độ, độ ẩm, mức CO2 khắt khe hơn rất nhiều.

...
Còn nhiều thứ nữa, các bạn tham khảo ở TIA-942 ấy.

Nhưng tóm cái váy lại là DC cũng không khác gì với server room là mấy, có khác là quy mô lớn hơn, phức tạp hơn, chuyên nghiệp hơn rất nhiều, :D

Bạn prescolt nói ảo hóa DC là không đúng nhé, ảo hóa, điện tóan lưới, điện tóan đám mây, nhìn chung là gôm chung tất cả (hardware, software) lại thành một hệ thống đồng nhất, giống như Google, Amazon AWS, .... Amazon AWS, chắc các bạn cũng có biết đến như là các dịch vụ VPS, S3, EC2, HPC, RDS, .... hoặc bạn muốn chạy dịch vụ gì trên đấy cũng được :D nó là ví dụ điển hình của Public DC.

nguon hvacr :D
Hi các bác.
Gởi các bác một số hình ảnh của Trung tâm dữ liệu Hanel-CSF các bác tham khảo nhé.
Tổng diện tích sàn: > 200m2
Tủ rack: max 200 tủ
- Hệ thống MLCX Stulz-Đức
- Hệ thống UPS Riello - Ý
- Hệ thống chữa cháy FM200-Kidde (Anh)
- Rò rỉ chất lỏng: Sitem (Thái lan)
- Và các hệ thống khác.
Đây là một Trung tâm dữ liệu được xây dựng theo chuẩn Tier 3 hiện nay.

.............................................
Phòng nguồn UPS-Riello -Ý (200kVA/con) và hệ thống tủ phân phối
http://upload.hvacr.vn/_UNCLASSED/2010-08/Copy_of_SDC10276.JPG
Phòng nguồn được thiết kế riêng biệt và được lam bị máy lạnh chính xác (N+1) để giải nhiệt
http://upload.hvacr.vn/_UNCLASSED/2010-08/Copy_of_DSC02535.JPG
Hệ thống máy phát điện dự phòng có khả năng back-up 72h
http://upload.hvacr.vn/_UNCLASSED/2010-08/SDC10006.JPG

Hệ thống máy lạnh chính xác STULZ-Đức, hệ thống đảm bảo chính xác nhiệt độ và độ ẩm cho phòng máy. Lưu lượng >14000m3/h/ máy. Hệ thống được kết nối thành 1 khối thống nhất, cấu hình N+1 chạy luân phiên để nâng cao tuổi thọ của máy. Công suất 70kW/con, giải nhiệt bằng khí
http://upload.hvacr.vn/_UNCLASSED/2010-08/SDC10209.JPG
Hệ thống lạnh thiết kế chuẩn TIA942 và ASHARE TC9.9 chia hành lang nóng và hành lang lạnh. Khí lạnh thổi xuống sàn nâng và thu hồi về đỉnh của máy.
http://upload.hvacr.vn/_UNCLASSED/2010-08/SDC10327.JPG
Dàn nóng giải nhiệt bằng khí, vật liệu thép không gỉ. Đặc biệt sử dụng PRESURE SWITCH để điều khiển chế độ đóng ngắt và nguồn 1 pha, tiết kiệm năng lượng
http://upload.hvacr.vn/_UNCLASSED/2010-08/SDC10193.JPG

Hệ thống máng cáp mạng của Pháp, chữa cháy FM200 của Anh
http://upload.hvacr.vn/_UNCLASSED/2010-08/SDC10202.JPG

Nhìn từ phía cửa vào
http://upload.hvacr.vn/_UNCLASSED/2010-08/SDC10320.JPG
Phòng vận hành NOC
http://upload.hvacr.vn/_UNCLASSED/2010-08/SDC10402.JPG

đây là của anh fpt
http://hvacr.vn/diendan/showthread.php?t=587 :angry:

[tienrocker]

cảm ơn bác, bài viết rất hay, tiện thể cho em hỏi là mô hình N+1 nó như thế nào :D

cấu hình N+1 chạy luân phiên để nâng cao tuổi thọ của máy

[addme]

Như thế vẫn chưa đủ, giả sử mạng điện của toàn thành phố của EVN bị sụp thì sao? Lúc ấy lấy gì để thay thế?

UPS+Generator

nguon hvacr :D
Hi các bác.
Gởi các bác một số hình ảnh của Trung tâm dữ liệu Hanel-CSF các bác tham khảo nhé.
Tổng diện tích sàn: > 200m2
Tủ rack: max 200 tủ
- Hệ thống MLCX Stulz-Đức
- Hệ thống UPS Riello - Ý
- Hệ thống chữa cháy FM200-Kidde (Anh)
- Rò rỉ chất lỏng: Sitem (Thái lan)
- Và các hệ thống khác.
Đây là một Trung tâm dữ liệu được xây dựng theo chuẩn Tier 3 hiện nay.


Còn kết nối mạng thì sao ?
Có N+2 đến tất cả ISP trong nước ko ? (Tier 3)

[traanfphivux3]

Chi phí thiết bị cho một Data Center trung bình khoảng bao nhiêu tiền vnđ nhỉ?

[lkt1827]

Mình tham gia một chút:
- Hệ thống dữ liệu có thể sử dụng tùy theo người sử dụng (sử dụng loại server nhiều HDD xài loại HDD 3.5 hay 2.5 để cung cấp chỗ để dữ liệu hoặc sử dụng hệ thống SAN của nhiều hệ thống như IBM Storage, EMC, Dell.. nổi tiếng nhất là EMC nhưng cũng mắc nhất).


Vậy nói qua nói lại thì vẫn cứ phải gắn cả đống HDD? Nếu vậy nội cái diện tích để chứa đống HDD đó chắc không phải nhỏ?

Chưa nói đến mấy cái ổ chuyên dùng cho server thì thường thấy chỉ ưu tiên tốc độ truy xuất ví dụ như tăng vòng quay ổ cứng chứ ít khi ưu tiên đến dung lượng.

[don juan]

Data Center của FPT này là FPT nào và Data Center nào mình ko biết. Nhưng Data Center chính của FPT Telecom ko hề như vậy. Theo Tier 3, Data Center to gấp 3 lần Hanel-CSF, phòng NOC cũng hoành tráng hơn nhiều.

[Panduit]

Còn kết nối mạng thì sao ?
Có N+2 đến tất cả ISP trong nước ko ? (Tier 3)
cái này em copy bên Hvacr.vn mà, có đề ngay đầu bài

Data Center của FPT này là FPT nào và Data Center nào mình ko biết. Nhưng Data Center chính của FPT Telecom ko hề như vậy. Theo Tier 3, Data Center to gấp 3 lần Hanel-CSF, phòng NOC cũng hoành tráng hơn nhiều.

bác ko đọc bài bên hvacr thì phải
Trung tâm dữ liệu này là một phần trong các Data Center của công ty Dữ liệu trực tuyến FPT (IDS), chứa khoảng 500 máy chủ.

[A9tm]

UPS+Generator

Cái đấy chỉ là phương án tình thế.

[prescolt]

Cái đấy chỉ là phương án tình thế.

phương án này không tình thế chút nào mà thật ra là rất quan trong trong Disaster plainning. Chỉ đơn giản là rất ít nơi nào mà có khả năng cung cấp hai đường điện từ một nhà cung cấp, thường thì 1 nha cung cấp điện sẽ cung cấp trong một khu vực nhất đinh và khi mất điện thì máy phát điện tỏ ra hiệu quả tuy là chi phí cao, nhưng bù lại an toàn dữ liệu là cao nhất. Và nếu trong trường hợp có thiên tai, động đất thì hoàn toàn có khả năng tắt an toàn hệ thống để chuẩn bi cho kế hoạch tái thiết lập, bảo vệ..

[A9tm]

phương án này không tình thế chút nào mà thật ra là rất quan trong trong Disaster plainning. Chỉ đơn giản là rất ít nơi nào mà có khả năng cung cấp hai đường điện từ một nhà cung cấp, thường thì 1 nha cung cấp điện sẽ cung cấp trong một khu vực nhất đinh và khi mất điện thì máy phát điện tỏ ra hiệu quả tuy là chi phí cao, nhưng bù lại an toàn dữ liệu là cao nhất. Và nếu trong trường hợp có thiên tai, động đất thì hoàn toàn có khả năng tắt an toàn hệ thống để chuẩn bi cho kế hoạch tái thiết lập, bảo vệ..
Các bạn suy nghĩ rộng nhưng chưa sâu, ở VN thì nói vậy có vẻ đúng, nhưng trên thế giới thì không chỉ có một mình EVN cung cấp điện cho cả nước đâu ạ. Chắc chắn người ta đã tính toán những chi phí cần thiết để cung cấp năng lượng hiệu quả, một DC plant quy chuẩn đi vào hoạt động chắc chẳn số lượng server lớn hơn con số "ngàn" nhiều, vậy giả sử thiết kế chỉ 1 nguồn điện vào và trông chờ tới UPS + máy phát có khả thi không? Chắc chắn không! Người ta sẽ dùng nó để duy trì trong thời gian ngắn chứ không thể cung cấp trong một thời gian lâu dài được, phải có một nguồn khác thay thế. Bởi vậy người ta mới chia ra Tier 1, Tier 2, Tier 3, bạn phải biết mình ở đâu trước đã.


Cơ bản mà nói thì UPS với generator chỉ nguyên thủy vẫn chỉ là cấp điện tạm thời.

[prescolt]

Các bạn suy nghĩ rộng nhưng chưa sâu, ở VN thì nói vậy có vẻ đúng, nhưng trên thế giới thì không chỉ có một mình EVN cung cấp điện cho cả nước đâu ạ. Chắc chắn người ta đã tính toán những chi phí cần thiết để cung cấp năng lượng hiệu quả, một DC plant quy chuẩn đi vào hoạt động chắc chẳn số lượng server lớn hơn con số "ngàn" nhiều, vậy giả sử thiết kế chỉ 1 nguồn điện vào và trông chờ tới UPS + máy phát có khả thi không? Chắc chắn không! Người ta sẽ dùng nó để duy trì trong thời gian ngắn chứ không thể cung cấp trong một thời gian lâu dài được, phải có một nguồn khác thay thế. Bởi vậy người ta mới chia ra Tier 1, Tier 2, Tier 3, bạn phải biết mình ở đâu trước đã.


Cơ bản mà nói thì UPS với generator chỉ nguyên thủy vẫn chỉ là cấp điện tạm thời.
vấn đề là chô bội đậm, đem chuẩn quốc tế vào VN sẽ không khả thi. Ơ VN EVN độc quyền nhưng vẫn có khả năng đảm bảo điện mac dù chỗ khác mát điện. trừ khi thiên tai thì may ra moi mất điện hoàn toàn, vậy vấn đề ơ đây là UPS và máy phát điện là thực sư cần thiết ơ VN trong một thời gian tạm thời trước khi down hệ thống an toàn. không biết bạn đọc có hiểu ý mình ko?
Bạn prescolt nói ảo hóa DC là không đúng nhé, ảo hóa, điện tóan lưới, điện tóan đám mây, nhìn chung là gôm chung tất cả (hardware, software) lại thành một hệ thống đồng nhất, giống như Google, Amazon AWS, .... Amazon AWS, chắc các bạn cũng có biết đến như là các dịch vụ VPS, S3, EC2, HPC, RDS, .... hoặc bạn muốn chạy dịch vụ gì trên đấy cũng được nó là ví dụ điển hình của Public DC. Ban thấy người ta ảo hoa cả trăm cái server trên một máy chưa. Đó cũng gọi la data center. y nghia cua data center chỉ la nói toi trung tâm gồm nhiếu máy tính với các dich vụ khác nhau. Vậy thì ảo hóa một data center cũng vậy, hàng trăm cái dịch vu trong các GuestOs chạy trong một máy tính. khi đề cập tới Cloud computing người ta đề cập tới xu hướng điện toán và hệ thống này chạy ảo hóa hay không ảo hóa vẫn thuộc về phạm trù cua data center trong virtualization
Hình này minh họa Data Center Virtualization chạy trên Vmware Infrastructure )
http://hothardware.com/newsimages/Item8145/vdivdm_diagram.gif

[A9tm]

Nói chung là bạn pres hiểu theo 1 nghĩa, và mình hiểu theo một nghĩa khác. Nếu đã không cùng một suy nghĩ thì mình nghĩ là không còn gì để giải thích ở đây nữa.

[hrockvn1]

Hanel CSF là DC có network lởm nhất từ trước đến giờ mà mình đã từng test thử. Down VN line 100M mà chỉ đc hiệu suất khoảng 30-35%. Down quốc tế thì ... thôi rồi. Ko bằng ADSL.
Chưa nói gì đến đường Up :-<

Mình chỉ kết VDC. Không phải ngẫu nhiên mà giá ở VDC nó đắt thế. Đắt sắt ra miếng :sexy:

[addme]

Các bạn suy nghĩ rộng nhưng chưa sâu, ở VN thì nói vậy có vẻ đúng, nhưng trên thế giới thì không chỉ có một mình EVN cung cấp điện cho cả nước đâu ạ. Chắc chắn người ta đã tính toán những chi phí cần thiết để cung cấp năng lượng hiệu quả, một DC plant quy chuẩn đi vào hoạt động chắc chẳn số lượng server lớn hơn con số "ngàn" nhiều, vậy giả sử thiết kế chỉ 1 nguồn điện vào và trông chờ tới UPS + máy phát có khả thi không? Chắc chắn không! Người ta sẽ dùng nó để duy trì trong thời gian ngắn chứ không thể cung cấp trong một thời gian lâu dài được, phải có một nguồn khác thay thế. Bởi vậy người ta mới chia ra Tier 1, Tier 2, Tier 3, bạn phải biết mình ở đâu trước đã.

Cơ bản mà nói thì UPS với generator chỉ nguyên thủy vẫn chỉ là cấp điện tạm thời.
Trong TIA-942 chẳng có đề cặp gì đến việc phải mua điện từ 2 nhà cung cấp khác nhau, họ chỉ chú trọng đến số lượng thiết bị dự phòng kể cả đường dây điện.

Các DC lớn đều dự phòng nhiên liệu đủ chạy generator đến 48h, và nếu là Tier 2 trở lên thì họ có N+1 generator để chạy luân phiên

Hanel CSF là DC có network lởm nhất từ trước đến giờ mà mình đã từng test thử. Down VN line 100M mà chỉ đc hiệu suất khoảng 30-35%. Down quốc tế thì ... thôi rồi. Ko bằng ADSL.
Chưa nói gì đến đường Up :-<

Mình chỉ kết VDC. Không phải ngẫu nhiên mà giá ở VDC nó đắt thế. Đắt sắt ra miếng :sexy:

Mạng kiểu này thì đặt sv ở nhà cho khỏe :shot:

[A9tm]

Mình không phản đối việc DC họ có generator để chạy luân phiên, cái ý mình là generator chỉ dùng trong trường hợp không thể tránh khỏi, thế thôi. Cứ cho như là dự trữ nhiên liệu chạy đủ trong 2, 3 ngày đi, nhưng có chạy mãi được không?

TIA-942 chỉ dùng để tham khảo, chẳng có chuẩn gì chung ở đây để bắt mọi người phải theo cả, nhưng người ta cũng phải đặt ra những vấn đề để mà khi xây dựng DC phải nhắm tới. Anh như này thì anh cứ là Tier 1, nếu có khả năng thì anh lên Tier 2, Tier 3. Khách hàng nhìn vào đấy là đủ biết khả năng của anh như nào và anh có thể quyết định giá bán ra làm sao, vân vân ...

[addme]

Theo bạn thì khi nào có thể xảy ra tình trạng cúp điện mãi (hơn 48h) ? giá điện ở DC rất cao, đừng nghĩ họ sẽ lỗ khi chạy generator

Không có nhà cung cấp nào muốn đầu tư đường dây đến DC (+dự trù công suất) mà chỉ bán điện được khi họ gặp tình trạng khẩn cấp.
Việc đi đường điện từ nhiều hướng khác nhau là đã rất tốn kém rồi, đằng này lại đầu tư N+1,+2 generator để dự phòng mà không sử dụng đến thì càng lãng phí hơn.

[A9tm]

Hình như bạn không hiểu điểm cốt yếu mà mình nói, người ta sẫn sàng đầu tư N+1, +2, thậm chí +3 generator đi nữa thì nó vẫn nằm trong hệ thống dự phòng (backup) cùng với UPS mà thôi. Bởi vì việc thiết kế, vận hành, bảo dưỡng hệ thống generator phức tạp hơn nhiều so với việc thuê thêm một nhà cung cấp điện nữa (để redundant power).

Việc đấy cũng không khác gì so với việc redundant network cả, thời gian power outage sẽ thấp hơn nhiều so với thời gian chờ khởi động generator và chờ generator đủ tải cho tòan bộ DC plant.

Còn bạn nói lãng phí thì mình không đồng ý, mọi sự chuẩn bị cho sự cố xấu nhất đều không lãng phí, cái đó nằm trong kế hoạch ban đầu khi phát triển bất cứ một dự án nào. Người ta sẽ cho chạy generator định kỳ hàng tháng để đảm bảo không có sự cố khi nào cần dùng đến nó, cho dù là không bao giờ dùng đến nó nhưng vẫn đảm bảo phải có nó. Cũng gần tương tự như hệ thống cứu hỏa, có ai muốn dùng đến nó không? Hàng năm mình tổ chức các cuộc diễn tập PCCC để làm gì? Mình trang bị nó để làm gì?

[hoidabunko]

Data Center của FPT này là FPT nào và Data Center nào mình ko biết. Nhưng Data Center chính của FPT Telecom ko hề như vậy. Theo Tier 3, Data Center to gấp 3 lần Hanel-CSF, phòng NOC cũng hoành tráng hơn nhiều.

Data bên Võ Văn Tầng của VnExpress.Data bên mình có thêm tụi FTI mướn nên to là phải =))

[don juan]

Data bên Võ Văn Tầng của VnExpress.Data bên mình có thêm tụi FTI mướn nên to là phải =))
Thêm tụi FO nữa, 1 mình nguyên cái phòng DC 3.

// Cài BKAV Enterprise chưa mà chém gió trong box BKAV nhiều thế :shame:

Cảm ơn BKAV, cảm ơn chú Quảng,admin,mod,smod,sứ giả thiện chí,đại lý bán hàng của BKAV forum. Còn bạn, bạn đã dùng BKAV chưa. :byebye:

[A9tm]

Thêm tụi FO nữa, 1 mình nguyên cái phòng DC 3.

// Cài BKAV Enterprise chưa mà chém gió trong box BKAV nhiều thế :shame:

Cảm ơn BKAV, cảm ơn chú Quảng,admin,mod,smod,sứ giả thiện chí,đại lý bán hàng của BKAV forum. Còn bạn, bạn đã dùng BKAV chưa. :byebye:
Box nào? chém giờ

[don juan]

à search những bài của bro đó bên box BKAV đi :D

[A9tm]

à search những bài của bro đó bên box BKAV đi :D
cứ tưởng :doubt:

[nneo]

Mẹ, đang đọc về DC lại tự nhiên lôi BKAV ra.
Các bạn cứ kêu ca, chửi bới, ném gạch cho sướng, cuối cùng chính các bạn là người PR cho anh Quảng :lol:

[don juan]

Thì đang PR giúp AQ đc nổi tiếng hơn mà. Còn nổi tiếng theo hướng nào thì lại khác :lmao:

FPT bắt nhân viên cài BKAV Enterprise đang thử nghiệm vô, tiện thể report bug cho BKAV luôn. Lại còn yêu cầu các server chạy Windows cũng cài BKAV luôn :|

Mợ bà, cái file setup.exe của đĩa Win7 mà nó cũng báo là virus, trong khi KIS, MSE quét thì an toàn :lmao:

[HVA]

Chi phí thiết bị cho một Data Center trung bình khoảng bao nhiêu tiền vnđ nhỉ?

Tuỳ nữa! nhưng nghe tây đồn VN chuẩn bị xây 1 cái data tầm 1k2 tỉ VNĐ

[jamen_vns]

Đọc từ đầu tới cuối, nói thật tớ thấy bạn A9tm nói sai toét!!!
Bạn ko biết thì đừng chém gió kinh điển như vậy chứ? độ lộng gió thì đừng hỏi, hơn cả gió sông Hồng :D
Mình làm tư vấn thiết kế DC cho HiPT Group.. Tuy làm chưa nhiều, nhưng kiến thức đủ để ngăn bạn ko chém gió vs anh em nữa...
Bạn nói : ở các DC lớn thì chơi 2 nguồn điện lưới khác nhau để redudant Power hả? xin thưa với bạn là, DC là tập hợp gồm các thiết bị điện tử nhạy cảm, bạn chơi 2 nguồn điện khác nhau, chưa nói là chênh lệch giữa hai nguồn, mà chỉ cần 1 nguồn ko ổn định tần số thôi... cũng đủ làm đống server của bạn chết toi rồi.
DC có UPS loại online để duy trì nguồn cũng như đảm bảo độ sạch của nguồn điện. Online tức là gì? tức là lúc nào nó cũng chạy, lúc nào cũng ở trạng thái available. Hay nói cách khác : nguồn điện đi qua UPS rồi mới vào đống server. Khi nguồn điện die, trong khoảng thời gian mất điện, chờ máy phát chạy, thì UPS sẽ xả điện từ ắc quy ko lấy từ nguồn điện nữa. Sau chừng 1,2 min ( do máy phát chỉ cần chừng đó để đóng tải ) thì ATS sẽ tự động chuyển mạch từ lưới điện sang máy phát. Và cũng xin thưa với bạn là: với các tòa nhà cao tầng, chuyện mất điện cả ngày là hơi bị hiếm, nếu có sự cố ko thể tránh, thì Sở Điện lực có trách nhiệm thông báo thời gian đóng điện. Còn thời gian chạy máy phát, thì phụ thuộc vào số xăng dầu bạn ném vào.. Các tòa nhà cao tầng đều có hầm chứa nhiên liệu, và ít nhất đủ đế cung cấp trong vài ba ngày. Chưa kể gần hết thì bơm vô tiếp. Được ko bạn A9tm thân yêu?
Về Điều hòa trong DC, điều hòa trong DC là hệ thống precision Cooling - tức là điều hòa chính xác. Điều hòa chính xác đảm bảo độ ẩm và nhiệt độ của phòng server luôn ở trạng thái thích hợp để đảm bảo hiệu quả hoạt động của đống server - đặc biệt là blade server. Độ ẩm trong phòng điều hòa là vấn đề tương đối quan trọng, vì chỉ cần để đọng sương trên dàn server thì ít nhất nguồn server sẽ die. Server có thể ko die, nhưng hoạt động giao dịch internet bị gián đoạn >> thiệt hại về kinh tế.
Về hệ thống CCTV & Access Control : trong DC luôn phải có hệ Access Control, có thể có hoặc ko CCTV. Có vì lí do an ninh và giám sát hoạt động của DC, còn ko có do túi tiền thôi. Hầu như CCTV trong DC thường là hệ CamIP do tận dụng được cơ sở vật chất cũng như ưu điểm công nghệ này mang lại so với analog.
TVSS : hệ thống chống sét đảm bảo ko có xuất hiện sóng hài và nhiễu trong các thiết bị điện tử. Nếu có hiện tượng này, nhẹ thì mất dữ liệu tại các vi mạch, tụ hay nặng thì cháy tụ, hỏng thiết bị điện tử - toàn đồ hiệu cả đấy ạ!
PCCC : là loại dùng trong DC. hiện tại rất phổ biến Fm200-lí do: dùng khí với nguyên tắc: ngăn sự cháy với oxi > đảm bảo ko có sự đọng sương khi có sự cố về cháy nổ. Nguyên lí là : khi các đầu báo cháy phát hiện ra khói, gửi tín hiệu đến bộ xử lý >>tác động đến hệ thống van/xả/đầu nổ phun hệ thống khí trong bình FM200 bao phủ lên bề mặt tạo ko gian ko có oxi xung quanh đám khói dập tắt sự cháy. Loại này, cứ phun 1 cái là teo cái bình...haizzz
raising floor :sàn nâng - vì sao có : đảm bảo đây là phòng sạch, tránh hiện tượng rò điện hay đọng sương tại đất..
Cabling : hệ thống cáp kết nối các server
Server : đống khó trị, tốn tiền và thường xuyên phải làm với nó là đây. Nói đơn giản là : phần lớn tiền DC là ở đây, tiếp đó đến UPS-Cooling, rồi phần khác.
Ở VN, các giải pháp về DC Infrastructure, thì Emerson, APC chiếm ưu thế hơn so với các hãng khác.
Ps: 1 lần nữa, đề nghị bạn A9tm bớt học phong cách " anh Quảng" cho ae nhờ, há?

[jamen_vns]

Thêm nữa, về DC lớn tại VN, thì theo mình được biết, tại khu công nghiệp Sóng Thần Bình Dương VietTel và Trung Hoa Telecom đang xây dựng 1 trung tâm DC để cho thuê. Vì sao lại đặt tại VN :
- Phí đầu tư rẻ
- Giá điện rẻ
- dự định cho tụi HongKong, Trung Quốc, Singapore thuê.

Mình có nhận định là : nó rất giống kiểu : xưởng giày da của nước ngoài tại Vn. Nhân công thì bèo bọt, nhưng mà có những xưởng như thế.. Vn có nhiều option để chọn giày :))

[hoidabunko]

Thì đang PR giúp AQ đc nổi tiếng hơn mà. Còn nổi tiếng theo hướng nào thì lại khác :lmao:

FPT bắt nhân viên cài BKAV Enterprise đang thử nghiệm vô, tiện thể report bug cho BKAV luôn. Lại còn yêu cầu các server chạy Windows cũng cài BKAV luôn :|

Mợ bà, cái file setup.exe của đĩa Win7 mà nó cũng báo là virus, trong khi KIS, MSE quét thì an toàn :lmao:



lolz,nguyên cái khu ISC với RAD chơi BKAV chắc lúc đó thà nghỉ còn hơn.


Ghét BKAV từ lúc nổ đến giờ :(

[A9tm]

Đọc từ đầu tới cuối, nói thật tớ thấy bạn A9tm nói sai toét!!!
Bạn ko biết thì đừng chém gió kinh điển như vậy chứ? độ lộng gió thì đừng hỏi, hơn cả gió sông Hồng :D
Mình làm tư vấn thiết kế DC cho HiPT Group.. Tuy làm chưa nhiều, nhưng kiến thức đủ để ngăn bạn ko chém gió vs anh em nữa...
Bạn nói : ở các DC lớn thì chơi 2 nguồn điện lưới khác nhau để redudant Power hả? xin thưa với bạn là, DC là tập hợp gồm các thiết bị điện tử nhạy cảm, bạn chơi 2 nguồn điện khác nhau, chưa nói là chênh lệch giữa hai nguồn, mà chỉ cần 1 nguồn ko ổn định tần số thôi... cũng đủ làm đống server của bạn chết toi rồi.
DC có UPS loại online để duy trì nguồn cũng như đảm bảo độ sạch của nguồn điện. Online tức là gì? tức là lúc nào nó cũng chạy, lúc nào cũng ở trạng thái available. Hay nói cách khác : nguồn điện đi qua UPS rồi mới vào đống server. Khi nguồn điện die, trong khoảng thời gian mất điện, chờ máy phát chạy, thì UPS sẽ xả điện từ ắc quy ko lấy từ nguồn điện nữa. Sau chừng 1,2 min ( do máy phát chỉ cần chừng đó để đóng tải ) thì ATS sẽ tự động chuyển mạch từ lưới điện sang máy phát. Và cũng xin thưa với bạn là: với các tòa nhà cao tầng, chuyện mất điện cả ngày là hơi bị hiếm, nếu có sự cố ko thể tránh, thì Sở Điện lực có trách nhiệm thông báo thời gian đóng điện. Còn thời gian chạy máy phát, thì phụ thuộc vào số xăng dầu bạn ném vào.. Các tòa nhà cao tầng đều có hầm chứa nhiên liệu, và ít nhất đủ đế cung cấp trong vài ba ngày. Chưa kể gần hết thì bơm vô tiếp. Được ko bạn A9tm thân yêu?
Về Điều hòa trong DC, điều hòa trong DC là hệ thống precision Cooling - tức là điều hòa chính xác. Điều hòa chính xác đảm bảo độ ẩm và nhiệt độ của phòng server luôn ở trạng thái thích hợp để đảm bảo hiệu quả hoạt động của đống server - đặc biệt là blade server. Độ ẩm trong phòng điều hòa là vấn đề tương đối quan trọng, vì chỉ cần để đọng sương trên dàn server thì ít nhất nguồn server sẽ die. Server có thể ko die, nhưng hoạt động giao dịch internet bị gián đoạn >> thiệt hại về kinh tế.
Về hệ thống CCTV & Access Control : trong DC luôn phải có hệ Access Control, có thể có hoặc ko CCTV. Có vì lí do an ninh và giám sát hoạt động của DC, còn ko có do túi tiền thôi. Hầu như CCTV trong DC thường là hệ CamIP do tận dụng được cơ sở vật chất cũng như ưu điểm công nghệ này mang lại so với analog.
TVSS : hệ thống chống sét đảm bảo ko có xuất hiện sóng hài và nhiễu trong các thiết bị điện tử. Nếu có hiện tượng này, nhẹ thì mất dữ liệu tại các vi mạch, tụ hay nặng thì cháy tụ, hỏng thiết bị điện tử - toàn đồ hiệu cả đấy ạ!
PCCC : là loại dùng trong DC. hiện tại rất phổ biến Fm200-lí do: dùng khí với nguyên tắc: ngăn sự cháy với oxi > đảm bảo ko có sự đọng sương khi có sự cố về cháy nổ. Nguyên lí là : khi các đầu báo cháy phát hiện ra khói, gửi tín hiệu đến bộ xử lý >>tác động đến hệ thống van/xả/đầu nổ phun hệ thống khí trong bình FM200 bao phủ lên bề mặt tạo ko gian ko có oxi xung quanh đám khói dập tắt sự cháy. Loại này, cứ phun 1 cái là teo cái bình...haizzz
raising floor :sàn nâng - vì sao có : đảm bảo đây là phòng sạch, tránh hiện tượng rò điện hay đọng sương tại đất..
Cabling : hệ thống cáp kết nối các server
Server : đống khó trị, tốn tiền và thường xuyên phải làm với nó là đây. Nói đơn giản là : phần lớn tiền DC là ở đây, tiếp đó đến UPS-Cooling, rồi phần khác.
Ở VN, các giải pháp về DC Infrastructure, thì Emerson, APC chiếm ưu thế hơn so với các hãng khác.
Ps: 1 lần nữa, đề nghị bạn A9tm bớt học phong cách " anh Quảng" cho ae nhờ, há?
HiPT thì cũng đã là gì đâu, kiến thức của bạn tốt nhưng không vận dụng đúng chỗ và biết phân tích. Hay nói đúng hơn là ếch ngồi đáy giếng :lmao:

[jamen_vns]

4rum là nơi chém gió... nhưng khi tranh luận về kĩ thuật, nếu chém gió linh tinh thì đươc, chứ chém gió về công nghệ mà sai toét thì nhụt lém bạn ạ.. qua bkav chém ở đó ko cóa ai nói gì đâu honie

[A9tm]

Mình nói với bạn, hay đã nói với các bạn trước đấy rồi, là các bạn có tầm nhìn ngắn và hẹp. Các bạn có kiến thức nhưng (cố tình) hiểu sai những gì mình nói, vì vậy mới cho là mình sai và chém gió. Hay nói cách khác là khả năng hiểu biết của chúng mình khác nhau, cho nên mình không trách các bạn chả hiểu cái gì sất.

Nói thẳng với bạn là cái giọng của bạn thì chỉ giỏi chém gà thôi.

[jamen_vns]

vậy bạn A9tm viết 1 bài preview cho ae có cái nhìn tổng quan về hệ thống Data Center đi! Kiến thức bạn khủng khiếp vậy share cho ae một ít, bo bo làm của riêng vậy? :d

[lkt1827]

Lại chửi nhau nữa rồi. Đề nghị không chửi nhau. Góp ý nhẹ nhang thôi chứ không topic bị loãng.

- Trong topic này đề nghỉ chỉ bàn về hệ thông DC không bàn gì đến BKAV hết nhé.

[jamen_vns]

anh A9tm ko onl để pozt cho ae tham khảo a? :D :lol

[A9tm]

anh A9tm ko onl để pozt cho ae tham khảo a? :D :lol

DFTT :D

http://images.memegenerator.net/Joseph-Ducreux/ImageMacro/2297132/I-know-what-you-are-Youre-a-fail-troll.jpg

[Panduit]

Đọc từ đầu tới cuối, nói thật tớ thấy bạn A9tm nói sai toét!!!
Bạn ko biết thì đừng chém gió kinh điển như vậy chứ? độ lộng gió thì đừng hỏi, hơn cả gió sông Hồng :D
Mình làm tư vấn thiết kế DC cho HiPT Group.. Tuy làm chưa nhiều, nhưng kiến thức đủ để ngăn bạn ko chém gió vs anh em nữa...
1 Bạn nói : ở các DC lớn thì chơi 2 nguồn điện lưới khác nhau để redudant Power hả? xin thưa với bạn là, DC là tập hợp gồm các thiết bị điện tử nhạy cảm, bạn chơi 2 nguồn điện khác nhau, chưa nói là chênh lệch giữa hai nguồn, mà chỉ cần 1 nguồn ko ổn định tần số thôi... cũng đủ làm đống server của bạn chết toi rồi.
2 DC có UPS loại online để duy trì nguồn cũng như đảm bảo độ sạch của nguồn điện. Online tức là gì? tức là lúc nào nó cũng chạy, lúc nào cũng ở trạng thái available. Hay nói cách khác : nguồn điện đi qua UPS rồi mới vào đống server. Khi nguồn điện die, trong khoảng thời gian mất điện, chờ máy phát chạy, thì UPS sẽ xả điện từ ắc quy ko lấy từ nguồn điện nữa. Sau chừng 1,2 min ( do máy phát chỉ cần chừng đó để đóng tải ) thì ATS sẽ tự động chuyển mạch từ lưới điện sang máy phát. Và cũng xin thưa với bạn là: với các tòa nhà cao tầng, chuyện mất điện cả ngày là hơi bị hiếm, nếu có sự cố ko thể tránh, thì Sở Điện lực có trách nhiệm thông báo thời gian đóng điện. Còn thời gian chạy máy phát, thì phụ thuộc vào số xăng dầu bạn ném vào.. Các tòa nhà cao tầng đều có hầm chứa nhiên liệu, và ít nhất đủ đế cung cấp trong vài ba ngày. Chưa kể gần hết thì bơm vô tiếp. Được ko bạn A9tm thân yêu?
3 Về Điều hòa trong DC, điều hòa trong DC là hệ thống precision Cooling - tức là điều hòa chính xác. Điều hòa chính xác đảm bảo độ ẩm và nhiệt độ của phòng server luôn ở trạng thái thích hợp để đảm bảo hiệu quả hoạt động của đống server - đặc biệt là blade server. Độ ẩm trong phòng điều hòa là vấn đề tương đối quan trọng, vì chỉ cần để đọng sương trên dàn server thì ít nhất nguồn server sẽ die. Server có thể ko die, nhưng hoạt động giao dịch internet bị gián đoạn >> thiệt hại về kinh tế.
Về hệ thống CCTV & Access Control : trong DC luôn phải có hệ Access Control, có thể có hoặc ko CCTV. Có vì lí do an ninh và giám sát hoạt động của DC, còn ko có do túi tiền thôi. Hầu như CCTV trong DC thường là hệ CamIP do tận dụng được cơ sở vật chất cũng như ưu điểm công nghệ này mang lại so với analog.
TVSS : hệ thống chống sét đảm bảo ko có xuất hiện sóng hài và nhiễu trong các thiết bị điện tử. Nếu có hiện tượng này, nhẹ thì mất dữ liệu tại các vi mạch, tụ hay nặng thì cháy tụ, hỏng thiết bị điện tử - toàn đồ hiệu cả đấy ạ!
PCCC : là loại dùng trong DC. hiện tại rất phổ biến Fm200-lí do: dùng khí với nguyên tắc: ngăn sự cháy với oxi > đảm bảo ko có sự đọng sương khi có sự cố về cháy nổ. Nguyên lí là : khi các đầu báo cháy phát hiện ra khói, gửi tín hiệu đến bộ xử lý >>tác động đến hệ thống van/xả/đầu nổ phun hệ thống khí trong bình FM200 bao phủ lên bề mặt tạo ko gian ko có oxi xung quanh đám khói dập tắt sự cháy. Loại này, cứ phun 1 cái là teo cái bình...haizzz
raising floor :sàn nâng - vì sao có : đảm bảo đây là phòng sạch, tránh hiện tượng rò điện hay đọng sương tại đất..
Cabling : hệ thống cáp kết nối các server
Server : đống khó trị, tốn tiền và thường xuyên phải làm với nó là đây. Nói đơn giản là : phần lớn tiền DC là ở đây, tiếp đó đến UPS-Cooling, rồi phần khác.
Ở VN, các giải pháp về DC Infrastructure, thì Emerson, APC chiếm ưu thế hơn so với các hãng khác.
Ps: 1 lần nữa, đề nghị bạn A9tm bớt học phong cách " anh Quảng" cho ae nhờ, há?

vấn đề 1 thì đã có cái 2 giải quyết hộ. nối // hai con online cho ra một đầu hợp nhất
3 mình chỉ thấy nó lắp thêm bộ tạo ẩm thôi.:go:
Anh Eaton ko có dh nên kém chứ em thấy Powerware vẫn là nhất.:sexy:

[malefly]

các bác rành về DC cho hỏi với các host lưu trữ file như megaupload, rapeshare. mediafile, mega1280 thì nó dùng kiểu gì để chứa 1 lượng lớn dữ liệu?

Dạ thưa bác nghe thằng bạn nói FPT dùng Winzip nén lại ạh, còn mediafire thì host trên megaupload rồi forward qua thui, megaupload thì host trên rapidshare, rapidshare thì host trên 4share... :aboom::D và 4share thì host ở Wikileak.

Và đây là cái "Kho" của Wikileak đây ah

http://www.time.com/time/photogallery/0,29307,2036380_2217840,00.html

[EXT]

Dạ thưa bác nghe thằng bạn nói FPT dùng Winzip nén lại ạh, còn mediafire thì host trên megaupload rồi forward qua thui, megaupload thì host trên rapidshare, rapidshare thì host trên 4share... :aboom::D và 4share thì host ở Wikileak.

Và đây là cái "Kho" của Wikileak đây ah

http://www.time.com/time/photogallery/0,29307,2036380_2217840,00.html

não bạn có vấn đề à. đi đâu cũng vác mỗi cái link cùi đó đi hù gà, sợ quá đi :adore:

[EXT]

đùa tí chứ các DC ở VN thì mình thấy thằng DC của vina shjt còn khủng hơn một số ông làm service :(