Hadoop框架可以这样实现么？ “Windows Azure”OS结合。

Question

公司想把平台建设在云平台上，所以就想到了“Hadoop框架”。

“Hadoop”框架，一般是由“Linux + Java/C++ + Hbase”来实现的，“java/C++”实现MapReduce算法。

问题一：“Windows Server + SqlServer + .Net C#”可以实现么？？？ 使用“.Net C#”实现MapReduce算法。

问题二：“Windows Azure”是第三方的服务，它就是“Windows Server + SqlServer + .Net C#”实现的，但是不开源，企业用户自己应该没有办法架设吧？？？

问题三：为了节省成本，可以使用“虚拟集群”，虚拟集群应该怎样设计呢？

问题四：“Hadoop”框架，一般是由“Linux + Java/C++ + Hbase”来实现的，它可以架设“.Net”框架么？ 比如：IIS、Asp.net、Silverlight、WCF、SQLServer2008等？？？

问题五：直接将平台移植到“Windows Azure”又担心安全问题，数据全部托管在微软数据中心，有点风险啊。怎么办？？？

---

有精到广，做出自己的特色。

Answer 1

Hi,

目前Hadoop和Windows Azure也有一个CPFR，参阅：https://www.hadooponazure.com/ .

问题一, 参阅这篇文章

http://blogs.msdn.com/b/carlnol/archive/2012/04/29/generic-based-framework-for-net-hadoop-mapreduce-job-submission.aspx

问题二, Windows Azure 不能说就是Win Server + SQL Server + .NET 组成，Windows Azure 对传统的Web cluster做出了很多重要的改变来适应云环境，同时也增加了很多重要的Services，例如ACS,ServiceBus, HPC等等. Windows Azure有三种方式来实现与企业的合作, 分别是IaaS, PaaS, SaaS, 你说的应该是希望自己去组建一套私有云的解决方案来适应企业化的需要（IaaS）, 请参考Microsoft的Private Cloud作为你的解决方案 （http://www.microsoft.com/en-us/server-cloud/private-cloud/default.aspx），private cloud的操作环境与配置都由企业内部来完成，并且可以很方便的与公有云相连，跨域访问其他的Service. Windows Azure 是一个公有云平台，任何人都可以在上面部署自己的应用程序.

问题三, http://blogs.msdn.com/b/clustering/archive/2008/01/18/7151154.aspx (Windows Server 2008)

问题四, 见前面的Azure和Hadoop的CPFR.

问题五, 你的数据在Windows Azure平台存储时，将会作为3个物理备份存储在不同的主机上，当一个备份损坏时，Fabric control将会立即创建一个新的备份，同时另外两个备份能够保证你的服务不会中断，所以安全性还是比较高的. 你也可以考虑将数据存放在内部，云端的程序同样可以访问内部的数据（和存储在云端是同样的效果，但是安全和备份需要自己完成了）.

希望有帮助.

---

Please mark the replies as answers if they help or unmark if not. If you have any feedback about my replies, please contact [e-mail] Microsoft One Code Framework

Answer 2

Hi,

目前Hadoop和Windows Azure也有一个CPFR，参阅：https://www.hadooponazure.com/ .

问题一, 参阅这篇文章

http://blogs.msdn.com/b/carlnol/archive/2012/04/29/generic-based-framework-for-net-hadoop-mapreduce-job-submission.aspx

问题二, Windows Azure 不能说就是Win Server + SQL Server + .NET 组成，Windows Azure 对传统的Web cluster做出了很多重要的改变来适应云环境，同时也增加了很多重要的Services，例如ACS,ServiceBus, HPC等等. Windows Azure有三种方式来实现与企业的合作, 分别是IaaS, PaaS, SaaS, 你说的应该是希望自己去组建一套私有云的解决方案来适应企业化的需要（IaaS）, 请参考Microsoft的Private Cloud作为你的解决方案 （http://www.microsoft.com/en-us/server-cloud/private-cloud/default.aspx），private cloud的操作环境与配置都由企业内部来完成，并且可以很方便的与公有云相连，跨域访问其他的Service. Windows Azure 是一个公有云平台，任何人都可以在上面部署自己的应用程序.

问题三, http://blogs.msdn.com/b/clustering/archive/2008/01/18/7151154.aspx (Windows Server 2008)

问题四, 见前面的Azure和Hadoop的CPFR.

问题五, 你的数据在Windows Azure平台存储时，将会作为3个物理备份存储在不同的主机上，当一个备份损坏时，Fabric control将会立即创建一个新的备份，同时另外两个备份能够保证你的服务不会中断，所以安全性还是比较高的. 你也可以考虑将数据存放在内部，云端的程序同样可以访问内部的数据（和存储在云端是同样的效果，但是安全和备份需要自己完成了）.

希望有帮助.

---

Please mark the replies as answers if they help or unmark if not. If you have any feedback about my replies, please contact [e-mail] Microsoft One Code Framework

谢谢您，提供了那么多的资料。

     “Windows Server + SqlServer + .Net C#”可以实现“Hadoop”框架对么？？？    使用“.Net C#”也可以实现MapReduce算法，Right???

---

有精到广，做出自己的特色。

Answer 3

对，上面那个链接中包含有.NET这边的正对于MapReduce的框架，你可以试试看.

---

Please mark the replies as answers if they help or unmark if not. If you have any feedback about my replies, please contact [e-mail] Microsoft One Code Framework

Answer 4

对，上面那个链接中包含有.NET这边的正对于MapReduce的框架，你可以试试看.

---

Please mark the replies as answers if they help or unmark if not. If you have any feedback about my replies, please contact [e-mail] Microsoft One Code Framework

谢谢您，Thanks  a  lot...

     使用“微软的私有云”解决方案，也是要将数据托管在“微软的数据中心”的，对吧？？？

     我们可以在初期采用“微软的私有云”解决方案，成熟了之后再架设自己的“集群”，用“.Net  C#”实现“Hadoop”框架，您看这样可以么？？？

---

有精到广，做出自己的特色。

Answer 5

不是的， Private Cloud没有要求你数据放在微软数据中心，而是放在企业内部搭建的数据库或者Storage中。

---

Please mark the replies as answers if they help or unmark if not. If you have any feedback about my replies, please contact [e-mail] Microsoft One Code Framework

Answer 6

不是的， Private Cloud没有要求你数据放在微软数据中心，而是放在企业内部搭建的数据库或者Storage中。

---

Please mark the replies as answers if they help or unmark if not. If you have any feedback about my replies, please contact [e-mail] Microsoft One Code Framework

嗯。非常感谢，Thanks  a  lot...

      数据不用放在“微软数据中心”的？？？那么，“集群”和“Windows Azure OS”系统也可以自己架么？？？   不可以的话，系统怎么建呢，费用又怎么样呢？？？谢谢了。。。

---

有精到广，做出自己的特色。

Answer 7

Hi,

Private cloud其实并不是Azure，是企业使用自己软硬件来架设的一套工作流，具有Server集群的功能（包括compute，storage，同步等），并且可以很方便的与Azure共同工作，例如高峰期Private Cloud无法满足需要的时候可以将一部分负荷放在Azure上（HPC）。

关于如何架设的问题看看这些case study：http://www.microsoft.com/en-us/server-cloud/private-cloud/case-studies.aspx

费用的话因为是使用自己的系统应该是免费的，除了购买这些系统软件是收费的, 例如Windows Server和System Center.

---

Please mark the replies as answers if they help or unmark if not. If you have any feedback about my replies, please contact [e-mail] Microsoft One Code Framework

Answer 8

Hi,

Private cloud其实并不是Azure，是企业使用自己软硬件来架设的一套工作流，具有Server集群的功能（包括compute，storage，同步等），并且可以很方便的与Azure共同工作，例如高峰期Private Cloud无法满足需要的时候可以将一部分负荷放在Azure上（HPC）。

关于如何架设的问题看看这些case study：http://www.microsoft.com/en-us/server-cloud/private-cloud/case-studies.aspx

费用的话因为是使用自己的系统应该是免费的，除了购买这些系统软件是收费的, 例如Windows Server和System Center.

---

Please mark the replies as answers if they help or unmark if not. If you have any feedback about my replies, please contact [e-mail] Microsoft One Code Framework

谢谢。Thanks  a  lot...

      问题一：只要购买了微软的Windows Server  和System  Center软件就可以了么？？？     "System  Center"只是一个云管家吧，Windows  SQLServer  、  Hyper-V   这些  也要单独购买吧？？？

      问题二：微软的私有云解决方案到底指什么呢？一种框架？？？   它是基于Hadoop框架实现的么，二者有什么关系？？？

      问题三：采用微软的“私有云解决方案”，可以使用Hadoop框架么？？？

      谢谢了，感激不尽。。。

---

有精到广，做出自己的特色。

Answer 9

这是一个简答的step by step的教程：

http://social.technet.microsoft.com/wiki/contents/articles/2773.how-to-create-and-configure-a-private-cloud-in-system-center-virtual-machine-manager-2012-part-1.aspx

另外不仅仅只购买这两个软件就可以，这取决于你的需求，比如你需要在private cloud加入database的功能，那么你需要购买SqlServer。价格和普通的是一样的, private cloud的优点上面的链接里已经说得比较详细了，看看这个：

http://www.microsoft.com/en-in/server-cloud/private-cloud/benefits.aspx

---

Please mark the replies as answers if they help or unmark if not. If you have any feedback about my replies, please contact [e-mail] Microsoft One Code Framework

Answer 10

这是一个简答的step by step的教程：

http://social.technet.microsoft.com/wiki/contents/articles/2773.how-to-create-and-configure-a-private-cloud-in-system-center-virtual-machine-manager-2012-part-1.aspx

另外不仅仅只购买这两个软件就可以，这取决于你的需求，比如你需要在private cloud加入database的功能，那么你需要购买SqlServer。价格和普通的是一样的, private cloud的优点上面的链接里已经说得比较详细了，看看这个：

http://www.microsoft.com/en-in/server-cloud/private-cloud/benefits.aspx

---

Please mark the replies as answers if they help or unmark if not. If you have any feedback about my replies, please contact [e-mail] Microsoft One Code Framework

谢谢您不耐其烦的解答，谢谢。

     但是现在比较关心“微软私有云”和“Hadoop”框架的问题。

      “微软私有云”可不可以基于“Hadoop”框架实现？？？它们二者又是什么关系？？？

     谢谢了。。。

---

有精到广，做出自己的特色。

Answer 11

私有云只是一个环境，你可以在上部署任何你想要的框架或者是系统。

---

Please mark the replies as answers if they help or unmark if not. If you have any feedback about my replies, please contact [e-mail] Microsoft One Code Framework

Answer 12

私有云只是一个环境，你可以在上部署任何你想要的框架或者是系统。

---

Please mark the replies as answers if they help or unmark if not. If you have any feedback about my replies, please contact [e-mail] Microsoft One Code Framework

谢谢您，谢谢。

也就是这样了，对么？如下：

      可以采用“微软企业私有云”解决方案，“WinServer2008 + SqlServer2012 + Hyper-V”实现“Hadoop”框架，“.Net C#”实现MapReduce算法。这样云平台，可以完全兼容现有的平台系统。并且可以很方便的和“Windows Azure”协调工作，例如当高峰期“企业私有云”过载时，可以将一部分负载放在“Windows Azure”上。

     

---

有精到广，做出自己的特色。

Answer 13

私有云只是一个环境，你可以在上部署任何你想要的框架或者是系统。

---

Please mark the replies as answers if they help or unmark if not. If you have any feedback about my replies, please contact [e-mail] Microsoft One Code Framework

不过还是有两点，不是很明白。

      1、“私有云”是一种环境，这个环境具体怎样理解呢？？？硬件环境还是软件环境？？？   还是“Hadoop”框架就是一套应用程序，“私有云”是“Hadoop框架应用程序”运行的环境？？？

      2、“Hadoop”框架就是一套应用程序，“私有云”是“Hadoop框架应用程序”运行的环境？？？       它们之间是这样的关系么？？？

另外一张图，再次谢谢。

       

      

---

有精到广，做出自己的特色。

Answer 14

是的 你的工作是在Private Cloud上利用Windows Server, System Center, Hyper-V上搭建基于generic framework的框架，并非Hadoop （Hadoop是基于Linux + Java/C++ + Hbase的），并非Win Server, 实现MapReduce算法。

---

Please mark the replies as answers if they help or unmark if not. If you have any feedback about my replies, please contact [e-mail] Microsoft One Code Framework

Answer 15

是的 你的工作是在Private Cloud上利用Windows Server, System Center, Hyper-V上搭建基于generic framework的框架，并非Hadoop （Hadoop是基于Linux + Java/C++ + Hbase的），并非Win Server, 实现MapReduce算法。

---

Please mark the replies as answers if they help or unmark if not. If you have any feedback about my replies, please contact [e-mail] Microsoft One Code Framework

      谢谢您，谢谢。

        问题一： "generic framework"框架？？？不能搭建”Hadoop“框架么？？？        ”Windows Azure“不也可以使用”Hadoop“框架的么？？？

        问题二：如果再考虑到跨平台和数据库，”Linux + C++ + Hbase“实现“Hadoop" 。那么”.Net   web 、WCF、Silverlight“  这些WIndows框架工作在其上又会怎么样呢？？？

     

---

有精到广，做出自己的特色。

Answer 16

之前说过的Generic Framework实现的类似于Hadoop的框架 并非是真正的Hadoop的框架 目的在于达成你要的结果--Map Reduce算法

Windows Azure与Hadoop的合作在这里：https://www.hadooponazure.com/

ASP.Net  WCF、Silverlight 目前必须在.NET Framework上运行

---

Please mark the replies as answers if they help or unmark if not. If you have any feedback about my replies, please contact [e-mail] Microsoft One Code Framework

Answer 17

之前说过的Generic Framework实现的类似于Hadoop的框架 并非是真正的Hadoop的框架 目的在于达成你要的结果--Map Reduce算法

Windows Azure与Hadoop的合作在这里：https://www.hadooponazure.com/

ASP.Net  WCF、Silverlight 目前必须在.NET Framework上运行

---

Please mark the replies as answers if they help or unmark if not. If you have any feedback about my replies, please contact [e-mail] Microsoft One Code Framework

      谢谢，非常感谢。。。

     ASP.Net  WCF、Silverlight 目前必须在.NET Framework上运行。。。对的。。。自己对”Linux + C++ + Hbase“实现的“Hadoop"不是很了解，它上面可以运行”.Net  FW“么？？？

      ”Generic Framework“实现了”MapReduce“，但又不是”Hadoop“？？？      可”.Net“应该可以实现”Hadoop“的啊。。。

谢谢您一直以来不耐其烦的帮助，谢谢。。。非常感谢。。。

    但是，关于”Generic Framework“没有搜到相关的资料啊？？？

---

有精到广，做出自己的特色。

Answer 18

之前说过的Generic Framework实现的类似于Hadoop的框架 并非是真正的Hadoop的框架 目的在于达成你要的结果--Map Reduce算法

Windows Azure与Hadoop的合作在这里：https://www.hadooponazure.com/

ASP.Net  WCF、Silverlight 目前必须在.NET Framework上运行

---

Please mark the replies as answers if they help or unmark if not. If you have any feedback about my replies, please contact [e-mail] Microsoft One Code Framework

大师，非常谢谢您，知道自己一直在追问，但是真的很想弄清楚的呢。。。

ASP.Net  WCF、Silverlight 目前必须在.NET Framework上运行。。。对的。。。自己对”Linux + C++ + Hbase“实现的“Hadoop"不是很了解，它上面可以运行”.Net  FW“么？？？

      ”Generic Framework“实现了”MapReduce“，但又不是”Hadoop“？？？      可”.Net“应该可以实现”Hadoop“的啊。。。

谢谢您一直以来不耐其烦的帮助，谢谢。。。非常感谢。。。

    但是，关于”Generic Framework“没有搜到相关的资料啊？？？

---

Science and technology is my lover.

Answer 19

之前说过的Generic Framework实现的类似于Hadoop的框架 并非是真正的Hadoop的框架 目的在于达成你要的结果--Map Reduce算法

Windows Azure与Hadoop的合作在这里：https://www.hadooponazure.com/

ASP.Net  WCF、Silverlight 目前必须在.NET Framework上运行

---

Please mark the replies as answers if they help or unmark if not. If you have any feedback about my replies, please contact [e-mail] Microsoft One Code Framework

非常谢谢。。。Thanks  a   lot...

---

Science and technology is my lover.