Настройка параметров hadoop с помощью boto?

Я пытаюсь включить неудачное входное пропущение на моих работах Amazon Elastic MapReduce. Я следую замечательному рецепту, описанному здесь:

http://devblog.factual.com/practical-hadoop-streaming-dealing-with-brittle-code

В приведенной выше ссылке говорится, что мне нужно как-то установить следующие параметры конфигурации в задании EMR:

mapred.skip.mode.enabled=true
mapred.skip.map.max.skip.records=1
mapred.skip.attempts.to.start.skipping=2
mapred.map.tasks=1000
mapred.map.max.attempts=10

How do I set these (and other) mapred.XXX parameters on a JobFlow using Boto?

One Solution collect form web for “Настройка параметров hadoop с помощью boto?”

After many hours of struggling, reading code, and experimentation, here is the answer:

You need to add a new BootstrapAction, like so:

params = ['-s','mapred.skip.mode.enabled=true',
          '-s', 'mapred.skip.map.max.skip.records=1',
          '-s', 'mapred.skip.attempts.to.start.skipping=2',
          '-s', 'mapred.map.max.attempts=5',
          '-s', 'mapred.task.timeout=100000']
config_bootstrapper = BootstrapAction('Enable skip mode', 's3://elasticmapreduce/bootstrap-actions/configure-hadoop', params)

conn = EmrConnection(AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY)
step = StreamingStep(name='My Step', ...)
conn.run_jobflow(..., bootstrap_actions=[config_bootstrapper], steps=[step], ...)

Of course, if you have more than one bootstrap action, you should just add it to the bootstrap_actions array.

Python - лучший язык программирования в мире.